JP6956687B2

JP6956687B2 - Abandonment detection device, abandonment detection method and abandonment detection program

Info

Publication number: JP6956687B2
Application number: JP2018121478A
Authority: JP
Inventors: 大樹蝦名; 下谷　光生
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2021-11-02
Anticipated expiration: 2038-06-27
Also published as: JP2020003967A

Description

この発明は、車両室内の画像を用いて乗員の車両外への置き去りを検知する技術に関する。 The present invention relates to a technique for detecting the occupant's leaving outside the vehicle by using an image inside the vehicle.

特許文献１には、大型バスの乗員の出入りを管理する搭乗者管理システムが開示されている。特許文献１の搭乗者管理システムでは、乗員が携帯するタグから送信される微弱電波の識別信号を、バスのドア付近に設置したアンテナで受信することにより、乗員の出入りを管理し、車内にいない乗員を容易に特定する。 Patent Document 1 discloses a passenger management system that controls the entry and exit of passengers on a large bus. The passenger management system of Patent Document 1 controls the entry and exit of the occupant by receiving the identification signal of the weak radio wave transmitted from the tag carried by the occupant by the antenna installed near the door of the bus, and is not in the vehicle. Easily identify the occupants.

特開２００４−１３９４５９号公報Japanese Unexamined Patent Publication No. 2004-139459

しかし、特許文献１の技術は、各乗員がタグを携帯することを前提としており、車両室内の画像を用いるものではない。本発明は上述の問題点に鑑みてなされたものであり、車両室内の画像を用いて乗員の車両外への置き去りを検知する技術の提供を目的とする。 However, the technique of Patent Document 1 is based on the premise that each occupant carries a tag, and does not use an image of the vehicle interior. The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a technique for detecting the occupant's leaving outside the vehicle by using an image inside the vehicle.

本発明の置き去り検知装置は、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定する決定部と、車両の室内を撮影するカメラから、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部と、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と検知する検知部と、置き去り乗員がいる旨の情報を、車両に搭載された出力装置に出力させる出力制御部と、を備える。 The abandonment detection device of the present invention sets at least one of the parking / stopping points of the vehicle as the abandonment detection point based on the attribute or condition of the rear road, which is the road on which the vehicle may travel after the parking / stopping point. The first image is the image taken from the decision unit to decide and the camera that shoots the interior of the vehicle from the start of running of the vehicle to the time when the occupant gets off from the vehicle at the abandonment detection point, and the vehicle is from the abandonment detection point. The image taken at the time of departure is used as the second image, and the image acquisition unit to be acquired and the occupant shown in the first image but not in the second image are left behind and boarded after getting off the vehicle at the detection point. It is provided with a detection unit that detects an unattended occupant and an output control unit that outputs information to the effect that there is an abandoned occupant to an output device mounted on the vehicle.

本発明の置き去り検知方法は、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定し、車両の室内を撮影するカメラから、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得し、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と検知し、置き去り乗員がいる旨の情報を車両に搭載された出力装置に出力させる。 The abandonment detection method of the present invention sets at least one of the parking / stopping points of a vehicle as an abandonment detection point based on the attribute or state of the rear road, which is a road on which the vehicle may travel after the parking / stopping point. The first image is the image taken from the camera that takes a picture of the interior of the vehicle after the vehicle starts running and before the occupant gets off the vehicle at the abandonment detection point. The images taken in the above are acquired as the second image, and the occupants who are reflected in the first image but not in the second image are detected as the abandoned occupants who have not boarded after getting off the vehicle at the abandonment detection point. Then, the information that there is an abandoned occupant is output to the output device mounted on the vehicle.

本発明の置き去り検知プログラムは、コンピュータを、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定する決定部と、車両の室内を撮影するカメラから、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部と、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と検知する検知部と、置き去り乗員がいる旨の情報を車両に搭載された出力装置に出力させる出力制御部として動作させるための、置き去り検知プログラムである。 The abandonment detection program of the present invention displaces a computer at at least one of the parking / stopping points of a vehicle based on the attributes or conditions of the rear road, which is the road on which the vehicle may travel after the parking / stopping point. The first image is the image taken from the decision unit that determines the detection point and the camera that captures the interior of the vehicle, after the vehicle starts running and before the occupant disembarks at the abandonment detection point. The image taken when the vehicle departs from the vehicle is used as the second image, and the image acquisition unit to be acquired and the occupant appearing in the first image but not in the second image are left behind and disembarked from the vehicle at the detection point. This is an abandonment detection program for operating as a detection unit that detects an abandoned occupant who is not on board and an output control unit that outputs information to the effect that there is an abandoned occupant to an output device mounted on the vehicle.

本発明は、車両室内の画像である第１画像と第２画像を比較することにより、乗員の置き去りを検知することが可能である。 According to the present invention, it is possible to detect the leaving of an occupant by comparing the first image and the second image, which are images of the vehicle interior.

実施の形態１の置き去り検知装置の構成を示すブロック図である。It is a block diagram which shows the structure of the abandonment detection apparatus of Embodiment 1. FIG. 実施の形態１の置き去り検知装置による第１画像の取得処理を示すフローチャートである。It is a flowchart which shows the acquisition process of the 1st image by the abandonment detection apparatus of Embodiment 1. FIG. 実施の形態１の置き去り検知装置による置き去り検知処理を示すフローチャートである。It is a flowchart which shows the abandonment detection process by the abandonment detection device of Embodiment 1. 置き去り警告画面を示す図である。It is a figure which shows the abandonment warning screen. 実施の形態２の置き去り検知装置の構成を示すブロック図である。It is a block diagram which shows the structure of the abandonment detection device of Embodiment 2. 実施の形態３の置き去り検知装置の構成を示すブロック図である。It is a block diagram which shows the structure of the abandonment detection device of Embodiment 3. 実施の形態３の置き去り検知装置による第１画像の取得処理を示すフローチャートである。It is a flowchart which shows the acquisition process of the 1st image by the abandonment detection apparatus of Embodiment 3. 実施の形態３の置き去り検知装置による置き去り検知処理を示すフローチャートである。It is a flowchart which shows the abandonment detection process by the abandonment detection device of Embodiment 3. 置き去り警告画面を示す図である。It is a figure which shows the abandonment warning screen. 実施の形態３の置き去り検知装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the abandonment detection device of Embodiment 3. 実施の形態３の置き去り検知装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the abandonment detection device of Embodiment 3. 車両とサーバによる置き去り検知装置の構成例を示す図である。It is a figure which shows the configuration example of the abandonment detection device by a vehicle and a server.

＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、実施の形態１の置き去り検知装置１０１の構成を示すブロック図である。置き去り検知装置１０１は、乗員の車両外への置き去りを検知し、車両に搭載された出力装置２２を用いて車両の運転者であるユーザに警告を行う装置である。本明細書では、出力装置２２が搭載され、乗員の置き去り検知の対象となる車両のことを単に「車両」と称する。置き去り検知装置１０１は、カメラ２１および出力装置２２と接続され、これらを利用可能に構成されている。置き去り検知装置１０１は、画像取得部１１、位置取得部１２、決定部１３、検知部１４、出力制御部１５およびデータ格納部１６を備えている。 <A. Embodiment 1>
<A-1. Configuration>
FIG. 1 is a block diagram showing the configuration of the abandonment detection device 101 of the first embodiment. The abandonment detection device 101 is a device that detects the occupant's abandonment outside the vehicle and warns the user who is the driver of the vehicle by using the output device 22 mounted on the vehicle. In the present specification, the vehicle on which the output device 22 is mounted and is the target of the occupant's abandonment detection is simply referred to as a "vehicle". The abandonment detection device 101 is connected to the camera 21 and the output device 22 so that they can be used. The abandonment detection device 101 includes an image acquisition unit 11, a position acquisition unit 12, a determination unit 13, a detection unit 14, an output control unit 15, and a data storage unit 16.

画像取得部１１は、カメラ２１の撮影画像を取得する。カメラ２１は車両に搭載されており、車両の室内を撮影する。カメラ２１は、車両の搭乗者の全員を撮影することができるように、車両室内の全体を撮影範囲とすることが望ましい。 The image acquisition unit 11 acquires the captured image of the camera 21. The camera 21 is mounted on the vehicle and photographs the interior of the vehicle. It is desirable that the camera 21 covers the entire interior of the vehicle so that all the passengers of the vehicle can be photographed.

位置取得部１２は、車両の位置を取得する。例えば、位置取得部１２は車両に搭載されたＧＰＳ（Global Positioning System）受信機からＧＰＳ信号を取得し、これと地図データとに基づき車両の位置を識別する。 The position acquisition unit 12 acquires the position of the vehicle. For example, the position acquisition unit 12 acquires a GPS signal from a GPS (Global Positioning System) receiver mounted on the vehicle, and identifies the position of the vehicle based on this and map data.

決定部１３は、位置取得部１２から車両の位置を取得し、データ格納部１６から地図データを取得する。そして、これらに基づき、車両の駐停車地点の中から少なくとも一つの地点を置き去り判定地点と決定する。置き去り判定地点とは、検知部１４が乗員の車両外への置き去りの有無を判定する地点である。決定部１３は、地図データを参照して、駐停車地点の後に車両が走行する可能性のある道路（以下、「後道路」と称する）を判断し、後道路の属性または状態に基づき、一旦出発してしまうと元の駐停車地点に戻ることが困難な駐停車地点を置き去り判定地点と決定する。 The determination unit 13 acquires the position of the vehicle from the position acquisition unit 12 and acquires the map data from the data storage unit 16. Then, based on these, at least one point from the parking / stopping points of the vehicle is left behind and determined as a determination point. The abandonment determination point is a point where the detection unit 14 determines whether or not the occupant has been left outside the vehicle. The determination unit 13 refers to the map data to determine the road on which the vehicle may travel after the parking / stopping point (hereinafter referred to as “rear road”), and once based on the attribute or state of the rear road. Once the vehicle departs, it is difficult to return to the original parking / stopping point, and the parking / stopping point is left behind and determined as the judgment point.

検知部１４は、決定部１３から置き去り判定地点を取得し、置き去り判定地点において乗員の車両外への置き去りの有無を判定する。検知部１４が置き去り判定地点で乗員の車両外への置き去りを有りと判定、すなわち置き去りを検知すると、判定結果を出力制御部１５へ出力する。 The detection unit 14 acquires the abandonment determination point from the determination unit 13 and determines whether or not the occupant has been left outside the vehicle at the abandonment determination point. When the detection unit 14 determines that the occupant has been left outside the vehicle at the abandonment determination point, that is, detects the abandonment, the determination result is output to the output control unit 15.

出力制御部１５は、検知部１４から判定結果を取得すると、乗員の車両外への置き去りが発生している旨の警告情報を出力装置２２に出力させる。図１において出力装置２２は、車両室内に搭載された表示装置２２１およびスピーカ２２２を備えている。出力制御部１５は、表示装置２２１に警告画面を表示させ、スピーカ２２２に警告音声を出力させる。但し、出力装置２２は、表示装置２２１とスピーカ２２２のいずれか一方を少なくとも備えていれば良い。表示装置２２１は、例えば液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）またはＨＵＤ（Head-Up Display）である。 When the output control unit 15 acquires the determination result from the detection unit 14, the output control unit 15 causes the output device 22 to output warning information indicating that the occupant has been left outside the vehicle. In FIG. 1, the output device 22 includes a display device 221 and a speaker 222 mounted in the vehicle interior. The output control unit 15 causes the display device 221 to display a warning screen and the speaker 222 to output a warning sound. However, the output device 22 may include at least one of the display device 221 and the speaker 222. The display device 221 is, for example, a liquid crystal display (LCD) or a HUD (Head-Up Display).

データ格納部１６には、置き去り検知装置１０１の処理に必要な各種のデータが格納されている。データ格納部１６に格納されるデータには、地図データと、画像取得部１１が取得したカメラの撮影画像が含まれる。 The data storage unit 16 stores various types of data necessary for processing of the abandonment detection device 101. The data stored in the data storage unit 16 includes map data and images taken by the camera acquired by the image acquisition unit 11.

＜Ａ−２．動作＞
置き去り検知装置１０１は、駐停車地点で置き去りが発生する前に、当初の乗員が全員搭乗した状態でのカメラ２１の撮影画像を第１画像として取得する。そして、車両が置き去り判定地点で駐停車して出発する際に、カメラ２１の撮影画像を第２画像として取得し、第１画像と第２画像を比較して乗員の置き去りを検知する。 <A-2. Operation>
The abandonment detection device 101 acquires, as a first image, an image taken by the camera 21 with all the original occupants on board before the abandonment occurs at the parking / stopping point. Then, when the vehicle parks and stops at the abandonment determination point and departs, the captured image of the camera 21 is acquired as the second image, and the first image and the second image are compared to detect the abandonment of the occupant.

図２は、置き去り検知装置１０１による第１画像の撮影処理を示すフローチャートである。以下、図２に沿って第１画像の撮影処理を説明する。図２のフローは、例えば車両が駐停車地点で駐停車したタイミングでスタートする。決定部１３は、図１に図示しない速度センサまたはブレーキセンサ等の車両の各種センサの情報に基づき、車両が駐停車したことを把握する。 FIG. 2 is a flowchart showing a shooting process of the first image by the abandonment detection device 101. Hereinafter, the shooting process of the first image will be described with reference to FIG. The flow of FIG. 2 starts, for example, when the vehicle is parked / stopped at the parking / stopping point. The determination unit 13 grasps that the vehicle is parked or stopped based on the information of various sensors of the vehicle such as a speed sensor or a brake sensor (not shown in FIG. 1).

車両が駐停車すると、決定部１３は車両の現在の駐停車地点が置き去り判定地点であるかを判断する（ステップＳ１０１）。具体的には、決定部１３は、位置取得部１２から車両の位置情報を取得し、データ格納部１６から地図データを取得する。そして、決定部１３はこれらの情報に基づき、車両の現在の駐停車地点の後道路が、後戻りが困難な道路であるかを判断する。決定部１３は、車両の現在の駐停車地点の後道路が、後戻りが困難な道路である場合に、現在の駐停車地点を置き去り判定地点と決定する。 When the vehicle is parked / stopped, the determination unit 13 determines whether the current parking / stopping point of the vehicle is the abandoned determination point (step S101). Specifically, the determination unit 13 acquires the position information of the vehicle from the position acquisition unit 12, and acquires the map data from the data storage unit 16. Then, based on this information, the determination unit 13 determines whether the road behind the current parking / stopping point of the vehicle is a road on which it is difficult to turn back. When the road behind the current parking / stopping point of the vehicle is a road on which it is difficult to turn back, the determination unit 13 leaves the current parking / stopping point and determines it as the determination point.

後戻りが困難な道路とは、車両が駐停車地点を出発して後道路を走行すると、元の駐停車地点へ戻ることが困難な道路のことである。決定部１３は、地図データに含まれる地図上の道路の属性の情報を参照して置き去り判定地点の決定を行う。ここで、道路の属性とは、普遍的な、すなわち経時的に変化しない道路の性質のことである。道路の属性には、例えば道路が高速道路であるか一般道路であるかを示す道路種別が含まれる。例えば、駐停車地点がパーキングエリアである場合、後道路は高速道路である。車両がパーキングエリアを出発して高速道路を走行すると、元のパーキングエリアに戻るためには、高速道路を一旦降りて入り直さなければならない。従って、決定部１３は後道路の属性の情報から後道路が高速道路であることを識別すると、駐停車地点であるパーキングエリアを置き去り判定地点に決定する。 A road that is difficult to turn back is a road that is difficult to return to the original parking / stopping point when the vehicle departs from the parking / stopping point and travels on the back road. The determination unit 13 determines the abandonment determination point by referring to the information on the attributes of the road on the map included in the map data. Here, the attribute of a road is a universal property, that is, a property of a road that does not change with time. The attributes of a road include, for example, a road type indicating whether the road is a highway or a general road. For example, if the parking point is a parking area, the rear road is a highway. When a vehicle departs from a parking area and travels on the freeway, it must exit and re-enter the freeway to return to the original parking area. Therefore, when the determination unit 13 identifies that the rear road is an expressway from the information on the attributes of the rear road, the determination unit 13 leaves the parking area, which is the parking / stopping point, and determines it as the determination point.

ステップＳ１０１において、決定部１３が現在の駐停車地点を置き去り判定地点ではないと判断すると、第１画像の撮影処理は終了する。 In step S101, when the determination unit 13 leaves the current parking / stopping point and determines that it is not the determination point, the shooting process of the first image ends.

ステップＳ１０１において、決定部１３が、車両の駐停車地点を置き去り判定地点であると判断すると、カメラ２１が車両室内の画像を第１画像として撮影し（ステップＳ１０２）、画像取得部１１はカメラ２１から第１画像を取得する。ここで、第１画像の撮影は、車両が駐停車してから乗員が車両を降車するまで、具体的にはドアが開くまでの間に行われる。第１画像はデータ格納部１６に格納され（ステップＳ１０３）、第１画像の撮影処理は終了する。 In step S101, when the determination unit 13 determines that the parking / stopping point of the vehicle is left behind and is the determination point, the camera 21 takes an image of the vehicle interior as the first image (step S102), and the image acquisition unit 11 takes the camera 21. The first image is acquired from. Here, the first image is taken from the time when the vehicle is parked and stopped until the occupant gets off the vehicle, specifically, until the door is opened. The first image is stored in the data storage unit 16 (step S103), and the shooting process of the first image is completed.

上記では、第１画像の撮影タイミングを、車両が置き去り判定地点に到着してから乗員が車両を降車するまでの間とした。しかし、第１画像に当初の乗員が全員撮影されていれば良いため、その撮影タイミングは、車両が置き去り判定地点に到着する前であっても良く、少なくとも、車両が走行を開始してから、置き去り判定地点で車両から乗員が降車するまでの間であれば良い。 In the above, the shooting timing of the first image is set from the time when the vehicle is left behind and arrives at the determination point until the occupant gets off the vehicle. However, since it is sufficient that all the original occupants are photographed in the first image, the photographing timing may be before the vehicle arrives at the abandoned judgment point, at least after the vehicle starts traveling. It suffices as long as it is between the vehicle and the occupant getting off at the abandonment judgment point.

置き去り判定地点の後道路の属性の他の例を以下に示す。決定部１３は、後道路の幅が例えば５ｍ未満など狭い場合に、駐停車地点を置き去り判定地点としても良い。なぜなら、幅が狭い道路はＵターンしにくく後戻りが困難だからである。また、決定部１３は、後道路が一方通行道路である場合に、駐停車地点を置き去り判定地点としても良い。なぜなら、一方通行道路はＵターンすることができず、後戻りが困難だからである。また、決定部１３は、後道路に中央分離帯が有る場合に、駐停車地点を置き去り判定地点としても良い。なぜなら、中央分離帯のある道路はＵターンすることができず、後戻りが困難だからである。また、決定部１３は、後道路の勾配が例えば１０％以上など急勾配である場合に、駐停車地点を置き去り判定地点としても良い。なぜなら、急勾配の道路はＵターンしにくく後戻りが困難だからである。また、決定部１３は、後道路から例えば５００ｍ以内のエリアなど、後道路の属するエリアにおける道路の本数を道路密度とし、道路密度が閾値未満である場合に駐停車地点を置き去り判定地点としても良い。なぜなら、道路密度の小さいエリアを走る道路は田舎の道路であり、こうした道路はＵターンしにくく後戻りが困難だからである。また、決定部１３は、後道路の単位長（例えば５０００ｍ）あたりの信号機の数が閾値未満である場合に駐停車地点を置き去り判定地点としても良い。なぜなら、信号機の数が少ない道路は田舎の道路であり、こうした道路はＵターンしにくく後戻りが困難だからである。これらの例において、道路の幅、一方通行道路か否か、中央分離帯の有無、勾配、後道路の属するエリアの道路密度、単位長あたりの信号機の数、などは道路の属性であり、地図データに含められている。 Other examples of the attributes of the road behind the abandonment judgment point are shown below. When the width of the rear road is narrow, for example, less than 5 m, the determination unit 13 may leave the parking / stopping point as a determination point. This is because narrow roads are difficult to make U-turns and difficult to turn back. Further, when the rear road is a one-way road, the determination unit 13 may leave the parking / stopping point as a determination point. This is because one-way roads cannot make U-turns and it is difficult to turn back. Further, the determination unit 13 may leave the parking / stopping point as a determination point when there is a median strip on the rear road. This is because a road with a median strip cannot make a U-turn and it is difficult to turn back. Further, when the slope of the rear road is steep, for example, 10% or more, the determination unit 13 may leave the parking / stopping point as a determination point. This is because steep roads are difficult to make U-turns and difficult to turn back. Further, the determination unit 13 may set the number of roads in the area to which the rear road belongs, such as an area within 500 m from the rear road, as the road density, and may leave the parking / stopping point as a determination point when the road density is less than the threshold value. .. This is because the roads that run in areas with low road density are rural roads, and these roads are difficult to make U-turns and difficult to turn back. Further, the determination unit 13 may leave the parking / stopping point as a determination point when the number of traffic lights per unit length (for example, 5000 m) of the rear road is less than the threshold value. This is because roads with a small number of traffic lights are rural roads, and these roads are difficult to make U-turns and difficult to turn back. In these examples, the width of the road, whether it is a one-way road, the presence or absence of a median strip, the slope, the road density of the area to which the rear road belongs, the number of traffic lights per unit length, etc. are the attributes of the road and are maps. Included in the data.

ここでは、後道路の属性について考慮したが、決定部１３は、後道路の状態に基づき置き去り判定地点を決定しても良いし、後道路の属性と状態の組み合わせに基づき置き去り判定地点を決定しても良い。道路の状態とは、経時的に変化する道路の性質であり、例えば交通量、渋滞度、工事の有無などであり、後戻りのしにくさに影響する。地図データに道路の状態に関する情報が含まれない場合、決定部１３は、例えば道路交通情報通信システム（Vehicle Information and Communication System、ＶＩＣＳ（登録商標））から道路の状態を取得することが可能である。決定部１３は、後道路の交通量が多い、すなわち閾値以上であることを、置き去り判定地点の条件としても良い。なぜなら、交通量の多い道路ほどＵターンしにくく後戻りが困難だからである。また、決定部１３は、後道路の渋滞度が閾値以上であることを、置き去り判定地点の条件としても良い。なぜなら、渋滞している道路ほどＵターンしにくく後戻りが困難だからである。また、決定部１３は、後道路で工事が行われていることを、置き去り判定地点の条件としても良い。なぜなら、工事が行われている道路は渋滞しやすく、その場合に後戻りが困難だからである。 Here, although the attributes of the rear road are considered, the determination unit 13 may determine the abandonment determination point based on the condition of the rear road, or determine the abandonment determination point based on the combination of the attribute and the condition of the rear road. You may. The state of the road is a property of the road that changes over time, for example, the traffic volume, the degree of congestion, the presence or absence of construction, etc., and affects the difficulty of turning back. When the map data does not include information on the road condition, the determination unit 13 can acquire the road condition from, for example, the Vehicle Information and Communication System (VICS (registered trademark)). .. The determination unit 13 may make it a condition of the abandonment determination point that the traffic volume on the rear road is large, that is, it is equal to or higher than the threshold value. This is because roads with more traffic are less likely to make U-turns and more difficult to turn back. Further, the determination unit 13 may set that the degree of congestion on the rear road is equal to or higher than the threshold value as a condition of the abandonment determination point. This is because the more congested the road is, the harder it is to make a U-turn and the more difficult it is to turn back. Further, the determination unit 13 may make it a condition of the abandonment determination point that the construction is being carried out on the rear road. This is because the roads under construction are prone to traffic jams, and in that case it is difficult to turn back.

図３は、置き去り検知装置１０１による置き去り検知処理を示すフローチャートである。以下、図３に沿って置き去り検知処理を説明する。図３のフローは、例えば駐停車地点で車両のエンジンがスタートしたタイミングで開始する。 FIG. 3 is a flowchart showing the abandonment detection process by the abandonment detection device 101. Hereinafter, the abandonment detection process will be described with reference to FIG. The flow of FIG. 3 starts at the timing when the engine of the vehicle starts, for example, at the parking / stopping point.

まず、決定部１３が現在の車両の地点が置き去り判定地点であるか否かを判断する（ステップＳ２０１）。この判断方法は、図２のステップＳ１０１と同様である。従って、決定部１３が同一の駐停車地点について既に図２のステップＳ１０１の処理を行っている場合、ステップＳ１０１の判断結果をステップＳ２０１に流用しても良い。 First, the determination unit 13 determines whether or not the current vehicle point is the abandonment determination point (step S201). This determination method is the same as in step S101 of FIG. Therefore, when the determination unit 13 has already performed the process of step S101 of FIG. 2 for the same parking / stopping point, the determination result of step S101 may be diverted to step S201.

ステップＳ２０１において、現在の車両の地点が置き去り判定地点でなければ、置き去り検知処理は終了する。 In step S201, if the current vehicle point is not the abandonment determination point, the abandonment detection process ends.

ステップＳ２０１において、現在の車両の地点が置き去り判定地点であれば、カメラ２１が車両室内の画像を第２画像として撮影し（ステップＳ２０２）、画像取得部１１がカメラ２１から第２画像を取得する。次に、検知部１４が画像取得部１１から第２画像を、データ格納部１６から第１画像をそれぞれ取得し、第２画像と第１画像とを比較して置き去りが発生しているか否かを判断する（ステップＳ２０３）。具体的には、検知部１４は、第１画像と第２画像に対して画像解析を行い、それぞれの画像に映っている乗員を識別する。そして、検知部１４は、第１画像に映っている乗員と第２画像に映っている乗員とを比較し、第１画像に映っているが第２画像に映っていない乗員がいる場合に、当該乗員が置き去りにされたと判断する。以降の説明では、検知部１４が置き去りにされたと判断した乗員を「置き去り乗員」とも称する。 In step S201, if the current vehicle point is the abandonment determination point, the camera 21 takes an image of the vehicle interior as a second image (step S202), and the image acquisition unit 11 acquires the second image from the camera 21. .. Next, the detection unit 14 acquires the second image from the image acquisition unit 11 and the first image from the data storage unit 16, and compares the second image with the first image to determine whether or not the second image is left behind. Is determined (step S203). Specifically, the detection unit 14 performs image analysis on the first image and the second image, and identifies the occupants shown in the respective images. Then, the detection unit 14 compares the occupant shown in the first image with the occupant shown in the second image, and when there is an occupant shown in the first image but not shown in the second image, It is determined that the occupant has been left behind. In the following description, the occupant determined by the detection unit 14 to be left behind is also referred to as a “left-behind occupant”.

ステップＳ２０３において、置き去りが発生していないと検知部１４が判断した場合、置き去り検知処理は終了する。一方、ステップＳ２０３において、置き去りが発生していると検知部１４が判断した場合、出力制御部１５は出力装置２２から置き去り警告を行わせる（ステップＳ２０４）。 If the detection unit 14 determines in step S203 that the abandonment has not occurred, the abandonment detection process ends. On the other hand, in step S203, when the detection unit 14 determines that the abandonment has occurred, the output control unit 15 causes the output device 22 to issue a abandonment warning (step S204).

図４は、出力装置２２が表示装置２２１を含む場合に、ステップＳ２０４で表示装置２２１に表示される置き去り警告画面を示している。置き去り警告画面には、「乗員の置き去りを検知しました。」という警告文言が表示される。これにより、ユーザは駐停車地点で降車したまま車両に戻っていない乗員がいることを認識し、状況に応じて待機するか、出発するかを判断することができる。 FIG. 4 shows a left-behind warning screen displayed on the display device 221 in step S204 when the output device 22 includes the display device 221. On the abandonment warning screen, the warning wording "The occupant has been left behind has been detected." Is displayed. As a result, the user can recognize that there is an occupant who has not returned to the vehicle while getting off at the parking / stopping point, and can decide whether to wait or depart depending on the situation.

図４では、警告文言を表示する置き去り警告画面を例示したが、置き去りが発生したことを示す表示であれば、置き去り警告画面は他の態様であっても良い。例えば、第１画像に映っている置き去り乗員を表示することによって、どの乗員が置き去りにされているかを示す表示であっても良い。 In FIG. 4, the abandonment warning screen for displaying the warning wording is illustrated, but the abandonment warning screen may be in another mode as long as it is a display indicating that the abandonment has occurred. For example, by displaying the abandoned occupant shown in the first image, it may be displayed to indicate which occupant is left behind.

また、上記では、第２画像の取得タイミングを、駐停車地点で車両のエンジンがスタートしたタイミングとしたが、車両が駐停車地点から出発する際であれば別のタイミングでも良い。例えば、第２画像の取得タイミングは、駐停車地点でギアがパーキングから他のギアに変わったタイミングでも良いし、駐停車地点から車両が走行を開始したタイミングでも良い。 Further, in the above, the acquisition timing of the second image is the timing at which the engine of the vehicle starts at the parking / stopping point, but another timing may be used as long as the vehicle departs from the parking / stopping point. For example, the acquisition timing of the second image may be the timing when the gear changes from parking to another gear at the parking / stopping point, or the timing when the vehicle starts traveling from the parking / stopping point.

＜Ａ−３．効果＞
実施の形態１に係る置き去り検知装置１０１は、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り判定地点と決定する決定部１３と、車両の室内を撮影するカメラ２１から、車両の走行開始後、置き去り判定地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り判定地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部１１と、第１画像に映っているが第２画像に映っていない乗員を、置き去り判定地点で車両から降車した後乗車していない置き去り乗員と検知する検知部１４と、置き去り乗員がいる旨の情報を、車両に搭載された出力装置２２に出力させる出力制御部１５と、を備える。従って、置き去り検知装置１０１によれば、車両室内の画像を用いて乗員の置き去りを検知し、これをユーザに伝えることにより置き去りを防止することができる。 <A-3. Effect>
The abandonment detection device 101 according to the first embodiment is based on the attribute or state of the rear road, which is a road on which the vehicle may travel after the parking / stopping point at least one of the parking / stopping points of the vehicle. The first image is an image taken from the determination unit 13 that determines the abandonment determination point and the camera 21 that photographs the interior of the vehicle from the start of the vehicle running to the time when the occupant disembarks from the vehicle at the abandonment determination point. The image taken when the vehicle departs from the abandonment judgment point is used as the second image, and the image acquisition unit 11 to be acquired respectively and the occupant who is shown in the first image but not in the second image are left behind. It is provided with a detection unit 14 that detects an abandoned occupant who has not boarded the vehicle after getting off the vehicle, and an output control unit 15 that outputs information to the effect that there is an abandoned occupant to an output device 22 mounted on the vehicle. Therefore, according to the abandonment detection device 101, it is possible to prevent the abandonment by detecting the abandonment of the occupant by using the image in the vehicle interior and notifying the user of this.

実施の形態１に係る置き去り検知方法は、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定し、車両の室内を撮影するカメラから、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得し、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と検知し、置き去り乗員がいる旨の情報を車両に搭載された出力装置に出力させる。従って、実施の形態１に係る置き去り検知方法によれば、車両室内の画像を用いて乗員の置き去りを検知し、これをユーザに伝えることにより置き去りを防止することができる。 The abandonment detection method according to the first embodiment leaves at least one of the parking / stopping points of the vehicle based on the attribute or condition of the rear road, which is a road on which the vehicle may travel after the parking / stopping point. The first image is the image taken from the camera that captures the interior of the vehicle as the detection point and after the vehicle starts running until the occupant disembarks at the abandonment detection point. The images taken at the time of departure are acquired as the second images, and the occupants who are shown in the first image but not in the second image are left behind after getting off the vehicle at the detection point. It detects that it is an occupant and outputs information that there is an abandoned occupant to the output device mounted on the vehicle. Therefore, according to the abandonment detection method according to the first embodiment, it is possible to prevent the abandonment by detecting the abandonment of the occupant using the image in the vehicle interior and notifying the user of this.

実施の形態１に係る置き去り検知プログラムは、コンピュータを、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定する決定部１３と、車両の室内を撮影するカメラ２１から、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部１１と、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と検知する検知部１４と、置き去り乗員がいる旨の情報を車両に搭載された出力装置２２に出力させる出力制御部１５として動作させるための、置き去り検知プログラムである。従って、実施の形態１に係る置き去り検知プログラムによれば、車両室内の画像を用いて乗員の置き去りを検知し、これをユーザに伝えることにより置き去りを防止することができる。 The abandonment detection program according to the first embodiment sets the computer at at least one of the parking / stopping points of the vehicle to the attribute or state of the rear road, which is the road on which the vehicle may travel after the parking / stopping point. Based on this, the first image taken from the determination unit 13 that determines the abandonment detection point and the camera 21 that photographs the interior of the vehicle from the start of the vehicle running to the time when the occupant disembarks from the vehicle at the abandonment detection point. The image and the image taken when the vehicle departs from the abandonment detection point are used as the second image, and the image acquisition unit 11 to be acquired and the occupant appearing in the first image but not in the second image are left behind. To operate as a detection unit 14 that detects an abandoned occupant who has not boarded after getting off the vehicle at a detection point, and an output control unit 15 that outputs information to the effect that there is an abandoned occupant to an output device 22 mounted on the vehicle. , It is a left-behind detection program. Therefore, according to the abandonment detection program according to the first embodiment, it is possible to prevent the abandonment by detecting the abandonment of the occupant using the image in the vehicle interior and notifying the user of this.

＜Ｂ．実施の形態２＞
＜Ｂ−１．構成＞
図５は、実施の形態２の置き去り検知装置１０２の構成を示すブロック図である。置き去り検知装置１０２は、カメラ２１および出力装置２２と接続され、これらを利用可能に構成されている。置き去り検知装置１０２は、実施の形態１の置き去り検知装置１０１の構成に加えて、入力受付部１７と経路探索部１８を備えている。入力受付部１７と経路探索部１８以外の置き去り検知装置１０２の構成は置き去り検知装置１０１と同様であるため、ここでは説明を省略する。 <B. Embodiment 2>
<B-1. Configuration>
FIG. 5 is a block diagram showing the configuration of the abandonment detection device 102 of the second embodiment. The abandonment detection device 102 is connected to the camera 21 and the output device 22 so that they can be used. The abandonment detection device 102 includes an input reception unit 17 and a route search unit 18 in addition to the configuration of the abandonment detection device 101 of the first embodiment. Since the configuration of the abandonment detection device 102 other than the input reception unit 17 and the route search unit 18 is the same as that of the abandonment detection device 101, the description thereof will be omitted here.

入力受付部１７は、置き去り検知装置１０２に対するユーザの入力を受け付ける機能を有している。置き去り検知装置１０２に対するユーザの入力には、例えば車両の経由地または目的地の情報がある。すなわち、入力受付部１７は、車両の経由地と目的地の情報を取得する情報取得部として機能する。入力受付部１７がタッチパッドで構成される場合、入力受付部１７と表示装置２２１とはタッチパネルとして一体的に構成される。 The input receiving unit 17 has a function of receiving a user's input to the abandoned detection device 102. The user's input to the abandonment detection device 102 includes, for example, information on the waypoint or destination of the vehicle. That is, the input reception unit 17 functions as an information acquisition unit that acquires information on the waypoints and destinations of the vehicle. When the input receiving unit 17 is composed of a touch pad, the input receiving unit 17 and the display device 221 are integrally configured as a touch panel.

経路探索部１８は、位置取得部１２から車両の位置情報を、入力受付部１７から車両の経由地と目的地の情報を、データ格納部１６から地図データを取得し、これらに基づき、車両の現在地から経由地を経由して目的地に達する走行経路を探索する。経路探索部１８は、探索した走行経路を決定部１３と出力制御部１５に出力する。出力制御部１５は、出力装置２２に走行経路の案内情報を出力させる。 The route search unit 18 acquires the vehicle position information from the position acquisition unit 12, the vehicle waypoint and destination information from the input reception unit 17, and the map data from the data storage unit 16, and based on these, the vehicle Search for a travel route from your current location to your destination via a stopover. The route search unit 18 outputs the searched travel route to the determination unit 13 and the output control unit 15. The output control unit 15 causes the output device 22 to output the guide information of the traveling route.

実施の形態２では、決定部１３は車両の走行経路を経路探索部１８から取得するため、この走行経路を用いて後道路および置き去り判定地点を決定することができる。決定部１３は、走行経路に沿って車両が駐停車地点の後に走行する道路を後道路とする。これにより、決定部１３は正確に後道路を決定できる。また、決定部１３は、走行経路上で経由地と目的地が設定されている場合、経由地と目的地のいずれからも遠い駐停車地点を置き去り判定地点としても良い。すなわち、決定部１３は、経由地と目的地のうち走行経路に沿った最寄りの地点までの距離が閾値以上の駐停車地点を、置き去り判定地点としても良い。これ以外の決定部１３の動作は、実施の形態１と同様である。 In the second embodiment, since the determination unit 13 acquires the travel route of the vehicle from the route search unit 18, the rear road and the abandonment determination point can be determined using this travel route. The determination unit 13 sets the road on which the vehicle travels after the parking / stopping point along the travel route as the rear road. As a result, the determination unit 13 can accurately determine the rear road. Further, when the waypoint and the destination are set on the traveling route, the determination unit 13 may leave the parking / stopping point far from both the waypoint and the destination as a determination point. That is, the determination unit 13 may use a parking / stopping point whose distance to the nearest point along the traveling route among the waypoint and the destination is equal to or greater than the threshold value as the abandonment determination point. The operation of the determination unit 13 other than this is the same as that of the first embodiment.

＜Ｂ−２．効果＞
実施の形態２の置き去り検知装置１０２は、実施の形態１の置き去り検知装置１０１の構成に加えて、車両の目的地の情報を取得する情報取得部である入力受付部１７と、車両の目的地までの走行経路を探索する経路探索部１８を備える。そして、後道路は、車両が走行経路に沿って駐停車地点の後に走行する道路である。従って、置き去り検知装置１０２によれば、後道路を正確に決定した上で置き去り判定を行うことができる。 <B-2. Effect>
In addition to the configuration of the abandonment detection device 101 of the first embodiment, the abandonment detection device 102 of the second embodiment includes an input reception unit 17 which is an information acquisition unit for acquiring information on the destination of the vehicle, and a destination of the vehicle. A route search unit 18 for searching a travel route up to is provided. The rear road is a road on which the vehicle travels along the travel route after the parking / stopping point. Therefore, according to the abandonment detection device 102, the abandonment determination can be made after accurately determining the rear road.

また、実施の形態２の置き去り検知装置１０２において、入力受付部１７は、車両の経由地の情報を取得し、経路探索部１８は、経由地を経由して目的地へ到達する車両の走行経路を探索する。そして、置き去り判定地点は、経由地と目的地のうちいずれかの地点であり走行経路に沿った最寄りの地点までの距離が閾値以上の駐停車地点である。従って、置き去り検知装置１０２によれば、駐停車地点から次に駐停車する予定の地点まである程度離れている場合に、置き去り判定を行うことができる。 Further, in the abandonment detection device 102 of the second embodiment, the input reception unit 17 acquires the information on the waypoint of the vehicle, and the route search unit 18 is the travel route of the vehicle reaching the destination via the waypoint. To explore. The abandonment determination point is either a waypoint or a destination, and is a parking / stopping point where the distance to the nearest point along the traveling route is equal to or greater than the threshold value. Therefore, according to the abandonment detection device 102, the abandonment determination can be made when the parking / stopping point is some distance away from the next parking / stopping point.

＜Ｃ．実施の形態３＞
＜Ｃ−１．構成＞
図６は、実施の形態３の置き去り検知装置１０３の構成を示すブロック図である。置き去り検知装置１０３は、カメラ２１、出力装置２２および携帯端末２３と接続され、これらを利用可能に構成されている。置き去り検知装置１０３は、実施の形態２の置き去り検知装置１０２の構成に加えて、乗員情報登録部１９と通信部２０を備えている。乗員情報登録部１９と通信部２０以外の置き去り検知装置１０３の構成は置き去り検知装置１０２と同様であるため、ここでは説明を省略する。 <C. Embodiment 3>
<C-1. Configuration>
FIG. 6 is a block diagram showing the configuration of the abandonment detection device 103 of the third embodiment. The abandonment detection device 103 is connected to the camera 21, the output device 22, and the mobile terminal 23, and is configured to be available. The abandonment detection device 103 includes an occupant information registration unit 19 and a communication unit 20 in addition to the configuration of the abandonment detection device 102 of the second embodiment. Since the configuration of the abandonment detection device 103 other than the occupant information registration unit 19 and the communication unit 20 is the same as that of the abandonment detection device 102, the description thereof will be omitted here.

入力受付部１７は、車両の乗員の顔画像と、乗員が携帯する携帯端末２３のメールアドレス等の連絡先情報を、ユーザ操作により取得し、乗員情報登録部１９に出力する。 The input reception unit 17 acquires the face image of the occupant of the vehicle and the contact information such as the e-mail address of the mobile terminal 23 carried by the occupant by user operation, and outputs the contact information to the occupant information registration unit 19.

乗員情報登録部１９は、乗員の顔画像と、乗員が携帯する携帯端末２３のメールアドレス等の連絡先情報を紐付けて、乗員情報としてデータ格納部１６に格納する。 The occupant information registration unit 19 links the occupant's face image with contact information such as the e-mail address of the mobile terminal 23 carried by the occupant, and stores the occupant information in the data storage unit 16.

通信部２０は、検知部１４が置き去りを検知し、ユーザが置き去りを承認しない場合に、データ格納部１６の乗員情報を参照して置き去り乗員の携帯端末に通知を行う。 When the detection unit 14 detects the abandonment and the user does not approve the abandonment, the communication unit 20 refers to the occupant information of the data storage unit 16 and notifies the mobile terminal of the abandoned occupant.

＜Ｃ−２．動作＞
図７は、置き去り検知装置１０３による第１画像の撮影処理を示すフローチャートである。以下、図７に沿って第１画像の撮影処理を説明する。図７のフローは、例えば車両が走行を開始してから１つ目の駐停車地点で駐停車するまでの間に開始する。 <C-2. Operation>
FIG. 7 is a flowchart showing a shooting process of the first image by the abandonment detection device 103. Hereinafter, the shooting process of the first image will be described with reference to FIG. 7. The flow of FIG. 7 starts, for example, between the time when the vehicle starts traveling and the time when the vehicle stops at the first parking / stopping point.

まず、乗員情報登録部１９が、乗員情報が登録されているか、すなわちデータ格納部１６に格納されているか否かを判断する（ステップＳ３０１）。ステップＳ３０１において乗員情報が未登録であれば、乗員情報登録部１９は乗員情報の登録を行う（ステップＳ３０２）。具体的には、出力制御部１５が表示装置２２１に乗員情報の入力画面を表示させ、入力受付部１７が当該入力画面から乗員情報の入力を受け付ける。ユーザは、当該入力画面から携帯端末２３の連絡情報を入力する。各乗員の顔画像は、ユーザが入力しても良いし、カメラ２１の撮影画像を用いても良い。乗員情報登録部１９は、携帯端末２３の連絡先情報と、乗員の顔画像とを紐付けて、データ格納部１６に格納する。これにより、乗員情報の登録が行われる。 First, the occupant information registration unit 19 determines whether or not the occupant information is registered, that is, whether or not it is stored in the data storage unit 16 (step S301). If the occupant information is not registered in step S301, the occupant information registration unit 19 registers the occupant information (step S302). Specifically, the output control unit 15 causes the display device 221 to display the occupant information input screen, and the input reception unit 17 accepts the input of the occupant information from the input screen. The user inputs the contact information of the mobile terminal 23 from the input screen. The face image of each occupant may be input by the user, or the photographed image of the camera 21 may be used. The occupant information registration unit 19 associates the contact information of the mobile terminal 23 with the face image of the occupant and stores it in the data storage unit 16. As a result, the occupant information is registered.

ステップＳ３０１において乗員情報が登録済みである場合、またはステップＳ３０２で乗員情報の登録が完了すると、第１画像の撮影処理はステップＳ３０３に進む。ステップＳ３０３からステップＳ３０５の処理は、図２のステップＳ１０１からステップＳ１０３と同様であるため、ここではそれらの説明を省略する。 When the occupant information has been registered in step S301, or when the registration of the occupant information is completed in step S302, the shooting process of the first image proceeds to step S303. Since the processing of steps S303 to S305 is the same as that of steps S101 to S103 of FIG. 2, description thereof will be omitted here.

図８は、置き去り検知装置１０３による置き去り検知処理を示すフローチャートである。以下、図８に沿って置き去り検知処理を説明する。図８のフローは、例えば駐停車地点で車両のエンジンがスタートしたタイミングで開始する。図８のステップＳ４０１からステップＳ４０３は、図３のステップＳ２０１からステップＳ２０３と同様であるため、ここではそれらの説明を省略する。 FIG. 8 is a flowchart showing the abandonment detection process by the abandonment detection device 103. Hereinafter, the abandonment detection process will be described with reference to FIG. The flow of FIG. 8 starts at the timing when the engine of the vehicle starts, for example, at the parking / stopping point. Since steps S401 to S403 of FIG. 8 are the same as steps S201 to S203 of FIG. 3, their description will be omitted here.

ステップＳ４０３において、置き去りが発生していないと検知部１４が判断した場合、置き去り検知処理は終了する。一方、ステップＳ４０３において、置き去りが発生していると検知部１４が判断した場合、出力制御部１５は出力装置２２から置き去り警告を行わせる（ステップＳ４０４）。 If the detection unit 14 determines in step S403 that the abandonment has not occurred, the abandonment detection process ends. On the other hand, in step S403, when the detection unit 14 determines that the abandonment has occurred, the output control unit 15 causes the output device 22 to issue a abandonment warning (step S404).

図９は、出力装置２２が表示装置２２１を含む場合に、ステップＳ４０４で表示装置２２１に表示される置き去り警告画面を示している。「乗員の置き去りを検知しました。そのまま出発しますか？」という警告文言と、「Ｙｅｓ」および「Ｎｏ」の選択ボタンが表示される。これにより、運転者は駐停車地点で降車したまま車両に戻っていない乗員がいることを認識する。運転者は、そのまま出発してもよいと判断した場合には「Ｙｅｓ」を選択する。この選択結果は入力受付部１７から通信部２０に入力され、通信部２０は運転者が置き去りを承認したと判断する（ステップＳ４０５でＹｅｓ）。この場合、表示装置２２１の表示画面は、置き去り警告画面から走行経路の案内画面に遷移し、置き去り検知処理は終了する。 FIG. 9 shows a left-behind warning screen displayed on the display device 221 in step S404 when the output device 22 includes the display device 221. A warning message "The occupant has been left behind. Do you want to leave as it is?" And "Yes" and "No" selection buttons are displayed. As a result, the driver recognizes that there is an occupant who has not returned to the vehicle while getting off at the parking / stopping point. The driver selects "Yes" when he / she decides that he / she can leave as it is. This selection result is input from the input receiving unit 17 to the communication unit 20, and the communication unit 20 determines that the driver has approved the abandonment (Yes in step S405). In this case, the display screen of the display device 221 transitions from the abandonment warning screen to the travel route guidance screen, and the abandonment detection process ends.

一方、運転者は置き去り乗員を待機すると判断すると、図９の置き去り警告画面で「Ｎｏ」を選択する。この選択結果は入力受付部１７から通信部２０に入力され、通信部２０は運転者が置き去りを承認しないと判断する（ステップＳ４０５でＮｏ）。通信部２０は、データ格納部１６の乗員情報を参照して、置き去り乗員の携帯端末２３の連絡先情報を取得し、当該携帯端末２３に置き去りが発生していることを通知する（ステップＳ４０６）。この通知を受けた携帯端末２３には、例えば「置き去りが発生しています。すぐに車に戻ってください。」などの表示が行われる。これにより、置き去り乗員は自身が置き去りにあっていることを認識し、車に戻ることにより、置き去りが解消する。 On the other hand, when the driver determines that he / she is waiting for the abandoned occupant, he / she selects “No” on the abandoned warning screen of FIG. This selection result is input from the input receiving unit 17 to the communication unit 20, and the communication unit 20 determines that the driver does not approve the leaving (No in step S405). The communication unit 20 refers to the occupant information of the data storage unit 16 to acquire the contact information of the abandoned occupant's mobile terminal 23, and notifies the mobile terminal 23 that the abandonment has occurred (step S406). .. On the mobile terminal 23 that has received this notification, for example, a display such as "Abandonment has occurred. Please return to the car immediately." Is displayed. As a result, the abandoned occupant recognizes that he / she is left behind and returns to the car to eliminate the abandonment.

図９の警告画面には、警告文言と選択ボタンが表示された。ここに、置き去り乗員を特定する情報が加えられても良い。例えば、データ格納部１６に乗員情報として格納されている置き去り乗員の顔画像を警告画面に表示しても良い。また、顔画像に代えて、乗員を特定可能な似顔絵、キャラクター等が用いられても良い。この場合、これらの情報は予めデータ格納部１６に乗員情報として格納されているものとする。 On the warning screen of FIG. 9, a warning wording and a selection button were displayed. Information that identifies the abandoned occupant may be added here. For example, the face image of the left-behind occupant stored as occupant information in the data storage unit 16 may be displayed on the warning screen. Further, instead of the face image, a caricature, a character, or the like that can identify the occupant may be used. In this case, it is assumed that these pieces of information are stored in advance in the data storage unit 16 as occupant information.

＜Ｃ−３．効果＞
実施の形態３の置き去り検知装置１０３は、実施の形態２の構成に加えて、車両の乗員の顔画像と乗員の所持する端末の情報とを紐付けて登録する乗員情報登録部１９と、乗員情報登録部１９において置き去り乗員の顔画像に紐付けられた端末に、置き去りが発生している旨の情報を送信する通信部２０と、を備える。従って、置き去り検知装置１０３によれば、置き去り乗員に置き去りが発生している旨を通知し、車両へ戻るよう促すことにより、置き去りの解消を図ることができる。 <C-3. Effect>
In addition to the configuration of the second embodiment, the abandonment detection device 103 of the third embodiment includes an occupant information registration unit 19 for registering the face image of the occupant of the vehicle and the information of the terminal possessed by the occupant in association with each other, and the occupant. The information registration unit 19 includes a communication unit 20 for transmitting information to the effect that the abandonment has occurred to the terminal associated with the face image of the abandoned occupant. Therefore, according to the abandonment detection device 103, the abandonment can be eliminated by notifying the abandoned occupant that the abandonment has occurred and urging the vehicle to return to the vehicle.

＜Ｄ．ハードウェア構成＞
図１０は、置き去り検知装置１０３のハードウェア構成を示す図である。置き去り検知装置１０３における、画像取得部１１、位置取得部１２、決定部１３、検知部１４、出力制御部１５、データ格納部１６、経路探索部１８および乗員情報登録部１９（以下、「画像取得部１１等」と称する）は、処理回路８１によって実現される。すなわち、処理回路８１は、画像取得部１１、位置取得部１２、決定部１３、検知部１４、出力制御部１５、データ格納部１６、経路探索部１８および乗員情報登録部１９を備える。入力受付部１７は入力インタフェース８４により実現される。入力インタフェース８４は、タッチパッドまたは機械的なスイッチ等である。通信部２０は通信インタフェース８５により実現される。 <D. Hardware configuration>
FIG. 10 is a diagram showing a hardware configuration of the abandonment detection device 103. Image acquisition unit 11, position acquisition unit 12, determination unit 13, detection unit 14, output control unit 15, data storage unit 16, route search unit 18, and occupant information registration unit 19 (hereinafter, "image acquisition") in the abandonment detection device 103. (Referred to as "part 11 and the like") is realized by the processing circuit 81. That is, the processing circuit 81 includes an image acquisition unit 11, a position acquisition unit 12, a determination unit 13, a detection unit 14, an output control unit 15, a data storage unit 16, a route search unit 18, and an occupant information registration unit 19. The input receiving unit 17 is realized by the input interface 84. The input interface 84 is a touch pad, a mechanical switch, or the like. The communication unit 20 is realized by the communication interface 85.

処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。 Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied. The processor is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像取得部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。 When the processing circuit 81 is dedicated hardware, the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array), or a combination of these. Each function of each part such as the image acquisition unit 11 may be realized by a plurality of processing circuits 81, or the functions of each part may be collectively realized by one processing circuit.

処理回路８１がプロセッサである場合、画像取得部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１１に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、置き去り検知装置は、処理回路８１により実行されるときに、車両の駐停車地点のうち少なくとも１つの地点を、車両が駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき置き去り検知地点と決定するステップと、車両の室内を撮影するカメラから、車両の走行開始後、置き去り検知地点で車両から乗員が降車するまでの間に撮影された画像を第１画像、置き去り検知地点から車両が出発する際に撮影された画像を第２画像として、それぞれ取得するステップと、第１画像に映っているが第２画像に映っていない乗員を、置き去り検知地点で車両から降車した後乗車していない置き去り乗員と判定するステップと、置き去り乗員がいる旨の情報を車両に搭載された出力装置に出力させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、画像取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。 When the processing circuit 81 is a processor, the functions of the image acquisition unit 11 and the like are realized by a combination of software and the like (software, firmware or software and firmware). Software and the like are described as programs and stored in memory. As shown in FIG. 11, the processor 82 applied to the processing circuit 81 realizes the functions of each part by reading and executing the program stored in the memory 83. That is, the abandonment detection device is an attribute of the rear road, which is a road on which the vehicle may travel after the parking / stopping point at least one of the parking / stopping points of the vehicle when executed by the processing circuit 81. Alternatively, the first image is an image taken from the step of determining the abandonment detection point based on the state and the camera that photographs the interior of the vehicle from the start of the vehicle running to the time when the occupant disembarks from the vehicle at the abandonment detection point. , The step to acquire the image taken when the vehicle departs from the abandonment detection point as the second image, and the occupant shown in the first image but not in the second image, the vehicle at the abandonment detection point Stores a program that will be executed as a result of the step of determining that the occupant is not abandoned after getting off the vehicle and the step of outputting the information that there is an abandoned occupant to the output device mounted on the vehicle. A memory 83 is provided for this purpose. In other words, it can be said that this program causes the computer to execute the procedure or method of the image acquisition unit 11 or the like. Here, the memory 83 includes, for example, non-volatile such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically Erasable Programmable Read Only Memory). Or with volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and its drive device, etc., or any storage medium used in the future. There may be.

以上、画像取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、画像取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The configuration in which each function of the image acquisition unit 11 and the like is realized by either hardware or software has been described above. However, the present invention is not limited to this, and a configuration may be configured in which a part of the image acquisition unit 11 or the like is realized by dedicated hardware and another part is realized by software or the like. For example, the image acquisition unit 11 realizes its function by a processing circuit as dedicated hardware, and other than that, the processing circuit 81 as a processor 82 reads and executes a program stored in the memory 83. It is possible to realize the function.

以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。なお、データ格納部１６は、メモリ８３から構成されるが、それらは単一のメモリ８３から構成されてもよいし、それぞれが個別のメモリから構成されてもよい。 As described above, the processing circuit can realize each of the above-mentioned functions by hardware, software, or a combination thereof. Although the data storage unit 16 is composed of the memory 83, they may be composed of a single memory 83 or each of them may be composed of individual memories.

置き去り検知装置１０１−１０３は、一例としては車載装置であるが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した置き去り検知装置１０１−１０３の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図１２は、車両３１とサーバ３２による置き去り検知装置１０１の構成例である。この例では、カメラ２１と出力装置２２の他、画像取得部１１、位置取得部１２および出力制御部１５が車両３１に配置され、決定部１３、検知部１４およびデータ格納部１６がサーバ３２に配置されている。 The abandonment detection device 101-103 is, for example, an in-vehicle device, but is installed in an in-vehicle device, a PND (Portable Navigation Device), a communication terminal (for example, a mobile terminal such as a mobile phone, a smartphone, and a tablet), and the like. It can also be applied to a system constructed as a system by appropriately combining application functions and servers. In this case, each function or each component of the abandonment detection device 101-103 described above may be distributed and arranged in each device for constructing the system, or may be arranged in a concentrated manner in any of the devices. May be good. FIG. 12 is a configuration example of the abandonment detection device 101 by the vehicle 31 and the server 32. In this example, in addition to the camera 21 and the output device 22, the image acquisition unit 11, the position acquisition unit 12, and the output control unit 15 are arranged on the vehicle 31, and the determination unit 13, the detection unit 14, and the data storage unit 16 are located on the server 32. Have been placed.

なお、本発明は、その発明の範囲内において、各実施の形態および各変形例を自由に組み合わせたり、各実施の形態および各変形例を適宜、変形または省略したりすることが可能である。本発明は詳細に説明されたが、上記した説明は全ての態様において例示であり、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得る。 In the present invention, each embodiment and each modification can be freely combined, and each embodiment and each modification can be appropriately modified or omitted within the scope of the invention. Although the present invention has been described in detail, the above description is exemplary in all embodiments and the present invention is not limited thereto. A myriad of variants not illustrated can be envisioned without departing from the scope of the invention.

１１画像取得部、１２位置取得部、１３決定部、１４検知部、１５出力制御部、１６データ格納部、１７入力受付部、１８経路探索部、１９乗員情報登録部、２０通信部、２１カメラ、２２出力装置、２３携帯端末、３１車両、３２サーバ、８１処理回路、８２プロセッサ、８３メモリ、８４入力インタフェース、８５通信インタフェース、２２１表示装置、２２２スピーカ。 11 Image acquisition unit, 12 Position acquisition unit, 13 Determination unit, 14 Detection unit, 15 Output control unit, 16 Data storage unit, 17 Input reception unit, 18 Route search unit, 19 Crew information registration unit, 20 Communication unit, 21 Camera , 22 output device, 23 mobile terminal, 31 vehicle, 32 server, 81 processing circuit, 82 processor, 83 memory, 84 input interface, 85 communication interface, 221 display device, 222 speaker.

Claims

車両の駐停車地点のうち少なくとも１つの地点を、前記車両が前記駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定する決定部と、
前記車両の室内を撮影するカメラから、前記車両の走行開始後、前記置き去り検知地点で前記車両から乗員が降車するまでの間に撮影された画像を第１画像、前記置き去り検知地点から前記車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部と、
前記第１画像に映っているが前記第２画像に映っていない乗員を、前記置き去り検知地点で前記車両から降車した後乗車していない置き去り乗員と検知する検知部と、
前記置き去り乗員がいる旨の情報を、前記車両に搭載された出力装置に出力させる出力制御部と、を備える、
置き去り検知装置。 A determination unit that determines at least one of the parking / stopping points of the vehicle as an abandonment detection point based on the attribute or condition of the rear road, which is a road on which the vehicle may travel after the parking / stopping point.
The first image is an image taken from the camera that photographs the interior of the vehicle until the occupant disembarks from the vehicle at the abandonment detection point after the vehicle starts traveling, and the vehicle is from the abandonment detection point. The image acquisition unit that acquires the image taken at the time of departure as the second image, and
A detection unit that detects an occupant that is shown in the first image but is not shown in the second image as an abandoned occupant who has not boarded after getting off the vehicle at the abandonment detection point.
It includes an output control unit that outputs information to the effect that there is an abandoned occupant to an output device mounted on the vehicle.
Abandoned detection device.

前記車両の目的地の情報を取得する情報取得部と、
前記車両の目的地までの走行経路を探索する経路探索部をさらに備え、
前記後道路は、前記車両が前記走行経路に沿って前記駐停車地点の後に走行する道路である、
請求項１に記載の置き去り検知装置。 An information acquisition unit that acquires information on the destination of the vehicle, and
A route search unit for searching a travel route to the destination of the vehicle is further provided.
The rear road is a road on which the vehicle travels along the travel route after the parking / stopping point.
The abandonment detection device according to claim 1.

前記後道路の属性は、高速道路と一般道路の別を含む、
請求項１又は２に記載の置き去り検知装置。 The attributes of the rear road include the distinction between highways and general roads.
The abandonment detection device according to claim 1 or 2.

前記後道路の属性は、道路幅を含む、
請求項１から３のいずれか１項に記載の置き去り検知装置。 The attributes of the rear road include the road width.
The abandonment detection device according to any one of claims 1 to 3.

前記後道路の属性は、中央分離帯の有無を含む、
請求項１から４のいずれか１項に記載の置き去り検知装置。 The attributes of the rear road include the presence or absence of a median strip.
The abandonment detection device according to any one of claims 1 to 4.

前記後道路の属性は、道路の勾配を含む、
請求項１から５のいずれか１項に記載の置き去り検知装置。 The attributes of the rear road include the slope of the road.
The abandonment detection device according to any one of claims 1 to 5.

前記後道路の属性は、前記後道路の属するエリアにおける道路密度を含む、
請求項１から６のいずれか１項に記載の置き去り検知装置。 The attributes of the rear road include the road density in the area to which the rear road belongs.
The abandonment detection device according to any one of claims 1 to 6.

前記後道路の状態は、前記後道路における交通量を含む、
請求項１から７のいずれか１項に記載の置き去り検知装置。 The condition of the rear road includes the traffic volume on the rear road.
The abandonment detection device according to any one of claims 1 to 7.

前記後道路の状態は、前記後道路における渋滞度を含む、
請求項１から７のいずれか１項に記載の置き去り検知装置。 The condition of the rear road includes the degree of congestion on the rear road.
The abandonment detection device according to any one of claims 1 to 7.

前記後道路の状態は、前記後道路における工事の有無を含む、
請求項１から７のいずれか１項に記載の置き去り検知装置。 The state of the rear road includes the presence or absence of construction work on the rear road.
The abandonment detection device according to any one of claims 1 to 7.

前記車両の経由地と目的地の情報を取得する情報取得部と、
前記経由地を経由して前記目的地へ到達する前記車両の走行経路を探索する経路探索部と、をさらに備え、
前記置き去り検知地点は、前記経由地と前記目的地のうちいずれかの地点であり前記走行経路に沿った最寄りの前記地点までの距離が閾値以上の前記駐停車地点である、
請求項１から１０のいずれか１項に記載の置き去り検知装置。 An information acquisition unit that acquires information on the waypoints and destinations of the vehicle,
A route search unit for searching a travel route of the vehicle reaching the destination via the waypoint is further provided.
The abandonment detection point is any of the waypoints and the destinations, and is the parking / stopping point where the distance to the nearest point along the traveling route is equal to or greater than the threshold value.
The abandonment detection device according to any one of claims 1 to 10.

前記車両の乗員の顔画像と前記乗員の所持する端末の情報とを紐付けて登録する乗員情報登録部と、
前記乗員情報登録部において前記置き去り乗員の顔画像に紐付けられた端末に、置き去りが発生している旨の情報を送信する通信部と、をさらに備える、
請求項１から１１のいずれか１項に記載の置き去り検知装置。 An occupant information registration unit that registers the face image of the occupant of the vehicle and the information of the terminal possessed by the occupant in association with each other.
The occupant information registration unit further includes a communication unit that transmits information to the effect that the abandonment has occurred to the terminal associated with the face image of the abandoned occupant.
The abandonment detection device according to any one of claims 1 to 11.

車両の駐停車地点のうち少なくとも１つの地点を、前記車両が前記駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定し、
前記車両の室内を撮影するカメラから、前記車両の走行開始後、前記置き去り検知地点で前記車両から乗員が降車するまでの間に撮影された画像を第１画像、前記置き去り検知地点から前記車両が出発する際に撮影された画像を第２画像として、それぞれ取得し、
前記第１画像に映っているが前記第２画像に映っていない乗員を、前記置き去り検知地点で前記車両から降車した後乗車していない置き去り乗員と検知し、
前記置き去り乗員がいる旨の情報を前記車両に搭載された出力装置に出力させる、
置き去り検知方法。 At least one of the parking / stopping points of the vehicle is determined to be the abandonment detection point based on the attribute or condition of the rear road, which is the road on which the vehicle may travel after the parking / stopping point.
The first image is an image taken from the camera that photographs the interior of the vehicle until the occupant disembarks from the vehicle at the abandonment detection point after the vehicle starts traveling, and the vehicle is from the abandonment detection point. The images taken at the time of departure are acquired as the second images, respectively.
An occupant who appears in the first image but does not appear in the second image is detected as an abandoned occupant who has not boarded after getting off the vehicle at the abandonment detection point.
The information that there is an abandoned occupant is output to the output device mounted on the vehicle.
Abandonment detection method.

コンピュータを、
車両の駐停車地点のうち少なくとも１つの地点を、前記車両が前記駐停車地点の後に走行する可能性のある道路である後道路の属性または状態に基づき、置き去り検知地点と決定する決定部と、
前記車両の室内を撮影するカメラから、前記車両の走行開始後、前記置き去り検知地点で前記車両から乗員が降車するまでの間に撮影された画像を第１画像、前記置き去り検知地点から前記車両が出発する際に撮影された画像を第２画像として、それぞれ取得する画像取得部と、
前記第１画像に映っているが前記第２画像に映っていない乗員を、前記置き去り検知地点で前記車両から降車した後乗車していない置き去り乗員と検知する検知部と、
前記置き去り乗員がいる旨の情報を前記車両に搭載された出力装置に出力させる出力制御部として動作させるための、
置き去り検知プログラム。 Computer,
A determination unit that determines at least one of the parking / stopping points of the vehicle as an abandonment detection point based on the attribute or condition of the rear road, which is a road on which the vehicle may travel after the parking / stopping point.
The first image is an image taken from the camera that photographs the interior of the vehicle until the occupant disembarks from the vehicle at the abandonment detection point after the vehicle starts traveling, and the vehicle is from the abandonment detection point. The image acquisition unit that acquires the image taken at the time of departure as the second image, and
A detection unit that detects an occupant that is shown in the first image but is not shown in the second image as an abandoned occupant who has not boarded after getting off the vehicle at the abandonment detection point.
To operate as an output control unit that outputs information to the effect that there is an abandoned occupant to the output device mounted on the vehicle.
Abandonment detection program.