JP2020201881A - Door opening warning device, door opening warning method, and door opening warning program - Google Patents

Door opening warning device, door opening warning method, and door opening warning program Download PDF

Info

Publication number
JP2020201881A
JP2020201881A JP2019110500A JP2019110500A JP2020201881A JP 2020201881 A JP2020201881 A JP 2020201881A JP 2019110500 A JP2019110500 A JP 2019110500A JP 2019110500 A JP2019110500 A JP 2019110500A JP 2020201881 A JP2020201881 A JP 2020201881A
Authority
JP
Japan
Prior art keywords
vehicle
door
image
moving body
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019110500A
Other languages
Japanese (ja)
Inventor
飛里 吉田
Hisato Yoshida
飛里 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019110500A priority Critical patent/JP2020201881A/en
Publication of JP2020201881A publication Critical patent/JP2020201881A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

To sense a mobile object that may collide with a door of a one's own vehicle considering a travel direction of the mobile object and a movable range of the door of the one's own vehicle.SOLUTION: A contact sensing unit 12 senses a contact of a hand of a passenger 40 to a lever on the interior side of a door 6 of a vehicle 1. A vehicle outside video acquisition unit 13 acquires a vehicle outside video imaged by a vehicle outside imaging device 3 that images the periphery of the vehicle 1. In a case where the contact has been sensed by the contact sensing unit 12, a video display unit 14 causes a display device 4 placed on the interior side of the door 6 to display the vehicle outside video. A mobile object sensing unit 15 senses a mobile object 30 present around the vehicle 1. A travel direction prediction unit 16 predicts a travel direction of the mobile object 30 sensed by the mobile object sensing unit 15. A collision determination unit 17 determines whether or not the mobile object 30 falls within a movable range 6a of the door 6 based on the travel direction of the mobile object 30. In a case where it is determined by the collision determination unit 17 that the mobile object 30 falls within the movable range 6a of the door 6, a video processing unit 18 subjects the vehicle outside video to processing of enhancing the mobile object 30.SELECTED DRAWING: Figure 1

Description

この発明は、ドア開放警告装置、ドア開放警告方法、及びドア開放警告プログラムに関するものである。 The present invention relates to a door open warning device, a door open warning method, and a door open warning program.

乗員が降車しようとしてドアを開放する際、自車両に接近する他車両等の移動体を検知して乗員に警告するドア開放警告装置が提案されている（例えば、特許文献１参照）。 A door opening warning device has been proposed that detects a moving object such as another vehicle approaching the own vehicle and warns the occupant when the occupant opens the door to get off (see, for example, Patent Document 1).

国際公開第２０１７／１３０４３９号International Publication No. 2017/130439

特許文献１に記載されたような従来のドア開放警告装置は、自車両と移動体の距離及び速度に基づいて、自車両のドアに衝突する可能性がある移動体を検知する構成であり、移動体の進行方向及び自車両のドアの可動範囲を考慮していなかった。そのため、従来のドア開放警告装置は、移動体が自車両のドアに衝突する恐れがない場合であっても乗員に対する警告を行ってしまった。 The conventional door opening warning device as described in Patent Document 1 has a configuration of detecting a moving body that may collide with the door of the own vehicle based on the distance and speed between the own vehicle and the moving body. The direction of travel of the moving body and the movable range of the door of the own vehicle were not taken into consideration. Therefore, the conventional door opening warning device warns the occupants even when there is no risk of the moving body colliding with the door of the own vehicle.

この発明は、上記のような課題を解決するためになされたもので、移動体の進行方向及び自車両のドアの可動範囲を考慮して、自車両のドアに衝突する可能性がある移動体を検知することを目的とする。 The present invention has been made to solve the above-mentioned problems, and is a moving body that may collide with the door of the own vehicle in consideration of the traveling direction of the moving body and the movable range of the door of the own vehicle. The purpose is to detect.

この発明に係るドア開放警告装置は、車両のドア内側のレバーに対する乗員の手の接触を検知する接触検知部と、車両の周囲を撮像する車外撮像装置が撮像した車外映像を取得する車外映像取得部と、接触検知部により接触が検知された場合、ドアの内側に設置された表示装置に車外映像を表示させる映像表示部と、車両の周囲に存在する移動体を検知する移動体検知部と、移動体検知部により検知された移動体の進行方向を予測する進行方向予測部と、移動体の進行方向に基づいて移動体がドアの可動範囲に入るか否かを判定する衝突判定部と、衝突判定部により移動体がドアの可動範囲に入ると判定された場合、車外映像に対して移動体を強調する加工を行う映像加工部とを備えるものである。 The door opening warning device according to the present invention has a contact detection unit that detects contact of a occupant's hand with a lever inside the door of a vehicle, and an outside image acquisition that acquires an outside image captured by an outside image pickup device that images the surroundings of the vehicle. A video display unit that displays an image outside the vehicle on a display device installed inside the door when contact is detected by the contact detection unit, and a mobile body detection unit that detects moving objects existing around the vehicle. , A traveling direction prediction unit that predicts the traveling direction of the moving body detected by the moving body detection unit, and a collision determination unit that determines whether or not the moving body enters the movable range of the door based on the traveling direction of the moving body. When the collision determination unit determines that the moving body is within the movable range of the door, the vehicle is provided with an image processing unit that performs processing to emphasize the moving body with respect to the image outside the vehicle.

この発明によれば、乗員の手がドア内側のレバーに接触した場合に車外映像を表示装置に表示させるようにしたので、乗員に、ドアの死角となる車外の様子を確認させた上でドアを開放させることができる。また、移動体の進行方向に基づいて移動体がドアの可動範囲に入るか否かを判定するようにしたので、自車両のドアに衝突する可能性がある移動体を検知することができる。 According to the present invention, when the occupant's hand touches the lever inside the door, the image outside the vehicle is displayed on the display device. Therefore, the occupant is allowed to check the outside of the vehicle, which is the blind spot of the door, and then the door. Can be opened. Further, since it is determined whether or not the moving body enters the movable range of the door based on the traveling direction of the moving body, it is possible to detect the moving body that may collide with the door of the own vehicle.

実施の形態１に係るドア開放警告装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the door open warning device which concerns on Embodiment 1. FIG. 実施の形態１に係るドア開放警告装置が設けられた車両１の車外の様子を示す図である。It is a figure which shows the state of the outside of the vehicle 1 provided with the door open warning device which concerns on Embodiment 1. FIG. 実施の形態１に係るドア開放警告装置が設けられた車両１の車内の様子を示す図である。It is a figure which shows the state of the inside of the vehicle 1 provided with the door open warning device which concerns on Embodiment 1. FIG. 実施の形態１に係るドア開放警告装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the door open warning device which concerns on Embodiment 1. FIG. 図４のステップＳＴ９において表示装置に表示される車外映像の一例を示す図である。It is a figure which shows an example of the vehicle outside image displayed on the display device in step ST9 of FIG. 図４のステップＳＴ９において表示装置に表示される車外映像の別の例を示す図である。It is a figure which shows another example of the vehicle outside image displayed on the display device in step ST9 of FIG. 図４のステップＳＴ９において表示装置に表示される車外映像の別の例を示す図である。It is a figure which shows another example of the vehicle outside image displayed on the display device in step ST9 of FIG. 図４のステップＳＴ１１において表示装置に表示される車外映像の一例を示す図である。It is a figure which shows an example of the vehicle outside image displayed on the display device in step ST11 of FIG. 図４のステップＳＴ１１において表示装置に表示される車外映像の別の例を示す図である。It is a figure which shows another example of the vehicle outside image displayed on the display device in step ST11 of FIG. 実施の形態１に係るドア開放警告装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the door open warning device which concerns on Embodiment 1. FIG. 実施の形態１に係るドア開放警告装置のハードウェア構成の別の例を示す図である。It is a figure which shows another example of the hardware composition of the door open warning device which concerns on Embodiment 1. FIG.

実施の形態１．
図１は、実施の形態１に係るドア開放警告装置１０の構成例を示すブロック図である。図２は、実施の形態１に係るドア開放警告装置１０が設けられた車両１の車外の様子を示す図である。図３は、実施の形態１に係るドア開放警告装置１０が設けられた車両１の車内の様子を示す図である。このドア開放警告装置１０は、停車している車両１の座席に座っている乗員４０が降車しようとドア６を開放する際、表示装置４に車外の映像を表示させた上で、移動体３０とドア６の衝突が予想される場合には乗員４０に警告を行うものである。移動体３０は、歩行者、自転車、二輪自動車、及び車両等である。 Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the door opening warning device 10 according to the first embodiment. FIG. 2 is a diagram showing a state outside the vehicle 1 provided with the door opening warning device 10 according to the first embodiment. FIG. 3 is a diagram showing the inside of the vehicle 1 provided with the door opening warning device 10 according to the first embodiment. The door opening warning device 10 displays an image outside the vehicle on the display device 4 when the occupant 40 sitting in the seat of the stopped vehicle 1 opens the door 6 in order to get off, and then the moving body 30. When a collision between the door 6 and the door 6 is expected, a warning is given to the occupant 40. The moving body 30 is a pedestrian, a bicycle, a two-wheeled vehicle, a vehicle, or the like.

なお、図示例では、車両１右側の前部座席に座っている乗員４０がドア開放警告装置１０の対象となっているが、どの座席に座っている乗員がドア開放警告装置１０の対象であってもよい。 In the illustrated example, the occupant 40 sitting in the front seat on the right side of the vehicle 1 is the target of the door opening warning device 10, but the occupant sitting in which seat is the target of the door opening warning device 10. You may.

図１に示されるように、車両１には、車内撮像装置２、車外撮像装置３、表示装置４、ドアロック装置５、及びドア開放警告装置１０が設けられている。 As shown in FIG. 1, the vehicle 1 is provided with an in-vehicle image pickup device 2, an outside image pickup device 3, a display device 4, a door lock device 5, and a door open warning device 10.

車内撮像装置２は、例えば、図３に示されるようにドア６の内側（つまり、車内側）に設置された撮像装置である。車内撮像装置２は、ドア６の車内側に取り付けられている当該ドア６を開放するためのレバー、及び当該ドア６脇の座席に座っている乗員４０の顔が存在すると想定される範囲を撮像し、撮像した映像（以下、「車内映像」と称する）を出力する。なお、車内撮像装置２は、ドア６の車内側のレバー及び乗員４０の顔を撮像できる位置であれば、どこに設置されてもよい。レバーの車内映像は、後述する接触検知部１２において、乗員４０の手がレバーに接触していることの検知に用いられる。乗員４０の顔の車内映像は、後述するドアロック制御部１９において、乗員４０の視線４０ａが表示装置４に向いていることの検知に用いられる。 The in-vehicle image pickup device 2 is, for example, an image pickup device installed inside the door 6 (that is, inside the car) as shown in FIG. The in-vehicle image pickup device 2 images a range in which a lever for opening the door 6 attached to the inside of the door 6 and a face of an occupant 40 sitting in a seat beside the door 6 are assumed to exist. Then, the captured image (hereinafter referred to as "in-vehicle image") is output. The in-vehicle image pickup device 2 may be installed anywhere as long as it can image the lever inside the vehicle of the door 6 and the face of the occupant 40. The vehicle interior image of the lever is used in the contact detection unit 12, which will be described later, to detect that the hand of the occupant 40 is in contact with the lever. The vehicle interior image of the occupant 40's face is used by the door lock control unit 19, which will be described later, to detect that the line of sight 40a of the occupant 40 is facing the display device 4.

車外撮像装置３は、例えば、図２に示されるように車両１の前後左右に１つずつ設置された撮像装置である。車両１の前部に設置された車外撮像装置３は、車両１の前方を撮像する。車両１の後部に設置された車外撮像装置３は、車両１の後方を撮像する。車両１の右側に設置された車外撮像装置３は、車両１の右側側方を撮像する。車両１の左側に設置された車外撮像装置３は、車両１の左側側方を撮像する。４つの車外撮像装置３は、それぞれ、撮像した車外の映像（以下、「車外映像」と称する）を出力する。なお、図２の例では、４つの車外撮像装置３が車外全周を撮像する構成であるが、車外撮像装置３の設置数及び撮像範囲はこれに限定されない。また、車外撮像装置３は、可視光カメラ、暗視カメラ、又は赤外線カメラのいずれであってもよい。例えば、車外撮像装置３が、可視光カメラと、暗視カメラ又は赤外線カメラとを備える構成である場合、この車外撮像装置３は、昼間は可視光カメラが撮像した車外映像を出力し、夜間は暗視カメラ又は赤外線カメラが撮像した車外映像を出力する。 The vehicle exterior image pickup device 3 is, for example, an image pickup device installed one by one on the front, rear, left and right sides of the vehicle 1 as shown in FIG. The vehicle exterior imaging device 3 installed at the front of the vehicle 1 images the front of the vehicle 1. The vehicle exterior imaging device 3 installed at the rear of the vehicle 1 images the rear of the vehicle 1. The vehicle exterior imaging device 3 installed on the right side of the vehicle 1 images the right side of the vehicle 1. The vehicle exterior imaging device 3 installed on the left side of the vehicle 1 images the left side of the vehicle 1. Each of the four out-of-vehicle image pickup devices 3 outputs an image taken outside the vehicle (hereinafter, referred to as "outside vehicle image"). In the example of FIG. 2, four external image pickup devices 3 are configured to image the entire circumference of the vehicle outside, but the number of installed external image pickup devices 3 and the imaging range are not limited to this. Further, the vehicle exterior imaging device 3 may be any of a visible light camera, a night-vision camera, and an infrared camera. For example, when the vehicle exterior imaging device 3 is configured to include a visible light camera and a night-vision camera or an infrared camera, the vehicle exterior imaging device 3 outputs an vehicle exterior image captured by the visible light camera during the day and at night. Outputs the image outside the vehicle captured by a night-vision camera or an infrared camera.

表示装置４は、例えば、図３に示されるようにドア６の内側に設置された表示装置である。なお、表示装置４は、液晶ディスプレイ等とタッチセンサとが一体になったタッチパネルであってもよい。 The display device 4 is, for example, a display device installed inside the door 6 as shown in FIG. The display device 4 may be a touch panel in which a liquid crystal display or the like and a touch sensor are integrated.

ドアロック装置５は、ドア６のロック及びロック解除を行う。 The door lock device 5 locks and unlocks the door 6.

ドア開放警告装置１０は、車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９を備える。 The door opening warning device 10 includes an in-vehicle image acquisition unit 11, a contact detection unit 12, an outside vehicle image acquisition unit 13, an image display unit 14, a moving object detection unit 15, a traveling direction prediction unit 16, a collision determination unit 17, and an image processing unit 18. , And a door lock control unit 19.

車内映像取得部１１は、車内映像を、車内撮像装置２から取得して接触検知部１２及びドアロック制御部１９へ出力する。 The vehicle interior image acquisition unit 11 acquires the vehicle interior image from the vehicle interior image pickup device 2 and outputs the vehicle interior image to the contact detection unit 12 and the door lock control unit 19.

接触検知部１２は、車内映像取得部１１が取得した車内映像に対して画像処理を行うことにより、乗員４０の手がドア６の内側のレバーに接触しているか否かを確認する。接触検知部１２は、乗員４０の手がドア６の内側のレバーに接触したことを検知した場合、この旨を映像表示部１４へ通知する。乗員４０の手がドア６の内側のレバーに接触した場合、乗員４０がドア６を開放して降車しようとしていることが予想される。 The contact detection unit 12 confirms whether or not the hand of the occupant 40 is in contact with the lever inside the door 6 by performing image processing on the vehicle interior image acquired by the vehicle interior image acquisition unit 11. When the contact detection unit 12 detects that the hand of the occupant 40 has touched the lever inside the door 6, the contact detection unit 12 notifies the image display unit 14 to that effect. When the hand of the occupant 40 comes into contact with the lever inside the door 6, it is expected that the occupant 40 is trying to get off by opening the door 6.

なお、接触検知部１２は、乗員４０の手がレバーに接触したことを、車内映像を用いて検知してもよいし、別の情報を用いて検知してもよい。例えば、ドア６のレバーにタッチセンサが設置されている場合、又は表示装置４がタッチセンサと一体になったタッチパネルである場合、接触検知部１２は、これらのタッチセンサの検知結果を用いて、乗員４０の手がレバーに接触していることを検知する。 The contact detection unit 12 may detect that the hand of the occupant 40 has come into contact with the lever by using an in-vehicle image or by using another information. For example, when a touch sensor is installed on the lever of the door 6, or when the display device 4 is a touch panel integrated with the touch sensor, the contact detection unit 12 uses the detection results of these touch sensors. It detects that the hand of the occupant 40 is in contact with the lever.

車外映像取得部１３は、車外映像を、車外撮像装置３から取得して映像表示部１４及び移動体検知部１５へ出力する。 The vehicle-outside image acquisition unit 13 acquires the vehicle-outside image from the vehicle-outside image pickup device 3 and outputs the image to the image display unit 14 and the moving object detection unit 15.

映像表示部１４は、乗員４０の手がドア６のレバーに接触したことを接触検知部１２が検知した場合、車外映像取得部１３が取得した車外映像を表示装置４に表示させる。これにより、乗員４０は、降車しようとする際、ドア６の死角になる車外の様子を、表示装置４に表示された車外映像を見て確認することができる。 When the contact detection unit 12 detects that the hand of the occupant 40 has touched the lever of the door 6, the image display unit 14 causes the display device 4 to display the vehicle exterior image acquired by the vehicle exterior image acquisition unit 13. As a result, the occupant 40 can confirm the appearance of the outside of the vehicle, which is the blind spot of the door 6, by looking at the image of the outside of the vehicle displayed on the display device 4 when trying to get off the vehicle.

移動体検知部１５は、車外映像取得部１３が取得した車外映像に対して画像処理を行うことにより、車両１の周囲に移動体３０が存在するか否かを確認する。移動体検知部１５は、移動体３０を検知した場合、車外映像を用いてこの移動体３０の速度、距離、及び位置等を検知する。移動体検知部１５は、検知した移動体３０の速度等の情報を進行方向予測部１６及び映像加工部１８へ出力する。 The moving body detection unit 15 confirms whether or not the moving body 30 exists around the vehicle 1 by performing image processing on the vehicle outside image acquired by the vehicle outside image acquisition unit 13. When the moving body 30 is detected, the moving body detecting unit 15 detects the speed, distance, position, etc. of the moving body 30 by using an image outside the vehicle. The moving body detecting unit 15 outputs information such as the speed of the detected moving body 30 to the traveling direction prediction unit 16 and the image processing unit 18.

なお、移動体検知部１５は、移動体３０の存在、及び移動体３０の速度等を、車外映像を用いて検知してもよいし、別の情報を用いて検知してもよい。例えば、車両１にミリ波レーダが設置されている場合、移動体検知部１５は、ミリ波レーダの検知結果を用いて、移動体３０の存在、及び移動体３０の速度等を検知する。 The moving body detection unit 15 may detect the presence of the moving body 30, the speed of the moving body 30, and the like by using an image outside the vehicle, or may detect it by using other information. For example, when a millimeter-wave radar is installed in the vehicle 1, the moving body detection unit 15 detects the presence of the moving body 30, the speed of the moving body 30, and the like by using the detection result of the millimeter-wave radar.

進行方向予測部１６は、移動体検知部１５が検知した移動体３０の位置の時間変化に基づいて、移動体３０の進行方向を予測する。例えば、図２に矢印３０ａで示されるように、移動体３０が車両１にまっすぐ接近している場合、進行方向予測部１６は、移動体３０の進行方向を直進方向と予測する。また、例えば、図２に矢印３０ｂで示されるように、移動体３０が車両１の後方から隣の車線に向かっている場合、進行方向予測部１６は、移動体３０の進行方向を右方向と予測する。進行方向予測部１６は、予測した移動体３０の進行方向を、衝突判定部１７へ通知する。 The traveling direction prediction unit 16 predicts the traveling direction of the moving body 30 based on the time change of the position of the moving body 30 detected by the moving body detecting unit 15. For example, as shown by the arrow 30a in FIG. 2, when the moving body 30 is directly approaching the vehicle 1, the traveling direction prediction unit 16 predicts the traveling direction of the moving body 30 as the straight traveling direction. Further, for example, as shown by the arrow 30b in FIG. 2, when the moving body 30 is heading from the rear of the vehicle 1 toward the adjacent lane, the traveling direction prediction unit 16 sets the traveling direction of the moving body 30 to the right. Predict. The traveling direction prediction unit 16 notifies the collision determination unit 17 of the predicted traveling direction of the moving body 30.

衝突判定部１７は、進行方向予測部１６が予測した移動体３０の進行方向に基づいて、移動体３０がドア６の可動範囲６ａに入るか否かを判定する。ドア６の可動範囲６ａは、ドア６を全開にした場合の範囲であり、衝突判定部１７に予め設定されている。例えば、図２に矢印３０ａで示されるように、移動体３０の進行方向が直進方向である場合、衝突判定部１７は、移動体３０が現在位置から進行方向に沿って移動するとドア６の可動範囲６ａに入るため、移動体３０と乗員４０により開放されたドア６とが衝突する可能性があることを判定する。一方、図２に矢印３０ｂで示されるように、移動体３０の進行方向が右方向である場合、衝突判定部１７は、移動体３０が現在位置から進行方向に沿って移動してもドア６の可動範囲６ａに入らないため、移動体３０と乗員４０により開放されたドア６とが衝突する可能性がないことを判定する。衝突判定部１７は、移動体３０とドア６との衝突可能性の判定結果を、映像加工部１８及びドアロック制御部１９へ通知する。 The collision determination unit 17 determines whether or not the moving body 30 is within the movable range 6a of the door 6 based on the traveling direction of the moving body 30 predicted by the traveling direction prediction unit 16. The movable range 6a of the door 6 is a range when the door 6 is fully opened, and is preset in the collision determination unit 17. For example, as shown by the arrow 30a in FIG. 2, when the traveling direction of the moving body 30 is the straight direction, the collision determination unit 17 moves the door 6 when the moving body 30 moves from the current position along the traveling direction. It is determined that the moving body 30 and the door 6 opened by the occupant 40 may collide with each other in order to enter the range 6a. On the other hand, as shown by the arrow 30b in FIG. 2, when the traveling direction of the moving body 30 is to the right, the collision determination unit 17 has the door 6 even if the moving body 30 moves from the current position along the traveling direction. Since it does not fall within the movable range 6a of the above, it is determined that there is no possibility that the moving body 30 and the door 6 opened by the occupant 40 collide with each other. The collision determination unit 17 notifies the image processing unit 18 and the door lock control unit 19 of the determination result of the possibility of collision between the moving body 30 and the door 6.

映像加工部１８は、衝突判定部１７が移動体３０とドア６との衝突可能性があると判定した場合、映像表示部１４が表示装置４に表示させる車外映像に対して移動体３０を強調する加工を行う。映像加工部１８は、移動体３０を強調することにより、乗員４０に対して警告を行う。また、映像加工部１８は、衝突判定部１７が移動体３０とドア６との衝突可能性があると判定した場合、映像表示部１４が表示装置４に表示させる車外映像に対して、移動体３０の接近を注意喚起する警告の画像を追加する加工を行ってもよい。これらにより、乗員４０は、降車しようとする際、ドア６を開放すると移動体３０と衝突する可能性があることを、表示装置４に表示された、移動体３０が強調表示された車外映像又は警告を見て確認することができる。さらに、映像加工部１８は、映像表示部１４が表示装置４に表示させる車外映像に対して、移動体検知部１５が検知した移動体３０の速度等の情報を追加する加工を行ってもよい。また、映像加工部１８は、移動体３０の速度及び距離等に基づいて移動体３０が車両１脇を通過するまでの時間を計算し、計算した時間を車外映像に追加する加工を行ってもよい。 When the collision determination unit 17 determines that there is a possibility of a collision between the moving body 30 and the door 6, the image processing unit 18 emphasizes the moving body 30 with respect to the image outside the vehicle displayed by the image display unit 14 on the display device 4. Perform the processing. The image processing unit 18 warns the occupant 40 by emphasizing the moving body 30. Further, when the collision determination unit 17 determines that there is a possibility of collision between the moving body 30 and the door 6, the image processing unit 18 refers to the moving body with respect to the image outside the vehicle displayed by the image display unit 14 on the display device 4. Processing may be performed to add a warning image that calls attention to the approach of 30. As a result, the occupant 40 may collide with the moving body 30 if the door 6 is opened when the occupant 40 is about to get off, which is displayed on the display device 4 as an outside image in which the moving body 30 is highlighted. You can check by looking at the warning. Further, the image processing unit 18 may perform processing to add information such as the speed of the moving body 30 detected by the moving body detecting unit 15 to the vehicle-external image displayed on the display device 4 by the video processing unit 14. .. Further, even if the image processing unit 18 calculates the time until the moving body 30 passes by the side of the vehicle 1 based on the speed and distance of the moving body 30, and adds the calculated time to the image outside the vehicle. Good.

ドアロック制御部１９は、衝突判定部１７が移動体３０とドア６との衝突可能性があると判定した場合、車内映像取得部１１が取得した車内映像に対して画像処理を行うことにより、乗員４０の視線４０ａが表示装置４に向いているか否かを確認する。ドアロック制御部１９は、乗員４０の視線４０ａが表示装置４に向いていることを検知した場合、乗員４０が表示装置４に表示された車外映像を見て移動体３０の存在を認識したとみなし、ドア６のロックを解除するようドアロック装置５に対して指示する。この指示を受けたドアロック装置５は、ドア６のロックを解除し、乗員４０がレバーを操作することでドア６を開放できる状態にする。一方、ドアロック制御部１９は、乗員４０の視線４０ａが表示装置４に向いていないことを検知した場合、乗員４０が表示装置４に表示された車外映像を見ておらず、移動体３０の存在を認識していないとみなし、ドア６をロックするようドアロック装置５に対して指示する。この指示を受けたドアロック装置５は、ドア６をロックし、乗員４０がレバーを操作してもドア６が開放しない状態にする。 When the collision determination unit 17 determines that there is a possibility of a collision between the moving body 30 and the door 6, the door lock control unit 19 performs image processing on the vehicle interior image acquired by the vehicle interior image acquisition unit 11. It is confirmed whether or not the line of sight 40a of the occupant 40 faces the display device 4. When the door lock control unit 19 detects that the line of sight 40a of the occupant 40 is facing the display device 4, the door lock control unit 19 recognizes the existence of the moving body 30 by looking at the image outside the vehicle displayed on the display device 4. The door lock device 5 is instructed to unlock the door 6. Upon receiving this instruction, the door lock device 5 unlocks the door 6 so that the occupant 40 can open the door 6 by operating the lever. On the other hand, when the door lock control unit 19 detects that the line of sight 40a of the occupant 40 is not facing the display device 4, the occupant 40 does not see the outside image displayed on the display device 4, and the moving body 30 It is considered that the existence is not recognized, and the door lock device 5 is instructed to lock the door 6. Upon receiving this instruction, the door lock device 5 locks the door 6 so that the door 6 does not open even if the occupant 40 operates the lever.

なお、図１の構成例では、ドア開放警告装置１０は、移動体３０とドア６との衝突が予想される場合に、表示装置４を用いて乗員４０に警告する構成であるが、車両１に設置されているスピーカを用いて乗員４０に警告する構成であってもよい。 In the configuration example of FIG. 1, the door opening warning device 10 uses the display device 4 to warn the occupant 40 when a collision between the moving body 30 and the door 6 is expected. A speaker installed in the vehicle may be used to warn the occupant 40.

次に、実施の形態１に係るドア開放警告装置１０の動作を説明する。
図４は、実施の形態１に係るドア開放警告装置１０の動作例を示すフローチャートである。ドア開放警告装置１０は、車両１が停車した場合に、図４のフローチャートに示される動作を行う。 Next, the operation of the door opening warning device 10 according to the first embodiment will be described.
FIG. 4 is a flowchart showing an operation example of the door opening warning device 10 according to the first embodiment. The door opening warning device 10 performs the operation shown in the flowchart of FIG. 4 when the vehicle 1 is stopped.

ステップＳＴ１において、接触検知部１２は、車内映像取得部１１が取得した車内映像を用いて、乗員４０の手がドア６のレバーに接触したか否かを確認する。 In step ST1, the contact detection unit 12 confirms whether or not the hand of the occupant 40 has touched the lever of the door 6 by using the vehicle interior image acquired by the vehicle interior image acquisition unit 11.

接触検知部１２により乗員４０の手がドア６のレバーに接触したことが検知された場合（ステップＳＴ２“ＹＥＳ”）、ステップＳＴ３において、車外映像取得部１３は、車外撮像装置３から車外映像を取得する。一方、接触検知部１２は、乗員４０の手がドア６のレバーに接触したことを検知しなかった場合（ステップＳＴ２“ＮＯ”）、ステップＳＴ１の処理を繰り返す。 When the contact detection unit 12 detects that the hand of the occupant 40 has touched the lever of the door 6 (step ST2 “YES”), in step ST3, the vehicle exterior image acquisition unit 13 captures the vehicle exterior image from the vehicle exterior image pickup device 3. get. On the other hand, when the contact detection unit 12 does not detect that the hand of the occupant 40 has touched the lever of the door 6 (step ST2 “NO”), the contact detection unit 12 repeats the process of step ST1.

ステップＳＴ４において、映像表示部１４は、車外映像取得部１３が取得した車外映像を、表示装置４に表示させる。 In step ST4, the image display unit 14 causes the display device 4 to display the external image acquired by the external image acquisition unit 13.

ステップＳＴ５において、移動体検知部１５は、車外映像取得部１３が取得した車外映像を用いて、移動体３０が存在するか否かを確認する。 In step ST5, the moving body detection unit 15 confirms whether or not the moving body 30 exists by using the vehicle outside image acquired by the vehicle outside image acquisition unit 13.

移動体検知部１５により移動体３０が検知された場合（ステップＳＴ６“ＹＥＳ”）、ステップＳＴ７において、進行方向予測部１６は、検知された移動体３０の進行方向を予測する。 When the moving body 30 is detected by the moving body detecting unit 15 (step ST6 “YES”), in step ST7, the traveling direction prediction unit 16 predicts the traveling direction of the detected moving body 30.

ステップＳＴ８において、衝突判定部１７は、進行方向予測部１６により予測された移動体３０の進行方向がドア６の可動範囲６ａに入る可能性があるか否か、つまりドア６が開放された場合にドア６が移動体３０と衝突する可能性があるか否かを確認する。 In step ST8, the collision determination unit 17 determines whether or not the traveling direction of the moving body 30 predicted by the traveling direction prediction unit 16 may fall within the movable range 6a of the door 6, that is, when the door 6 is opened. It is confirmed whether or not the door 6 may collide with the moving body 30.

衝突判定部１７によりドア６と移動体３０とが衝突する可能性があると判定された場合（ステップＳＴ８“ＹＥＳ”）、ステップＳＴ９において、映像加工部１８は、映像表示部１４が表示装置４に表示させる車外映像にうつる移動体３０を強調する加工を行う。また、映像加工部１８は、この車外映像に対して、移動体３０の接近を注意喚起する警告の画像を追加する加工を行う。映像表示部１４は、映像加工部１８によって加工された車外映像を、表示装置４に表示させる。 When it is determined by the collision determination unit 17 that the door 6 and the moving body 30 may collide (step ST8 “YES”), in step ST9, the image processing unit 18 has the image display unit 14 display device 4 A process is performed to emphasize the moving body 30 that is transferred to the image outside the vehicle to be displayed on the vehicle. In addition, the image processing unit 18 processes the image outside the vehicle by adding a warning image that calls attention to the approach of the moving body 30. The image display unit 14 causes the display device 4 to display the image outside the vehicle processed by the image processing unit 18.

ステップＳＴ１０において、ドアロック制御部１９は、衝突判定部１７によりドア６と移動体３０とが衝突する可能性があると判定されたため、ドア６をロックするようドアロック装置５に指示する。ドアロック装置５は、この指示に従ってドア６をロックする。表示装置４に移動体３０又は警告が表示されるため、乗員４０は、ドア６がロックされている理由を把握できる。また、ドア６がロックされるため、乗員４０が誤ってドア６を開放することが防止される。
なお、ドアロック制御部１９は、ドア６をロックした後、乗員４０の視線４０ａが表示装置４に向いた場合にドア６のロックを解除してもよい。乗員４０の視線４０ａが表示装置４に向いたということは、表示装置４に強調表示された移動体３０又は警告を乗員４０が把握したということであり、乗員４０が誤ってドア６を開放することがないと予想されるためである。
また、ドアロック制御部１９は、移動体３０が車両１脇を通過したことが移動体検知部１５により検知された場合にドア６のロックを解除してもよい。 In step ST10, the door lock control unit 19 instructs the door lock device 5 to lock the door 6 because the collision determination unit 17 determines that the door 6 and the moving body 30 may collide with each other. The door lock device 5 locks the door 6 according to this instruction. Since the moving body 30 or the warning is displayed on the display device 4, the occupant 40 can understand the reason why the door 6 is locked. Further, since the door 6 is locked, it is possible to prevent the occupant 40 from accidentally opening the door 6.
After locking the door 6, the door lock control unit 19 may unlock the door 6 when the line of sight 40a of the occupant 40 faces the display device 4. The fact that the line of sight 40a of the occupant 40 is directed toward the display device 4 means that the occupant 40 has grasped the moving body 30 or the warning highlighted on the display device 4, and the occupant 40 mistakenly opens the door 6. This is because it is expected that there will be no such thing.
Further, the door lock control unit 19 may unlock the door 6 when the moving body detecting unit 15 detects that the moving body 30 has passed the side of the vehicle 1.

移動体検知部１５により移動体３０が検知されなかった場合（ステップＳＴ６“ＮＯ”）、又は、衝突判定部１７によりドア６と移動体３０とが衝突する可能性がないと判定された場合（ステップＳＴ８“ＮＯ”）、ステップＳＴ１１において、映像加工部１８は、映像表示部１４が表示装置４に表示させる車外映像に対して、移動体３０とドア６との衝突の可能性がないことを示す画像を追加する加工を行う。映像表示部１４は、映像加工部１８によって加工された車外映像を、表示装置４に表示させる。 When the moving body 30 is not detected by the moving body detecting unit 15 (step ST6 “NO”), or when it is determined by the collision determination unit 17 that there is no possibility of the door 6 colliding with the moving body 30 (step ST6 “NO”). In step ST8 “NO”) and step ST11, the image processing unit 18 indicates that there is no possibility of a collision between the moving body 30 and the door 6 with respect to the image outside the vehicle displayed by the image display unit 14 on the display device 4. Perform processing to add the image shown. The image display unit 14 causes the display device 4 to display the image outside the vehicle processed by the image processing unit 18.

ステップＳＴ１２において、ドアロック制御部１９は、車内映像取得部１１が取得した車内映像を用いて、乗員４０の視線４０ａが表示装置４に向いているか否かを確認する。視線４０ａが表示装置４に向いている場合（ステップＳＴ１２“ＹＥＳ”）、ドアロック制御部１９は、乗員４０がドア６の死角になる車外の様子を確認したとみなし、ステップＳＴ１３において、ドア６のロックを解除するようドアロック装置５に指示する。ドアロック装置５は、この指示に従ってドア６のロックを解除する。 In step ST12, the door lock control unit 19 confirms whether or not the line of sight 40a of the occupant 40 is facing the display device 4 by using the vehicle interior image acquired by the vehicle interior image acquisition unit 11. When the line of sight 40a faces the display device 4 (step ST12 “YES”), the door lock control unit 19 considers that the occupant 40 has confirmed the appearance outside the vehicle where the door 6 becomes a blind spot, and in step ST13, the door 6 Instruct the door lock device 5 to unlock the door. The door lock device 5 unlocks the door 6 according to this instruction.

乗員４０の視線４０ａが表示装置４に向いていない場合（ステップＳＴ１２“ＮＯ”）、ドアロック制御部１９は、乗員４０がドア６の死角になる車外の様子を確認していないとみなし、ステップＳＴ１０において、ドア６をロックするようドアロック装置５に指示する。ドアロック装置５は、この指示に従ってドア６をロックする。
なお、ドアロック制御部１９は、ドア６をロックした後、乗員４０の視線４０ａが表示装置４に向いた場合にドア６のロックを解除すればよい。 When the line of sight 40a of the occupant 40 does not face the display device 4 (step ST12 “NO”), the door lock control unit 19 considers that the occupant 40 has not confirmed the appearance of the blind spot of the door 6 outside the vehicle, and steps. In ST10, the door lock device 5 is instructed to lock the door 6. The door lock device 5 locks the door 6 according to this instruction.
After locking the door 6, the door lock control unit 19 may unlock the door 6 when the line of sight 40a of the occupant 40 faces the display device 4.

次に、表示装置４に表示される車外映像を説明する。
図５は、図４のステップＳＴ９において表示装置４に表示される車外映像の一例を示す図である。映像加工部１８は、車両１のドア６に衝突する可能性がある移動体３０を強調するための四角枠３１を、車外映像に追加する。強調の方法は、四角枠３１の表示に限定されず、移動体３０の存在が強調されるような表示態様であればよい。また、映像加工部１８は、車両１のドア６に移動体３０が衝突する可能性があることを警告する警告画像３２を、車外映像に追加する。 Next, an image outside the vehicle displayed on the display device 4 will be described.
FIG. 5 is a diagram showing an example of an outside vehicle image displayed on the display device 4 in step ST9 of FIG. The image processing unit 18 adds a square frame 31 for emphasizing the moving body 30 that may collide with the door 6 of the vehicle 1 to the image outside the vehicle. The method of emphasizing is not limited to the display of the square frame 31, and any display mode may be used as long as the presence of the moving body 30 is emphasized. Further, the image processing unit 18 adds a warning image 32 that warns that the moving body 30 may collide with the door 6 of the vehicle 1 to the image outside the vehicle.

図６は、図４のステップＳＴ９において表示装置４に表示される車外映像の別の例を示す図である。図５の車外映像は車両１の後方のみであるのに対し、図６の車外映像は車両１の後方と前方の両方を含む。車外映像の範囲が広がることにより、乗員４０は、降車前により広範囲の車外の様子を確認することができる。 FIG. 6 is a diagram showing another example of an outside vehicle image displayed on the display device 4 in step ST9 of FIG. The outside image of FIG. 5 is only behind the vehicle 1, while the outside image of FIG. 6 includes both the rear and the front of the vehicle 1. By expanding the range of the image outside the vehicle, the occupant 40 can confirm a wider range of the outside of the vehicle before getting off the vehicle.

図７は、図４のステップＳＴ９において表示装置４に表示される車外映像の別の例を示す図である。図５及び図６の警告画像３２は「Ｗａｒｎｉｎｇ」という単語のみであるのに対し、図７の警告画像３３は「Ｗａｒｎｉｎｇ Ｗａｉｔ ｆｏｒ １ ｍｉｎ」というように、移動体３０が車両１脇を通過するまでの時間が追加されている。これにより、乗員４０は、降車のタイミングを把握することができる。 FIG. 7 is a diagram showing another example of an outside vehicle image displayed on the display device 4 in step ST9 of FIG. While the warning image 32 of FIGS. 5 and 6 contains only the word "Warning", the warning image 33 of FIG. 7 has a moving body 30 passing by the vehicle 1 as "Warning Wait for 1 min". Time to is added. As a result, the occupant 40 can grasp the timing of getting off.

図８は、図４のステップＳＴ１１において表示装置４に表示される車外映像の一例を示す図である。移動体３０が存在しない場合、映像加工部１８は、「Ｙｏｕ ｃａｎ ｏｐｅｎ」等の移動体３０とドア６との衝突の可能性がないことを示す警告画像３４を、車外映像に追加する。 FIG. 8 is a diagram showing an example of an outside vehicle image displayed on the display device 4 in step ST11 of FIG. When the moving body 30 does not exist, the image processing unit 18 adds a warning image 34 indicating that there is no possibility of a collision between the moving body 30 and the door 6 such as "You can open" to the image outside the vehicle.

図９は、図４のステップＳＴ１１において表示装置４に表示される車外映像の別の例を示す図である。車両１の周囲に移動体３０が存在するが、この移動体３０が隣の車線を走行中等であってドア６との衝突の可能性がない場合、映像加工部１８は、「Ｏｐｅｎ ａ ｄｏｏｒ Ｃａｒｅｆｕｌｌｙ」等の移動体３０とドア６との衝突の可能性が低いことを示す警告画像３５を、車外映像に追加する。 FIG. 9 is a diagram showing another example of an outside vehicle image displayed on the display device 4 in step ST11 of FIG. When there is a moving body 30 around the vehicle 1, but the moving body 30 is traveling in the adjacent lane and there is no possibility of a collision with the door 6, the image processing unit 18 determines "Open door Callefly". A warning image 35 indicating that the possibility of collision between the moving body 30 and the door 6 is low is added to the image outside the vehicle.

映像加工部１８は、移動体３０を強調するための四角枠３０と警告画像３２，３３，３４，３５の表示色を、衝突可能性に応じて変更してもよい。例えば、映像加工部１８は、移動体３０とドア６との衝突可能性が高い図５、図６及び図７の四角枠３１と警告画像３２，３３とを赤色にし、衝突可能性がない図８の警告画像３４を緑色にし、衝突可能性が低い図９の四角枠３１と警告画像３５とを黄色にする。 The image processing unit 18 may change the display colors of the square frame 30 for emphasizing the moving body 30 and the warning images 32, 33, 34, 35 according to the possibility of collision. For example, the image processing unit 18 turns the square frames 31 of FIGS. 5, 6 and 7, which have a high possibility of collision with the moving body 30 and the door 6, and the warning images 32 and 33 in red, so that there is no possibility of collision. The warning image 34 of No. 8 is colored green, and the square frame 31 and the warning image 35 of FIG. 9, which have a low possibility of collision, are colored yellow.

なお、乗員４０は、必ずしもドア６を全開にして降車するとは限らず、例えば、半分開けて降車する場合もあり得る。そこで、衝突判定部１７は、移動体３０の進行方向に基づいて移動体３０のドア６への接近距離を予測し、予測した接近距離が予め定められた閾値以上であるか否かを確認する。この予め定められた閾値は、例えば、ドア６を半分開けた場合の、ドア６の車両１から最も離れた部分と車両１との間の距離である。衝突判定部１７は、予測した接近距離が予め定められた閾値以上である場合、注意しながらであればドア６を開放できると判定し、予測した接近距離が予め定められた閾値未満である場合、ドア６と移動体３０とが衝突する可能性が高いと判定する。 The occupant 40 does not always get off with the door 6 fully opened, and may, for example, get off with the door 6 half open. Therefore, the collision determination unit 17 predicts the approach distance of the moving body 30 to the door 6 based on the traveling direction of the moving body 30, and confirms whether or not the predicted approach distance is equal to or greater than a predetermined threshold value. .. This predetermined threshold is, for example, the distance between the vehicle 1 and the farthest portion of the door 6 from the vehicle 1 when the door 6 is half-opened. When the predicted approach distance is equal to or greater than a predetermined threshold value, the collision determination unit 17 determines that the door 6 can be opened with caution, and when the predicted approach distance is less than a predetermined threshold value. , It is determined that there is a high possibility that the door 6 and the moving body 30 collide with each other.

また、移動体３０の速度が遅い、又は車両１との距離が長い等の状況では、移動体３０が車両１脇を通過するまでの時間が長い。そのため、移動体検知部１５により移動体３０が検知されたとしても、この移動体３０が車両１脇を通過するまでの間に乗員４０が降車可能な場合があり得る。そこで、衝突判定部１７は、移動体３０が車両１脇を通過するまでの時間が予め定められた閾値以上であるか否かを確認する。この予め定められた閾値は、例えば、乗員４０がドア６を開放して降車し、ドア６を閉じるために要する時間である。衝突判定部１７は、移動体３０が車両１脇を通過するまでの時間が予め定められた閾値以上である場合、注意しながらであればドア６を開放できると判定し、移動体３０が車両１脇を通過するまでの時間が予め定められた閾値未満である場合、ドア６と移動体３０とが衝突する可能性が高いと判定する。 Further, in a situation where the speed of the moving body 30 is slow or the distance to the vehicle 1 is long, it takes a long time for the moving body 30 to pass by the vehicle 1. Therefore, even if the moving body 30 is detected by the moving body detecting unit 15, the occupant 40 may be able to get off before the moving body 30 passes by the side of the vehicle 1. Therefore, the collision determination unit 17 confirms whether or not the time until the moving body 30 passes by the side of the vehicle 1 is equal to or greater than a predetermined threshold value. This predetermined threshold value is, for example, the time required for the occupant 40 to open the door 6 to get off and close the door 6. The collision determination unit 17 determines that the door 6 can be opened if care is taken when the time until the moving body 30 passes by the vehicle 1 is equal to or longer than a predetermined threshold value, and the moving body 30 determines that the vehicle If the time required to pass one side is less than a predetermined threshold value, it is determined that the door 6 and the moving body 30 are likely to collide.

映像加工部１８は、衝突判定部１７により注意しながらであればドア６を開放できると判定された場合、例えば図９のような警告画像３５を車外映像に対して追加する。また、ドアロック制御部１９は、ドア６のロックを解除するようドアロック装置５に指示する。
一方、映像加工部１８は、衝突判定部１７によりドア６と移動体３０とが衝突する可能性が高いと判定された場合、例えば、図５のような警告画像３２を車外映像に対して追加する。また、ドアロック制御部１９は、ドア６をロックするようドアロック装置５に指示する。このように、映像加工部１８は、衝突判定部１７により予測された移動体３０のドア６への接近距離に応じて、又は、衝突判定部１７により計算された移動体３０が車両１脇を通過するまでの時間に応じて、車外映像に対して追加する警告画像の表示態様を変更する。 When the image processing unit 18 determines that the door 6 can be opened with caution by the collision determination unit 17, for example, the image processing unit 18 adds a warning image 35 as shown in FIG. 9 to the vehicle exterior image. Further, the door lock control unit 19 instructs the door lock device 5 to unlock the door 6.
On the other hand, when the collision determination unit 17 determines that the door 6 and the moving body 30 are likely to collide, the image processing unit 18 adds, for example, a warning image 32 as shown in FIG. 5 to the vehicle exterior image. To do. Further, the door lock control unit 19 instructs the door lock device 5 to lock the door 6. In this way, in the image processing unit 18, the moving body 30 calculated according to the approach distance of the moving body 30 to the door 6 predicted by the collision determination unit 17 or by the collision determination unit 17 moves to the side of the vehicle 1. The display mode of the warning image to be added to the image outside the vehicle is changed according to the time until the vehicle passes.

最後に、実施の形態１に係るドア開放警告装置１０のハードウェア構成を説明する。
図１０及び図１１は、実施の形態１に係るドア開放警告装置１０のハードウェア構成例を示す図である。ドア開放警告装置１０における車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９の機能は、処理回路により実現される。即ち、ドア開放警告装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。 Finally, the hardware configuration of the door opening warning device 10 according to the first embodiment will be described.
10 and 11 are diagrams showing a hardware configuration example of the door opening warning device 10 according to the first embodiment. In-vehicle image acquisition unit 11, contact detection unit 12, external image acquisition unit 13, image display unit 14, moving object detection unit 15, traveling direction prediction unit 16, collision detection unit 17, image processing unit 18, in the door opening warning device 10. And the function of the door lock control unit 19 is realized by the processing circuit. That is, the door open warning device 10 includes a processing circuit for realizing the above function. The processing circuit may be a processing circuit 100 as dedicated hardware, or a processor 101 that executes a program stored in the memory 102.

図１０に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。 As shown in FIG. 10, when the processing circuit is dedicated hardware, the processing circuit 100 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Processor Metal Gate Array), or a combination thereof. In-vehicle image acquisition unit 11, contact detection unit 12, outside vehicle image acquisition unit 13, image display unit 14, moving object detection unit 15, traveling direction prediction unit 16, collision detection unit 17, image processing unit 18, and door lock control unit 19 The functions of the above may be realized by a plurality of processing circuits 100, or the functions of each part may be collectively realized by one processing circuit 100.

図１１に示されるように、処理回路がプロセッサ１０１である場合、車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、ドア開放警告装置１０は、プロセッサ１０１により実行されるときに、図４のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９の手順又は方法をコンピュータに実行させるものであるとも言える。 As shown in FIG. 11, when the processing circuit is the processor 101, the vehicle interior image acquisition unit 11, the contact detection unit 12, the vehicle exterior image acquisition unit 13, the image display unit 14, the moving object detection unit 15, and the traveling direction prediction unit 16 The functions of the collision determination unit 17, the image processing unit 18, and the door lock control unit 19 are realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 102. The processor 101 realizes the functions of each part by reading and executing the program stored in the memory 102. That is, the door open warning device 10 includes a memory 102 for storing a program in which the step shown in the flowchart of FIG. 4 is eventually executed when executed by the processor 101. In addition, this program includes an in-vehicle image acquisition unit 11, a contact detection unit 12, an outside vehicle image acquisition unit 13, an image display unit 14, a moving object detection unit 15, a traveling direction prediction unit 16, a collision determination unit 17, and an image processing unit 18. It can also be said that the procedure or method of the door lock control unit 19 is executed by the computer.

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。 Here, the processor 101 is a CPU (Central Processing Unit), a processing device, an arithmetic unit, a microprocessor, or the like.
The memory 102 may be a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a flash memory, and may be a non-volatile or volatile semiconductor memory such as a hard disk or a flexible disk. It may be a magnetic disk of the above, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versaille Disc).

なお、車内映像取得部１１、接触検知部１２、車外映像取得部１３、映像表示部１４、移動体検知部１５、進行方向予測部１６、衝突判定部１７、映像加工部１８、及びドアロック制御部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、ドア開放警告装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。 In-vehicle image acquisition unit 11, contact detection unit 12, exterior image acquisition unit 13, image display unit 14, moving object detection unit 15, traveling direction prediction unit 16, collision determination unit 17, image processing unit 18, and door lock control. Some of the functions of the unit 19 may be realized by dedicated hardware, and some may be realized by software or firmware. As described above, the processing circuit in the door opening warning device 10 can realize the above-mentioned functions by hardware, software, firmware, or a combination thereof.

以上のように、実施の形態１に係るドア開放警告装置１０は、接触検知部１２と、車外映像取得部１３と、映像表示部１４と、移動体検知部１５と、進行方向予測部１６と、衝突判定部１７とを備える。接触検知部１２は、車両１のドア６内側のレバーに対する乗員４０の手の接触を検知する。車外映像取得部１３は、車両１の周囲を撮像する車外撮像装置３が撮像した車外映像を取得する。映像表示部１４は、接触検知部１２により接触が検知された場合、ドア６の内側に設置された表示装置４に車外映像を表示させる。移動体検知部１５は、車両１の周囲に存在する移動体３０を検知する。進行方向予測部１６は、移動体検知部１５により検知された移動体３０の進行方向を予測する。衝突判定部１７は、移動体３０の進行方向に基づいて移動体３０がドア６の可動範囲６ａに入るか否かを判定する。映像加工部１８は、衝突判定部１７により移動体３０がドア６の可動範囲６ａに入ると判定された場合、車外映像に対して移動体３０を強調する加工を行う。このように、ドア開放警告装置１０は、乗員４０の手がドア６内側のレバーに接触した場合に車外映像を表示装置４に表示させるようにしたので、乗員４０に、ドア６の死角となる車外の様子を確認させた上でドア６を開放させることができる。また、ドア開放警告装置１０は、移動体３０の進行方向に基づいて移動体３０がドア６の可動範囲に入るか否かを判定するようにしたので、車両１のドア６に衝突する可能性がある移動体３０を検知することができると共に、移動体３０が存在したとしてもドア６に衝突する可能性がない場合に不要な警告を行わないようにできる。 As described above, the door opening warning device 10 according to the first embodiment includes the contact detection unit 12, the vehicle exterior image acquisition unit 13, the image display unit 14, the moving object detection unit 15, and the traveling direction prediction unit 16. , A collision determination unit 17 is provided. The contact detection unit 12 detects the contact of the occupant 40's hand with the lever inside the door 6 of the vehicle 1. The vehicle exterior image acquisition unit 13 acquires the vehicle exterior image captured by the vehicle exterior image pickup device 3 that images the surroundings of the vehicle 1. When the contact detection unit 12 detects the contact, the image display unit 14 causes the display device 4 installed inside the door 6 to display the image outside the vehicle. The moving body detection unit 15 detects the moving body 30 existing around the vehicle 1. The traveling direction prediction unit 16 predicts the traveling direction of the moving body 30 detected by the moving body detecting unit 15. The collision determination unit 17 determines whether or not the moving body 30 enters the movable range 6a of the door 6 based on the traveling direction of the moving body 30. When the collision determination unit 17 determines that the moving body 30 is within the movable range 6a of the door 6, the image processing unit 18 performs processing to emphasize the moving body 30 with respect to the image outside the vehicle. In this way, the door opening warning device 10 causes the occupant 40 to display the image outside the vehicle on the display device 4 when the hand of the occupant 40 touches the lever inside the door 6, so that the occupant 40 becomes a blind spot of the door 6. The door 6 can be opened after confirming the situation outside the vehicle. Further, since the door opening warning device 10 determines whether or not the moving body 30 is within the movable range of the door 6 based on the traveling direction of the moving body 30, there is a possibility of collision with the door 6 of the vehicle 1. It is possible to detect a certain moving body 30, and it is possible not to give an unnecessary warning when there is no possibility of colliding with the door 6 even if the moving body 30 is present.

また、実施の形態１に係るドア開放警告装置１０は、衝突判定部１７により移動体３０がドア６の可動範囲６ａに入ると判定された場合に、ドア６をロックするようドアロック装置５に対して指示するドアロック制御部１９を備える。これにより、ドア開放警告装置１０は、ドア６と移動体３０との衝突を未然に防ぐことができる。 Further, the door opening warning device 10 according to the first embodiment causes the door lock device 5 to lock the door 6 when the collision determination unit 17 determines that the moving body 30 is within the movable range 6a of the door 6. A door lock control unit 19 for instructing the user is provided. As a result, the door opening warning device 10 can prevent a collision between the door 6 and the moving body 30 in advance.

また、実施の形態１のドアロック制御部１９は、乗員４０の視線を検知し、検知した乗員４０の視線が表示装置４に向いていない場合にドア６をロックするようドアロック装置５に対して指示する。これにより、ドア開放警告装置１０は、乗員４０が表示装置４を見ていない、つまり移動体３０の存在を認識していない場合に、ドア６と移動体３０との衝突を未然に防ぐことができる。 Further, the door lock control unit 19 of the first embodiment detects the line of sight of the occupant 40, and causes the door lock device 5 to lock the door 6 when the detected line of sight of the occupant 40 does not face the display device 4. To instruct. As a result, the door opening warning device 10 can prevent a collision between the door 6 and the moving body 30 when the occupant 40 does not see the display device 4, that is, does not recognize the existence of the moving body 30. it can.

また、実施の形態１の衝突判定部１７は、移動体３０の進行方向に基づいて移動体３０のドア６への接近距離を予測する。映像加工部１８は、衝突判定部１７により予測された接近距離に応じた表示態様の警告画像３２，３５を車外映像に対して追加する。これにより、ドア開放警告装置１０は、乗員４０がドア６を全開にしなくても降車できる場合には移動体３０とドア６との衝突可能性が低いと判定できるようになり、かつ、その判定に合わせた警告を行うことができるようになる。 Further, the collision determination unit 17 of the first embodiment predicts the approach distance of the moving body 30 to the door 6 based on the traveling direction of the moving body 30. The image processing unit 18 adds warning images 32 and 35 of the display mode according to the approach distance predicted by the collision determination unit 17 to the image outside the vehicle. As a result, the door opening warning device 10 can determine that the possibility of collision between the moving body 30 and the door 6 is low when the occupant 40 can get off without fully opening the door 6, and the determination is made. It will be possible to issue a warning according to.

また、実施の形態１の衝突判定部１７は、移動体３０が車両１脇を通過するまでの時間を計算する。映像加工部１８は、衝突判定部１７により計算された時間に応じた表示態様の警告画像３２，３５を車外映像に対して追加する。これにより、ドア開放警告装置１０は、移動体３０が車両１に到達する前に乗員４０が車両１から降車できる場合には移動体３０とドア６との衝突可能性が低いと判定できるようになり、かつ、その判定に合わせた警告を行うことができるようになる。 Further, the collision determination unit 17 of the first embodiment calculates the time until the moving body 30 passes by the side of the vehicle 1. The image processing unit 18 adds warning images 32 and 35 of the display mode according to the time calculated by the collision determination unit 17 to the image outside the vehicle. As a result, the door opening warning device 10 can determine that the possibility of collision between the moving body 30 and the door 6 is low if the occupant 40 can get off the vehicle 1 before the moving body 30 reaches the vehicle 1. At the same time, it becomes possible to issue a warning according to the judgment.

なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、又は実施の形態の任意の構成要素の省略が可能である。 It should be noted that, within the scope of the present invention, it is possible to modify any component of the embodiment or omit any component of the embodiment.

１ 車両、２ 車内撮像装置、３ 車外撮像装置、４ 表示装置、５ ドアロック装置、６ ドア、６ａ 可動範囲、１０ ドア開放警告装置、１１ 車内映像取得部、１２ 接触検知部、１３ 車外映像取得部、１４ 映像表示部、１５ 移動体検知部、１６ 進行方向予測部、１７ 衝突判定部、１８ 映像加工部、１９ ドアロック制御部、３０ 移動体、３１ 四角枠、３２，３３，３４，３５ 警告画像、４０ 乗員、４０ａ 視線、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。 1 vehicle, 2 in-vehicle image pickup device, 3 outside vehicle image pickup device, 4 display device, 5 door lock device, 6 doors, 6a movable range, 10 door open warning device, 11 in-vehicle image acquisition unit, 12 contact detection unit, 13 outside vehicle image acquisition Unit, 14 Video display unit, 15 Moving object detection unit, 16 Travel direction prediction unit, 17 Collision detection unit, 18 Video processing unit, 19 Door lock control unit, 30 Moving object, 31 Square frame, 32, 33, 34, 35 Warning image, 40 occupants, 40a line of sight, 100 processing circuits, 101 processors, 102 memories.

Claims (8)

車両のドア内側のレバーに対する乗員の手の接触を検知する接触検知部と、
前記車両の周囲を撮像する車外撮像装置が撮像した車外映像を取得する車外映像取得部と、
前記接触検知部により接触が検知された場合、前記ドアの内側に設置された表示装置に前記車外映像を表示させる映像表示部と、
前記車両の周囲に存在する移動体を検知する移動体検知部と、
前記移動体検知部により検知された前記移動体の進行方向を予測する進行方向予測部と、
前記移動体の進行方向に基づいて前記移動体が前記ドアの可動範囲に入るか否かを判定する衝突判定部と、
前記衝突判定部により前記移動体が前記ドアの可動範囲に入ると判定された場合、前記車外映像に対して前記移動体を強調する加工を行う映像加工部とを備えるドア開放警告装置。 A contact detector that detects the contact of the occupant's hand with the lever inside the vehicle door,
An out-of-vehicle image acquisition unit that acquires an out-of-vehicle image captured by an out-of-vehicle image pickup device that images the surroundings of the vehicle, and an out-of-vehicle image acquisition unit.
When a contact is detected by the contact detection unit, a video display unit that displays the image outside the vehicle on a display device installed inside the door, and a video display unit.
A mobile body detection unit that detects a moving body existing around the vehicle,
A traveling direction prediction unit that predicts the traveling direction of the moving body detected by the moving object detecting unit,
A collision determination unit that determines whether or not the moving body enters the movable range of the door based on the traveling direction of the moving body.
A door opening warning device including a video processing unit that performs processing for emphasizing the moving body on an image outside the vehicle when the collision determination unit determines that the moving body is within the movable range of the door. 前記車両の内部を撮像する車内撮像装置が撮像した車内映像を取得する車内映像取得部を備え、
前記接触検知部は、前記車内映像取得部により取得された前記車内映像を用いて前記レバーに対する前記乗員の手の接触を検知することを特徴とする請求項１記載のドア開放警告装置。 It is provided with an in-vehicle image acquisition unit that acquires an in-vehicle image captured by the in-vehicle image pickup device that images the inside of the vehicle.
The door opening warning device according to claim 1, wherein the contact detection unit detects the contact of the occupant's hand with the lever by using the vehicle interior image acquired by the vehicle interior image acquisition unit. 前記衝突判定部により前記移動体が前記ドアの可動範囲に入ると判定された場合、前記ドアをロックするようドアロック装置に対して指示するドアロック制御部を備えることを特徴とする請求項１記載のドア開放警告装置。 The first aspect of the present invention is the provision of a door lock control unit that instructs the door lock device to lock the door when the moving body is determined by the collision determination unit to be within the movable range of the door. The described door opening warning device. 前記ドアロック制御部は、前記乗員の視線を検知し、検知した前記乗員の視線が前記表示装置に向いていない場合、前記ドアをロックするよう前記ドアロック装置に対して指示することを特徴とする請求項３記載のドア開放警告装置。 The door lock control unit detects the line of sight of the occupant and instructs the door lock device to lock the door when the detected line of sight of the occupant is not directed to the display device. The door opening warning device according to claim 3. 前記衝突判定部は、前記進行方向に基づいて前記移動体の前記ドアへの接近距離を予測し、
前記映像加工部は、前記衝突判定部により予測された前記接近距離に応じた表示態様の警告画像を前記車外映像に対して追加することを特徴とする請求項１記載のドア開放警告装置。 The collision determination unit predicts the approach distance of the moving body to the door based on the traveling direction.
The door opening warning device according to claim 1, wherein the image processing unit adds a warning image of a display mode corresponding to the approach distance predicted by the collision determination unit to the vehicle exterior image. 前記衝突判定部は、前記移動体が前記車両脇を通過するまでの時間を計算し、
前記映像加工部は、前記衝突判定部により計算された前記時間に応じた表示態様の警告画像を前記車外映像に対して追加することを特徴とする請求項１記載のドア開放警告装置。 The collision determination unit calculates the time until the moving body passes by the side of the vehicle.
The door opening warning device according to claim 1, wherein the image processing unit adds a warning image of a display mode according to the time calculated by the collision determination unit to the outside image. 接触検知部が、車両のドア内側のレバーに対する乗員の手の接触を検知し、
車外映像取得部が、前記車両の周囲を撮像する車外撮像装置が撮像した車外映像を取得し、
映像表示部が、前記接触検知部により接触が検知された場合、前記ドアの内側に設置された表示装置に前記車外映像を表示させ、
移動体検知部が、前記車両の周囲に存在する移動体を検知し、
進行方向予測部が、前記移動体検知部により検知された前記移動体の進行方向を予測し、
衝突判定部が、前記移動体の進行方向に基づいて前記移動体が前記ドアの可動範囲に入るか否かを判定し、
映像加工部が、前記衝突判定部により前記移動体が前記ドアの可動範囲に入ると判定された場合、前記車外映像に対して前記移動体を強調する加工を行うドア開放警告方法。 The contact detection unit detects the contact of the occupant's hand with the lever inside the vehicle door,
The vehicle exterior image acquisition unit acquires the vehicle exterior image captured by the vehicle exterior image pickup device that images the surroundings of the vehicle.
When the image display unit detects contact by the contact detection unit, the display device installed inside the door displays the image outside the vehicle.
The moving object detection unit detects a moving object existing around the vehicle,
The traveling direction prediction unit predicts the traveling direction of the moving body detected by the moving body detecting unit, and then
The collision determination unit determines whether or not the moving body is within the movable range of the door based on the traveling direction of the moving body.
A door opening warning method in which when the image processing unit determines that the moving body is within the movable range of the door by the collision determination unit, the image processing unit performs processing to emphasize the moving body with respect to the image outside the vehicle. 車両のドア内側のレバーに対する乗員の手の接触を検知する接触検知手順と、
前記車両の周囲を撮像する車外撮像装置が撮像した車外映像を取得する車外映像取得手順と、
前記接触検知手順により接触が検知された場合、前記ドアの内側に設置された表示装置に前記車外映像を表示させる映像表示手順と、
前記車両の周囲に存在する移動体を検知する移動体検知手順と、
前記移動体検知手順により検知された前記移動体の進行方向を予測する進行方向予測手順と、
前記移動体の進行方向に基づいて前記移動体が前記ドアの可動範囲に入るか否かを判定する衝突判定手順と、
前記衝突判定手順により前記移動体が前記ドアの可動範囲に入ると判定された場合、前記車外映像に対して前記移動体を強調する加工を行う映像加工手順とを、コンピュータに実行させるドア開放警告プログラム。 A contact detection procedure that detects the contact of the occupant's hand with the lever inside the vehicle door,
The vehicle exterior image acquisition procedure for acquiring the vehicle exterior image captured by the vehicle exterior image pickup device that images the surroundings of the vehicle, and the vehicle exterior image acquisition procedure.
When a contact is detected by the contact detection procedure, an image display procedure for displaying the image outside the vehicle on a display device installed inside the door, and an image display procedure.
A moving body detection procedure for detecting a moving body existing around the vehicle, and
A traveling direction prediction procedure for predicting the traveling direction of the moving body detected by the moving object detection procedure, and a traveling direction prediction procedure.
A collision determination procedure for determining whether or not the moving body is within the movable range of the door based on the traveling direction of the moving body, and a collision determination procedure.
When it is determined by the collision determination procedure that the moving object is within the movable range of the door, the door opening warning causes the computer to execute an image processing procedure for emphasizing the moving object with respect to the image outside the vehicle. program.
JP2019110500A 2019-06-13 2019-06-13 Door opening warning device, door opening warning method, and door opening warning program Pending JP2020201881A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019110500A JP2020201881A (en) 2019-06-13 2019-06-13 Door opening warning device, door opening warning method, and door opening warning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019110500A JP2020201881A (en) 2019-06-13 2019-06-13 Door opening warning device, door opening warning method, and door opening warning program

Publications (1)

Publication Number Publication Date
JP2020201881A true JP2020201881A (en) 2020-12-17

Family

ID=73744214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019110500A Pending JP2020201881A (en) 2019-06-13 2019-06-13 Door opening warning device, door opening warning method, and door opening warning program

Country Status (1)

Country Link
JP (1) JP2020201881A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572291A (en) * 2020-12-22 2021-03-30 的卢技术有限公司 Vehicle door opening early warning method
CN114643934A (en) * 2020-12-18 2022-06-21 丰田自动车株式会社 Vehicle door lean detection system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010254115A (en) * 2009-04-24 2010-11-11 Alpine Electronics Inc Vehicle driving assistance system
JP2017177883A (en) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 On-vehicle notification device
JP2018069769A (en) * 2016-10-24 2018-05-10 アイシン精機株式会社 Door device for vehicle
JP2018134887A (en) * 2017-02-20 2018-08-30 株式会社アルファ Periphery monitoring device for vehicle
JP2018160135A (en) * 2017-03-23 2018-10-11 株式会社東芝 Device for calling attention in getting off a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010254115A (en) * 2009-04-24 2010-11-11 Alpine Electronics Inc Vehicle driving assistance system
JP2017177883A (en) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 On-vehicle notification device
JP2018069769A (en) * 2016-10-24 2018-05-10 アイシン精機株式会社 Door device for vehicle
JP2018134887A (en) * 2017-02-20 2018-08-30 株式会社アルファ Periphery monitoring device for vehicle
JP2018160135A (en) * 2017-03-23 2018-10-11 株式会社東芝 Device for calling attention in getting off a vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643934A (en) * 2020-12-18 2022-06-21 丰田自动车株式会社 Vehicle door lean detection system
CN114643934B (en) * 2020-12-18 2024-04-09 丰田自动车株式会社 Vehicle door leaning detection system
CN112572291A (en) * 2020-12-22 2021-03-30 的卢技术有限公司 Vehicle door opening early warning method

Similar Documents

Publication Publication Date Title
EP3007932B1 (en) Door protection system
US10407060B2 (en) Driver assistance apparatus and method for operating the same
US11261642B2 (en) System and method for tracking moving objects to avoid interference with vehicular door operations
JP6644985B2 (en) Opening and closing system
JP3690150B2 (en) BACKWARD SUPPORT DEVICE AND VEHICLE IN VEHICLE
US11225822B2 (en) System and method for opening and closing vehicle door
JP6022575B2 (en) Detection of vehicle mounting parts
US11473353B2 (en) Vehicle door apparatus to restrict opening of a door
US11787334B2 (en) Driver assistance system and method for vehicle flank safety
WO2018151328A1 (en) Vehicular periphery monitoring device
JP2013093013A (en) Image processing device and vehicle
CN106997454A (en) System and method close to the object of vehicle are detected based on camera
JP2009143251A (en) Vehicular door opening/closing control device, vehicular door opening angle calculation device, and vehicular door opening angle limiting device
JP2020201881A (en) Door opening warning device, door opening warning method, and door opening warning program
JP2020093567A (en) Disembarkation support apparatus
CN108583568A (en) Parking assistance method, system and the vehicle equipped with the system
JP2016190575A (en) Parking support device and parking support system
WO2016194144A1 (en) Vehicle door opening warning device and vehicle door opening warning system
KR101759020B1 (en) Apparatuis and method for providing automatic alarm for hazardous situation according to the open-door of the vehicle
JP6451342B2 (en) Opening and closing body drive device for vehicle
KR20150058881A (en) Air circulation control method for vehicle based on image recognition
JP2018039471A (en) Door mirror control device
KR102429499B1 (en) Appartus and method for preventing clash slidong door of vehicle
JP2009116539A (en) Peripheral monitoring device
JP7192553B2 (en) vehicle door operator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221206