JP7051369B2 - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP7051369B2
JP7051369B2 JP2017205387A JP2017205387A JP7051369B2 JP 7051369 B2 JP7051369 B2 JP 7051369B2 JP 2017205387 A JP2017205387 A JP 2017205387A JP 2017205387 A JP2017205387 A JP 2017205387A JP 7051369 B2 JP7051369 B2 JP 7051369B2
Authority
JP
Japan
Prior art keywords
vehicle
image
external
contact
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017205387A
Other languages
Japanese (ja)
Other versions
JP2019079250A (en
Inventor
史晃 板東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2017205387A priority Critical patent/JP7051369B2/en
Publication of JP2019079250A publication Critical patent/JP2019079250A/en
Application granted granted Critical
Publication of JP7051369B2 publication Critical patent/JP7051369B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

近年、車両に対するセキュリティー機能が種々提案されている。例えば、窓ガラスを割られるなどの危害が車両に加えられた場合に、サイレン等の警報を鳴らしたり、ランプ等を点滅させたりする装置が車両に搭載される。さらに、例えば特許文献１では、車両に対して接近者を検知した場合に、車載カメラで接近者を撮影し、その画像を車両の所有者の携帯端末に送信するセキュリティー機能が提案されている。 In recent years, various security functions for vehicles have been proposed. For example, a device for sounding an alarm such as a siren or blinking a lamp or the like is mounted on the vehicle when harm such as a broken window glass is applied to the vehicle. Further, for example, Patent Document 1 proposes a security function in which, when an approaching person is detected with respect to a vehicle, the approaching person is photographed by an in-vehicle camera and the image is transmitted to the mobile terminal of the owner of the vehicle.

特開２０１１－２０７４４４号公報Japanese Unexamined Patent Publication No. 2011-207444

しかしながら、従来技術のように車内視点で車両に接近する人や他の物体を撮影する場合、画像上で、例えば窓枠やボディ等の車両の一部が対象物と重なって記録されることがある。すなわち、対象物の全貌を把握することができない虞があることに課題があった。また、従来技術のように車内視点で車両に接近する人や他の物体を撮影する場合、車両に人や他の物体が接近し、接触された車両の部分の外観を詳細に把握することができない虞があることに課題があった。したがって、車両に危害が加えられた際に、車両に接近する人や他の物体を画像として記録しても、その画像を有効に活用できないことが懸念された。 However, when a person or other object approaching the vehicle is photographed from the viewpoint inside the vehicle as in the conventional technology, a part of the vehicle such as a window frame or a body may be recorded on the image so as to overlap with the object. be. That is, there is a problem that the whole picture of the object may not be grasped. In addition, when shooting a person or other object approaching the vehicle from the viewpoint inside the vehicle as in the conventional technology, it is possible to grasp in detail the appearance of the part of the vehicle in which the person or other object approaches the vehicle and is in contact with the vehicle. There was a problem that there was a possibility that it could not be done. Therefore, when the vehicle is harmed, there is a concern that even if a person or another object approaching the vehicle is recorded as an image, the image cannot be effectively used.

本発明は、上記の課題に鑑みなされたものであり、車両に危害が加えられた際に、状況把握や事後対応において有効な画像を得ることを可能とする技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of obtaining an effective image in grasping a situation and responding after the fact when a vehicle is harmed. ..

本発明に係る画像処理装置は、車載カメラで撮影された撮影画像を処理する画像処理装置であって、前記車載カメラが搭載された車両への外部からの接触を予測または検出する接近検出部と、前記車両の内部の所定位置を第１視点位置とし、前記第１視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像、及び前記車両の外部の所定位置を第２視点位置とし、前記第２視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を含む前記車両の外観画像を生成する画像生成部と、前記車外画像及び前記外観画像を外部装置に対して送信する通信部と、を備え、前記接近検出部が前記車両への前記接触を予測または検出した場合に、前記画像生成部が前記車外画像及び前記外観画像を生成し、当該車外画像及び当該外観画像を前記通信部を介して前記外部装置に対して送信する構成（第１の構成）である。 The image processing device according to the present invention is an image processing device that processes an image taken by an in-vehicle camera, and is a proximity detection unit that predicts or detects an external contact with a vehicle on which the in-vehicle camera is mounted. A predetermined position inside the vehicle is set as the first viewpoint position, the direction of the contact position viewed from the first viewpoint position is set as the line-of-sight direction, and an outside image including the image of the vehicle as a transmission image, and the vehicle An image generation unit that generates an external image of the vehicle including an image of the vehicle, with a predetermined external position as the second viewpoint position and the direction of the contact position as seen from the second viewpoint position as the line-of-sight direction, and the above. A communication unit that transmits an external image and the external image to an external device is provided, and when the approach detecting unit predicts or detects the contact with the vehicle, the image generating unit predicts or detects the external image and the external device. It is a configuration (first configuration) in which an external image is generated and the external image and the external image are transmitted to the external device via the communication unit.

また、上記第１の構成の画像処理装置において、前記接近検出部は、前記車両に接近する物体を検出し、前記画像生成部は、前記接触の位置を頂点として前記車両と前記物体とで形成される角の内側にある位置を前記第２視点位置に係る前記所定位置とする構成（第２の構成）であっても良い。 Further, in the image processing apparatus having the first configuration, the approach detection unit detects an object approaching the vehicle, and the image generation unit is formed by the vehicle and the object with the contact position as an apex. The position inside the corner to be formed may be the predetermined position related to the second viewpoint position (second configuration).

また、上記第１または第２の構成の画像処理装置において、前記接近検出部は、前記車両に接近する物体を検出し、前記物体による前記車両への前記接触を予測する構成（第３の構成）であっても良い。 Further, in the image processing apparatus having the first or second configuration, the approach detection unit detects an object approaching the vehicle and predicts the contact of the object with the vehicle (third configuration). ) May be.

また、上記第３の構成の画像処理装置において、前記接近検出部は、前記物体が前記車両への接近後、前記物体が所定時間、前記車両から所定範囲内に滞在することで、前記物体による前記車両への前記接触を予測する構成（第４の構成）であっても良い。 Further, in the image processing apparatus having the third configuration, the approach detection unit is based on the object by allowing the object to stay within a predetermined range from the vehicle for a predetermined time after the object approaches the vehicle. It may be a configuration (fourth configuration) that predicts the contact with the vehicle.

また、上記第１から第４の構成の画像処理装置において、前記接近検出部が前記車両への前記接触を予測した場合に、前記画像生成部が前記車外画像及び前記外観画像の生成を開始し、さらに、前記接近検出部が前記車両への前記接触を検出した場合に、前記通信部が前記車外画像及び前記外観画像を前記外部装置に対して送信する構成（第５の構成）であっても良い。 Further, in the image processing apparatus having the first to fourth configurations, when the approach detection unit predicts the contact with the vehicle, the image generation unit starts to generate the outside image and the appearance image. Further, when the approach detection unit detects the contact with the vehicle, the communication unit transmits the vehicle exterior image and the appearance image to the external device (fifth configuration). Is also good.

また、上記第１から第５の構成の画像処理装置において、前記接近検出部は、前記車両の内部に乗員がいないことを検出すると、前記車両への外部からの前記接触の予測または検出を開始する構成（第６の構成）であっても良い。 Further, in the image processing apparatus having the first to fifth configurations, when the approach detection unit detects that there is no occupant inside the vehicle, it starts predicting or detecting the contact from the outside to the vehicle. It may be the configuration (sixth configuration).

また、上記第１から第６の構成の画像処理装置において、前記車外画像及び前記外観画像の記録が可能な記憶部を備える構成（第７の構成）であっても良い。 Further, the image processing apparatus having the first to sixth configurations may have a configuration (seventh configuration) including a storage unit capable of recording the vehicle exterior image and the appearance image.

また、上記第７の構成の画像処理装置において、前記車外画像及び前記外観画像は、前記接近検出部が前記車両への前記接触を予測したことに基づいて前記記憶部に記憶され、前記記憶部に記憶された当該車外画像及び当該外観画像は、前記接近検出部が前記車両への前記接触を検出した場合に、前記記憶部に保存され、前記接近検出部が前記車両への前記接触を予測しなくなった場合に、前記記憶部から破棄される構成（第８の構成）であっても良い。 Further, in the image processing device having the seventh configuration, the vehicle exterior image and the appearance image are stored in the storage unit based on the fact that the approach detection unit predicts the contact with the vehicle, and the storage unit. The outside image and the appearance image stored in the storage unit are stored in the storage unit when the approach detection unit detects the contact with the vehicle, and the approach detection unit predicts the contact with the vehicle. It may be a configuration (eighth configuration) in which the storage unit discards the image when the image is no longer used.

また、上記第１から第８の構成の画像処理装置において、前記通信部は、前記車外画像及び前記外観画像の記録に係る指令を前記外部装置に対して送信する構成（第９の構成）であっても良い。 Further, in the image processing apparatus having the first to eighth configurations, the communication unit has a configuration (nineth configuration) in which a command relating to recording of the vehicle exterior image and the appearance image is transmitted to the external device. There may be.

また、本発明に係る画像処理方法は、車載カメラで撮影された撮影画像を処理する画像処理方法であって、前記車載カメラが搭載された車両への外部からの接触を予測または検出する工程と、前記車両への外部からの接触が予測または検出された場合に、前記車両の内部の所定位置を第１視点位置とし、前記第１視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を生成する工程と、前記車両への外部からの接触が予測または検出された場合に、前記車両の外部の所定位置を第２視点位置とし、前記第２視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を含む前記車両の外観画像を生成する工程と、前記車外画像及び前記外観画像を外部装置に対して送信する工程と、を含む構成（第１０の構成）である。 Further, the image processing method according to the present invention is an image processing method for processing an image taken by an in-vehicle camera, and is a step of predicting or detecting an external contact with a vehicle on which the in-vehicle camera is mounted. When an external contact with the vehicle is predicted or detected, the predetermined position inside the vehicle is defined as the first viewpoint position, and the direction of the contact position viewed from the first viewpoint position is defined as the line-of-sight direction. A step of generating an outside image including an image of the vehicle as a transmission image, and when an external contact with the vehicle is predicted or detected, a predetermined position outside the vehicle is set as a second viewpoint position, and the above-mentioned A step of generating an external image of the vehicle including an image of the vehicle, and transmitting the external image and the external image to an external device with the direction of the contact position viewed from the second viewpoint position as the line-of-sight direction. It is a configuration (10th configuration) including the process.

本発明の構成によれば、例えば車両に接近する人や他の物体の外観や挙動を、画像として確認することができる。さらに、例えば車両に外部から人や他の物体が接近し、接触された車両の部分の外観を、画像として確認することができる。すなわち、車両に危害が加えられた際に、状況把握や事後対応において有効な画像を得ることが可能になる。 According to the configuration of the present invention, for example, the appearance and behavior of a person approaching a vehicle or another object can be confirmed as an image. Further, for example, the appearance of a portion of the vehicle in which a person or another object approaches the vehicle from the outside and is in contact with the vehicle can be confirmed as an image. That is, when the vehicle is harmed, it is possible to obtain an effective image for grasping the situation and responding after the fact.

実施形態の画像処理装置の構成を示すブロック図Block diagram showing the configuration of the image processing apparatus of the embodiment 車載カメラが車両に配置される位置を例示する図Diagram illustrating the position where the in-vehicle camera is placed in the vehicle 仮想視点画像を生成する手法を説明するための図Diagram to explain the method of generating a virtual viewpoint image 第１実施形態の車外画像及び外観画像の生成、送信に係る処理フローの例を示すフローチャートA flowchart showing an example of a processing flow related to generation and transmission of an external image and an external image of the first embodiment. 車両への外部からの接触の状況を示す説明図Explanatory drawing showing the situation of external contact with the vehicle 車外画像の第１例を示す模式図Schematic diagram showing the first example of an image outside the vehicle 外観画像の第１例を示す模式図Schematic diagram showing the first example of an external image 車外画像の第１例及び外観画像の第１例が表示された外部装置を示す模式図Schematic diagram showing an external device on which the first example of an external image and the first example of an external image are displayed. 外観画像の第２例を示す模式図Schematic diagram showing a second example of an external image 車外画像の第１例及び外観画像の第２例が表示された外部装置を示す模式図Schematic diagram showing an external device on which the first example of an external image and the second example of an external image are displayed. 車外画像の第２例を示す模式図Schematic diagram showing the second example of the outside image 外観画像の第３例を示す模式図Schematic diagram showing a third example of an external image 第２実施形態の車外画像及び外観画像の生成、送信に係る処理フロの例を示すフローチャートA flowchart showing an example of a processing flow related to generation and transmission of an external image and an external image of the second embodiment. 車外画像の第３例を示す模式図Schematic diagram showing a third example of an image outside the vehicle 外観画像の第４例を示す模式図Schematic diagram showing a fourth example of an external image 車外画像の第４例を示す模式図Schematic diagram showing the fourth example of the outside image 外観画像の第５例を示す模式図Schematic diagram showing a fifth example of an external image 第３実施形態の車外画像及び外観画像の生成、送信に係る処理フロの例を示すフローチャートA flowchart showing an example of a processing flow related to generation and transmission of an external image and an external image of a third embodiment. 第４実施形態の車外画像及び外観画像の生成、送信に係る処理フロの例を示すフローチャートA flowchart showing an example of a processing flow related to generation and transmission of an external image and an external image of a fourth embodiment.

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. The present invention is not limited to the contents of the embodiments shown below.

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。 Further, in the following description, the direction from the driver's seat to the steering wheel, which is the straight-ahead traveling direction of the vehicle, is referred to as "forward direction (forward)". The direction in which the vehicle travels straight from the steering wheel to the driver's seat is referred to as "rear direction (rear)". The direction from the right side to the left side of the driver facing forward, which is the direction perpendicular to the straight line and the vertical direction of the vehicle, is referred to as "left direction". The direction from the left side to the right side of the driver facing forward, which is the direction perpendicular to the straight line and the vertical direction of the vehicle, is referred to as "right direction".

＜１．画像処理装置の概略＞
図１は、実施形態の画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば撮影部２と、センサ部３と、外部装置４と、を含む車両周辺監視システムに組み込むことができる。車両周辺監視システムは、撮影部２（車載カメラ）が搭載された車両の周辺状況を監視するシステムである。 <1. Outline of image processing device>
FIG. 1 is a block diagram showing the configuration of the image processing device 1 of the embodiment. The image processing device 1 can be incorporated into a vehicle peripheral monitoring system including, for example, a photographing unit 2, a sensor unit 3, and an external device 4. The vehicle peripheral monitoring system is a system for monitoring the peripheral conditions of a vehicle equipped with a photographing unit 2 (vehicle-mounted camera).

画像処理装置１は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置１は、撮影部２から撮影画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行う。 The image processing device 1 is a device that processes a captured image captured by an in-vehicle camera. The image processing device 1 is provided for each vehicle equipped with an in-vehicle camera. In the present embodiment, the image processing device 1 acquires a photographed image from the photographing unit 2 and processes it. Further, the image processing device 1 acquires information from the sensor unit 3 and makes a determination regarding image processing based on the acquired information.

撮影部２は、車両周辺及び車室内部の状況を監視する目的で設けられる。撮影部２は、例えば４つのカメラ２１～２４を備える。４つのカメラ２１～２４は、車載カメラである。図２は、車載カメラ２１～２４が車両５に配置される位置を例示する図である。 The photographing unit 2 is provided for the purpose of monitoring the situation around the vehicle and inside the vehicle interior. The photographing unit 2 includes, for example, four cameras 21 to 24. The four cameras 21 to 24 are in-vehicle cameras. FIG. 2 is a diagram illustrating a position where the vehicle-mounted cameras 21 to 24 are arranged in the vehicle 5.

車載カメラ２１は車両５の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ２１は車両５の前方向を撮影する。車載カメラ２３は車両５の後端に設けられる。このため、車載カメラ２３をバックカメラ２３とも呼ぶ。バックカメラ２３の光軸２３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ２３は車両５の後方向を撮影する。フロントカメラ２１及びバックカメラ２３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。 The vehicle-mounted camera 21 is provided at the front end of the vehicle 5. Therefore, the in-vehicle camera 21 is also referred to as a front camera 21. The optical axis 21a of the front camera 21 extends along the front-rear direction of the vehicle 5 in a plan view from above. The front camera 21 captures the front direction of the vehicle 5. The vehicle-mounted camera 23 is provided at the rear end of the vehicle 5. Therefore, the in-vehicle camera 23 is also referred to as a back camera 23. The optical axis 23a of the back camera 23 extends along the front-rear direction of the vehicle 5 in a plan view from above. The back camera 23 photographs the rear direction of the vehicle 5. The front camera 21 and the back camera 23 are preferably mounted at the center of the left and right sides of the vehicle 5, but may be slightly deviated from the center of the left and right sides in the left-right direction.

車載カメラ２２は車両５の右側ドアミラー５１に設けられる。このため、車載カメラ２２を右サイドカメラ２２とも呼ぶ。右サイドカメラ２２の光軸２２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ２２は車両５の右方向を撮影する。車載カメラ２４は車両５の左側ドアミラー５２に設けられる。このため、車載カメラ２４を左サイドカメラ２４とも呼ぶ。左サイドカメラ２４の光軸２４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ２４は車両５の左方向を撮影する。 The vehicle-mounted camera 22 is provided on the right door mirror 51 of the vehicle 5. Therefore, the in-vehicle camera 22 is also referred to as a right side camera 22. The optical axis 22a of the right side camera 22 extends along the left-right direction of the vehicle 5 in a plan view from above. The right side camera 22 captures the right direction of the vehicle 5. The vehicle-mounted camera 24 is provided on the left side door mirror 52 of the vehicle 5. Therefore, the in-vehicle camera 24 is also referred to as a left side camera 24. The optical axis 24a of the left side camera 24 extends along the left-right direction of the vehicle 5 in a plan view from above. The left side camera 24 captures the left direction of the vehicle 5.

なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ２２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ２４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。 When the vehicle 5 is a so-called door mirrorless vehicle, the right side camera 22 is provided around the rotation axis (hinge portion) of the right side door without passing through the door mirror, and the left side camera 24 is the rotation axis of the left side door. It is provided around the (hinge part) without using a door mirror.

車載カメラ２１～２４のレンズとしては、例えば魚眼レンズが使用される。車載カメラ２１～２４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。 As the lenses of the in-vehicle cameras 21 to 24, for example, a fisheye lens is used. Since the in-vehicle cameras 21 to 24 have an angle of view θ in the horizontal direction of 180 degrees or more, the vehicle-mounted cameras 21 to 24 can photograph the entire circumference of the vehicle 5 in the horizontal direction.

図１に戻って、センサ部３は、車載カメラ２１～２４が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の乗員のシートへの着座を検出する着座センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両のドアの開閉を検知するドア開閉センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する超音波センサ及びレーダ等が含まれる。なお、超音波センサ、レーダのほか、赤外線等を用いた光センサなどを利用し、人などを検出しても良い。 Returning to FIG. 1, the sensor unit 3 has a plurality of sensors for detecting information about the vehicle 5 on which the vehicle-mounted cameras 21 to 24 are mounted. The information about the vehicle 5 may include information about the vehicle itself and information about the surroundings of the vehicle. In the present embodiment, the sensor unit 3 is, for example, a seating sensor that detects the seating of a vehicle occupant on the seat, a shift sensor that detects the operation position of the shift lever of the vehicle transmission, and a door that detects the opening and closing of the vehicle door. Includes open / close sensors, vibration sensors that detect vehicle vibrations, tilt sensors that detect vehicle tilt, ultrasonic sensors and radars that detect people, animals, vehicles, and other objects around the vehicle. In addition to ultrasonic sensors and radars, optical sensors using infrared rays or the like may be used to detect people or the like.

外部装置４は、画像処理装置１から出力される表示用画像を受信する装置である。外部装置４は、例えば車両５の所有者等が所持する端末、サーバ等が含まれる。端末としては、例えばスマートフォン等の携帯端末、パーソナルコンピュータ等の据え置き型情報端末等が含まれる。本実施形態では、外部装置４は、例えばスマートフォン等の携帯端末であって、画像処理装置１から出力された表示用画像を画面表示する表示部４１を備える表示装置である。表示部４１は、例えば液晶表示パネルであって、タッチパネル方式等の入力部を備え、外部から情報を入力できる構成であって良い。 The external device 4 is a device that receives a display image output from the image processing device 1. The external device 4 includes, for example, a terminal, a server, or the like owned by the owner or the like of the vehicle 5. Examples of the terminal include a mobile terminal such as a smartphone, a stationary information terminal such as a personal computer, and the like. In the present embodiment, the external device 4 is a mobile terminal such as a smartphone, and is a display device including a display unit 41 that displays a display image output from the image processing device 1 on the screen. The display unit 41 may be, for example, a liquid crystal display panel, including an input unit such as a touch panel system, and may be configured to be capable of inputting information from the outside.

＜２．画像処理装置の詳細＞
画像処理装置１は、画像生成部１１、制御部１２、記憶部１３及び通信部１４を含んで構成される。 <2. Details of image processing device>
The image processing device 1 includes an image generation unit 11, a control unit 12, a storage unit 13, and a communication unit 14.

画像生成部１１は、撮影部２で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部１１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部１１は、車両５に搭載された車載カメラ２１～２４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺を示す仮想視点画像を生成する。さらに、画像生成部１１は、仮想視点画像に基づき、表示装置である外部装置４で表示するための表示用画像を生成する。仮想視点画像を生成する手法の詳細については後述する。 The image generation unit 11 processes the captured image captured by the photographing unit 2 to generate a display image. In the present embodiment, the image generation unit 11 is configured as a hardware circuit capable of various image processing. In the present embodiment, the image generation unit 11 generates a virtual viewpoint image showing the periphery of the vehicle 5 as seen from a virtual viewpoint, based on the captured images taken by the vehicle-mounted cameras 21 to 24 mounted on the vehicle 5. Further, the image generation unit 11 generates a display image to be displayed by the external device 4, which is a display device, based on the virtual viewpoint image. The details of the method for generating the virtual viewpoint image will be described later.

制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。記憶部１３は、不揮発性のメモリである。制御部１２は、記憶部１３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１２は、有線または無線で、撮影部２、センサ部３及び外部装置４に接続される。 The control unit 12 is a so-called microcomputer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) (not shown). The storage unit 13 is a non-volatile memory. The control unit 12 processes, sends and receives information based on the program stored in the storage unit 13. The control unit 12 is connected to the photographing unit 2, the sensor unit 3, and the external device 4 by wire or wirelessly.

制御部１２は、画像取得部１２１と、画像制御部１２２と、接近検出部１２３と、を備える。制御部１２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。 The control unit 12 includes an image acquisition unit 121, an image control unit 122, and an approach detection unit 123. The functions of each of these components included in the control unit 12 are realized by the CPU performing arithmetic processing according to a program.

画像取得部１２１は、車載カメラ２１～２４で撮影された撮影画像を取得する。本実施形態では、車載カメラ２１～２４の数は４つであり、画像取得部１２１は、車載カメラ２１～２４それぞれで撮影された撮影画像を取得する。 The image acquisition unit 121 acquires captured images taken by the vehicle-mounted cameras 21 to 24. In the present embodiment, the number of the vehicle-mounted cameras 21 to 24 is four, and the image acquisition unit 121 acquires the captured images taken by the vehicle-mounted cameras 21 to 24 respectively.

画像制御部１２２は、画像生成部１１によって実行される画像処理の制御を行う。例えば、画像制御部１２２は、画像生成部１１に対して、仮想視点画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部１２２は、画像生成部１１によって生成された表示用画像を外部装置４に対して出力する際の制御を行う。 The image control unit 122 controls the image processing executed by the image generation unit 11. For example, the image control unit 122 instructs the image generation unit 11 various parameters and the like necessary for generating a virtual viewpoint image and a display image. Further, the image control unit 122 controls when the display image generated by the image generation unit 11 is output to the external device 4.

接近検出部１２３は、車載カメラ２１～２４が搭載された車両５への外部からの接触を予測または検出する。詳細には、接近検出部１２３は、車両５に対して接近する人や動物、車両、その他の物体を検出するとともに、それらによる車両５への接触を検出する。 The approach detection unit 123 predicts or detects external contact with the vehicle 5 on which the vehicle-mounted cameras 21 to 24 are mounted. Specifically, the approach detection unit 123 detects people, animals, vehicles, and other objects approaching the vehicle 5, and also detects contact by them with the vehicle 5.

さらに具体的には、接近検出部１２３は、車両５への外部からの接触の予測または検出の開始に先立って、例えばセンサ部３の着座センサ、シフトセンサ、ドア開閉センサからの検出信号に基づき、車両５の内部に乗員がいないことを検出する。例えば、乗員が着座しておらず、且つイグニッションスイッチがＯＦＦである場合、車両５の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つドアが閉じている場合、車両５の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つシフトレバーが「Ｐ」、「Ｎ」、「Ｒ」のいずれかの位置である場合、車両５の内部に乗員がいないことが検出される。なお、車両５の内部に乗員がいないことを検出する手段は、これらに限定されない。例えば、イグニッションスイッチがＯＦＦになり、その後運転席ドアが閉から開になりさらに閉になる、すなわち運転者が降車したと推定され、且つ全ドアが閉且つロックされた場合に車両５の内部に乗員がいないと検出されても良い。 More specifically, the approach detection unit 123 is based on detection signals from, for example, a seating sensor, a shift sensor, and a door open / close sensor of the sensor unit 3 prior to the prediction or start of detection of external contact with the vehicle 5. , Detects that there are no occupants inside the vehicle 5. For example, when the occupant is not seated and the ignition switch is OFF, it is detected that there is no occupant inside the vehicle 5. Further, for example, when the occupant is not seated and the door is closed, it is detected that there is no occupant inside the vehicle 5. Further, for example, when the occupant is not seated and the shift lever is in any of the "P", "N", and "R" positions, it is detected that there is no occupant inside the vehicle 5. The means for detecting that there is no occupant inside the vehicle 5 is not limited to these. For example, when the ignition switch is turned off, then the driver's door is closed and then closed, that is, it is estimated that the driver has disembarked, and all the doors are closed and locked, the inside of the vehicle 5 is inside. It may be detected that there is no occupant.

続いて、接近検出部１２３は、例えば振動センサから車両の振動の程度を表す検出信号を取得し、また、傾斜センサから車両の傾きの程度を表す検出信号を取得する。これらの検出信号の取得に基づき、接近検出部１２３は、車両５への外部からの接触を検出する。そして、画像処理装置１は撮影部２に、車載カメラ２１～２４による車両周辺の撮影を指示する指令を送信する。接近検出部１２３は、車載カメラ２１～２４で撮影された車両周辺の撮影画像に基づき、車両周辺の人や動物、車両、その他の物体を画像認識により検出する。これにより、接近検出部１２３は、車両５に対して接近または接触する人や車両などの有無や方向、位置を検出する。 Subsequently, the approach detection unit 123 acquires a detection signal indicating the degree of vibration of the vehicle from, for example, a vibration sensor, and acquires a detection signal indicating the degree of inclination of the vehicle from the inclination sensor. Based on the acquisition of these detection signals, the approach detection unit 123 detects contact from the outside with the vehicle 5. Then, the image processing device 1 transmits a command to the photographing unit 2 to instruct the in-vehicle cameras 21 to 24 to photograph the surroundings of the vehicle. The approach detection unit 123 detects people, animals, vehicles, and other objects around the vehicle by image recognition based on the captured images around the vehicle taken by the vehicle-mounted cameras 21 to 24. As a result, the approach detection unit 123 detects the presence / absence, direction, and position of a person or vehicle approaching or contacting the vehicle 5.

なお、車載カメラ２１～２４の起動トリガーとして振動センサや傾斜センサ等を用いることなく、例えば車載カメラ２１～２４を一定の時間を隔てて周期的に起動させ、車載カメラ２１～２４に車両周辺を撮影させても良い。 It should be noted that, for example, the in-vehicle cameras 21 to 24 are periodically activated at regular intervals without using a vibration sensor, an inclination sensor, or the like as an activation trigger for the in-vehicle cameras 21 to 24, and the in-vehicle cameras 21 to 24 are used to move around the vehicle. You may let me take a picture.

また、車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部３の超音波センサ、レーダを用いても良い。超音波センサ及びレーダは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。超音波センサ及びレーダは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。 Further, for detecting a person, an animal, a vehicle, or another object around the vehicle, for example, an ultrasonic sensor or a radar of the sensor unit 3 may be used. Ultrasonic sensors and radars are embedded in a plurality of locations such as the front bumper, the rear bumper, and the door of the vehicle 5. Ultrasonic sensors and radars transmit transmitted waves toward the periphery of the vehicle and receive reflected waves reflected by people and other vehicles to detect the presence, direction, and position of people and other vehicles. ..

記憶部１３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、例えばファームウェアとしてのプログラム、画像生成部１１が仮想視点画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部１３は、画像取得部１２１及び接近検出部１２３が処理を実行するために必要となる各種のデータを記憶する。 The storage unit 13 is a non-volatile memory such as a flash memory, and stores various types of information. The storage unit 13 stores, for example, a program as firmware, and various data for the image generation unit 11 to generate a virtual viewpoint image and a display image. Further, the storage unit 13 stores various data required for the image acquisition unit 121 and the approach detection unit 123 to execute the process.

通信部１４は、例えば無線によって外部装置４と接続される。画像処理装置１は、通信部１４を介して外部装置４に、画像生成部１１で生成された表示用画像を出力することが可能である。 The communication unit 14 is connected to the external device 4 by radio, for example. The image processing device 1 can output the display image generated by the image generation unit 11 to the external device 4 via the communication unit 14.

＜３．仮想視点画像の生成＞
画像生成部１１が、仮想視点から見た車両５の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、仮想視点画像を生成する手法を説明するための図である。 <3. Generation of virtual viewpoint image>
The method in which the image generation unit 11 generates a virtual viewpoint image showing the state of the surroundings of the vehicle 5 as seen from the virtual viewpoint will be described. FIG. 3 is a diagram for explaining a method for generating a virtual viewpoint image.

フロントカメラ２１、右サイドカメラ２２、バックカメラ２３及び左サイドカメラ２４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ２１～Ｐ２４が同時に取得される。これら４つの撮影画像Ｐ２１～Ｐ２４には、車両５の全周囲のデータが含まれる。画像生成部１１は、これら４つの撮影画像Ｐ２１～Ｐ２４を、画像取得部１２１を介して取得する。 The front camera 21, the right side camera 22, the back camera 23, and the left side camera 24 simultaneously acquire four captured images P21 to P24 showing the front, right side, rear side, and left side of the vehicle 5. These four captured images P21 to P24 include data on the entire circumference of the vehicle 5. The image generation unit 11 acquires these four captured images P21 to P24 via the image acquisition unit 121.

画像生成部１１は、これら４つの撮影画像Ｐ２１～Ｐ２４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。 The image generation unit 11 projects the data (values of each pixel) included in these four captured images P21 to P24 onto the projection surface TS which is a three-dimensional curved surface in a virtual three-dimensional space. The projection surface TS has, for example, a substantially hemispherical shape (bowl shape), and its central portion (bottom portion of the bowl) is defined as the position of the vehicle 5.

投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ２１～Ｐ２４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部１３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ２１～Ｐ２４に含まれる各画素の値とに基づいて決定できる。 On the projection surface TS, the data of the captured image is projected on the area outside the area of the vehicle 5. The correspondence between the position of each pixel included in the captured images P21 to P24 and the position of each pixel of the projection surface TS is determined in advance. The table data showing this correspondence is stored in the storage unit 13. The value of each pixel of the projection surface TS can be determined based on this correspondence and the value of each pixel included in the captured images P21 to P24.

次に、画像生成部１１は、画像制御部１２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部１１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部１１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部１１は、任意の仮想視点ＶＰから見た仮想視点画像を生成する。 Next, the image generation unit 11 sets the virtual viewpoint VP for the three-dimensional space under the control of the image control unit 122. The virtual viewpoint VP is defined by the viewpoint position and the line-of-sight direction. The image generation unit 11 can set a virtual viewpoint VP at an arbitrary viewpoint position and an arbitrary line-of-sight direction in a three-dimensional space. The image generation unit 11 cuts out the data projected on the area included in the field of view seen from the set virtual viewpoint VP in the projection surface TS as an image. As a result, the image generation unit 11 generates a virtual viewpoint image viewed from an arbitrary virtual viewpoint VP.

例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成することができる。また、視点位置を車両５の内部、視線方向を車両５の右前方とした仮想視点ＶＰｂを想定した場合、車両５の内部から見た車両５の右前方の周辺を示す仮想視点画像ＣＰｂを生成することができる。また、視点位置を車両５の外部の右前方、視線方向を車両５の左後方とした仮想視点ＶＰｃを想定した場合、車両５の外部の右前方から見た車両５の全体を示す仮想視点画像ＣＰｃを生成することができる。 For example, as shown in FIG. 3, assuming a virtual viewpoint VPa with the viewpoint position directly above the vehicle 5 and the line-of-sight direction directly below, a virtual viewpoint image (overhead image) CPa that gives a bird's-eye view of the vehicle 5 and the surroundings of the vehicle 5 is obtained. Can be generated. Further, assuming a virtual viewpoint VPb in which the viewpoint position is the inside of the vehicle 5 and the line-of-sight direction is the right front of the vehicle 5, a virtual viewpoint image CPb showing the periphery of the right front of the vehicle 5 as seen from the inside of the vehicle 5 is generated. can do. Further, assuming a virtual viewpoint VPc in which the viewpoint position is the outside right front of the vehicle 5 and the line-of-sight direction is the left rear of the vehicle 5, a virtual viewpoint image showing the entire vehicle 5 as seen from the outside right front of the vehicle 5. CPc can be generated.

なお、仮想視点画像ＣＰａ、ＣＰｃ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２４に記憶される。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、仮想視点画像ＣＰａ、ＣＰｃ中に含められる。 The image 5p of the vehicle 5 shown in the virtual viewpoint images CPa and CPc is prepared in advance as data such as a bitmap and stored in the storage unit 24. When the virtual viewpoint image is generated, the data of the image 5p of the vehicle 5 having a shape corresponding to the viewpoint position and the line-of-sight direction of the virtual viewpoint VP of the virtual viewpoint image is read out, and the virtual viewpoint images CPa and CPc are included. Included in.

図３の仮想視点画像ＣＰｂについて、より詳細に説明すれば、仮想視点画像ＣＰｂは、車両５の内部の所定位置である運転者の視点付近を視点位置とし、車両５の右前方を視線方向とした仮想視点に基づく車両５の車外画像である。以下の説明において、車両５の内部の所定位置を視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とした仮想視点画像のことを、車外画像Ｐｘと呼ぶ場合がある。 The virtual viewpoint image CPb of FIG. 3 will be described in more detail. In the virtual viewpoint image CPb, the viewpoint position is near the driver's viewpoint, which is a predetermined position inside the vehicle 5, and the right front of the vehicle 5 is the line-of-sight direction. It is an outside image of the vehicle 5 based on the virtual viewpoint. In the following description, a virtual viewpoint image in which a predetermined position inside the vehicle 5 is a viewpoint position and a direction outside the vehicle 5 as seen from the viewpoint position is a line-of-sight direction may be referred to as an outside vehicle image Px.

車外画像Ｐｘである仮想視点画像ＣＰｂには、画像生成部１１が生成した仮想視点画像に、車両５の透過像５ｔが含められる。車外画像Ｐｘは、車両５の内部を仮想視点の視点位置とした場合に、視線方向に見える現実の光景により近い状況を表現した画像であり、車両５とその周囲の物体との位置関係も理解し易い。車外画像Ｐｘでは、車両５の周囲の物体が、車両５の一部と重なって隠れてしまうことを防ぐため、車両５の像を透過像５ｔとする。 In the virtual viewpoint image CPb which is the outside vehicle image Px, the transmission image 5t of the vehicle 5 is included in the virtual viewpoint image generated by the image generation unit 11. The outside image Px is an image expressing a situation closer to the actual scene seen in the line-of-sight direction when the inside of the vehicle 5 is set as the viewpoint position of the virtual viewpoint, and the positional relationship between the vehicle 5 and the surrounding objects is also understood. Easy to do. In the vehicle exterior image Px, the image of the vehicle 5 is a transmission image 5t in order to prevent an object around the vehicle 5 from overlapping with a part of the vehicle 5 and hiding.

なお、車外画像Ｐｘ中に示す車両５の透過像５ｔは、予めビットマップなどのデータとして用意され、記憶部２４に記憶される。車外画像の生成の際には、当該車外画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の透過像５ｔのデータが読み出されて、車外画像Ｐｘ中に含められる。 The transmission image 5t of the vehicle 5 shown in the vehicle exterior image Px is prepared in advance as data such as a bitmap and stored in the storage unit 24. When the vehicle exterior image is generated, the data of the transmission image 5t having a shape corresponding to the viewpoint position and the line-of-sight direction of the virtual viewpoint VP of the vehicle exterior image is read out and included in the vehicle exterior image Px.

図３の仮想視点画像ＣＰｃについて、より詳細に説明すれば、仮想視点画像ＣＰｃは、車両５の外部の右前方の所定位置を視点位置とし、車両５の左後方を視線方向とした仮想視点に基づく車両５の外観画像である。以下の説明において、車両５の外部の所定位置を視点位置とし、当該視点位置から見た車両５の方向を視線方向とした仮想視点画像のことを、車両５の外観画像Ｐｚと呼ぶ場合がある。 To explain the virtual viewpoint image CPc in FIG. 3 in more detail, the virtual viewpoint image CPc has a viewpoint position at a predetermined position on the right front outside the vehicle 5 and a virtual viewpoint with the left rear of the vehicle 5 as the line-of-sight direction. It is an external image of the vehicle 5 based on. In the following description, a virtual viewpoint image in which a predetermined position outside the vehicle 5 is a viewpoint position and the direction of the vehicle 5 viewed from the viewpoint position is the line-of-sight direction may be referred to as an external appearance image Pz of the vehicle 5. ..

このようにして、画像生成部１１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像ＣＰａ、ＣＰｂ、ＣＰｃを生成することができる。さらに、画像生成部１１は、車両５の内部の所定位置を仮想視点ＶＰの視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とし、車両５の像を透過像５ｔとして含む車外画像Ｐｘを生成する。また、画像生成部１１は、車両５の外部の所定位置を仮想視点ＶＰの視点位置とし、当該視点位置から見た車両５の方向を視線方向とし、車両５の像５ｐを含む車両５の外観画像Ｐｚを生成する。 In this way, the image generation unit 11 can generate virtual viewpoint images CPa, CPb, and CPc with a realistic feeling close to reality by using the virtual three-dimensional projection surface TS. Further, the image generation unit 11 uses a predetermined position inside the vehicle 5 as a viewpoint position of the virtual viewpoint VP, a direction outside the vehicle 5 as seen from the viewpoint position as a line-of-sight direction, and an image of the vehicle 5 as a transmission image 5t. Generate a vehicle exterior image Px including. Further, the image generation unit 11 has a predetermined position outside the vehicle 5 as the viewpoint position of the virtual viewpoint VP, the direction of the vehicle 5 as seen from the viewpoint position as the line-of-sight direction, and the appearance of the vehicle 5 including the image 5p of the vehicle 5. Generate image Pz.

＜４．車両の外観画像の生成、送信に係る処理＞
本実施形態において、画像処理装置１は、車外画像Ｐｘ及び車両５の外観画像Ｐｚを生成し、当該車外画像Ｐｘ及び当該外観画像Ｐｚを外部装置４に対して送信する。 <4. Processing related to vehicle appearance image generation and transmission>
In the present embodiment, the image processing device 1 generates an external image Px and an external image Pz of the vehicle 5, and transmits the external image Px and the external image Pz to the external device 4.

＜４－１．第１実施形態＞
図４は、第１実施形態の車外画像Ｐｘ及び外観画像Ｐｚの生成、送信に係る処理フローの例を示すフローチャートである。第１実施形態の車外画像Ｐｘ及び外観画像Ｐｚの生成、送信に係る処理について、図４を参照しつつ説明する。 <4-1. First Embodiment>
FIG. 4 is a flowchart showing an example of a processing flow related to generation and transmission of an external image Px and an external image Pz according to the first embodiment. The processing related to the generation and transmission of the vehicle exterior image Px and the appearance image Pz of the first embodiment will be described with reference to FIG.

図４に示すように、まず、車両５では、車両５への外部からの接触が接近検出部１２３によって監視される。（ステップＳ１０１）。画像処理装置１では、所定の開始条件が成立すると、車両５への外部からの接触の監視が開始される。所定の開始条件とは、例えば先に説明したように、車両５の内部に乗員がいなくなった場合であっても良い。例えば、乗員が着座しておらず、且つイグニッションスイッチがＯＦＦである場合、車両５の内部に乗員がいないことが検出され、監視モードに入り、車両５への外部からの接触の監視が開始される。なお、監視モードは正規のユーザーが車両の運転を開始するときに解除される。例えば、キーによりドアがアンロックされた場合や、図示せぬキーレスエントリ装置の送信機によりドアがアンロックされた場合に、正規のユーザーが車両の運転を開始すると判断される。 As shown in FIG. 4, first, in the vehicle 5, external contact with the vehicle 5 is monitored by the approach detection unit 123. (Step S101). When the predetermined start condition is satisfied, the image processing device 1 starts monitoring the contact from the outside to the vehicle 5. The predetermined start condition may be, for example, when the occupant disappears inside the vehicle 5, as described above. For example, when the occupant is not seated and the ignition switch is OFF, it is detected that there is no occupant inside the vehicle 5, the monitoring mode is entered, and monitoring of external contact with the vehicle 5 is started. Ru. The monitoring mode is canceled when a legitimate user starts driving the vehicle. For example, if the door is unlocked by a key, or if the door is unlocked by a transmitter of a keyless entry device (not shown), it is determined that a legitimate user starts driving the vehicle.

次に、車両５への外部からの接触を検出したか否かが判定される（ステップＳ１０２）。車両５への外部からの接触は、例えばセンサ部３の振動センサから取得した車両の振動の程度を表す検出信号に基づき判定される。また、車両５への外部からの接触は、例えばセンサ部３の傾斜センサから取得した車両の傾きの程度を表す検出信号に基づき判定される。また、車両５への外部からの接触の検出に、例えばセンサ部３の超音波センサ、レーダを用いても良い。 Next, it is determined whether or not an external contact with the vehicle 5 is detected (step S102). The external contact with the vehicle 5 is determined based on, for example, a detection signal indicating the degree of vibration of the vehicle acquired from the vibration sensor of the sensor unit 3. Further, the external contact with the vehicle 5 is determined based on, for example, a detection signal indicating the degree of inclination of the vehicle acquired from the inclination sensor of the sensor unit 3. Further, for detecting an external contact with the vehicle 5, for example, an ultrasonic sensor or a radar of the sensor unit 3 may be used.

車両５への外部からの接触を検出しない場合（ステップＳ１０２のＮｏ）、ステップＳ１０１に戻って、車両５への物体の接触の監視が継続される。 If no external contact with the vehicle 5 is detected (No in step S102), the process returns to step S101 to continue monitoring the contact of the object with the vehicle 5.

車両５への外部からの接触を検出した場合（ステップＳ１０２のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ１０３）。図５は、車両５への外部からの接触の状況を示す説明図である。図５に示すように、本実施形態では、例えば、駐車中の車両５に他車両Ｔｒが接触したこととする。接触位置は、車両５の右前部５ｆである。車両５の周辺画像は、車載カメラ２１～２４に車両周辺を撮影させることで取得することができる。画像処理装置１は撮影部２に、車載カメラ２１～２４による車両周辺の撮影を指示する指令を送信する。画像処理装置１は、車載カメラ２１～２４それぞれで撮影された撮影画像を画像取得部１２１を介して取得し、記憶部１３に記憶する。 When an external contact with the vehicle 5 is detected (Yes in step S102), a peripheral image of the vehicle 5 is acquired (step S103). FIG. 5 is an explanatory diagram showing a situation of external contact with the vehicle 5. As shown in FIG. 5, in the present embodiment, for example, it is assumed that another vehicle Tr comes into contact with the parked vehicle 5. The contact position is the right front portion 5f of the vehicle 5. The peripheral image of the vehicle 5 can be acquired by having the vehicle-mounted cameras 21 to 24 take a picture of the periphery of the vehicle. The image processing device 1 transmits a command to the photographing unit 2 instructing the in-vehicle cameras 21 to 24 to photograph the surroundings of the vehicle. The image processing device 1 acquires captured images taken by the vehicle-mounted cameras 21 to 24 via the image acquisition unit 121 and stores them in the storage unit 13.

図４に戻って、次に、接触位置及び接触方向が検出される（ステップＳ１０４）。例えば、接触位置及び接触方向は、車載カメラ２１～２４に撮影させた車両周辺の撮影画像に基づいて検出される。接近検出部１２３は、車両５に対して外部から接触する他車両Ｔｒの接触位置及び接触方向を検出する。また例えば、接触位置及び接触方向は、センサ部３の超音波センサ、レーダを用いても検出することができる。 Returning to FIG. 4, the contact position and the contact direction are then detected (step S104). For example, the contact position and the contact direction are detected based on the captured images around the vehicle taken by the vehicle-mounted cameras 21 to 24. The approach detection unit 123 detects the contact position and contact direction of another vehicle Tr that comes into contact with the vehicle 5 from the outside. Further, for example, the contact position and the contact direction can also be detected by using an ultrasonic sensor of the sensor unit 3 or a radar.

次に、仮想視点画像が生成される（ステップＳ１０５）。画像生成部１１は、ステップＳ１０３で取得し、記憶部１３に記憶した車両周辺の複数の撮影画像に基づき、仮想視点から見た車両５の周辺の様子を示す仮想視点画像を生成する。 Next, a virtual viewpoint image is generated (step S105). The image generation unit 11 generates a virtual viewpoint image showing the state of the surroundings of the vehicle 5 as seen from a virtual viewpoint, based on a plurality of captured images around the vehicle acquired in step S103 and stored in the storage unit 13.

次に、画像生成部１１は、車両５の透過像５ｔを含む車外画像Ｐｘを生成し、記憶部１３に記憶させる（ステップＳ１０６）。図６は、車外画像Ｐｘの第１例を示す模式図である。例えば、本実施形態では、ステップＳ１０４において、車両５の右前部５ｆで、車両５への外部からの接触を検出したこととする。これにより、画像生成部１１は、車両５の内部の所定位置である運転者の視点付近を第１視点位置とし、当該第１視点位置から見た接触の位置である車両５の右前部５ｆの方向を視線方向とした仮想視点ＶＰｘ（図５参照）に基づき、図６に示す車外画像Ｐｘを生成する。 Next, the image generation unit 11 generates an external image Px including the transmission image 5t of the vehicle 5 and stores it in the storage unit 13 (step S106). FIG. 6 is a schematic diagram showing a first example of the external image Px. For example, in the present embodiment, it is assumed that in step S104, an external contact with the vehicle 5 is detected at the right front portion 5f of the vehicle 5. As a result, the image generation unit 11 sets the vicinity of the driver's viewpoint, which is a predetermined position inside the vehicle 5, as the first viewpoint position, and the right front portion 5f of the vehicle 5, which is the contact position seen from the first viewpoint position. The vehicle exterior image Px shown in FIG. 6 is generated based on the virtual viewpoint VPx (see FIG. 5) with the direction as the line-of-sight direction.

車外画像Ｐｘは、画像生成部１１が生成した仮想視点画像に、車両５の像を透過像５ｔとして含む。車外画像Ｐｘの仮想視点画像には、車両５に接触した他車両Ｔｒの像Ｔｐが含まれる。さらに、画像生成部１１は、車外画像Ｐｘの仮想視点画像に基づき、外部装置４で表示するための車外画像Ｐｘの表示用画像を生成する。 The vehicle exterior image Px includes an image of the vehicle 5 as a transmission image 5t in the virtual viewpoint image generated by the image generation unit 11. The virtual viewpoint image of the outside vehicle image Px includes an image Tp of another vehicle Tr in contact with the vehicle 5. Further, the image generation unit 11 generates a display image of the vehicle exterior image Px for display by the external device 4 based on the virtual viewpoint image of the vehicle exterior image Px.

なお、図６及び後述する図８において、車外画像Ｐｘに含まれる車両５に接触した他車両Ｔｒの像Ｔｐは簡略化して描画されているが、実際には、接触した他車両Ｔｒの車種やナンバープレート等を識別可能な程度に表示される。さらに、後述する他の図面の他車両Ｔｒの像Ｔｐについても同様である。 In addition, in FIG. 6 and FIG. 8 described later, the image Tp of the other vehicle Tr in contact with the vehicle 5 included in the outside image Px is drawn in a simplified manner, but in reality, the vehicle type of the other vehicle Tr in contact and the vehicle type of the other vehicle Tr are drawn. The license plate etc. are displayed to the extent that they can be identified. Further, the same applies to the image Tp of another vehicle Tr in other drawings described later.

図４に戻って、次に、画像生成部１１は、車両５の像５ｐを含む車両５の外観画像Ｐｚを生成し、記憶部１３に記憶させる（ステップＳ１０７）。図７は、外観画像Ｐｚの第１例を示す模式図である。例えば、本実施形態では、ステップＳ１０４において、車両５の右前部５ｆで、車両５への外部からの接触を検出したこととする。これにより、画像生成部１１は、車両５の外部の右前方の所定位置を第２視点位置とし、当該第２視点位置から見た接触の位置である車両５の右前部５ｆの方向を視線方向とした仮想視点ＶＰｚ（図５参照）に基づき、図７に示す車両５の外観画像Ｐｚを生成する。 Returning to FIG. 4, the image generation unit 11 then generates an external image Pz of the vehicle 5 including the image 5p of the vehicle 5 and stores it in the storage unit 13 (step S107). FIG. 7 is a schematic diagram showing a first example of the external image Pz. For example, in the present embodiment, it is assumed that in step S104, an external contact with the vehicle 5 is detected at the right front portion 5f of the vehicle 5. As a result, the image generation unit 11 sets the predetermined position on the right front outside the vehicle 5 as the second viewpoint position, and the direction of the right front portion 5f of the vehicle 5, which is the contact position viewed from the second viewpoint position, is the line-of-sight direction. Based on the virtual viewpoint VPz (see FIG. 5), the external image Pz of the vehicle 5 shown in FIG. 7 is generated.

外観画像Ｐｚは、画像生成部１１が生成した仮想視点画像に、車両５の像５ｐを含む。さらに、画像生成部１１は、外観画像Ｐｚの仮想視点画像に基づき、外部装置４で表示するための外観画像Ｐｚの表示用画像を生成する。 The appearance image Pz includes an image 5p of the vehicle 5 in the virtual viewpoint image generated by the image generation unit 11. Further, the image generation unit 11 generates a display image of the appearance image Pz to be displayed by the external device 4 based on the virtual viewpoint image of the appearance image Pz.

図４に戻って、次に、通信部１４が、車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に対して送信する（ステップＳ１０８）。画像処理装置１は、例えば車外画像Ｐｘの表示用画像、及び外観画像Ｐｚの表示用画像が添付された電子メール等を作成し、当該電子メールを通信部１４を介して外部装置４に送信する。電子メール等には、例えば車両５に対して他車両Ｔｒが接触したことを知らせる旨のメッセージが記載される。 Returning to FIG. 4, the communication unit 14 then transmits the vehicle exterior image Px and the appearance image Pz to the external device 4 (step S108). The image processing device 1 creates, for example, an e-mail to which a display image of the vehicle exterior image Px and a display image of the external image Pz are attached, and transmits the e-mail to the external device 4 via the communication unit 14. .. In the e-mail or the like, for example, a message is described to notify the vehicle 5 that the other vehicle Tr has contacted.

図８は、車外画像Ｐｘの第１例及び外観画像Ｐｚの第１例が表示された外部装置４を示す模式図である。例えば、スマートフォン等の携帯端末である外部装置４では、表示部４１に車外画像Ｐｘ及び外観画像Ｐｚを表示させることができる。車外画像Ｐｘ及び外観画像Ｐｚが外部装置４に対して送信されると、図４に示す処理フローが終了される。 FIG. 8 is a schematic view showing an external device 4 on which the first example of the external image Px and the first example of the external image Pz are displayed. For example, in the external device 4 which is a mobile terminal such as a smartphone, the display unit 41 can display the vehicle exterior image Px and the appearance image Pz. When the vehicle exterior image Px and the external image Pz are transmitted to the external device 4, the processing flow shown in FIG. 4 is terminated.

なお、車外画像Ｐｘ及び外観画像Ｐｚの外部装置４への送信は、電子メール等に画像データを添付して行うほか、例えば、車外画像Ｐｘ及び外観画像Ｐｚが保存されたネットワーク上のアドレスを送信することでも行うことが可能である。この場合、車外画像Ｐｘ及び外観画像Ｐｚは、画像処理装置１の記憶部１３、またはネットワーク上の他の外部装置（サーバ等）に保存される。 The external device Px and the external image Pz are transmitted to the external device 4 by attaching the image data to an e-mail or the like, and for example, transmitting the address on the network in which the external image Px and the external image Pz are stored. It can also be done by doing. In this case, the vehicle exterior image Px and the appearance image Pz are stored in the storage unit 13 of the image processing device 1 or another external device (server or the like) on the network.

また、外部装置４で表示可能な車外画像Ｐｘ及び外観画像Ｐｚは、既に撮影済みの画像（静止画）であるほか、画像生成部１１によって生成される撮影済みの車外画像Ｐｘ及び外観画像Ｐｚの映像（動画）であっても良い。さらに、これらの車外画像Ｐｘ及び外観画像Ｐｚの映像（動画）は、現在の状況を示すリアルタイム（生中継）の映像であっても良い。これらの場合、画像処理装置１から外部装置４に送信される電子メール等には、リアルタイムの車外画像Ｐｘ及び外観画像Ｐｚである映像にアクセスするためのネットワークアドレス、閲覧方法等を知らせる旨のメッセージが記載される。 Further, the vehicle exterior image Px and the exterior image Pz that can be displayed by the external device 4 are images (still images) that have already been captured, and the captured vehicle exterior image Px and the exterior image Pz generated by the image generation unit 11. It may be a video (video). Further, the images (moving images) of the outside vehicle image Px and the appearance image Pz may be real-time (live broadcast) images showing the current situation. In these cases, the e-mail or the like transmitted from the image processing device 1 to the external device 4 is a message notifying the network address, viewing method, etc. for accessing the real-time external image Px and the external image Pz. Is described.

また、車外画像Ｐｘ及び外観画像Ｐｚの静止画及び動画は、記録、録画することができる。車外画像Ｐｘ及び外観画像Ｐｚの静止画及び動画の記録、録画は、画像処理装置１の記憶部１３で行っても良いし、外部装置４の記憶部（不図示）で行っても良い。車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に記録させる場合、通信部１４は、車外画像Ｐｘ自体及び外観画像Ｐｚ自体の送信に加えて、車外画像Ｐｘ及び外観画像Ｐｚの記録に係る指令を外部装置４に対して送信する。 Further, the still images and moving images of the vehicle exterior image Px and the external image Pz can be recorded and recorded. Recording and recording of still images and moving images of the vehicle exterior image Px and the external image Pz may be performed by the storage unit 13 of the image processing device 1 or may be performed by the storage unit (not shown) of the external device 4. When the external device 4 records the external image Px and the external image Pz, the communication unit 14 externally issues a command relating to the recording of the external image Px and the external image Pz in addition to transmitting the external image Px itself and the external image Pz itself. It transmits to the device 4.

また、外部装置４の表示部４１では、車外画像Ｐｘ及び外観画像Ｐｚ及びそのリアルタイム映像に対して、例えば拡大、縮小などといった操作を行うことができる。この場合、例えば表示部４１に備えられたタッチパネル等を用いて操作することができる。また、この場合、車外画像Ｐｘ及び外観画像Ｐｚのいずれか一方に対して拡大、縮小等の操作を行うと、それに連動して他方も自動的に拡大、縮小等の操作が行われることにしても良いし、個別に拡大、縮小等ができることにしても良い。 Further, the display unit 41 of the external device 4 can perform operations such as enlargement and reduction of the outside vehicle image Px, the appearance image Pz, and the real-time image thereof. In this case, the operation can be performed using, for example, a touch panel provided on the display unit 41. Further, in this case, when one of the outside image Px and the external image Pz is enlarged or reduced, the other is automatically enlarged or reduced in conjunction with the operation. It may be possible to enlarge or reduce the image individually.

また、外部装置４の表示部４１において、車外画像Ｐｘ、外観画像Ｐｚ及びそれらのリアルタイム映像は、自由に視点切替ができることにしても良い。この場合、例えば表示部４１に備えられたタッチパネル等を用いて操作し、視点切替を行うことができる。 Further, on the display unit 41 of the external device 4, the viewpoints of the external image Px, the external image Pz, and their real-time images may be freely switched. In this case, for example, the viewpoint can be switched by operating using a touch panel or the like provided on the display unit 41.

具体的には、外部装置４の表示部４１において、タッチパネル等を用いて車外画像Ｐｘまたは外観画像Ｐｚに対して新たな視点位置及び視線方向が決定される。外部装置４は、決定した視点位置及び視線方向の情報（以下、視線情報という）を通信部１４に送信する。画像制御部１２２は、通信部１４を介して受信した視線情報に基づき画像生成部１１に新たな車外画像Ｐｘ、外観画像Ｐｚまたはリアルタイム映像を生成させ、通信部１４から外部装置４に送信する。このようにして、外部装置４で視点位置及び視線方向が変更されると、その変更された新たな車外画像Ｐｘ、外観画像Ｐｚまたはリアルタイム映像が外部装置４の表示部４１に表示される。また、この場合、車外画像Ｐｘ及び外観画像Ｐｚのいずれか一方の視点切替を行うと、それに連動して他方も自動的に視点切替が行われることにしても良いし、個別に視点切替ができることにしても良い。 Specifically, in the display unit 41 of the external device 4, a new viewpoint position and line-of-sight direction are determined with respect to the vehicle exterior image Px or the external image Pz using a touch panel or the like. The external device 4 transmits the determined information on the viewpoint position and the line-of-sight direction (hereinafter referred to as line-of-sight information) to the communication unit 14. The image control unit 122 causes the image generation unit 11 to generate a new vehicle exterior image Px, an appearance image Pz, or a real-time image based on the line-of-sight information received via the communication unit 14, and transmits the new vehicle exterior image Px, appearance image Pz, or real-time image from the communication unit 14 to the external device 4. In this way, when the viewpoint position and the line-of-sight direction are changed in the external device 4, the changed new external image Px, external image Pz, or real-time image is displayed on the display unit 41 of the external device 4. Further, in this case, if one of the external image Px and the external image Pz is switched, the other may be automatically switched in conjunction with it, or the viewpoint can be switched individually. You can do it.

また、外部装置４の表示部４１では、車外画像Ｐｘ及び外観画像Ｐｚの両方を同時に表示させても良いし、車外画像Ｐｘ及び外観画像Ｐｚのいずれか一方を個別に表示させても良い。 Further, the display unit 41 of the external device 4 may display both the vehicle exterior image Px and the exterior image Pz at the same time, or may display either the vehicle exterior image Px or the exterior image Pz individually.

上記のように、本実施形態の画像処理装置１は、車両５への外部からの接触を検出した場合に、仮想視点画像に車両５の像を透過像５ｔとして含む車外画像Ｐｘと、仮想視点画像に車両５の像５ｐを含む車両５の外観画像Ｐｚと、を生成し、当該車外画像Ｐｘ及び当該外観画像Ｐｚを外部装置４に対して送信する。これにより、車両５に接触した他車両Ｔｒの外観や挙動を、車外画像Ｐｘとして確認することができる。さらに、車両５の、外部から接触された部分の外観を、外観画像Ｐｚとして確認することができる。すなわち、車両５に危害が加えられた際に、状況把握や事後対応において有効な車外画像Ｐｘ及び外観画像Ｐｚを得ることが可能になる。 As described above, when the image processing device 1 of the present embodiment detects an external contact with the vehicle 5, the external image Px including the image of the vehicle 5 as a transmission image 5t in the virtual viewpoint image and the virtual viewpoint. The external image Pz of the vehicle 5 including the image 5p of the vehicle 5 in the image is generated, and the external image Px and the external image Pz are transmitted to the external device 4. As a result, the appearance and behavior of the other vehicle Tr in contact with the vehicle 5 can be confirmed as an external image Px. Further, the appearance of the portion of the vehicle 5 that has been contacted from the outside can be confirmed as the appearance image Pz. That is, when the vehicle 5 is harmed, it becomes possible to obtain an external image Px and an external image Pz that are effective in grasping the situation and responding after the fact.

また、接近検出部１２３は、車両５の振動または傾きに基づいて車両５への外部からの接触を検出する。これにより、車両５への物体の接触のタイミングを、適正に判別することができる。そして、車両５への物体の接触の直後から、車両５に接触した他車両Ｔｒの外観や挙動を車外画像Ｐｘとして確認することが可能であり、車両５の、外部から接触された部分の外観を外観画像Ｐｚとして確認することが可能である。 Further, the approach detection unit 123 detects external contact with the vehicle 5 based on the vibration or inclination of the vehicle 5. As a result, the timing of contact of the object with the vehicle 5 can be appropriately determined. Immediately after the object comes into contact with the vehicle 5, the appearance and behavior of the other vehicle Tr in contact with the vehicle 5 can be confirmed as an external image Px, and the appearance of the portion of the vehicle 5 contacted from the outside can be confirmed. Can be confirmed as an external image Pz.

また、接近検出部１２３は、車両５の内部に乗員がいないことを検出し、さらに車両５への外部からの接触の検出を開始する。これにより、画像処理装置１は、車両５の内部に乗員がいる場合に作動せず、適正なタイミングで作動させることが可能である。 Further, the approach detection unit 123 detects that there is no occupant inside the vehicle 5, and further starts detecting contact with the vehicle 5 from the outside. As a result, the image processing device 1 does not operate when there is an occupant inside the vehicle 5, and can be operated at an appropriate timing.

また、外部装置４に送信される車外画像Ｐｘ及び外観画像Ｐｚは、静止画または動画である。さらに、車外画像Ｐｘの動画及び外観画像Ｐｚの動画は、生中継の映像である。これらにより、静止画、動画及び生中継映像によって、車両５に接触した他車両Ｔｒの外観や挙動と、車両５の、外部から接触された部分の外観と、を見ることができる。したがって、車両５に危害が加えられた際の、状況把握や事後対応において一層有効である。 Further, the vehicle exterior image Px and the appearance image Pz transmitted to the external device 4 are still images or moving images. Further, the moving image of the outside image Px and the moving image of the appearance image Pz are live images. As a result, the appearance and behavior of the other vehicle Tr in contact with the vehicle 5 and the appearance of the portion of the vehicle 5 in contact with the outside can be seen by still images, moving images, and live broadcast images. Therefore, it is more effective in grasping the situation and responding after the fact when the vehicle 5 is harmed.

また、画像処理装置１は、車外画像Ｐｘ及び外観画像Ｐｚの記録が可能な記憶部１３を備える。これにより、任意のタイミングで、画像処理装置１の車外画像Ｐｘ及び外観画像Ｐｚを見ることが可能である。 Further, the image processing device 1 includes a storage unit 13 capable of recording an external image Px and an external image Pz. Thereby, it is possible to see the vehicle exterior image Px and the appearance image Pz of the image processing device 1 at an arbitrary timing.

また、通信部１４は、車外画像Ｐｘ自体及び外観画像Ｐｚ自体の送信に加えて、車外画像Ｐｘ及び外観画像Ｐｚの記録に係る指令を外部装置４に対して送信する。これにより、車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に記録させることができる。したがって、外部装置４において、任意のタイミングで、画像処理装置１の車外画像Ｐｘ及び外観画像Ｐｚを見ることが可能である。 Further, in addition to transmitting the vehicle exterior image Px itself and the appearance image Pz itself, the communication unit 14 transmits a command relating to recording of the vehicle exterior image Px and the appearance image Pz to the external device 4. As a result, the external device 4 can record the external image Px and the external image Pz. Therefore, in the external device 4, it is possible to see the vehicle exterior image Px and the appearance image Pz of the image processing device 1 at an arbitrary timing.

＜４－１－１．第１実施形態の変形例＞
図９は、外観画像Ｐｚの第２例を示す模式図である。図１０は、車外画像Ｐｘの第１例及び外観画像Ｐｚの第２例が表示された外部装置４を示す模式図である。図９及び図１０に示す外観画像Ｐｚの第２例の仮想視点は、先に説明した図７及び図８に示す外観画像Ｐｚの第１例の仮想視点とは異なる視点位置である。なお、車両５に対する外部からの接触の位置は、同様に車両５の右前部５ｆである。 <4-1-1. Modification example of the first embodiment>
FIG. 9 is a schematic view showing a second example of the appearance image Pz. FIG. 10 is a schematic view showing an external device 4 on which the first example of the external image Px and the second example of the external image Pz are displayed. The virtual viewpoint of the second example of the appearance image Pz shown in FIGS. 9 and 10 is a viewpoint position different from the virtual viewpoint of the first example of the appearance image Pz shown in FIGS. 7 and 8 described above. The position of external contact with the vehicle 5 is similarly the right front portion 5f of the vehicle 5.

外観画像Ｐｚの第２例の場合、画像生成部１１は、車両５の外部の右後方の所定位置を第２視点位置とし、当該第２視点位置から見た接触の位置である車両５の右前部５ｆの方向を視線方向とした仮想視点に基づき、図９及び図１０に示す車両５の外観画像Ｐｚを生成する。すなわち、図９に示すように、画像生成部１１は、接触の位置である車両５の右前部５ｆを頂点Ｖとし、車両５と他車両Ｔｒとで形成される角αの内側にある位置を第２視点位置に係る所定位置とする。外観画像Ｐｚの第２例には、車両５の像５ｐに加えて、車両５に接触した他車両Ｔｒの像Ｔｐが含まれる。 In the case of the second example of the external image Pz, the image generation unit 11 sets a predetermined position on the right rear outside of the vehicle 5 as the second viewpoint position, and the right front of the vehicle 5 which is the contact position seen from the second viewpoint position. The appearance image Pz of the vehicle 5 shown in FIGS. 9 and 10 is generated based on the virtual viewpoint with the direction of the portion 5f as the line-of-sight direction. That is, as shown in FIG. 9, the image generation unit 11 has the right front portion 5f of the vehicle 5, which is the contact position, as the apex V, and the position inside the angle α formed by the vehicle 5 and the other vehicle Tr. It is a predetermined position related to the second viewpoint position. The second example of the external image Pz includes an image Tp of another vehicle Tr in contact with the vehicle 5 in addition to the image 5p of the vehicle 5.

図１１は、車外画像Ｐｘの第２例を示す模式図である。図１１に示す車外画像Ｐｘの第２例の場合、画像処理装置１は、例えば他車両ＴｒがドアＴｄを開放したことによる車両５への接触を検出する。車両５に対する外部からのドアＴｄの接触の位置は、同様に車両５の右前部５ｆである。 FIG. 11 is a schematic view showing a second example of the external image Px. In the case of the second example of the vehicle exterior image Px shown in FIG. 11, the image processing device 1 detects contact with the vehicle 5 due to, for example, another vehicle Tr opening the door Td. The position of the contact of the door Td from the outside with respect to the vehicle 5 is similarly the right front portion 5f of the vehicle 5.

車外画像Ｐｘの第２例の仮想視点は、図６に示す車外画像Ｐｘの第１例とほぼ同じ、車両５の内部の運転者の視点付近が第１視点位置である。そして、画像生成部１１は、車両５の内部の所定位置である運転者の視点付近を第１視点位置とし、当該第１視点位置から見た接触の位置である車両５の右前部、すなわち他車両ＴｒのドアＴｄの方向を視線方向とした仮想視点に基づき、図１１に示す車外画像Ｐｘを生成する。車外画像Ｐｘの第２例には、車両５の透過像５ｔに加えて、車両５に接触したドアＴｄを開放した他車両Ｔｒの像Ｔｐが含まれる。 The virtual viewpoint of the second example of the vehicle exterior image Px is substantially the same as the first example of the vehicle exterior image Px shown in FIG. 6, and the vicinity of the viewpoint of the driver inside the vehicle 5 is the first viewpoint position. Then, the image generation unit 11 sets the vicinity of the driver's viewpoint, which is a predetermined position inside the vehicle 5, as the first viewpoint position, and the right front part of the vehicle 5, that is, the other, which is the contact position seen from the first viewpoint position. The vehicle exterior image Px shown in FIG. 11 is generated based on a virtual viewpoint with the direction of the door Td of the vehicle Tr as the line-of-sight direction. The second example of the vehicle exterior image Px includes, in addition to the transmission image 5t of the vehicle 5, an image Tp of another vehicle Tr in which the door Td in contact with the vehicle 5 is opened.

図１２は、外観画像Ｐｚの第３例を示す模式図である。図１２に示す外観画像Ｐｚの第３例は、図１１と同じ車両５への外部からの接触の状況、すなわち他車両ＴｒがドアＴｄを開放したことによる車両５への接触の状況を示す。 FIG. 12 is a schematic view showing a third example of the external image Pz. The third example of the external image Pz shown in FIG. 12 shows the situation of external contact with the vehicle 5 as in FIG. 11, that is, the situation of contact with the vehicle 5 when the other vehicle Tr opens the door Td.

外観画像Ｐｚの第３例の仮想視点は、図９及び図１０に示す外観画像Ｐｚの第２例と同様に、車両５の外部の右後方の所定位置が第２視点位置である。すなわち、図１２に示すように、画像生成部１１は、接触の位置である車両５の右前部５ｆを頂点Ｖとし、車両５と他車両Ｔｒとで形成される角βの内側にある位置を第２視点位置に係る所定位置とする。外観画像Ｐｚの第３例には、車両５の像５ｐに加えて、車両５に接触したドアＴｄを開放した他車両Ｔｒの像Ｔｐが含まれる。 As in the virtual viewpoint of the third example of the external image Pz, the predetermined position on the right rear outside the vehicle 5 is the second viewpoint position, as in the second example of the external image Pz shown in FIGS. 9 and 10. That is, as shown in FIG. 12, the image generation unit 11 has the right front portion 5f of the vehicle 5, which is the contact position, as the apex V, and the position inside the angle β formed by the vehicle 5 and the other vehicle Tr. It is a predetermined position related to the second viewpoint position. The third example of the external image Pz includes an image Tp of another vehicle Tr in which the door Td in contact with the vehicle 5 is opened, in addition to the image 5p of the vehicle 5.

車外画像Ｐｘの第２例によれば、車両５の外部に接触した他車両Ｔｒの外観や挙動を、運転者の視点付近から見た車外画像Ｐｘとして確認することができる。すなわち、車両５に危害が加えられた際に、状況把握や事後対応においてより一層有効な車外画像Ｐｘを得ることが可能になる。 According to the second example of the vehicle exterior image Px, the appearance and behavior of the other vehicle Tr in contact with the outside of the vehicle 5 can be confirmed as the vehicle exterior image Px seen from the vicinity of the driver's viewpoint. That is, when the vehicle 5 is harmed, it becomes possible to obtain an external image Px that is even more effective in grasping the situation and responding after the fact.

外観画像Ｐｚの第２例、第３例によれば、車両５の外部に接触した他車両Ｔｒの外観や挙動を、外観画像Ｐｚとして確認することができる。すなわち、車両５に危害が加えられた際に、状況把握や事後対応においてより一層有効な外観画像Ｐｚを得ることが可能になる。 According to the second and third examples of the appearance image Pz, the appearance and behavior of the other vehicle Tr in contact with the outside of the vehicle 5 can be confirmed as the appearance image Pz. That is, when the vehicle 5 is harmed, it becomes possible to obtain an appearance image Pz that is more effective in grasping the situation and responding after the fact.

なお、外部装置４の表示部４１では、複数の外観画像Ｐｚを同時に表示させても良い。例えば、外部装置４の表示部４１では、車両５の外部の右前方の所定位置が視点位置である外観画像Ｐｚの第１例と、車両５の外部の右後方の所定位置が視点位置である外観画像Ｐｚの第２例或いは第３例と、の両方を同時に表示させても良い。 The display unit 41 of the external device 4 may display a plurality of external appearance images Pz at the same time. For example, in the display unit 41 of the external device 4, the first example of the external image Pz in which the predetermined position on the right front outside the vehicle 5 is the viewpoint position and the predetermined position on the right rear outside the vehicle 5 are the viewpoint positions. Both the second example and the third example of the appearance image Pz may be displayed at the same time.

＜４－２．第２実施形態＞
図１３は、第２実施形態の車外画像Ｐｘ及び外観画像Ｐｚの生成、送信に係る処理フローの例を示すフローチャートである。なお、第２実施形態の基本的な構成は先に説明した第１実施形態と同じであるので、第１実施形態と異なる構成については以下で説明し、第１実施形態と共通する構成については詳細な説明を省略する。 <4-2. 2nd Embodiment>
FIG. 13 is a flowchart showing an example of a processing flow related to generation and transmission of the vehicle exterior image Px and the appearance image Pz of the second embodiment. Since the basic configuration of the second embodiment is the same as that of the first embodiment described above, the configurations different from the first embodiment will be described below, and the configurations common to the first embodiment will be described below. A detailed description will be omitted.

第２実施形態の画像処理装置１は、接近検出部１２３が、車両５に接近する物体を検出し、当該物体による車両５への接触を予測する。すなわち、図１３に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ２０１）。画像処理装置１では、例えば車両５の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両５への外部からの接近の監視が開始される。 In the image processing device 1 of the second embodiment, the approach detection unit 123 detects an object approaching the vehicle 5 and predicts the contact of the object with the vehicle 5. That is, as shown in FIG. 13, first, in the vehicle 5, a person, an animal, a vehicle, or another object approaching the vehicle 5 from the outside is monitored by the approach detection unit 123 (step S201). In the image processing device 1, when a predetermined start condition such as when there is no occupant inside the vehicle 5 is satisfied, the monitoring mode is set and the monitoring of the approach to the vehicle 5 from the outside is started.

次に、車両５への外部からの接近を検出したか否かが判定される（ステップＳ２０２）。車両５に接近する物体の検出に関して、詳細には、接近検出部１２３は、物体が車両５から所定範囲内に進入することで、物体による車両５への接触を予測する。車両５からの所定範囲としては、例えば半径３ｍ以内などといった範囲を任意に設定することができる。車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部３の超音波センサ、レーダの検出信号、またはカメラ２１～２４の撮影画像による画像認識に基づき判定される。 Next, it is determined whether or not the approach to the vehicle 5 from the outside is detected (step S202). Regarding the detection of an object approaching the vehicle 5, in detail, the approach detection unit 123 predicts the contact of the object with the vehicle 5 by entering the object within a predetermined range from the vehicle 5. As a predetermined range from the vehicle 5, for example, a range such as within a radius of 3 m can be arbitrarily set. Detection of people, animals, vehicles, and other objects around the vehicle is determined based on, for example, an ultrasonic sensor of the sensor unit 3, a radar detection signal, or image recognition based on images taken by cameras 21 to 24.

車両５への外部からの接近を検出した場合（ステップＳ２０２のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ２０３）。以下、接近位置及び接近方向の検出（ステップＳ２０４）、仮想視点画像の生成（ステップＳ２０５）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ２０６）、車両５の像５ｐを含む車両５の外観画像Ｐｚの生成及び記憶（ステップＳ２０７）、車外画像Ｐｘ及び外観画像Ｐｚの外部装置４への送信（ステップＳ２０８）が、順次行われる。 When the approach to the vehicle 5 from the outside is detected (Yes in step S202), the peripheral image of the vehicle 5 is acquired (step S203). Hereinafter, the detection of the approaching position and the approaching direction (step S204), the generation of the virtual viewpoint image (step S205), the generation and storage of the external image Px including the transmission image 5t of the vehicle 5 (step S206), and the image 5p of the vehicle 5 are performed. Generation and storage of the external appearance image Pz of the vehicle 5 including the vehicle (step S207), transmission of the external image Px and the external appearance image Pz to the external device 4 (step S208) are sequentially performed.

なお、本実施形態では、車両５に接近する物体を検出し、当該物体による車両５への接触を予測するので、予測される接触の位置は、車両５に接近する物体の位置である。 In the present embodiment, an object approaching the vehicle 5 is detected and the contact of the object with the vehicle 5 is predicted. Therefore, the predicted contact position is the position of the object approaching the vehicle 5.

図１４は、車外画像Ｐｘの第３例を示す模式図である。図１４は、例えば図６を用いて説明した車外画像Ｐｘの第１例の、車両５への他車両Ｔｒの接触の直前の状況を示す図である。図１５は、外観画像Ｐｚの第４例を示す模式図である。図１５は、例えば図９を用いて説明した外観画像Ｐｚの第２例の、車両５への他車両Ｔｒの接触の直前の状況を示す図である。すなわち、車外画像Ｐｘの第３例及び外観画像Ｐｚの第４例において車両５に接近する他車両Ｔｒの位置は、車両５の右前部５ｆである。 FIG. 14 is a schematic view showing a third example of the external image Px. FIG. 14 is a diagram showing a situation immediately before the contact of another vehicle Tr with the vehicle 5 in the first example of the vehicle exterior image Px described with reference to FIG. 6, for example. FIG. 15 is a schematic view showing a fourth example of the appearance image Pz. FIG. 15 is a diagram showing a situation immediately before the contact of another vehicle Tr with the vehicle 5 in the second example of the external image Pz described with reference to FIG. 9, for example. That is, in the third example of the external image Px and the fourth example of the external image Pz, the position of the other vehicle Tr approaching the vehicle 5 is the right front portion 5f of the vehicle 5.

図１６は、車外画像Ｐｘの第４例を示す模式図である。図１６は、例えば図１１を用いて説明した車外画像Ｐｘの第２例の、車両５への他車両Ｔｒの接触の直前の状況を示す図である。図１７は、外観画像Ｐｚの第５例を示す模式図である。図１７は、例えば図１２を用いて説明した外観画像Ｐｚの第３例の、車両５への他車両Ｔｒの接触の直前の状況を示す図である。すなわち、車外画像Ｐｘの第４例及び外観画像Ｐｚの第５例において車両５に接近する他車両Ｔｒの位置は、車両５の右前部５ｆである。 FIG. 16 is a schematic diagram showing a fourth example of the external image Px. FIG. 16 is a diagram showing a situation immediately before the contact of another vehicle Tr with the vehicle 5 in the second example of the vehicle exterior image Px described with reference to FIG. 11, for example. FIG. 17 is a schematic diagram showing a fifth example of the external image Pz. FIG. 17 is a diagram showing a situation immediately before the contact of another vehicle Tr with the vehicle 5 in the third example of the external image Pz described with reference to FIG. 12, for example. That is, in the fourth example of the external image Px and the fifth example of the external image Pz, the position of the other vehicle Tr approaching the vehicle 5 is the right front portion 5f of the vehicle 5.

これらの状況において、画像生成部１１は、車両５の内部の所定位置である運転者の視点付近を第１視点位置とし、当該第１視点位置から見た車両５に接近する他車両Ｔｒの位置である車両５の右前部５ｆの方向を視線方向とした仮想視点に基づき、車外画像Ｐｘを生成する（ステップＳ２０６）。すなわち、図１４及び図１６に示すように、車外画像Ｐｘの仮想視点画像には、車両５の透過像５ｔに加えて、車両５に接近する他車両Ｔｒの像Ｔｐが含まれる。 In these situations, the image generation unit 11 sets the vicinity of the driver's viewpoint, which is a predetermined position inside the vehicle 5, as the first viewpoint position, and the position of the other vehicle Tr approaching the vehicle 5 as seen from the first viewpoint position. The vehicle exterior image Px is generated based on the virtual viewpoint with the direction of the right front portion 5f of the vehicle 5 as the line-of-sight direction (step S206). That is, as shown in FIGS. 14 and 16, the virtual viewpoint image of the vehicle exterior image Px includes, in addition to the transmission image 5t of the vehicle 5, an image Tp of another vehicle Tr approaching the vehicle 5.

また、画像生成部１１は、車両５の外部の右後方の所定位置を第２視点位置とし、当該第２視点位置から見た車両５に接近する他車両Ｔｒの位置である車両５の右前部５ｆの方向を視線方向とした仮想視点に基づき、車両５の外観画像Ｐｚを生成する（ステップＳ２０７）。すなわち、図１５及び図１７に示すように、画像生成部１１は、車両５に接近する他車両Ｔｒの位置である車両５の右前部５ｆを頂点Ｖとし、車両５と他車両Ｔｒとで形成される角α、角βの内側にある位置を第２視点位置に係る所定位置とする。外観画像Ｐｚの仮想視点画像には、車両５の像５ｐに加えて、車両５に接近する他車両Ｔｒの像Ｔｐが含まれる。 Further, the image generation unit 11 has a predetermined position on the right rear outside the vehicle 5 as the second viewpoint position, and the right front portion of the vehicle 5 which is the position of another vehicle Tr approaching the vehicle 5 as seen from the second viewpoint position. An external image Pz of the vehicle 5 is generated based on a virtual viewpoint with the direction of 5f as the line-of-sight direction (step S207). That is, as shown in FIGS. 15 and 17, the image generation unit 11 is formed by the vehicle 5 and the other vehicle Tr, with the right front portion 5f of the vehicle 5, which is the position of the other vehicle Tr approaching the vehicle 5, as the apex V. The positions inside the angles α and β are defined as predetermined positions related to the second viewpoint position. The virtual viewpoint image of the external image Pz includes an image Tp of another vehicle Tr approaching the vehicle 5 in addition to the image 5p of the vehicle 5.

ステップＳ２０３～Ｓ２０５、Ｓ２０８の詳細は、第１実施形態と同様であるので、説明を省略する。 The details of steps S203 to S205 and S208 are the same as those in the first embodiment, and thus the description thereof will be omitted.

上記のように、第２実施形態の画像処理装置１は、接近検出部１２３が、車両５に接近する物体（他車両Ｔｒ）を検出し、物体（他車両Ｔｒ）による車両５への接触を予測する。これにより、他車両Ｔｒが車両５に接近する段階において、その他車両Ｔｒの外観や挙動を車外画像Ｐｘ及び外観画像Ｐｚとして確認することができる。すなわち、その後、車両５に危害が加えられた際に、状況把握や事後対応において有効な車外画像Ｐｘ及び外観画像Ｐｚを得ることが可能になる。 As described above, in the image processing device 1 of the second embodiment, the approach detection unit 123 detects an object (other vehicle Tr) approaching the vehicle 5 and makes contact with the vehicle 5 by the object (other vehicle Tr). Predict. Thereby, at the stage where the other vehicle Tr approaches the vehicle 5, the appearance and behavior of the other vehicle Tr can be confirmed as the external image Px and the external image Pz. That is, after that, when the vehicle 5 is harmed, it becomes possible to obtain an external image Px and an external image Pz that are effective in grasping the situation and responding after the fact.

＜４－３．第３実施形態＞
図１８は、第３実施形態の車外画像Ｐｘ及び外観画像Ｐｚの生成、送信に係る処理フローの例を示すフローチャートである。なお、第３実施形態の基本的な構成は先に説明した第１及び第２の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。 <4-3. Third Embodiment>
FIG. 18 is a flowchart showing an example of a processing flow related to generation and transmission of an external image Px and an external image Pz according to a third embodiment. Since the basic configuration of the third embodiment is the same as that of the first and second embodiments described above, configurations different from these embodiments will be described below and are common to these embodiments. A detailed description of the configuration to be performed will be omitted.

第３実施形態の画像処理装置１では、図１８に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ３０１）。画像処理装置１では、例えば車両５の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両５への外部からの接近の監視が開始される。 In the image processing device 1 of the third embodiment, as shown in FIG. 18, first, in the vehicle 5, a person, an animal, a vehicle, or another object approaching the vehicle 5 from the outside is monitored by the approach detection unit 123. (Step S301). In the image processing device 1, when a predetermined start condition such as when there is no occupant inside the vehicle 5 is satisfied, the monitoring mode is set and the monitoring of the approach to the vehicle 5 from the outside is started.

次に、車両５への外部からの接近を検出したか否かが判定される（ステップＳ３０２）。車両５に接近する物体の検出に関して、詳細には、接近検出部１２３は、物体が車両５から所定範囲内（例えば半径３ｍ以内）に進入することで、物体による車両５への接触を予測する。車両周辺の人や動物、車両、その他の物体の検出は、例えばセンサ部３の超音波センサ、レーダの検出信号、またはカメラ２１～２４の撮影画像による画像認識に基づき判定される。 Next, it is determined whether or not the approach to the vehicle 5 from the outside is detected (step S302). Regarding the detection of an object approaching the vehicle 5, in detail, the approach detection unit 123 predicts the contact of the object with the vehicle 5 by entering the object within a predetermined range (for example, within a radius of 3 m) from the vehicle 5. .. Detection of people, animals, vehicles, and other objects around the vehicle is determined based on, for example, an ultrasonic sensor of the sensor unit 3, a radar detection signal, or image recognition based on images taken by cameras 21 to 24.

車両５への外部からの接近を検出した場合（ステップＳ３０２のＹｅｓ）、物体が車両５に接近した状態で、所定時間経過したか否かが判定される（ステップＳ３０３）。詳細には、接近検出部１２３は、物体が車両５への接近後、物体が所定時間、車両５から所定範囲内に滞在することで、物体による車両５への接触を予測する。物体の滞在に係る所定時間としては、例えば１分などといった時間を任意に設定することができる。車両周辺の物体の検出は、引き続き、例えばセンサ部３の超音波センサ、レーダの検出信号等に基づき判定される。 When the approach to the vehicle 5 from the outside is detected (Yes in step S302), it is determined whether or not a predetermined time has elapsed with the object approaching the vehicle 5 (step S303). Specifically, the approach detection unit 123 predicts the contact of the object with the vehicle 5 by staying within a predetermined range from the vehicle 5 for a predetermined time after the object approaches the vehicle 5. As the predetermined time for staying the object, a time such as 1 minute can be arbitrarily set. The detection of an object around the vehicle is subsequently determined based on, for example, an ultrasonic sensor of the sensor unit 3, a radar detection signal, or the like.

物体が車両５に接近した状態で、所定時間経過していない場合（ステップＳ３０３のＮｏ）、ステップＳ３０２に戻って、物体の接近状態の監視が継続される。さらに、車両５への物体の接近を検出しない場合、または車両５への物体の接近を検出しなくなった場合（ステップＳ３０２のＮｏ）、ステップＳ３０１に戻って、車両５への物体の接近の監視が継続される。 When the object is close to the vehicle 5 and the predetermined time has not elapsed (No in step S303), the process returns to step S302 and the monitoring of the approach state of the object is continued. Further, when the approach of the object to the vehicle 5 is not detected, or when the approach of the object to the vehicle 5 is not detected (No in step S302), the process returns to step S301 to monitor the approach of the object to the vehicle 5. Is continued.

物体が車両５に接近した状態で、所定時間経過した場合（ステップＳ３０３のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ３０４）。以下、接近位置及び接近方向の検出（ステップＳ３０５）、仮想視点画像の生成（ステップＳ３０６）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ３０７）、車両５の像５ｐを含む車両５の外観画像Ｐｚの生成及び記憶（ステップＳ３０８）、車外画像Ｐｘ及び外観画像Ｐｚの外部装置４への送信（ステップＳ３０９）が、順次行われる。ステップＳ３０４～ステップＳ３０９の詳細は、第１及び第２の実施形態と同様であるので、説明を省略する。 When a predetermined time has elapsed with the object approaching the vehicle 5 (Yes in step S303), the peripheral image of the vehicle 5 is acquired (step S304). Hereinafter, the detection of the approaching position and the approaching direction (step S305), the generation of the virtual viewpoint image (step S306), the generation and storage of the external image Px including the transmission image 5t of the vehicle 5 (step S307), and the image 5p of the vehicle 5 are performed. Generation and storage of the external appearance image Pz of the vehicle 5 including the vehicle (step S308), transmission of the external image Px and the external appearance image Pz to the external device 4 (step S309) are sequentially performed. The details of steps S304 to S309 are the same as those of the first and second embodiments, and thus the description thereof will be omitted.

上記のように、第３実施形態の画像処理装置１は、接近検出部１２３が、物体が車両５への接近後、物体が所定時間、車両５から所定範囲内に滞在することで、物体による車両５への接触を予測する。これにより、例えば他車両が車両５に接近し、車両周辺に長く滞在した場合に、その他車両の外観や挙動を車外画像Ｐｘ及び外観画像Ｐｚとして確認することができる。そして、例えば車両周辺を人や動物、車両、その他の物体が単に通過しただけの場合に、車外画像Ｐｘ及び外観画像Ｐｚの生成、送信を行わないようにすることができる。したがって、効率良く、車両５に危害が加えられた際の、状況把握や事後対応において有効な車外画像Ｐｘ及び外観画像Ｐｚを得ることが可能になる。 As described above, in the image processing device 1 of the third embodiment, the approach detection unit 123 depends on the object by allowing the object to stay within a predetermined range from the vehicle 5 for a predetermined time after the object approaches the vehicle 5. Predict contact with vehicle 5. Thereby, for example, when another vehicle approaches the vehicle 5 and stays in the vicinity of the vehicle for a long time, the appearance and behavior of the other vehicle can be confirmed as the outside image Px and the appearance image Pz. Then, for example, when a person, an animal, a vehicle, or another object simply passes around the vehicle, the external image Px and the external image Pz can be prevented from being generated or transmitted. Therefore, it is possible to efficiently obtain an external image Px and an external image Pz that are effective in grasping the situation and responding after the fact when the vehicle 5 is harmed.

＜４－４．第４実施形態＞
図１９は、第４実施形態の車外画像Ｐｘ及び外観画像Ｐｚの生成、送信に係る処理フローの例を示すフローチャートである。なお、第４実施形態の基本的な構成は先に説明した第１、第２及び第３の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。 <4-4. Fourth Embodiment>
FIG. 19 is a flowchart showing an example of a processing flow related to generation and transmission of an external image Px and an external image Pz according to a fourth embodiment. Since the basic configuration of the fourth embodiment is the same as that of the first, second, and third embodiments described above, configurations different from these embodiments will be described below, and these embodiments will be described. A detailed description of the configuration common to the form will be omitted.

第４実施形態の画像処理装置１では、図１９に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ４０１）。以下、車両５への物体の接近の判定（ステップＳ４０２）、車両５の周辺画像の取得（ステップＳ４０３）、接近位置及び接近方向の検出（ステップＳ４０４）、仮想視点画像の生成（ステップＳ４０５）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ４０６）、車両５の像５ｐを含む車両５の外観画像Ｐｚの生成及び記憶（ステップＳ４０７）が、順次行われる。ステップＳ４０１～ステップＳ４０７の詳細は、第１及び第２の実施形態と同様であるので、説明を省略する。 In the image processing device 1 of the fourth embodiment, as shown in FIG. 19, first, in the vehicle 5, a person, an animal, a vehicle, or another object approaching the vehicle 5 from the outside is monitored by the approach detection unit 123. (Step S401). Hereinafter, determination of the approach of an object to the vehicle 5 (step S402), acquisition of a peripheral image of the vehicle 5 (step S403), detection of an approach position and an approach direction (step S404), generation of a virtual viewpoint image (step S405), The generation and storage of the exterior image Px including the transmission image 5t of the vehicle 5 (step S406) and the generation and storage of the appearance image Pz of the vehicle 5 including the image 5p of the vehicle 5 (step S407) are sequentially performed. The details of steps S401 to S407 are the same as those of the first and second embodiments, and thus the description thereof will be omitted.

次に、車両５への外部からの接触を検出したか否かが判定される（ステップＳ４０８）。車両５への外部からの接触は、例えばセンサ部３の振動センサ、傾斜センサ、超音波センサ、レーダ等の検出信号に基づき判定される。 Next, it is determined whether or not an external contact with the vehicle 5 is detected (step S408). External contact with the vehicle 5 is determined based on detection signals of, for example, a vibration sensor, an inclination sensor, an ultrasonic sensor, a radar, or the like of the sensor unit 3.

車両５への外部からの接触を検出した場合（ステップＳ４０８のＹｅｓ）、通信部１４が、車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に対して送信する（ステップＳ４０９）。車外画像Ｐｘ及び外観画像Ｐｚが外部装置４に対して送信されると、図１９に示す処理フローが終了される。 When the external contact with the vehicle 5 is detected (Yes in step S408), the communication unit 14 transmits the vehicle exterior image Px and the appearance image Pz to the external device 4 (step S409). When the vehicle exterior image Px and the external image Pz are transmitted to the external device 4, the processing flow shown in FIG. 19 is terminated.

車両５への外部からの接触を検出しない場合（ステップＳ４０８のＮｏ）、物体が車両５に接近した状態であるか否かが判定される（ステップＳ４１０）。引き続き、車両周辺の物体の検出は、例えばセンサ部３の超音波センサ、レーダの検出信号等に基づき判定される。物体が車両５に接近した状態である場合（ステップＳ４１０のＹｅｓ）、ステップＳ４０８に戻って、車両５への物体の接触の判定が行われる。 When no external contact with the vehicle 5 is detected (No in step S408), it is determined whether or not the object is in a state of approaching the vehicle 5 (step S410). Subsequently, the detection of an object around the vehicle is determined based on, for example, the ultrasonic sensor of the sensor unit 3, the detection signal of the radar, and the like. When the object is in a state of approaching the vehicle 5 (Yes in step S410), the process returns to step S408 to determine the contact of the object with the vehicle 5.

車両５への物体の接近を検出しなくなった場合（ステップＳ４１０のＮｏ）、ステップＳ４０６で生成された車外画像Ｐｘ、及びステップＳ４０７で生成された外観画像Ｐｚは破棄される（ステップＳ４１１）。すなわち、画像処理装置１は、一時的に記憶部１３に記憶させた車外画像Ｐｘ及び外観画像Ｐｚを消去する。そして、ステップＳ４０１に戻って、車両５への物体の接近の監視が継続される。 When the approach of the object to the vehicle 5 is no longer detected (No in step S410), the outside image Px generated in step S406 and the appearance image Pz generated in step S407 are discarded (step S411). That is, the image processing device 1 erases the vehicle exterior image Px and the appearance image Pz temporarily stored in the storage unit 13. Then, returning to step S401, monitoring of the approach of the object to the vehicle 5 is continued.

上記のように、第４実施形態の画像処理装置１は、接近検出部１２３が車両５への外部からの接触を予測した場合に、画像生成部１１が車外画像Ｐｘ及び外観画像Ｐｚの生成を開始し、さらに接近検出部１２３が車両５への外部からの接触を検出した場合に、通信部１４が車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に対して送信する。これにより、例えば他車両が車両５に接近する段階において、迅速に、その他車両の外観や挙動を車外画像Ｐｘ及び外観画像Ｐｚとして確認することができる。さらに、実際に車両５に接触した場合のみ、車外画像Ｐｘ及び外観画像Ｐｚを外部装置４に対して送信することができる。したがって、より一層効率良く、車両５に危害が加えられた際の、状況把握や事後対応において有効な車外画像Ｐｘ及び外観画像Ｐｚを得ることが可能になる。 As described above, in the image processing device 1 of the fourth embodiment, when the approach detection unit 123 predicts the external contact with the vehicle 5, the image generation unit 11 generates the external image Px and the external image Pz. When the approach detection unit 123 further detects contact with the vehicle 5 from the outside, the communication unit 14 transmits the vehicle exterior image Px and the appearance image Pz to the external device 4. Thereby, for example, at the stage where the other vehicle approaches the vehicle 5, the appearance and behavior of the other vehicle can be quickly confirmed as the external image Px and the external image Pz. Further, the external image Px and the external image Pz can be transmitted to the external device 4 only when the vehicle actually touches the vehicle 5. Therefore, it becomes possible to obtain the exterior image Px and the appearance image Pz that are more efficient and effective in grasping the situation and responding after the fact when the vehicle 5 is harmed.

また、車外画像Ｐｘ及び外観画像Ｐｚは、接近検出部１２３が車両５への接触を予測したこと、すなわち車両５への接近を検出したことに基づいて記憶部１３に記憶され、記憶部１３に記憶された当該車外画像Ｐｘ及び当該外観画像Ｐｚは、接近検出部１２３が車両５への接触を検出した場合に、記憶部１３に保存され、接近検出部１２３が車両５への接触を予測しなくなった、すなわち車両５への接近を検出しなくなった場合に、記憶部１３から破棄される。したがって、記憶部１３の記憶容量を有効に活用することができる。 Further, the external image Px and the external image Pz are stored in the storage unit 13 based on the fact that the approach detection unit 123 predicts the contact with the vehicle 5, that is, the approach to the vehicle 5 is detected, and is stored in the storage unit 13. The stored outside image Px and the appearance image Pz are stored in the storage unit 13 when the approach detection unit 123 detects contact with the vehicle 5, and the approach detection unit 123 predicts the contact with the vehicle 5. When it disappears, that is, when the approach to the vehicle 5 is no longer detected, it is discarded from the storage unit 13. Therefore, the storage capacity of the storage unit 13 can be effectively utilized.

＜５．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。 <5. Others>
The various technical features disclosed herein can be modified in addition to the above embodiments without departing from the gist of the technical creation. That is, it should be considered that the above embodiments are exemplary in all respects and are not restrictive. It should be understood that the technical scope of the present invention is shown by the scope of claims, not the description of the above embodiment, and includes all modifications belonging to the meaning and scope equivalent to the scope of claims. Is. Further, the above-mentioned plurality of embodiments and examples may be combined and carried out to the extent possible.

例えば、上記実施形態では、車両５と他車両Ｔｒとで形成される角α、角βの内側にある位置を第２視点位置とする場合、車両５の外部の後方の所定位置を第２視点位置としたが、車両５の外部の前方の所定位置を第２視点位置としても良い。これにより、車両５の外観、及び車両５に接近する人や他の物体の外観を、様々な方向から見ることができる。 For example, in the above embodiment, when the position inside the angle α and the angle β formed by the vehicle 5 and the other vehicle Tr is the second viewpoint position, the predetermined position behind the outside of the vehicle 5 is the second viewpoint. Although the position is set, a predetermined position in front of the outside of the vehicle 5 may be set as the second viewpoint position. Thereby, the appearance of the vehicle 5 and the appearance of a person or another object approaching the vehicle 5 can be seen from various directions.

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。 Further, in the above embodiment, it has been explained that various functions are realized by software by the arithmetic processing of the CPU according to the program, but some of these functions are realized by the electric hardware circuit. May be. On the contrary, some of the functions realized by the hardware circuit may be realized by software.

１ 画像処理装置
３ センサ部
４ 外部装置
５ 車両
１１ 画像生成部
１２ 制御部
１３ 記憶部
１４ 通信部
２１ フロントカメラ（車載カメラ）
２２ 右サイドカメラ（車載カメラ）
２３ バックカメラ（車載カメラ）
２４ 左サイドカメラ（車載カメラ）
１２３ 接近検出部 1 Image processing device 3 Sensor unit 4 External device 5 Vehicle 11 Image generation unit 12 Control unit 13 Storage unit 14 Communication unit 21 Front camera (vehicle-mounted camera)
22 Right side camera (vehicle-mounted camera)
23 Back camera (vehicle-mounted camera)
24 Left side camera (vehicle-mounted camera)
123 Approach detector

Claims (10)

車載カメラで撮影された撮影画像を処理する画像処理装置であって、
前記車載カメラが搭載された車両への外部からの接触を予測または検出する接近検出部と、
前記車両の内部の所定位置を第１視点位置とし、前記第１視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像、及び
前記車両の外部の所定位置を第２視点位置とし、前記第２視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を含む前記車両の外観画像を生成する画像生成部と、
前記車外画像及び前記外観画像を外部装置に対して送信する通信部と、
を備え、
前記接近検出部が前記車両への前記接触を予測または検出した場合に、前記画像生成部が前記車外画像及び前記外観画像を生成し、当該車外画像及び当該外観画像を前記通信部を介して前記外部装置に対して送信する画像処理装置。 An image processing device that processes images taken by an in-vehicle camera.
An approach detection unit that predicts or detects external contact with the vehicle equipped with the in-vehicle camera, and
A predetermined position inside the vehicle is set as the first viewpoint position, the direction of the contact position seen from the first viewpoint position is set as the line-of-sight direction, an outside image including the image of the vehicle as a transmission image, and the outside of the vehicle. The predetermined position is the second viewpoint position, the direction of the contact position seen from the second viewpoint position is the line-of-sight direction, and an image generation unit that generates an external image of the vehicle including an image of the vehicle.
A communication unit that transmits the outside image and the appearance image to an external device,
Equipped with
When the approach detection unit predicts or detects the contact with the vehicle, the image generation unit generates the vehicle exterior image and the appearance image, and the vehicle exterior image and the appearance image are transmitted to the vehicle via the communication unit. An image processing device that sends to an external device. 前記接近検出部は、前記車両に接近する物体を検出し、
前記画像生成部は、前記接触の位置を頂点として前記車両と前記物体とで形成される角の内側にある位置を前記第２視点位置に係る前記所定位置とする請求項１に記載の画像処理装置。 The approach detection unit detects an object approaching the vehicle and detects an object.
The image processing according to claim 1, wherein the image generation unit sets a position inside the corner formed by the vehicle and the object as the apex of the contact position as the predetermined position related to the second viewpoint position. Device. 前記接近検出部は、前記車両に接近する物体を検出し、前記物体による前記車両への前記接触を予測する請求項１または請求項２に記載の画像処理装置。 The image processing device according to claim 1 or 2, wherein the approach detection unit detects an object approaching the vehicle and predicts the contact of the object with the vehicle. 前記接近検出部は、前記物体が前記車両への接近後、前記物体が所定時間、前記車両から所定範囲内に滞在することで、前記物体による前記車両への前記接触を予測する請求項３に記載の画像処理装置。 The third aspect of the present invention predicts the contact of the object with the vehicle by the object staying within a predetermined range from the vehicle for a predetermined time after the object approaches the vehicle. The image processing device described. 前記接近検出部が前記車両への前記接触を予測した場合に、前記画像生成部が前記車外画像及び前記外観画像の生成を開始し、さらに、
前記接近検出部が前記車両への前記接触を検出した場合に、前記通信部が前記車外画像及び前記外観画像を前記外部装置に対して送信する請求項１から請求項４のいずれかに記載の画像処理装置。 When the approach detection unit predicts the contact with the vehicle, the image generation unit starts to generate the outside image and the appearance image, and further
The aspect according to any one of claims 1 to 4, wherein when the approach detection unit detects the contact with the vehicle, the communication unit transmits the vehicle exterior image and the appearance image to the external device. Image processing device. 前記接近検出部は、前記車両の内部に乗員がいないことを検出すると、前記車両への外部からの前記接触の予測または検出を開始する請求項１から請求項５のいずれかに記載の画像処理装置。 The image processing according to any one of claims 1 to 5, wherein when the approach detection unit detects that there is no occupant inside the vehicle, it starts predicting or detecting the contact from the outside to the vehicle. Device. 前記車外画像及び前記外観画像の記録が可能な記憶部を備える請求項１から請求項６のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 6, further comprising a storage unit capable of recording the external image and the external image. 前記車外画像及び前記外観画像は、前記接近検出部が前記車両への前記接触を予測したことに基づいて前記記憶部に記憶され、
前記記憶部に記憶された当該車外画像及び当該外観画像は、
前記接近検出部が前記車両への前記接触を検出した場合に、前記記憶部に保存され、
前記接近検出部が前記車両への前記接触を予測しなくなった場合に、前記記憶部から破棄される請求項７に記載の画像処理装置。 The outside image and the appearance image are stored in the storage unit based on the fact that the approach detection unit predicts the contact with the vehicle.
The vehicle exterior image and the external image stored in the storage unit are
When the approach detection unit detects the contact with the vehicle, it is stored in the storage unit.
The image processing device according to claim 7, wherein when the approach detection unit does not predict the contact with the vehicle, the image processing device is discarded from the storage unit. 前記通信部は、前記車外画像及び前記外観画像の記録に係る指令を前記外部装置に対して送信する請求項１から請求項８のいずれかに記載の画像処理装置。 The image processing device according to any one of claims 1 to 8, wherein the communication unit transmits a command relating to recording of the vehicle exterior image and the appearance image to the external device. 画像処理装置による車載カメラで撮影された撮影画像を処理する画像処理方法であって、
接近検出部が、前記車載カメラが搭載された車両への外部からの接触を予測または検出する工程と、
前記車両への外部からの接触が予測または検出された場合に、前記車両の内部の所定位置を第１視点位置とし、前記第１視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を、画像生成部が生成する工程と、
前記車両への外部からの接触が予測または検出された場合に、前記車両の外部の所定位置を第２視点位置とし、前記第２視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を含む前記車両の外観画像を、画像生成部が生成する工程と、
通信部が、前記車外画像及び前記外観画像を外部装置に対して送信する工程と、
を含む画像処理方法。 It is an image processing method that processes images taken by an in-vehicle camera using an image processing device .
The process in which the proximity detection unit predicts or detects external contact with the vehicle on which the in-vehicle camera is mounted, and
When an external contact with the vehicle is predicted or detected, a predetermined position inside the vehicle is set as the first viewpoint position, and the direction of the contact position as seen from the first viewpoint position is set as the line-of-sight direction. A process in which the image generation unit generates an image of the outside of the vehicle including the image of the vehicle as a transmission image, and
When an external contact with the vehicle is predicted or detected, a predetermined position outside the vehicle is set as the second viewpoint position, and the direction of the contact position as seen from the second viewpoint position is set as the line-of-sight direction. A step of generating an external image of the vehicle including an image of the vehicle by an image generation unit , and
The process in which the communication unit transmits the vehicle exterior image and the exterior image to the external device, and
Image processing methods including.
JP2017205387A 2017-10-24 2017-10-24 Image processing device and image processing method Active JP7051369B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017205387A JP7051369B2 (en) 2017-10-24 2017-10-24 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017205387A JP7051369B2 (en) 2017-10-24 2017-10-24 Image processing device and image processing method

Publications (2)

Publication Number Publication Date
JP2019079250A JP2019079250A (en) 2019-05-23
JP7051369B2 true JP7051369B2 (en) 2022-04-11

Family

ID=66626559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017205387A Active JP7051369B2 (en) 2017-10-24 2017-10-24 Image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP7051369B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116057588A (en) * 2020-10-30 2023-05-02 Jvc建伍株式会社 Recording control device for vehicle and recording control method for vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197818A (en) 2013-03-29 2014-10-16 富士通テン株式会社 Image processing unit, image processing method and image processing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6014433B2 (en) * 2012-09-19 2016-10-25 富士通テン株式会社 Image processing apparatus, image processing method, and image processing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197818A (en) 2013-03-29 2014-10-16 富士通テン株式会社 Image processing unit, image processing method and image processing system

Also Published As

Publication number Publication date
JP2019079250A (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN108958467B (en) Apparatus and method for controlling display of hologram, vehicle system
US9199607B2 (en) In-vehicle apparatus
JP5093611B2 (en) Vehicle periphery confirmation device
US20190286123A1 (en) Remote vehicle control device and remote vehicle control method
CN107809577A (en) Vehicle intrusion detection is carried out by panorama camera
CN112165609A (en) Image display device and image display system
JP5708669B2 (en) Vehicle display device
US11092960B2 (en) Remote vehicle control device and remote vehicle control method
JP2010257249A (en) On-vehicle security device
JP2008087651A (en) In-vehicle camera system
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
JP4984521B2 (en) In-vehicle camera control device
WO2018177702A1 (en) Parking assist system and method and a vehicle equipped with the system
US20190286118A1 (en) Remote vehicle control device and remote vehicle control method
JP5105880B2 (en) Vehicle status monitoring device and image processing device
KR101305310B1 (en) Method for providing around view of vehicle
JP7063652B2 (en) Vehicle remote control device, vehicle remote control system and vehicle remote control method
JP7051369B2 (en) Image processing device and image processing method
JP2018107573A (en) Visual confirmation device for vehicle
JP7112191B2 (en) Image processing device and image processing method
JP2020150295A (en) Vehicle crime prevention device
JP7103773B2 (en) Image processing device and image processing method
WO2023284748A1 (en) Auxiliary driving system and vehicle
JP2005182305A (en) Vehicle travel support device
JP2020149088A (en) Vehicle-crime prevention device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150