JP6711631B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP6711631B2
JP6711631B2 JP2016014699A JP2016014699A JP6711631B2 JP 6711631 B2 JP6711631 B2 JP 6711631B2 JP 2016014699 A JP2016014699 A JP 2016014699A JP 2016014699 A JP2016014699 A JP 2016014699A JP 6711631 B2 JP6711631 B2 JP 6711631B2
Authority
JP
Japan
Prior art keywords
vehicle
monitoring device
floating body
remote monitoring
flying object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016014699A
Other languages
English (en)
Other versions
JP2017135601A (ja
Inventor
田中　真一
真一 田中
愛弓 重松
愛弓 重松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016014699A priority Critical patent/JP6711631B2/ja
Priority to US15/414,225 priority patent/US10558218B2/en
Publication of JP2017135601A publication Critical patent/JP2017135601A/ja
Application granted granted Critical
Publication of JP6711631B2 publication Critical patent/JP6711631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3822—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving specially adapted for use in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/37—Charging when not in flight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/92—Portable platforms
    • B64U70/93—Portable platforms for use on a land or nautical vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Description

本発明は、車両周囲監視装置、監視システム、遠隔監視装置及び監視方法に関する。
従来、飛行物体等に搭載した撮像装置によって、上空から車両の周囲及び前方の画像を撮影して運転者が見ているディスプレイに表示する技術が提案されている（例えば、特許文献１参照）。運転者は、ディスプレイに表示された撮影画像を閲覧することで、例えば、前方の路面状況、交通信号の状況、交差点の状況、交通状況の把握が可能となる。
近年、いわゆる“ドローン”と呼ばれる遠隔操縦型または自律型のクワッドコプター、マルチコプターといった飛行物体の娯楽以外の目的での利用が検討されている。例えば、ドローンを活用した、監視や測量、物品の運搬、兵器への応用などが検討されている。
特開２００６−１８０３２６号公報 特開２００８−７４２７５号公報 特開２０１０−２５０４７８号公報
ところで、ドローンを車両の運転支援目的に使用する場合、上記従来の技術の適用が想定される。しかしながら、従来は、車両の走行状態に応じた多様な情報の取得や乗員への提示ができないという課題があった。
開示の技術の一側面は、車両周囲監視装置によって例示される。すなわち、車両周囲監視装置は、少なくとも撮像装置を含むセンサを搭載した浮遊体を車両周囲に浮遊させて車両周囲の情報を取得すると共に、情報を乗員に提示する。車両周囲監視装置は、車両の走行状況に応じて、車両周囲の情報の取得方法と前記情報の乗員への提示方法の少なくとも一つを制御する処理手段を備えることを特徴とする。本発明によれば、車両の走行状態に応じた多様な情報の取得や提示が可能になり、ドローンを用いて、より実用性、有用性の高い運転支援が可能になる。
本車両周囲監視装置によれば、車両の走行状況に対応した情報取得及び乗員への情報提示が可能になる。
監視システムの一例を示す構成図である。 コンピュータのハードウェア構成の一例を示す図である。 車両周囲監視装置の一例を示す処理ブロック図である。 浮遊体型遠隔監視装置の一例を示す処理ブロック図である。 撮像装置の焦点距離を制御する処理の一例を示すフローチャートである。 撮像装置の画角を制御する処理の一例を示すフローチャートである。 撮像装置の撮影方向を制御する処理の一例を示すフローチャートである。 撮像装置の向き制御する処理の一例を示すフローチャートである。 画像認識による帰還処理の一例を示すフローチャートである。 車両のアイドリングストップによる帰還処理の一例を示すフローチャートである。 飛行禁止エリアによる帰還処理の一例を示すフローチャートである。 車両と飛行物体との間の相対距離に基づく警告処理の一例を示すフローチャートである。 衝撃検出時の撮影画像の記録処理の一例を示すフローチャートである。
以下、図面を参照して、一実施形態に係る車両周囲監視装置について説明する。以下の実施形態の構成は例示であり、本車両周囲監視装置は実施形態の構成には限定されない。
＜第１実施形態＞
〔システム構成〕
図１は、本実施形態の監視システム１の一例を示す構成図である。監視システム１は、車両周囲監視装置を搭載した車両２と、浮遊体型遠隔監視装置を搭載した飛行物体３とを含む。飛行物体３は、例えば、浮遊体型遠隔監視装置からの制御を受けて自律飛行可能なドローン等の飛行物体である。飛行物体３は、例えば、車両２の近傍を浮遊しながら飛行する。飛行物体３には、浮遊体型遠隔監視装置に接続する撮像装置２１が搭載される。車両周囲監視装置及び浮遊体型遠隔監視装置は、例えば、無線通信モジュールを有するコンピュータである。車両周囲監視装置及び浮遊体型遠隔監視装置は、無線通信モジュールで規定された無線通信を介して接続される。なお、車両２に搭載された車両周囲監視装置には、浮遊体型遠隔監視装置を搭載する飛行物体３が複数に接続し得る。
車両周囲監視装置は、車両２の走行状況に係る情報を取得する。走行状況に係る情報には、例えば、車両２の走行速度や加減速に伴う加速度、進行方向、ハンドル操作によるヨーレートといった情報が含まれる。また、上記情報は、例えば、ウィンカー操作の指示位置、シフトレバー操作の指示位置、アイドリングストップの指示や状態、エアバック展開や衝撃検出（一定値以上の加速度の変化）といった情報を含むとしてもよい。また、上記情報には、例えば、ＧＰＳ（Global Positioning System）信号に基づく車両２の緯度、
経度等の位置情報（以下、ＧＰＳ情報とも称す）、地図情報が含まれるとしてもよい。車両周囲監視装置は、車両２から取得した上記情報を浮遊体型遠隔監視装置に送信する。
浮遊体型遠隔監視装置は、無線通信を介して車両周囲監視装置から送信された上記情報を受信する。浮遊体型遠隔監視装置は、上記情報に基づいて車両２の走行状態や挙動変化を判断する。浮遊体型遠隔監視装置は、車両２の走行状態や挙動変化に対応して飛行物体３の飛行制御及び撮像装置２１の撮影制御を行う。
浮遊体型遠隔監視装置は、例えば、車両２の走行速度が高い（速い）場合には、飛行物体３の飛行速度（進行速度）を可変すると共に可変後の飛行速度に合わせて撮像装置２１の焦点距離を変化させて進行方向に沿った遠方を撮影する。また、浮遊体型遠隔監視装置は、例えば、車両２の走行速度が低い（遅い）場合には、飛行物体３の飛行速度（進行速度）を可変すると共に可変後の飛行速度に合わせて撮像装置２１の画角を変化させ、車両近傍を撮影する。車両２の走行状態や挙動変化に対応して撮影された撮影画像は、浮遊体型遠隔監視装置によって車両周囲監視装置に送信され、車両２の運転者や同乗者が見ているディスプレイに表示される。運転者や同乗者は、ディスプレイに表示された撮影画像を閲覧することで、車両２の走行状況に対応した情報収集が可能となる。
運転者や同乗者は、例えば、走行速度が速いときには、進行方向に沿った遠方の道路状況の情報収集が可能となる。運転者や同乗者は、予定進路の道路状況を早期に把握するこ
とができる。また、走行速度が遅いときには、運転者や同乗者は、例えば、車両２の広範囲な周辺状況の情報収集が可能となる。運転者や同乗者は、車両２の広範囲な周辺状況を監視することで、障害物や歩行者等の存在を正確に把握することができる。監視システム１によれば、走行状況に基づいて情報収集の対象エリアを制御することができる。
また、浮遊体型遠隔監視装置は、例えば、受信した車両２の走行状況に係る情報から車両２の進行方向が変化することを判断する。例えば、車速や加速度の変化から走行中の車両２の加減速が判断できる。また、例えば、ヨーレートや進行方向の指示値の変化から走行中の車両２の進行方向の変化が判断できる。同様にして、ウィンカーの指示位置からは、例えば、走行中の車両２の近未来の進行方向が右側方向または左側方向へ変化することを予測できる。また、シフトレバーの指示位置からは、例えば、車両２の進行方向の前進または後退が判断できる。浮遊体型遠隔監視装置は、飛行物体３の進行方向を車両２の変化する進行方向に変化させると共に、撮像装置２１の撮影方向を変化させる。例えば、車両２が右方向に右折する場合には、浮遊体型遠隔監視装置は、飛行物体３を右方向に旋回させると共に、撮像装置２１の撮影方向を車両２が右折する前方方向に変化させる。
撮像装置２１で撮影された撮影画像は、浮遊体型遠隔監視装置及び車両周囲監視装置を介して車両２の運転者や同乗者が見ているディスプレイに継続して表示される。車両２の進行方向が変化する場合であっても、監視システム１の車両周囲監視装置は、走行状況に対応した撮影画像を提供できる。運転者や同乗者は、ディスプレイに表示された撮影画像を閲覧することで、車両２の走行状況に対応した情報収集が可能となる。
ところで、飛行物体３の進行方向が変化する際や進行速度が変化する際には、加減速や進行角度方向により飛行姿勢が変化する。例えば、進行方向に直進しつつ速度を速める場合には、飛行物体３の飛行姿勢は一時的に前傾する。飛行物体３の飛行姿勢は飛行物体３に搭載された撮像装置２１と共に変化する。このため、飛行物体３が前傾する場合には、撮像装置２１の撮影方向は、例えば、前傾する飛行物体３の姿勢変化と共に変化することになる。
浮遊体型遠隔監視装置は、例えば、車両２の進行方向や速度の変化に合わせて飛行物体３の進行速度、進行方向角度を可変すると共に、飛行物体３の姿勢変化を打ち消す方向に撮像装置２１の姿勢をモーター駆動により変化させる。上記の前傾例では、浮遊体型遠隔監視装置は、例えば、前傾する飛行物体３の姿勢変化を打ち消す方向に撮像装置２１の姿勢を変化させる。車両２の進行方向や速度が変化する場合であっても、監視システム１の車両周囲監視装置は、車両２の上記変化に追従して変化する飛行物体３の姿勢に影響されない安定した撮像画像を提供できる。
また、浮遊体型遠隔監視装置は、例えば、車両２の走行状況に係る情報として受信した位置情報と飛行物体３の位置情報とを照合し、車両２から予め定めた一定距離内に存在し続けるように自律制御する。浮遊体型遠隔監視装置は、上記一定距離から外れた場合には、車両２の走行速度を低下させる要求を車両周囲監視装置に送信する。車両周囲監視装置は、例えば、車両２の走行速度を低下させる要求に基づいて運転者や同乗者に警告を行う。車両周囲監視装置は、例えば、突風等の外部要因や車両２の走行速度が飛行物体３の飛行速度を超える状況において、走行速度の低下指示を運転者や同乗者に提示することができる。
また、浮遊体型遠隔監視装置は、例えば、車両２の走行状況に係る情報にエアバック展開や衝撃検出等の情報が含まれる場合には、撮像装置２１の撮影方向や焦点距離、画角を変化させて車両２の周囲を撮影する。そして、浮遊体型遠隔監視装置は、例えば、撮影した撮影画像を記憶媒体の特定の領域に記録する。特定の領域とは、例えば、記録された情
報内容が改ざんされないように読み出し・書込みといったアクセスが制限された領域である。浮遊体型遠隔監視装置は、例えば、衝撃を受けた車両２の上視点で撮影された映像をドライブレコーダとして記録することができる。
なお、浮遊体型遠隔監視装置は、撮像装置２１で撮影された上記の撮影画像を車両周囲監視装置に送信するとしてもよい。車両周囲監視装置は、例えば、浮遊体型遠隔監視装置から受信した上記の撮影画像をドライブレコーダの、改ざんが禁止された特定の領域に格納すればよい。車両周囲監視装置は、衝撃を受けた際に車両２の上視点で撮影された周囲の状況をドライブレコーダに記録することができる。
ここで、飛行物体３の離発着可能なスペース（以下、離発着場とも称す）を車両２または車両２の周囲を並走する車両に設けることができる。車両２または車両２の周囲を並走する車両が飛行物体３の離発着場を備える場合には、監視システム１では、車両２の走行状態や挙動変化に対応して、以下の制御が可能になる。
浮遊体型遠隔監視装置は、例えば、車両２の走行状況に係る情報にアイドリングストップ指示やアイドリングストップの状態を示す情報が含まれる場合には、飛行物体３を上記離発着場に一時的に帰還させる。浮遊体型遠隔監視装置は、飛行物体３を上記離発着場に帰還させることで、車両２の走行停止時の、飛行物体３の飛行に係る燃料消費や電力消費といったエネルギー消費を抑制することができる。例えば、飛行物体３が内蔵された蓄電池で駆動する場合には、蓄電池の電力消費が抑制できる。
また、浮遊体型遠隔監視装置は、例えば、飛行物体３の位置情報と進行方向に基づいて、飛行禁止エリアへの進入予測を行う。飛行禁止エリアに係る情報は、例えば、地図情報に基づいて予め車両周囲監視装置によって設定される。浮遊体型遠隔監視装置は、車両２の走行状況に係る情報として、予め設定された飛行禁止エリア情報を車両周囲監視装置から受信する。
浮遊体型遠隔監視装置は、飛行物体３が飛行禁止エリアに進入すると予測するときに、飛行禁止エリアと飛行物体３との間の相対距離を判定する。浮遊体型遠隔監視装置は、例えば、飛行禁止エリアと飛行物体３との間の相対距離が所定値以下の場合には、飛行物体３を上記離発着場に一時的に帰還させる。さらに、浮遊体型遠隔監視装置は、上記離発着場に帰還した状態で上記相対距離の判定を継続して行い、相対距離が所定値を超える場合には、飛行物体３の飛行を再び開始する。浮遊体型遠隔監視装置は、上記判定を行うことで、車両２の走行経路に存在する飛行禁止エリア内での飛行を抑止し、飛行禁止エリア外での飛行を再開始することができる。監視システム１では、車両２の走行経路上に飛行禁止エリアが存在する場合であっても、継続して走行状況に対応した撮像画像が提示できる。
また、浮遊体型遠隔監視装置は、例えば、撮像装置２１で撮影された撮像画像から進行方向に存在する車両用信号機を認識し、車両用信号機の信号表示に基づいて車両２の停止を予測する。浮遊体型遠隔監視装置は、車両２の停止が予測される場合には、飛行物体３を上記離発着場に一時的に帰還させる。例えば、２００ｍ前方に存在する信号の表示色が青色から黄色に変化した場合、浮遊体型遠隔監視装置は、車両２が減速していない状態であっても信号表示の変化情報を優先して飛行物体３を早期に帰還させることができる。飛行物体３の飛行に係るエネルギー消費の更なる抑制が可能になる。
なお、上記離発着場に、飛行物体３が内蔵する蓄電池に電力を供給するための充電器を設け、飛行物体３の一時的な帰還時に充電するとしてもよい。飛行物体３の帰還時に蓄電池への電力を補給することで、飛行物体３の飛行時間が延長できる。監視システム１では
、浮遊体型遠隔監視装置及び車両周囲監視装置を用いた長期間の運転支援が提供できる。
〔装置構成〕
図２は、コンピュータのハードウェア構成の一例を示す図である。図２に例示のコンピュータ１００は、接続バス１０６によって相互に接続されたＣＰＵ（Central Processing
Unit）１０１、主記憶装置１０２、補助記憶装置１０３、通信ＩＦ（Interface）１０４、入出力ＩＦ１０５を備える。ＣＰＵ１０１はプロセッサとも呼ばれる。ただし、ＣＰＵは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵがマルチコア構成であってもよい。
ＣＰＵ１０１は、コンピュータ１００全体の制御を行う中央処理演算装置である。ＣＰＵ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。主記憶装置１０２は、ＣＰＵ１０１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置１０２は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶装置１０３は、ＣＰＵ１０１により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶装置１０３は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等である。通信ＩＦ１０４は、コンピュータ１００に接続するネットワ
ークとのインターフェースである。通信ＩＦ１０４には、所定の規格に基づいて通信を行う無線通信モジュールが含まれる。入出力ＩＦ１０５は、コンピュータ１００に接続するセンサや装置との間でデータの入出力を行うインターフェースである。なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。
ＣＰＵ１０１のプログラムの実行により、図３に例示の車両周囲監視装置１０の車両信号生成部１１１、車両信号通知部１１２、情報受信部１１３、警告部１１４、映像記憶部１１５の処理が提供される。また、ＣＰＵ１０１のプログラムの実行により、図４に例示の浮遊体型遠隔監視装置２０の車両信号受信部１２１、判断部１２２、撮像画像取得部１２３、情報送信部１２４、映像記憶部１２５、マップ情報保持部１２６の処理が提供される。但し、図３、図４に例示の上記各部の少なくとも一部の処理がDigital Signal Processor(DSP)、Application Specific Integrated Circuit（ASIC）等によって提供されてもよい。また、図３、図４に例示の上記各部の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration（LSI）、その他のデジタル回路であっ
てもよい。また、図３、図４に例示の上記各部の少なくとも一部にアナログ回路が含まれてもよい。
〔処理ブロック構成〕
（車両周囲監視装置）
図３は、車両周囲監視装置１０の一例を示す処理ブロック図である。図３に示すように、車両周囲監視装置１０には、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等を介して、車両２に搭載されたセンサや装置が接続される。車両
周囲監視装置１０に接続するセンサや装置には、例えば、ＧＰＳユニット１１、音声入出力装置１２、表示装置１３、車両状態監視装置１４、地図情報記憶装置１５、ドライブレコーダ１６が含まれる。車両周囲監視装置１０は、ＧＰＳユニット１１、車両状態監視装置１４、地図情報記憶装置１５から、車両２の走行状況に係る情報を取得する。また、車両周囲監視装置１０は、音声入出力装置１２、表示装置１３、ドライブレコーダ１６に浮遊体型遠隔監視装置２０を介して収集した情報を出力する。
ＧＰＳユニット１１は、ＧＰＳ衛星からのＧＰＳ信号を受信する受信機を備え、受信したＧＰＳ信号に基づいてＧＰＳユニット１１を搭載する車両２の位置情報（緯度、経度）を算出する。
音声入出力装置１２は、マイクロフォン等の入力装置及びスピーカー等の出力装置である。音声入出力装置１２は、例えば、車両周囲監視装置１０から出力された、車両２の運転者や同乗者に対する警告を音響等で通知する。
表示装置１３は、据付型のカーナビゲーションシステム、携帯型のナビゲーション装置、スマートフォンといった可搬可能な電子機器である。表示装置１３には、車両２のフロントガラスに映像を投影するヘッドアップディスプレイや運転者が装着可能なメガネ型のスマートグラスが含まれる。表示装置１３は、車両周囲監視装置１０から出力を受けて警告を表示する。また、表示装置１３は、車両周囲監視装置１０から出力される撮像画像を表示デバイスに表示する。なお、音声入出力装置１２、表示装置１３は、例えば、車両周囲監視装置１０と一体の構成であってもよい。
車両状態監視装置１４は、車両２に搭載された各種センサの検出値や装備ユニットの出力信号を１００ｍｓといった一定周期で収集して車両周囲監視装置１０に出力する装置である。車両状態監視装置１４は、例えば、ＣＡＮ等を介して上記の検出値や出力信号を収集する。車両状態監視装置１４は、例えば、車速センサ、加速度センサ、ジャイロセンサ、ヨーレートセンサの検出値を収集する。また、車両状態監視装置１４は、例えば、シフトレバーポジションを示す信号、ウィンカーポジションを示す信号、アイドリングストップの指示信号や状態信号、エアバッグ展開を示す信号を収集する。車両状態監視装置１４は、収集した上記の検出値や出力信号を車両周囲監視装置１０に出力する。なお、車両状態監視装置１４は、車両周囲監視装置１０に含まれるとしてもよい。
地図情報記憶装置１５は、地図情報を格納する記憶装置である。ドライブレコーダ１６は、車両２に搭載されたカメラで撮影された撮影画像を記録する録画装置である。車両周囲監視装置１０は、車両２への衝撃を検出した際に浮遊体型遠隔監視装置２０から取得した撮影画像をドライブレコーダ１６の、改ざんが禁止された特定の領域に記録する。
車両信号生成部１１１は、車両２の走行状況に係る情報を車両信号として生成する。車両信号生成部１１１は、例えば、入出力ＩＦ１０５を介してＧＰＳユニット１１で算出された車両２の位置情報（緯度、経度）を取得する。なお、車両信号生成部１１１は、ＧＰＳ受信機で受信されたＧＰＳ信号をＧＰＳユニットから取得するとしてもよい。また、車両信号生成部１１１は、例えば、入出力ＩＦ１０５を介して車両状態監視装置１４で収集された各種センサの検出値や装備ユニットの出力信号を取得する。上記の位置情報またはＧＰＳ信号、各種センサの検出値や装備ユニットの出力信号の取得は、例えば、１００ｍｓといった一定周期で取得される。
車両信号生成部１１１は、補助記憶装置１０３を参照し、予め設定された飛行物体３の飛行禁止エリアの座標情報を取得する。なお、車両２の進行経路に存在する飛行禁止エリアが地図情報から取得可能な場合には、車両信号生成部１１１は、地図情報記憶装置１５から飛行禁止エリアの座標情報を取得するとしてもよい。
車両信号生成部１１１は、ＧＰＳユニット１１、車両状態監視装置１４から取得した上記情報と、予め設定された飛行禁止エリアの座標情報に基づいて、車両信号を生成する。生成された車両信号は、例えば、１００ｍｓといった一定周期で車両信号通知部１１２に引き渡される。
車両信号通知部１１２は、通信ＩＦ１０４を介し、車両信号生成部１１１で生成された車両信号を浮遊体型遠隔監視装置２０に送信する。車両信号は、無線通信モジュールで規定された無線通信規格に沿って送信される。
情報受信部１１３は、通信ＩＦ１０４を介して、浮遊体型遠隔監視装置２０から送信された情報を受信する。浮遊体型遠隔監視装置２０から送信された情報には、車両２の走行状況に対応して撮影された撮像画像、車両２の走行速度を低下させる要求、衝撃を受けた車両２の上視点で撮影された撮像画像が含まれる。
情報受信部１１３は、例えば、入出力ＩＦ１０５を介し、車両２の走行状況に対応して撮影された撮像画像を表示装置１３に出力する。また、情報受信部１１３は、例えば、車両２の走行速度を低下させる要求を警告部１１４に引き渡す。また、情報受信部１１３は、例えば、衝撃を受けた車両２の上視点で撮影された撮像画像を表示装置１３に出力すると共に映像記憶部１１５に引き渡す。
警告部１１４は、車両２の走行速度を低下させる要求に基づいて、車両２の運転者や同乗者に提示するための警告を生成する。警告部１１４は、例えば、予め設定された警告音や音声メッセージを音声入出力装置１２に出力する。同様にして、警告部１１４は、例えば、予め設定された警告表示や表示メッセージを表示装置１３に表示させる。表示装置１３の表示デバイスには、例えば、閲覧中の撮像画像に重畳して警告表示や表示メッセージが表示される。
映像記憶部１１５は、衝撃を受けた車両２の上視点で撮影された撮像画像を主記憶装置１０２の所定の領域に一時的に記憶する。そして、映像記憶部１１５は、ドライブレコーダ１６に対して割り込み信号を通知すると共に上記撮像画像をドライブレコーダ１６に出力する。ドライブレコーダ１６は、映像記憶部１１５から通知された割り込み信号を契機として、上記撮像画像を記憶媒体の特定の領域に記録する。
（浮遊体型遠隔監視装置）
図４は、浮遊体型遠隔監視装置２０の一例を示す処理ブロック図である。なお、飛行物体３には、撮像装置２１以外に、自律飛行を可能とするための装置が搭載される。飛行物体３に搭載される上記装置として、例えば、ＧＰＳユニット２２、駆動制御装置２３が提示できる。図４に示すように、撮像装置２１、ＧＰＳユニット２２、駆動制御装置２３は、浮遊体型遠隔監視装置２０に接続する。浮遊体型遠隔監視装置２０は、車両周囲監視装置１０から送信された車両信号に基づいて、撮像装置２１、駆動制御装置２３を制御する。浮遊体型遠隔監視装置２０は、撮像装置２１で撮影された車両２の走行状況に対応した撮像画像を車両周囲監視装置１０に送信する。
撮像装置２１は、ＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal
Oxide Semiconductor）といった撮像素子を有するカメラである。撮像装置２１は、カメラの焦点距離、画角を変化させる制御機構を有する。また、撮像装置２１は、カメラの撮影方向を上下方向、左右方向に変化させる制御機構を有する。撮像装置２１で撮影された撮影画像は、浮遊体型遠隔監視装置２０に出力される。また、撮像装置２１の上記制御機構は、浮遊体型遠隔監視装置２０により制御される。
ＧＰＳユニット２２は、ＧＰＳ衛星からのＧＰＳ信号を受信する受信機を備え、受信したＧＰＳ信号に基づいてＧＰＳユニット２２を搭載する飛行物体３の位置情報（緯度、経度、高度）を算出する。
駆動制御装置２３は、飛行物体３の飛行を制御する装置である。駆動制御装置２３は、例えば、飛行物体３のＧＰＳ信号と車両２のＧＰＳ信号に基づいて、飛行速度の加減速、進行方向、進行方向角度の変化に応じて飛行物体３の駆動出力を可変させる。飛行物体３は、駆動制御装置２３の飛行制御により、走行中の車両２の周辺を自律飛行する。また、飛行物体３は、帰還指示を受け、車両２または車両２の周囲を並走する車両に設けられた離発着場に帰還する。
車両信号受信部１２１は、車両周囲監視装置１０から送信された車両信号を通信ＩＦ１０４を介して受信する。車両信号は、例えば、１００ｍｓといった一定周期で受信される。車両信号受信部１２１は、受信した車両信号を主記憶装置１０２の所定の領域に一時的に記憶する。車両信号受信部１２１は、受信した車両信号を判断部１２２に引き渡す。なお、車両信号受信部１２１は、受信した車両信号に飛行禁止エリアの情報（座標情報）が含まれる場合には、飛行禁止エリアの情報をマップ情報保持部１２６に格納する。
判断部１２２は、車両信号受信部１２１から引き渡された車両信号に基づいて飛行物体３の飛行制御及び撮像装置２１の撮影制御を行う。飛行物体３の飛行制御は、駆動制御装置２３を介して行われる。撮像装置２１の撮影制御は撮像装置２１の備える制御機構により行われる。
判断部１２２は、例えば、車両速度に対応する飛行制御値、撮影制御値が予め格納されたマップ情報をマップ情報保持部１２６に保持する。そして、判断部１２２は、例えば、一定周期で受信された車両２の車速に対応付けられたマップ値の読出しを行い、撮像装置２１、駆動制御装置２３に出力する。この結果、飛行物体３は車両２の速度に追従して飛行速度（進行速度）を可変することができ、撮像装置２１は飛行物体３の飛行速度に合わせて焦点距離、画角、撮影方向を変化することができる。なお、上記のマップ情報は、予め実験的に取得することができる。例えば、実験的に飛行物体３を車両２に追従させて飛行させ、車両速度と飛行速度の相対関係、飛行速度と焦点距離、画角、撮影方向等の相対関係を求める。そして、求められた上記の相対関係から車両速度に対応するマップ値が格納されたマップ情報を作成するとすればよい。
同様にして、判断部１２２は、例えば、マップ情報保持部１２６を参照し、受信した車両信号の加速度、ヨーレートに対応する飛行制御値、撮影制御値が予め格納されたマップ情報からマップ値の読出しを行い、撮像装置２１、駆動制御装置２３に出力する。飛行物体３は車両２の進行方向の変化に追従して飛行速度の加減速を行い、進行方向角度を可変することができる。また、撮像装置２１は飛行物体３の姿勢変化による影響を打ち消す方向に撮像装置２１の姿勢をモーター駆動により変化させることができる。
また、判断部１２２は、ＧＰＳユニット２２から１００ｍｓといった一定周期で取得したＧＰＳ情報及び受信した車両２のＧＰＳ情報を駆動制御装置２３に出力する。駆動制御装置２３では、出力されたＧＰＳ情報に基づいて飛行物体３の自律飛行制御が行われる。なお、上記の位置情報は、ＧＰＳ信号であってもよい。なお、判断部１２２は、一定周期で取得したそれぞれのＧＰＳ情報の照合を行い、飛行物体３と車両２との間の相対距離が一定距離内であることを判断する。判断部１２２は、飛行物体３と車両２との間の相対距離が一定距離外となった場合には、例えば、車両速度を低下させるための要求信号を情報送信部１２４に出力する。
判断部１２２は、車両信号にアイドリングストップの指示信号や状態信号が含まれる場合には、飛行物体３の帰還指示を駆動制御装置２３に出力する。駆動制御装置２３、判断部１２２からの帰還指示を受け、飛行物体３が車両２等に設けられた離発着場に帰還するよう駆動出力を制御する。
また、判断部１２２は、マップ情報保持部１２６に格納された飛行禁止エリアの座標情報とＧＰＳユニット２２から取得したＧＰＳ情報とに基づいて飛行禁止エリアとの相対距離を算出する。判断部１２２は、算出された相対距離が一定距離以下の場合には、飛行物体３の帰還指示を駆動制御装置２３に出力する。なお、判断部１２２は、飛行物体３の帰還後、上記の相対距離の算出を継続し、算出された相対距離が一定距離を超えた場合には、駆動制御装置２３に飛行開始指示を出力する。駆動制御装置２３は、判断部１２２からの飛行開始指示を受け、飛行物体３を離発着場から発着するよう駆動出力を制御する。
また、判断部１２２は、映像記憶部１２５に記録された撮像画像から進行方向に存在する車両用信号機を認識する。車両用信号機の認識は、画像認識処理により行われる。例えば、判断部１２２は、予め登録された車両用信号機のパターンと撮像画像とのパターンマッチングにより車両用信号機を認識する。判断部１２２は、例えば、撮像画像から認識された車両用信号機の信号表示色を一定期間に継続して監視する。判断部１２２は、例えば、信号表示色の青色から黄色に変化した場合には、駆動制御装置２３に対して帰還信号を出力する。
また、判断部１２２は、車両２の加速度の変化が一定値以上であることを示す信号、または、エアバック展開を示す信号が含まれる場合には、駆動制御装置２３に停留指示を出力する。また、判断部１２２は、マップ情報保持部１２６を参照し、車両２の加速度の変化が一定値以上であることを示す信号に対応付けられたマップ値を読出し、撮像装置２１に出力する。また、判断部１２２は、映像記憶部１２５に対し、撮像画像を記憶媒体の特定の領域に記録する指示を行う。撮像装置２１は、マップ値に基づいて撮影方向、画角を変化させて車両２の周囲を撮影する。撮影された撮像画像は、記憶媒体の特定の領域に記録される。
撮像画像取得部１２３は、撮像装置２１から出力される撮影画像を取得する。取得された撮像画像は、情報送信部１２４、映像記憶部１２５に出力される。情報送信部１２４は、判断部１２２から出力された車両速度を低下させるための要求信号、撮像画像取得部１２３で取得された撮影画像を通信ＩＦ１０４を介して車両周囲監視装置１０に送信する。映像記憶部１２５は、撮像画像取得部１２３で取得された撮影画像を記録する。なお、映像記憶部１２５は、判断部１２２から指示を受けた場合には、撮像画像取得部１２３で取得された撮影画像を記憶媒体の特定の領域に記録する。マップ情報保持部１２６は、上記したマップ情報、飛行禁止エリア情報、各種設定値を保持する補助記憶装置である。なお、マップ情報保持部１２６には、地図情報が含まれるとしてもよい。
〔処理フロー〕
（焦点距離制御処理）
図５は、撮像装置２１の焦点距離を制御する処理の一例を示すフローチャートである。図５に例示のフローチャートにおいて、処理の開始は、車両２の車両周囲監視装置１０から送信された車両信号の受信のときが提示できる。飛行物体３に搭載された浮遊体型遠隔監視装置２０は、通信ＩＦ１０４を介し、車両２の車両周囲監視装置１０から送信された車両信号を取得する（Ｓ１）。取得した車両信号は、主記憶装置１０２の所定の領域に一時的に記憶される。
浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納されたマップ情報を参照し、車両信号に対応する飛行速度（進行速度）を制御するマップ値及び撮像装置２１の焦点距離を制御するマップ値を取得する（Ｓ２）。浮遊体型遠隔監視装置２０は、取得したマップ値に基づいて飛行物体３の進行速度を可変する（Ｓ３）。また、浮遊体型遠隔監視装置２０は、飛行物体３の進行速度に合わせて撮像装置２１の焦点距離を変化させる（Ｓ
４）。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２の走行状況に対応して撮像装置２１の焦点距離を変化させることができる。浮遊体型遠隔監視装置２０は、例えば、車両２の走行速度が速くなった（加速した）場合には、飛行物体３の進行速度を可変（加速）すると共に飛行速度に合わせて撮像装置２１の焦点距離を長く変化させて進行方向に沿った遠方を撮影できる。また、車両２の走行速度が減速した場合には、浮遊体型遠隔監視装置２０は、例えば、飛行物体３の進行速度を減速すると共に飛行速度に合わせて撮像装置２１の焦点距離を短く変化させて飛行物体３の進行方向に沿った近傍を撮影できる。
（画角制御処理）
図６は、撮像装置２１の画角を制御する処理の一例を示すフローチャートである。図６に例示のフローチャートにおいて、処理の開始は、図５と同様である。浮遊体型遠隔監視装置２０は、通信ＩＦ１０４を介し、車両２の車両周囲監視装置１０から送信された車両信号を取得し、取得した車両信号を主記憶装置１０２の所定の領域に一時的に記憶する（Ｓ１）。
浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納されたマップ情報を参照し、車両信号に対応する飛行速度（進行速度）を制御するマップ値及び撮像装置２１の画角を制御するマップ値を取得する（Ｓ１１）。浮遊体型遠隔監視装置２０は、取得したマップ値に基づいて飛行物体３の進行速度を可変する（Ｓ１２）。また、浮遊体型遠隔監視装置２０は、飛行物体３の進行速度に合わせて撮像装置２１の画角を変化させる（Ｓ１３）。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２の走行状況に対応して撮像装置２１の画角を変化させることができる。浮遊体型遠隔監視装置２０は、例えば、車両２の走行速度が遅い場合には、飛行物体３の進行速度を可変すると共に飛行速度に合わせて撮像装置２１の画角を変化させて車両２の周囲を撮影できる。例えば、浮遊体型遠隔監視装置２０は、車両２の走行速度が遅いほど画角を拡げる。浮遊体型遠隔監視装置２０は、車両２の走行速度が一定の基準値未満の場合、車両周囲を撮影する。また、浮遊体型遠隔監視装置２０は、車両２の走行速度が遅いほど画角を狭める。そして、浮遊体型遠隔監視装置２０は、車両２の前方の狭い範囲を撮影する。
（撮影方向制御処理）
図７は、撮像装置２１の撮影方向を制御する処理の一例を示すフローチャートである。図７に例示のフローチャートにおいて、処理の開始は、図５と同様である。浮遊体型遠隔監視装置２０は、通信ＩＦ１０４を介し、車両２の車両周囲監視装置１０から送信された車両信号を取得し、取得した車両信号を主記憶装置１０２の所定の領域に一時的に記憶する（Ｓ１）。
浮遊体型遠隔監視装置２０は、車両２の加速度、ヨーレート、ウィンカーの指示位置等から車両２の進行方向が変化するかを判定する（Ｓ２１）。浮遊体型遠隔監視装置２０は、車両２の進行方向が変化しない場合には（Ｓ２１，Ｎｏ）、Ｓ１、Ｓ２１の処理を繰り返す。一方、浮遊体型遠隔監視装置２０は、車両２の進行方向が変化する場合には（Ｓ２１，Ｙｅｓ）、Ｓ２２の処理に移行する。
浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納されたマップ情報を参照し、車両進行方向に対応する飛行物体３の進行方向を制御するマップ値及び撮像装置２１の撮影方向を制御するマップ値を取得する。そして、浮遊体型遠隔監視装置２０は、車両進行方向に合わせて飛行物体３の進行方向を変化させる（Ｓ２２）。また、浮遊体型遠隔
監視装置２０は、飛行物体３の進行方向に合わせて撮像装置２１の撮影方向を変化させる（Ｓ２３）。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２の進行方向の変化に対応して撮像装置２１の撮影方向を変化させることができる。例えば、車両２が右方向に右折する場合には、浮遊体型遠隔監視装置２０は、飛行物体３を右方向に旋回させると共に、撮像装置２１の撮影方向を車両２が右折する前方方向に変化させる。浮遊体型遠隔監視装置２０は、操舵前の車両２の進行方向から操舵後の進行方向と進行角度変化方向とを含む扇形の範囲を撮影できる。浮遊体型遠隔監視装置２０は、車両２の進行方向の変化に対応して変化する進行方向の撮影画像を連続して提供することができる。浮遊体型遠隔監視装置２０は、例えば、車両２の進行方向が変化する場合であっても、変化中の視野に対応する車両２の前方の撮像画像を継続して撮影できる。
（撮像装置の向きの制御処理）
図８は、撮像装置２１の向き制御する処理の一例を示すフローチャートである。図８に例示のフローチャートにおいて、処理の開始は、図５と同様である。浮遊体型遠隔監視装置２０は、通信ＩＦ１０４を介し、車両２の車両周囲監視装置１０から送信された車両信号を取得し、取得した車両信号を主記憶装置１０２の所定の領域に一時的に記憶する（Ｓ１）。
浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納されたマップ情報を参照し、車両信号に対応する飛行物体３の加速度、進行方向角度を制御するマップ値及び撮像装置２１の向き制御するマップ値を取得する（Ｓ３１）。そして、浮遊体型遠隔監視装置２０は、飛行物体３の加速度、進行方向角度を可変する（Ｓ３２）。また、浮遊体型遠隔監視装置２０は、飛行物体３の姿勢変化の影響を打ち消す方向に撮像装置２１の向き変化させる（Ｓ３３）。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２の走行状況に対応して飛行物体３の姿勢が変化した場合でも、姿勢変化の影響を打ち消す方向に撮像装置２１の向きを変化させることができる。浮遊体型遠隔監視装置２０は、例えば、飛行物体３の姿勢が前傾する場合であっても、飛行物体３の姿勢変化の影響を受けない安定した撮像画像を撮影できる。上記した、焦点距離制御、画角制御、撮影方向制御、撮像装置の向きの制御は、それぞれ、車両周囲の情報の取得方法を制御することの一例である。
（画像認識による帰還処理）
図９は、画像認識による帰還処理の一例を示すフローチャートである。図９に例示のフローチャートにおいて、処理の開始は、撮像装置２１を介して撮影された撮像画像の取得のときが例示できる。浮遊体型遠隔監視装置２０は、例えば、映像記憶部１２５に記録された撮像画像を取得する（Ｓ４１）。
浮遊体型遠隔監視装置２０は、例えば、取得した撮影画像に対して、車両用信号機によるパターンマッチングを行い、車両進行方向に信号機が存在するかを判定する（Ｓ４２）。浮遊体型遠隔監視装置２０は、車両進行方向に信号機が存在しない場合には（Ｓ４２，Ｎｏ）、Ｓ４１−Ｓ４２の処理を繰り返す。一方、浮遊体型遠隔監視装置２０は、車両進行方向に信号機が存在する場合には（Ｓ４２，Ｙｅｓ）、Ｓ４３の処理に移行する。
Ｓ４３の処理では、浮遊体型遠隔監視装置２０は、信号機の信号灯に基づいて、車両２が停止するかを判定する。例えば、浮遊体型遠隔監視装置２０は、信号灯の表示色の変化（青色→黄色）に基づいて、車両２の停止を予測する。浮遊体型遠隔監視装置２０は、車両２の停止が予測されない場合には（Ｓ４３，Ｎｏ）、Ｓ４１−Ｓ４３の処理を繰り返す
。一方、浮遊体型遠隔監視装置２０は、車両２の停止が予測される場合には（Ｓ４３，Ｙｅｓ）、飛行物体３を車両２等に設けられた離発着場に一時的に帰還させる（Ｓ４４）。
以上の処理により、浮遊体型遠隔監視装置２０は、撮像装置２１を介して撮影された撮像画像に基づいて、飛行物体３を一時的に帰還するよう制御できる。浮遊体型遠隔監視装置２０は、車両２が減速していない状態であっても信号表示の変化情報を優先して飛行物体３を早期に帰還させることができる。飛行物体３の飛行に係るエネルギー消費の抑制が可能になる。
（車両停止による帰還処理）
図１０は、車両２のアイドリングストップによる帰還処理の一例を示すフローチャートである。図１０に例示のフローチャートにおいて、処理の開始は、車両２の車両周囲監視装置１０から送信された車両信号の受信のときが提示できる。浮遊体型遠隔監視装置２０は、例えば、アイドリングストップ指示信号またはアイドリングストップの状態を示す状態信号を受信する（Ｓ５１）。そして、浮遊体型遠隔監視装置２０は、飛行物体３を車両２等に設けられた離発着場に一時的に帰還させる（Ｓ５２）。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２のアイドリングストップに係る信号に基づいて飛行物体３を帰還させることができる。車両停止時の飛行物体３の飛行に係るエネルギー消費の抑制が可能になる。
（位置情報による帰還処理）
図１１は、飛行禁止エリアによる帰還処理の一例を示すフローチャートである。図１１に例示のフローチャートにおいて、処理の開始は、車両２の車両周囲監視装置１０から送信された車両信号の受信のときが提示できる。浮遊体型遠隔監視装置２０は、例えば、ＧＰＳユニット２２から飛行物体３のＧＰＳデータ（緯度、経度、高度）を取得する（Ｓ６１）。また、浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納された飛行禁止エリアの座標情報を取得する（Ｓ６２）。そして、浮遊体型遠隔監視装置２０は、飛行物体３と飛行禁止エリアの相対距離を算出し、算出された相対距離が所定値以下であることを判定する（Ｓ６３）。ここで、所定値とは飛行物体３を帰還させるために予め設定された閾値である。上記閾値は、例えば、飛行物体３の飛行速度（進行速度）に対応して可変できるとしてもよい。
浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下でない場合には（Ｓ６３，Ｎｏ）、Ｓ６１−Ｓ６３の処理を繰り返す。一方、浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下である場合には（Ｓ６３，Ｙｅｓ）、Ｓ６４の処理に移行し、飛行物体３を車両２等に設けられた離発着場に一時的に帰還させる。
飛行物体３の帰還後、浮遊体型遠隔監視装置２０は、例えば、ＧＰＳユニット２２から飛行物体３のＧＰＳデータ（緯度、経度、高度）を取得する（Ｓ６５）。また、浮遊体型遠隔監視装置２０は、マップ情報保持部１２６に格納された飛行禁止エリアの座標情報を取得する（Ｓ６６）。そして、浮遊体型遠隔監視装置２０は、飛行物体３と飛行禁止エリアの相対距離を算出し、算出された相対距離が所定値以下であることを再び判定する（Ｓ６７）。
浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下である場合には（Ｓ６７，Ｙｅｓ）、帰還状態でＳ６５−Ｓ６７の処理を繰り返す。一方、浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下でない場合には（Ｓ６７，Ｎｏ）、Ｓ６８の処理に移行し、飛行物体３の再飛行を開始する。
以上の処理により、浮遊体型遠隔監視装置２０は、進行方向に存在する飛行禁止エリア内の飛行を停止することができる。また、浮遊体型遠隔監視装置２０は、飛行禁止エリア外に車両２が進入した場合には、飛行物体３の飛行を開始することができる。
（警告処理）
図１２は、車両２と飛行物体３との間の相対距離に基づく警告処理の一例を示すフローチャートである。図１２に例示のフローチャートにおいて、処理の開始は、車両２の車両周囲監視装置１０から送信された車両信号の受信のときが提示できる。浮遊体型遠隔監視装置２０は、車両２のＧＰＳデータ（緯度、経度）を受信する（Ｓ７１）。また、浮遊体型遠隔監視装置２０は、ＧＰＳユニット２２から飛行物体３のＧＰＳデータ（緯度、経度）を取得する（Ｓ７２）。そして、浮遊体型遠隔監視装置２０は、車両２と飛行物体３との間の相対距離を算出し、算出された相対距離が所定値以下であることを判定する（Ｓ７３）。ここで、所定値とは警告を通知するため予め設定された閾値であり、飛行物体３の飛行速度（進行速度）に対応して可変できるとしてもよい。
浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下である場合には（Ｓ７３，Ｙｅｓ）、Ｓ７１−Ｓ７３の処理を繰り返す。一方、浮遊体型遠隔監視装置２０は、例えば、算出された相対距離が所定値以下でない場合には（Ｓ７３，Ｎｏ）、７４の処理に移行し、車両２の走行速度を低下させる要求を車両２へ通知する。
以上の処理により、浮遊体型遠隔監視装置２０は、車両２と飛行物体３との間の相対距離が一定距離から外れた場合には、車両２の走行速度を低下させる要求を通知できる。車両周囲監視装置１０は、例えば、突風等の外部要因や車両２の走行速度が飛行物体３の飛行速度を超える状況において、走行速度の低下指示の警告を運転者や同乗者に提示できる。上記した警告方法は、情報の乗員への提示方法を制御することの一例である。
（衝撃検出時の撮影画像の記録処理）
図１３は、衝撃検出時の撮影画像の記録処理の一例を示すフローチャートである。図１３に例示のフローチャートにおいて、処理の開始は、車両２の車両周囲監視装置１０から送信された車両信号の受信のときが提示できる。浮遊体型遠隔監視装置２０は、車両２が衝撃を受けたことを示す情報（一定値以上の加速度の変化、エアバッグ展開等）を受信する（Ｓ８１）。浮遊体型遠隔監視装置２０は、飛行物体３の飛行速度を制御すると共に撮像装置２１の撮影方向や焦点距離、画角を変化させて車両２の周囲を撮影する（Ｓ８２）。そして、浮遊体型遠隔監視装置２０は、映像記憶部１２５に対し、撮像装置２１で撮影された撮像画像を記憶媒体の特定の領域に記録する指示を行う。以上の処理により、浮遊体型遠隔監視装置２０は、車両２が衝撃を受けた場合には、車両２の上視点で撮影された撮影画像を記録することができる。上記した、衝撃検出時の撮影画像の記録処理は、車両周囲の情報の取得方法を制御することの一例である。
以上説明したように、本実施形態の監視システム１によれば、車両２の走行状態に応じた多様な情報の取得や提示が可能になり、飛行物体（ドローン）３を用いて、より実用性、有用性の高い運転支援が可能になる。
＜変形形態＞
実施形態１の監視システム１では、飛行物体３に搭載される浮遊体型遠隔監視装置２０は、車両信号に基づいて飛行物体３の飛行制御及び撮像装置２１の撮影制御を行うとして説明した。実施形態１の制御形態は、例えば、物品を搬送する運搬ユニットを有する飛行物体、兵器を搭載する飛行物体、電磁式センサを搭載する飛行物体等にも適用が可能である。
また、車両周囲監視装置１０は、例えば、車両信号に基づいて図５から図１３を用いて説明した処理に対応する飛行制御信号、撮影制御信号を生成し、生成した各制御信号をコマンドとして浮遊体型遠隔監視装置２０に送信するとしてもよい。変形形態の監視システム１では、飛行物体３は、浮遊体型遠隔監視装置２０を介して受信された車両周囲監視装置１０のコマンドに従って、撮像装置２１の撮影制御、飛行物体３の飛行制御が可能になる。
＜その他：コンピュータが読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピ
ュータ等から取り外し可能な記録媒体としても、コンピュータ等に固定された記録媒体としても利用可能である。
１ 監視システム
２ 車両
３ 飛行物体
１０ 車両周囲監視装置
１１ ＧＰＳユニット
１２ 音声入出力装置
１３ 表示装置
１４ 車両状態監視装置
１５ 地図情報記憶装置
１６ ドライブレコーダ
２０ 浮遊体型遠隔監視装置
２１ 撮像装置
２２ ＧＰＳユニット
２３ 駆動制御装置
１１１ 車両信号生成部
１１２ 車両信号通知部
１１３ 情報受信部
１１４ 警告部
１１５ 映像記憶部
１２１ 車両信号受信部
１２２ 判断部
１２３ 撮像画像取得部
１２４ 情報送信部
１２５ 映像記憶部
１２６ マップ情報保持部

Claims (12)

  1. 少なくとも撮像装置を含むセンサを搭載した浮遊体と、
    前記浮遊体を車両周囲に浮遊させて前記車両周囲の情報を取得すると共に、前記情報を乗員に提示する車両周囲監視装置と、を備える監視システムにおいて、
    前記車両周囲監視装置は、車両の走行状況に応じて、前記車両周囲の情報の取得方法と前記情報の乗員への提示方法の少なくとも一つを制御する処理手段、を備え、
    前記浮遊体は遠隔監視装置を備え、
    前記遠隔監視装置の制御手段は、前記浮遊体を前記車両周囲監視装置から送信された車両信号に基づいて進行速度を可変させると共に、浮遊体の進行速度に合わせて前記撮像装置の焦点距離を変化させる、ことを特徴とする監視システム。
  2. 前記遠隔監視装置の制御手段は、前記浮遊体を前記車両周囲監視装置から送信された車両信号に基づいて進行速度を可変させると共に、浮遊体の進行速度に合わせて前記撮像装置の画角を変化させる、請求項１に記載の監視システム。
  3. 前記遠隔監視装置の制御手段は、前記浮遊体を前記車両周囲監視装置から送信された車両信号に基づいて進行方向を変化させると共に、浮遊体の進行方向に合わせて前記撮像装置の撮影方向を変化させる、請求項１または２に記載の監視システム。
  4. 前記遠隔監視装置の制御手段は、前記浮遊体を前記車両周囲監視装置から送信された車両信号に基づいて加速度および進行方向角度を可変させると共に、浮遊体の加速度および進行方向角度の可変に伴う姿勢変化による影響を打ち消す方向に前記撮像装置の向きを変化させる、請求項１から３の何れか一項に記載の監視システム。
  5. 前記遠隔監視装置の制御手段は、前記車両周囲監視装置から送信された車両信号に含まれる衝撃を受けたことを示す信号に基づいて、前記車両の周囲を撮影するよう前記撮像装置を制御すると共に撮影された撮影画像を記録媒体の特定領域に記録する、請求項１から４の何れか一項に記載の監視システム。
  6. 前記遠隔監視装置の制御手段は、前記浮遊体を前記撮像装置で撮影された撮像画像内の
    前方信号に基づいて前記車両の帰還場所に一時的に帰還させる、請求項１から５の何れか一項に記載の監視システム。
  7. 前記遠隔監視装置の制御手段は、前記浮遊体を前記車両周囲監視装置から送信された車両信号に含まれるアイドリングストップを示す信号に基づいて前記車両の帰還場所に一時的に帰還させる、請求項１から６の何れか一項に記載の監視システム。
  8. 前記浮遊体はＧＰＳ受信機を有し、
    前記遠隔監視装置の制御手段は、前記車両周囲監視装置から送信された車両信号に含まれる飛行禁止エリアの座標と前記ＧＰＳ受信機で受信されたＧＰＳ信号とに基づいて前記飛行禁止エリアとの相対距離を算出し、算出された相対距離が所定値以下のときに前記浮遊体を前記車両の帰還場所に一時的に帰還させる、請求項１から７の何れか一項に記載の監視システム。
  9. 前記遠隔監視装置の制御手段は、前記相対距離が所定値を超えたときに一時的に帰還させた前記浮遊体の再飛行を開始する、請求項８に記載の監視システム。
  10. 前記車両の帰還場所は、前記浮遊体の蓄電池を充電する充電器を備える、請求項６から９の何れか一項に記載の監視システム。
  11. 前記浮遊体はＧＰＳ受信機を有し、
    前記遠隔監視装置の制御手段は、前記車両周囲監視装置から送信された車両信号に含まれるＧＰＳ信号と前記ＧＰＳ受信機で受信されたＧＰＳ信号とに基づいて前記浮遊体の浮遊位置が車両の所定範囲内に存在し続けるように自律制御すると共に、前記所定範囲外に位置する場合には前記車両に速度低下の要求を通知する、請求項１から６の何れか一項に記載の監視システム。
  12. 前記浮遊体は、前記センサに前記車両と連携する運搬ユニット、兵器、電磁式センサを含む請求項１から請求項１１の何れか一項に記載の監視システム。
JP2016014699A 2016-01-28 2016-01-28 監視システム Active JP6711631B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016014699A JP6711631B2 (ja) 2016-01-28 2016-01-28 監視システム
US15/414,225 US10558218B2 (en) 2016-01-28 2017-01-24 Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016014699A JP6711631B2 (ja) 2016-01-28 2016-01-28 監視システム

Publications (2)

Publication Number Publication Date
JP2017135601A JP2017135601A (ja) 2017-08-03
JP6711631B2 true JP6711631B2 (ja) 2020-06-17

Family

ID=59386625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016014699A Active JP6711631B2 (ja) 2016-01-28 2016-01-28 監視システム

Country Status (2)

Country Link
US (1) US10558218B2 (ja)
JP (1) JP6711631B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3104125B1 (en) * 2015-06-12 2018-10-31 Airbus Defence and Space GmbH Aircraft navigation system and method for aircraft navigation
JP2019078734A (ja) * 2017-10-23 2019-05-23 昇 黒川 ドローン案内表示システム
JPWO2019139173A1 (ja) * 2018-01-15 2020-02-27 本郷飛行機株式会社 情報処理システム
DE112018007471T5 (de) * 2018-04-13 2021-01-28 Mitsubishi Electric Corporation Fahrassistenzvorrichtung
US11320821B2 (en) * 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
US11227502B2 (en) * 2019-03-25 2022-01-18 Here Global B.V. Method and apparatus for dynamically determining a destination of a drone
EP3930316A4 (en) * 2019-03-27 2022-04-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, METHOD AND PROGRAM
JP7268138B2 (ja) * 2019-03-29 2023-05-02 本田技研工業株式会社 通信装置、ユーザ端末、通信システム及びその制御方法並びにプログラム
US11526822B2 (en) * 2020-02-10 2022-12-13 Bank Of America Corporation Dynamic resource allocation engine
CN114640772A (zh) * 2022-03-22 2022-06-17 北京地平线信息技术有限公司 悬浮摄像装置及车辆
DE102023004121B4 (de) 2023-10-12 2024-06-20 Mercedes-Benz Group AG Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225434B2 (ja) 1996-04-23 2001-11-05 重之 山口 映像提示システム
JP4284949B2 (ja) 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
JP4313066B2 (ja) 2003-03-27 2009-08-12 ヤマハ発動機株式会社 無人ヘリコプタの管理システム
JP2006082774A (ja) 2004-09-17 2006-03-30 Hiroboo Kk 無人飛行体及び無人飛行体制御方法
JP2006180326A (ja) 2004-12-24 2006-07-06 Equos Research Co Ltd 車両用状況監視システム
JP4476910B2 (ja) 2005-09-13 2010-06-09 株式会社東芝 防空システム
JP2008074275A (ja) 2006-09-21 2008-04-03 Aisin Aw Co Ltd 運転支援装置、運転支援システム、および運転支援方法
JP2010250478A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 運転支援装置
JP5262976B2 (ja) 2009-05-14 2013-08-14 株式会社デンソー 車載表示装置
JP5393413B2 (ja) 2009-11-19 2014-01-22 三菱重工業株式会社 自律走行車および自律走行方法
JP6302660B2 (ja) 2013-12-16 2018-03-28 株式会社ニコン・トリンブル 情報取得システム、無人飛行体制御装置
WO2015180180A1 (en) * 2014-05-30 2015-12-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
US10535103B1 (en) * 2014-09-22 2020-01-14 State Farm Mutual Automobile Insurance Company Systems and methods of utilizing unmanned vehicles to detect insurance claim buildup
JP5819555B1 (ja) 2015-04-01 2015-11-24 ライトブレインラボ合同会社 車両運転支援システム

Also Published As

Publication number Publication date
JP2017135601A (ja) 2017-08-03
US20170220041A1 (en) 2017-08-03
US10558218B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
JP6711631B2 (ja) 監視システム
US10228698B2 (en) Vehicle control system, vehicle control method, and vehicle control program
CN110347145B (zh) 用于自动驾驶车辆的感知辅助
CN107415830B (zh) 车辆控制***、车辆控制方法和车辆控制程序
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
EP3378707B1 (en) Collision prediction and forward airbag deployment system for autonomous driving vehicles
CN109383404B (zh) 显示***、显示方法及存储程序的介质
WO2018232681A1 (en) TRAFFIC PREDICTION BASED ON CARD IMAGES FOR AUTONOMOUS DRIVING
CN111724627B (zh) 检测前方车辆向后滑动的自动告警***
WO2019098082A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2005013236A1 (ja) 安全移動支援装置
EP3546310A1 (en) Electronic device and method for assisting in vehicle driving
US11694408B2 (en) Information processing device, information processing method, program, and movable object
KR101698781B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP2021064118A (ja) 遠隔自動運転車両、及び車両遠隔指示システム
KR20200136398A (ko) 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체
JP6981095B2 (ja) サーバ装置、記録方法、プログラム、および記録システム
JP6575451B2 (ja) 運転支援装置及び運転支援プログラム
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2020101960A (ja) 情報処理装置、情報処理方法及びプログラム
JP5473628B2 (ja) 隊列走行システム、隊列走行方法、後続有人車両コントローラ、操縦制御方法、プログラム及び記録媒体
JP2021196744A (ja) 画像処理装置
JP4380609B2 (ja) 運転支援装置
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200528

R150 Certificate of patent or registration of utility model

Ref document number: 6711631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250