JP2022032206A - 作業支援装置 - Google Patents

作業支援装置 Download PDF

Info

Publication number
JP2022032206A
JP2022032206A JP2020135762A JP2020135762A JP2022032206A JP 2022032206 A JP2022032206 A JP 2022032206A JP 2020135762 A JP2020135762 A JP 2020135762A JP 2020135762 A JP2020135762 A JP 2020135762A JP 2022032206 A JP2022032206 A JP 2022032206A
Authority
JP
Japan
Prior art keywords
image pickup
target
image
angle
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020135762A
Other languages
English (en)
Inventor
智宙 福田
Tomomichi Fukuda
昭彦 榮田
Akihiko Sakaeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020135762A priority Critical patent/JP2022032206A/ja
Priority to EP21189574.3A priority patent/EP3964910B1/en
Priority to US17/444,390 priority patent/US20220049475A1/en
Publication of JP2022032206A publication Critical patent/JP2022032206A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00—Transport or storage specially adapted for UAVs
    • B64U80/80—Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86—Land vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/96—Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
    • E02F3/965—Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements of metal-cutting or concrete-crushing implements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

【課題】作業中の場所を継続的に撮像対象とする場合の不都合を効果的に回避する。【解決手段】作業支援装置は、前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、作業に係る撮像対象の位置を算出する撮像対象位置算出部と、前記撮像対象の位置が撮像されるように、前記撮像装置の撮像画角又は撮像方向を設定する撮像パラメータ設定部と、前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、前記飛行制御部が、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行している状況下で、前記撮像対象位置算出部により算出された前記撮像対象の位置が撮像装置の撮像画角から外れた場合、または外れることが予測される場合には、前記撮像パラメータ設定部は、前記ホバリング維持制御が継続されるように前記撮像装置の撮像画角又は撮像方向を変化させる。【選択図】図５

Description

本開示は、作業支援装置に関する。
ショベルの上部旋回体に取り付けられた撮像装置では撮像できない空間を、自律式の飛行体に取り付けられた撮像装置で撮像する技術が知られる（例えば、特許文献１参照）。
国際公開公報ＷＯ２０１７／１３１１９４号
しかしながら、上記のような従来技術において、実際に作業している場所を継続的に撮像対象とする場合、作業している位置の移動に応じて、常に、飛行体の目標飛行位置を変化させる制御が必要となる。この場合には、制御に必要な処理負荷の増加や飛行体に搭載されたバッテリの寿命の短縮化などを招くおそれがある。
そこで、１つの側面では、本発明は、作業中の場所を継続的に撮像対象とする場合の不都合を効果的に回避することを目的とする。
１つの側面では、
作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
前記作業機械は、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記撮像装置が撮像した画像を表示する表示装置とを有し、
当該作業支援装置は、
前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、
作業に係る撮像対象の位置を算出する撮像対象位置算出部と、
前記撮像対象の位置が撮像されるように、前記撮像装置の撮像画角又は撮像方向を設定する撮像パラメータ設定部と、
前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、
前記飛行制御部が、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行している状況下で、前記撮像対象位置算出部により算出された前記撮像対象の位置が前記撮像装置の撮像画角から外れた場合、または外れることが予測される場合には、前記撮像パラメータ設定部は、前記ホバリング維持制御が継続されるように前記撮像装置の撮像画角又は撮像方向を変化させる、作業支援装置が提供される。
１つの側面では、本発明によれば、作業中の場所を継続的に撮像対象とする場合の不都合を効果的に回避することが可能となる。
実施例１による作業機械及び無人飛行機の構成に関する説明図である。 作業機械の制御系に係るハードウェア構成の一例を示す図である。 各種制御装置により実現される機能を説明する図である。 ホバリング維持制御の場合における撮像装置の画角と、撮像装置による撮像範囲の関係を示す図である。 ホバリング維持制御の場合における撮像装置の撮像方向と、撮像装置による撮像範囲の関係を示す図である。 飛行制御装置により実行される処理の一例を示す概略フローチャートである。 飛行制御装置により実行される処理の別の一例を示す概略フローチャートである。
以下、添付図面を参照しながら各実施例について詳細に説明する。
［実施例１］
図１は、一実施例による作業機械１及び無人飛行機４０の構成に関する説明図である。なお、図１には、作業機械１及び無人飛行機４０に加えて、飛行制御装置５０（作業支援装置の一例）と遠隔操作装置５２が図示されている。
作業機械１は、無人飛行機４０と連携しながら所定の作業を遂行する。作業機械１は、例えば解体作業等に好適な破砕機１４５を備えた建設機械であり、クローラ式の下部走行体１１０と、下部走行体１１０に旋回機構１３０を介して旋回可能に搭載される上部旋回体１２０と、作業機構１４０と、を備えている。上部旋回体１２０の前方左側部にはキャブ（運転室）１２２が設けられる。上部旋回体１２０の前方中央部には作業機構１４０が設けられ、作業機構１４０の先端に破砕機１４５が設けられる。なお、作業機械１は、無人飛行機４０が発着するベースメントを備えてもよい。
作業機構１４０は、上部旋回体１２０に起伏可能に装着されるブーム１４１と、ブーム１４１の先端に回動可能に連結されるアーム１４３と、アーム１４３の先端に取り付けられた破砕機１４５と、を備えている。作業機構１４０には、伸縮可能な油圧シリンダにより形成されるブームシリンダ１４２、アームシリンダ１４４及びバケットシリンダ１４６が装着される。破砕機１４５に代えてバケットなどの他の先端アタッチメントがアーム１４３の先端部に取り付けられていてもよい。
ブームシリンダ１４２は、作動油の供給を受けることにより伸縮してブーム１４１を起伏方向に回動させるようにブーム１４１と上部旋回体１２０との間に介在する。アームシリンダ１４４は、作動油の供給を受けることにより伸縮してアーム１４３をブーム１４１に対して水平軸回りに回動させるようにアーム１４３とブーム１４１との間に介在する。バケットシリンダ１４６は、作動油の供給を受けることにより伸縮して破砕機１４５をアーム１４３に対して水平軸回りに回動させるように破砕機１４５とアーム１４３との間に介在する。破砕機用シリンダ１４７は、作動油の供給を受けることにより伸縮して破砕機１４５を開閉させるように破砕機１４５に設けられる。
無人飛行機４０は、回転翼機であり、複数（例えば、４、６又は８）の羽根、当該複数の羽根を回転させるための電動モータ（アクチュエータ）等に電力を供給するバッテリなどを備える。なお、かかるバッテリに代えて又は加えて、無人飛行機４０は、地上から電力供給線が接続されてもよい。
無人飛行機４０は、制御装置４００と、撮像装置４１０とを備える。
制御装置４００は、後述する飛行制御装置５０からの制御情報（指令）や遠隔操作装置５２からの操作情報に応じて、無人飛行機４０の各種飛行状態（前進状態、後退状態、上昇状態、下降状態、ホバリング等）を実現する。また、制御装置４００は、撮像装置４１０で取得される画像（前方環境画像）を作業機械１に送信する。
撮像装置４１０は、カメラを含む。カメラの種類等は任意であり、例えば広角カメラであってもよい。撮像装置４１０は、取り外し可能に無人飛行機４０に取り付けられてもよいし、無人飛行機４０に強固に固定されてもよい。撮像装置４１０は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により、無人飛行機４０の機体前方の前方環境画像を取得する。撮像装置４１０は、例えば、リアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で制御装置４００に供給するものであってよい。
撮像装置４１０は、好ましくは、ジンバル（図示せず）を備える。ジンバルは、無人飛行機４０の姿勢が変化しても、撮像装置４１０の光軸が一定の向き（例えば水平面内の所定方向）に保つように機能する。
飛行制御装置５０は、無人飛行機４０の各種制御を実行する。一実施例では、飛行制御装置５０は、サーバ（サーバコンピュータ）により実現され、この場合、飛行制御装置５０は、ネットワーク（図示せず）を介して作業機械１及び無人飛行機４０に接続される。この場合、ネットワークは、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他の実施例では、飛行制御装置５０は、作業機械１の制御装置１０により実現されてもよい。また、他の実施例では、飛行制御装置５０は、無人飛行機４０の制御装置４００により実現されてもよい。あるいは、他の実施例では、飛行制御装置５０の機能は、サーバ、制御装置１０、及び制御装置４００のうちの、いずれか２つの組み合わせ又はすべてにより協働して実現されてもよい。飛行制御装置５０の詳細は後述する。
遠隔操作装置５２は、例えばリモートコントローラの形態であり、ユーザ（例えば、作業機械１の操作者又は操作者とは異なる作業者）により操作されてよい。なお、ユーザが、作業機械１の操作者である場合、遠隔操作装置５２は、キャブ１２２内に持ち込まれうる。遠隔操作装置５２は、無人飛行機４０と無線通信可能であり、ユーザの操作に応じた操作信号を無人飛行機４０に向けて送信する。この場合、無人飛行機４０は遠隔操作装置５２からの操作情報を受信すると、無人飛行機４０の制御装置４００は、操作情報に応じた無人飛行機４０の動き（前進、後退、昇降等）を実現する。なお、変形例では、遠隔操作装置５２は省略されてもよい。また、遠隔操作装置５２は、スマートフォン等により実現されてもよい。
図２は、作業機械１の制御系に係るハードウェア構成の一例を示す図である。
作業機械１は、図２に示すように、周辺機器８と、制御装置１０とを備える。
周辺機器８は、作業機械１に搭載される電子制御可能な機器や各種センサ等である。周辺機器８は、例えば、画像出力装置８０（表示装置の一例）や、ブザー、音声出力装置（図示せず）、作業機構１４０を作動させる油圧発生装置（図示せず）、各種操作部材の操作状態を検出する各種センサ類８２等を含んでよい。なお、油圧発生装置は、エンジン及び／又は電動モータにより駆動される油圧ポンプであってよい。電動モータにより駆動される油圧ポンプを利用する場合、油圧発生装置は、電動モータを駆動するためのインバータを含んでよい。各種センサ類８２は、ジャイロセンサや、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、各種の角度センサ、加速度センサ（傾斜センサ）、油圧発生装置により付与される油圧ライン（図示せず）の所定箇所の油圧を検出する油圧センサ等を含んでよい。
画像出力装置８０は、作業機械１の操作者が視認できるようにキャブ１２２内に設けられる。画像出力装置８０は、任意であるが、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってよい。なお、変形例では、画像出力装置８０は、作業機械１の操作者によりキャブ１２２に持ち込まれうる携帯型の装置（例えばタブレット端末等）であってもよい。
制御装置１０は、バス１９で接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、ドライブ装置１５、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５及び無線送受信部２６を含む。
補助記憶装置１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
有線送受信部２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部２５には、周辺機器８が接続される。ただし、周辺機器８の一部又は全部は、バス１９に接続されてもよいし、無線送受信部２６に接続されてもよい。
無線送受信部２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網や、インターネット、ＶＰＮ、ＷＡＮ等を含んでよい。また、無線送受信部２６は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）通信部、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ、登録商標）送受信部、赤外線送受信部などを含んでもよい。例えば、無線送受信部２６は、サーバの形態の飛行制御装置５０との間で通信を実現できる。
なお、制御装置１０は、記録媒体１６と接続可能であってもよい。記録媒体１６は、所定のプログラムを格納する。この記録媒体１６に格納されたプログラムは、ドライブ装置１５を介して制御装置１０の補助記憶装置１４等にインストールされる。インストールされた所定のプログラムは、制御装置１０のＣＰＵ１１により実行可能となる。例えば、記録媒体１６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１６には、搬送波は含まれない。
ここでは、図２を参照して、作業機械１の制御系について説明したが、無人飛行機４０についても、周辺機器８に係る構成を除いて、実質的に同様であってよい。例えば、無人飛行機４０の制御系の場合、制御装置４００のハードウェア構成は、制御装置１０と同様であってよい。また、周辺機器８に対応する周辺機器は、撮像装置４１０（図１参照）や各種センサ類を含む。
また、飛行制御装置５０のハードウェア構成についても、図２に示す制御装置１０のハードウェア構成と実質的に同様であってよい。
次に、図３以降を参照して、制御装置１０及び制御装置４００とともに、飛行制御装置５０を詳説する。
図３は、制御装置１０、制御装置４００、及び飛行制御装置５０により実現される機能を説明する図である。
制御装置１０は、図３に示すように、位置情報取得部１５０と、姿勢情報取得部１５１と、向き情報取得部１５２と、通信処理部１５３と、画像出力処理部１５４とを含む。位置情報取得部１５０のような各機能部は、図２に示したＣＰＵ１１が、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。
位置情報取得部１５０は、センサ類８２のうちの、ＧＰＳセンサ（図示せず）から、作業機械１の位置情報を取得する。作業機械１の位置情報は、緯度、経度、及び高度で表現される。なお、ＧＰＳセンサは、ＧＰＳ受信機を含み、衛星からの電波に基づいて、干渉測位等により、緯度、経度、及び高度を算出する。
姿勢情報取得部１５１は、センサ類８２のうちの、作業機械１の姿勢に係るパラメータを取得する各種センサに基づいて、作業機械１の姿勢情報を取得する。この場合、姿勢に係るパラメータを取得する各種センサは、例えば、ブーム角度センサや、アーム角度センサ、バケット角度センサ、機体傾斜センサ等であってよい。なお、ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角度を検出する回転角センサ、ブームシリンダ１４２のストローク量を検出するストロークセンサ、ブーム１４１の傾斜角度を検出する傾斜（加速度）センサ等を含む。また、アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは、機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体１２０の傾斜角度を検出する。
向き情報取得部１５２は、センサ類８２のうちの、下部走行体１１０に対する上部旋回体１２０の向き（以下、単に「上部旋回体１２０の向き」とも称する）に係るパラメータを取得する各種センサに基づいて、上部旋回体１２０の向きを表す向き情報を取得する。この場合、上部旋回体１２０の向きに係るパラメータを取得する各種センサは、例えば、地磁気センサや、旋回機構１３０の旋回軸まわりの旋回角度を検出する回転角センサ（例えばレゾルバ等）、ジャイロセンサ等であってよい。
通信処理部１５３は、位置情報取得部１５０、姿勢情報取得部１５１、及び向き情報取得部１５２により取得される各種情報等を、飛行制御装置５０に送信する。例えば、通信処理部１５３は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の情報を飛行制御装置５０に送信してもよい。
また、通信処理部１５３は、無人飛行機４０から画像データを受信する。画像データは、撮像装置４１０により撮像される前方環境画像のデータである。
画像出力処理部１５４は、通信処理部１５３により取得される画像データに基づいて、画像出力装置８０上に前方環境画像を出力する。これにより、作業機械１の操作者は、画像出力装置８０上の前方環境画像から、例えば直視では見えない作業現場の状況等を把握できる。
制御装置４００は、図３に示すように、機体情報取得部４０１と、目標飛行状態設定部４０２と、機体制御部４０３と、通信処理部４０４とを含む。機体情報取得部４０１のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。
機体情報取得部４０１は、無人飛行機４０の機体に係る各種状態を表す機体情報を取得する。機体情報は、無人飛行機４０の位置情報や、無人飛行機４０の姿勢情報等を含んでよい。無人飛行機４０の位置情報は、例えば、緯度、経度、及び高度で表現されてよい。なお、このような無人飛行機４０の位置情報は、ＧＰＳセンサから取得可能である。無人飛行機４０の姿勢情報は、無人飛行機４０のヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関する情報を含んでよい。なお、このような無人飛行機４０の姿勢情報は、無人飛行機４０に搭載される慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のようなセンサから取得可能である。
目標飛行状態設定部４０２は、飛行制御装置５０からの制御情報（指令）に基づいて、無人飛行機４０の目標飛行状態を設定する。目標飛行状態は、目標飛行位置と目標飛行姿勢とを含む。なお、制御情報が目標飛行位置と目標飛行姿勢とを含む場合は、目標飛行状態設定部４０２は、当該目標飛行位置と目標飛行姿勢をそのまま利用してもよい。
目標飛行位置は、例えば、緯度、経度、及び高度で表現することができる。
本実施例では、撮像対象の位置の変化に追従して無人飛行機４０の目標飛行位置を動的に変化させる「状態追従制御」と、無人飛行機４０の飛行位置を一定位置に継続的に維持する「ホバリング維持制御」と、が選択的に実行される。以下、状態追従制御について説明する。ホバリング維持制御については後述する。
状態追従制御の場合、目標飛行位置に係る緯度及び経度は、例えば、作業を行っている場所、例えば、先端アタッチメントの位置（撮像対象の位置）を撮像しやすい値に設定される。目標飛行位置に係る緯度及び経度は、ユーザにより可変とされてもよい。また、これらの値は、作業モード等に応じて自動的に変化させてもよい。
また、目標飛行位置に係る高度は、一定（例えば３０ｍから４０ｍの範囲内）であってもよい。ただし、目標飛行位置に係る高度は、同様に、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。
目標飛行姿勢は、例えば、ヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関するパラメータで表現されてよい。目標飛行姿勢に係るパラメータは、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。
機体制御部４０３は、機体情報取得部４０１により取得される機体情報に基づいて、目標飛行状態設定部４０２により設定される目標飛行状態が実現されるように、無人飛行機４０を制御する。なお、無人飛行機４０の制御方法は、任意であり、例えばＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）制御等により実現されてもよい。
通信処理部４０４は、機体情報取得部４０１により取得される機体情報等を、飛行制御装置５０に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の機体情報を飛行制御装置５０に送信してもよい。
また、通信処理部４０４は、撮像装置４１０により撮像される前方環境画像のデータを、作業機械１に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに前方環境画像のデータを飛行制御装置５０に送信してもよい。
飛行制御装置５０は、図３に示すように、情報取得部５１０と、アタッチメント位置算出部（撮像対象位置算出部の一例）５１２と、撮像パラメータ設定部５１３と、飛行制御部５１４とを含む。情報取得部５１０のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。
情報取得部５１０は、飛行制御部５１４の各種制御に必要な各種情報を取得する。本実施例では、一例として、情報取得部５１０は、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報とを取得する。なお、作業機械１の位置情報、姿勢情報、及び向き情報は、作業機械１の制御装置１０の通信処理部１５３から通信により取得できる。また、無人飛行機４０の機体情報は、無人飛行機４０の制御装置４００の通信処理部４０４から取得できる。
アタッチメント位置算出部５１２は、情報取得部５１０により取得される作業機械１の位置情報、姿勢情報、及び向き情報とに基づいて、撮像対象に対応する先端アタッチメントの位置、例えば、先端アタッチメントの所定部位の位置、あるいは、先端アタッチメントの先端の位置を算出する。アタッチメント位置算出部５１２により算出される先端アタッチメントの位置は、作業に係る撮像対象の位置、又は撮像対象の位置を導くことができる位置であればよい。先端アタッチメントの位置は、例えば、緯度、経度、及び高度で表現することができる。
撮像パラメータ設定部５１３は、撮像装置４１０の撮像画角及び撮像方向を設定する。
撮像パラメータ設定部５１３は、光学的な手段により撮像装置４１０の撮像画角を設定することができる。この場合、例えば、撮像パラメータ設定部５１３は、通信処理部４０４との間の通信を介して撮像装置４１０の光学系を操作することにより、撮像装置４１０の撮像画角を設定することができる。
撮像パラメータ設定部５１３は、撮像装置４１０の撮像画像に対する電子的な処理により、撮像装置４１０の撮像画角を設定することができる。この場合、例えば、撮像パラメータ設定部５１３は、通信処理部４０４との間の通信を介して画像出力処理部１５４を操作することにより、撮像装置４１０の撮像画角を設定することができる。例えば、画像出力処理部１５４から撮像装置４１０の撮像画像の全体を出力する状態では、撮像画角は最大となり、撮像装置４１０の撮像画像の一部（例えば、中央部分の画素に相当する画像）を出力する状態では、撮像画角がより小さくなる。このように、撮像装置４１０の光学系を操作することなく、電子的に見かけ上の画角を操作することができる。
撮像パラメータ設定部５１３は、光学的な手段と、撮像画像に対する電子的な処理を組み合わせて、撮像画角を設定することもできる。
次に、撮像パラメータ設定部５１３は、撮像装置４１０を回転させることにより撮像装置４１０の撮像方向を設定することができる。この場合、例えば、撮像パラメータ設定部５１３は、飛行制御部５１４を介して無人飛行機４０の飛行姿勢（方向）を設定することにより、撮像装置４１０の撮像方向を設定することができる。
撮像パラメータ設定部５１３は、撮像装置４１０の撮像画像に対する電子的な処理により撮像装置４１０の撮像方向を設定することができる。この場合、例えば、撮像パラメータ設定部５１３は、通信処理部４０４との間の通信を介して画像出力処理部１５４を操作することにより、撮像装置４１０の撮像画角を設定することができる。例えば、画像出力処理部１５４から撮像装置４１０の撮像画像の一部（例えば、一部の画素に相当する画像）を選択的に出力させることにより、撮像角度を切り替えることができる。このように、撮像装置４１０の向きを操作することなく、電子的に見かけ上の撮像角度を操作することができる。
撮像パラメータ設定部５１３は、撮像装置４１０の回転と、撮像画像に対する電子的な処理を組み合わせて、撮像角度を設定することもできる。
飛行制御部５１４は、情報取得部５１０により取得された各種情報に基づいて、無人飛行機４０に送信する制御情報（指令）を生成する。制御情報は、上述したように、無人飛行機４０の目標飛行状態設定部４０２に目標飛行状態を設定させるための情報である。
飛行制御部５１４は、ホバリング開始条件が成立すると、無人飛行機４０のホバリングが開始されるように、制御情報を生成する。ホバリング開始条件は、例えば、無人飛行機４０の位置が目標飛行位置に到達した場合に満たされる。また、ホバリング開始条件は、例えば、無人飛行機４０の飛行位置が一定位置に維持されていても、撮像装置４１０によって撮像対象を撮像し続けることが可能である場合に満たされる。なお、無人飛行機４０の位置が目標飛行位置に到達した否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。また、後述するように、撮像装置４１０によって撮像対象を撮像し続けることが可能であるか否かは、アタッチメント位置算出部５１２にて算出される先端アタッチメントの位置に基づいて判断できる。
飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、制御装置４００にホバリングを開始させてもよい。あるいは、飛行制御部５１４は、ホバリングを開始させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、制御装置４００にホバリングを開始させてもよい。
なお、飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、ホバリング維持制御を実現してもよい。あるいは、飛行制御部５１４は、ホバリングを維持させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、ホバリング維持制御を実現してもよい。
ところで、作業機械１は、作業内容に依存して動きが多様となりうるが、作業に係る撮像対象の位置（先端アタッチメントの位置）が一定時間、大きく移動することなく、狭い範囲に限定される場合がある。このような場合に、無人飛行機４０の飛行位置（目標飛行位置）を小刻みに頻繁に移動させると、無人飛行機４０の飛行状態の制御における処理負荷の増加や、無人飛行機４０の電力消費の増加に伴うバッテリの寿命の短縮化などの問題が懸念される。
これに対して、本実施例によれば、飛行制御部５１４は、撮像装置４１０の撮像対象の位置（先端アタッチメントの位置）が撮像画角から外れた場合、または外れることが予測される場合でも、変化後の撮像対象の位置が撮像パラメータ設定部５１３により設定される撮像装置４１０の撮像画角又は撮像方向によって撮像可能な場合には、無人飛行機４０の飛行位置を継続的に維持するためのホバリング維持制御を実行する。
このため、作業に係る撮像対象の位置が一定時間、大きく移動することなく、狭い範囲に限定される場合に、無人飛行機４０の飛行位置（目標飛行位置）を小刻みに頻繁に移動させる必要がない。このため、無人飛行機４０の飛行状態の制御における処理負荷の増加や、無人飛行機４０の電力消費の増加に伴うバッテリの寿命の短縮化を回避できる。
なお、撮像対象の位置の変化状況によっては、ホバリング維持制御を維持したとすると、撮像装置４１０の撮像画角又は撮像方向をどのように変化させても撮像対象の位置が撮像できなくなる場合がある。この場合には、飛行制御部５１４は、無人飛行機４０の制御状態を少なくとも一時的に状態追従制御に移行させる。これにより、撮像対象の位置を継続して撮像可能となる。
図４は、ホバリング維持制御の場合における撮像装置４１０の画角と、撮像装置４１０による撮像範囲の関係を示す図である。
図４に示すように、無人飛行機４０の飛行状態（飛行位置及び飛行姿勢）がホバリング維持制御により維持されているとき、撮像装置４１０により撮像画角内Ｌ１で撮像対象の位置（例えば、先端アタッチメントの先端位置）Ｐ１を捉えていた状況下で、先端アタッチメントが動き、矢印Ｒ１に示すように撮像対象が位置Ｐ１から撮像画角内Ｌ１の外側の位置Ｐ２に移動したとする。この場合、本実施例では、ホバリング維持制御を継続しつつ、撮像画角をより広角の撮像画角に切り換えることで、継続して位置Ｐ２にある撮像対象を撮像画角内Ｌ２で捕捉することができる。したがって、無人飛行機４０の飛行状態の制御における処理負荷の増加や、無人飛行機４０の電力消費の増加に伴うバッテリの寿命の短縮化を回避できる。
撮像装置４１０の撮像画角をより広角の撮像画角に切り換えるタイミングを変更してもよい。例えば、撮像画角内Ｌ１に撮像対象が存在する場合であっても、撮像対象が撮像画角内Ｌ１から外れる蓋然性が高いと予測されるときに、その時点で撮像装置４１０の撮像画角を広角に切り換えるようにしてもよい。例えば、撮像対象の画像上の位置が、撮像画角内Ｌ１の外縁から所定数の画素の範囲に入った時点で、撮像装置４１０の撮像画角を広角に切り換え、撮像画角内Ｌ２で撮像対象を捕捉するようにしてもよい。
なお、撮像対象が位置Ｐ２から位置Ｐ１に移動したような場合には、位置Ｐ２にある撮像対象を撮像画角内Ｌ２で捕捉していた状態から画角を切り換え、位置Ｐ１にある撮像対象を撮像画角内Ｌ１で捕捉する状態に戻してもよい。
図４Ａは、ホバリング維持制御の場合における撮像装置４１０の撮像方向と、撮像装置４１０による撮像範囲の関係を示す図である。
図４Ａに示すように、無人飛行機４０の飛行位置がホバリング維持制御により維持されているとき、撮像装置４１０により撮像画角内Ｌ１で撮像対象の位置（例えば、先端アタッチメントの先端位置）Ｐ３を捉えていた状況下で、先端アタッチメントが動き、矢印Ｒ２に示すように撮像対象が位置Ｐ３から撮像画角内Ｌ１の外側の位置Ｐ４に移動したとする。この場合、本実施例では、ホバリング維持制御を継続しつつ、無人飛行機４０の飛行位置を維持しつつ飛行姿勢のみをわずかに変化させ、撮像装置４１０の向きを変更している。これにより、撮像装置４１０の撮像方向を切り換えて、継続して位置Ｐ４にある撮像対象を撮像画角内Ｌ３で捕捉することができる。したがって、無人飛行機４０の飛行状態の制御における処理負荷の増加や、無人飛行機４０の電力消費の増加に伴うバッテリの寿命の短縮化を回避できる。
撮像装置４１０の撮像角度を切り換えるタイミングを変更してもよい。例えば、撮像画角内Ｌ１に撮像対象が存在する場合であっても、撮像対象が撮像画角内Ｌ１から外れる蓋然性が高いと予測されるときに、その時点で撮像装置４１０の撮像角度を切り換えるようにしてもよい。例えば、撮像対象の画像上の位置が、撮像画角内Ｌ１の外縁から所定数の画素の範囲に入った時点で、撮像装置４１０の撮像角度を切り換え、撮像画角内Ｌ３で撮像対象を捕捉するようにしてもよい。
次に、図５以降を参照して、飛行制御装置５０の動作例について説明する。なお、以降の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。
図５は、飛行制御装置５０により実行される処理の一例を示す概略フローチャートであり、撮像装置４１０の撮像画角を制御する例を示す。図５に示す処理は、例えば所定周期ごとに繰り返し実行されてよい。
ステップＳ３０では、飛行制御装置５０は、制御用の各種情報（例えば、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報）を取得する。制御用の各種情報の取得方法は、上述したとおりである。
ステップＳ３１では、飛行制御装置５０は、ステップＳ３０で取得された作業機械１の位置情報、姿勢情報、及び向き情報に基づき、先端アタッチメントの位置を算出する。
ステップＳ３２では、飛行制御装置５０は、ステップＳ３０において取得された無人飛行機４０の機体情報と、ステップＳ３１において算出された先端アタッチメントの位置に基づいて、撮像対象が撮像装置４１０の画角内にあるか否か判断し、判断が肯定されればステップＳ３４に進み、判断が否定されればステップＳ３８へ進む。
ステップＳ３４では、飛行制御装置５０は、ホバリングを実現させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係るホバリングが実現又は維持されるように無人飛行機４０を制御する。ホバリングを実現させるための制御情報は、例えば、前回周期の制御情報と同じ情報であってもよいし、その旨を表す情報であってもよい。
ステップＳ３８では、飛行制御装置５０は、ステップＳ３０において取得された無人飛行機４０の機体情報と、ステップＳ３１において算出された先端アタッチメントの位置に基づいて、現在の撮像装置４１０の画角（例えば、図４の撮像画角内Ｌ１が撮像される画角）を変更予定後の画角（例えば、図４の撮像画角内Ｌ２が撮像される画角）に変更した場合に、変更後の撮像装置４１０の画角内に撮像対象が位置付けられるか否か判断し、判断が肯定されればステップＳ４０に進み、判断が否定されればステップＳ４２へ進む。
ステップＳ４０では、飛行制御装置５０は、撮像装置４１０の画角を、ステップＳ３８の判断が肯定された変更後の画角（変更予定であった画角）に切り換える。
一方、ステップＳ４２では、飛行制御装置５０は、状態追従制御のための目標飛行状態を算出する。具体的には、飛行制御装置５０は、ステップＳ３０で得た各種情報に基づいて目標飛行状態（目標飛行位置及び目標飛行姿勢を含む）を算出し、当該目標飛行状態を表す制御情報（指令）を生成する。
次に、ステップＳ４４では、飛行制御装置５０は、ステップＳ４２において生成した制御情報を無人飛行機４０に送信して、新たな目標飛行状態を設定する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係る目標飛行状態が実現されるように無人飛行機４０を制御する。なお、ステップＳ４４により新たな目標飛行状態が設定されるまで、ステップＳ３４などにおいて指示されたホバリング維持制御が維持される。
図６は、飛行制御装置５０により実行される処理の別の一例を示す概略フローチャートであり、撮像装置４１０の撮像方向を制御する例を示す。図６に示す処理は、例えば所定周期ごとに繰り返し実行されてよい。
ステップＳ３０では、飛行制御装置５０は、制御用の各種情報（例えば、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報）を取得する。制御用の各種情報の取得方法は、上述したとおりである。
ステップＳ３１では、飛行制御装置５０は、ステップＳ３０で取得された作業機械１の位置情報、姿勢情報、及び向き情報に基づき、先端アタッチメントの位置を算出する。
ステップＳ３２では、飛行制御装置５０は、ステップＳ３０において取得された無人飛行機４０の機体情報と、ステップＳ３１において算出された先端アタッチメントの位置に基づいて、撮像対象が撮像装置４１０の画角内にあるか否か判断し、判断が肯定されればステップＳ３４に進み、判断が否定されればステップＳ３８へ進む。
ステップＳ３４では、飛行制御装置５０は、ホバリングを実現させるための制御情報を生成し、生成した制御情報を無人飛行機４０に送信する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係るホバリングが実現又は維持されるように無人飛行機４０を制御する。ホバリングを実現させるための制御情報は、例えば、前回周期の制御情報と同じ情報であってもよいし、その旨を表す情報であってもよい。
ステップＳ３８では、飛行制御装置５０は、ステップＳ３０において取得された無人飛行機４０の機体情報と、ステップＳ３１において算出された先端アタッチメントの位置に基づいて、現在の撮像装置４１０の撮像角度（例えば、図４Ａの撮像画角内Ｌ１が撮像される撮像角度）を変更予定後の撮像角度（例えば、図４Ａの撮像画角内Ｌ３が撮像される画角）に変更した場合に、変更後の撮像装置４１０の画角内（撮像範囲内）に撮像対象が位置付けられるか否か判断し、判断が肯定されればステップＳ４０に進み、判断が否定されればステップＳ４２へ進む。
ステップＳ４０では、飛行制御装置５０は、撮像装置４１０の撮像角度を、ステップＳ３８の判断が肯定された変更後の撮像角度（変更予定であった角度）に切り換える。
一方、ステップＳ４２では、飛行制御装置５０は、状態追従制御のための目標飛行状態を算出する。具体的には、飛行制御装置５０は、ステップＳ３０で得た各種情報に基づいて目標飛行状態（目標飛行位置及び目標飛行姿勢を含む）を算出し、当該目標飛行状態を表す制御情報（指令）を生成する。
次に、ステップＳ４４では、飛行制御装置５０は、ステップＳ４２において生成した制御情報を無人飛行機４０に送信して、新たな目標飛行状態を設定する。この場合、無人飛行機４０の制御装置４００は、かかる制御情報を受信すると、当該制御情報に係る目標飛行状態が実現されるように無人飛行機４０を制御する。なお、ステップＳ４４により新たな目標飛行状態が設定されるまで、ステップＳ３４などにおいて指示されたホバリング維持制御が維持される。
上記実施形態では、アタッチメント位置算出部５１２は、情報取得部５１０により取得される作業機械１の位置情報、姿勢情報、及び向き情報とに基づいて、撮像対象に対応する先端アタッチメントの位置（撮像対象の位置）を算出している。しかし、撮像対象の位置Ｐ１は、例えば、現在の撮像装置４１０及び過去の撮像装置４１０の画像に基づく画像処理により、算出（認識）してもよい。この場合、アタッチメント位置算出部５１２は、例えば、通信処理部４０４を介する通信処理により撮像装置４１０の画像を取得し、撮像装置４１０の画像に含まれる先端アタッチメントの位置（撮像対象の位置）を認識し、あるいは撮像装置４１０の画像に含まれていない先端アタッチメントの位置（撮像対象の位置）を認識することができる。具体的には、例えば、撮像装置４１０の撮像と、飛行制御部５１４から取得される、撮像装置４１０の撮像時点における飛行状態（飛行位置及び飛行姿勢）と、撮像パラメータ設定部５１３から取得される、撮像装置４１０の撮像時点における撮像画角及び撮像角度と、に基づいて、先端アタッチメントの位置（撮像対象の位置）が認識される。
このように、撮像対象の位置Ｐ１を撮像装置４１０の画像に基づく画像処理により算出する場合、位置Ｐ１にマーカーを設けてもよい。マーカーの位置、マーカーの大きさ、およびマーカーの形態は任意であるが、例えば、３０ｃｍ径程度の円をマーカーとして使用することができる。
また、マーカーを設ける場合、撮像対象の位置Ｐ１をアーム１４３の先端の上面位置とし、この位置にマーカーを設けることができる。この場合、撮像装置４１０によってマーカーを常に捉えやすくなるという利点がある。
例えば、建物解体作業時、アーム１４３の先端に取り付けられた破砕機１４５等の先端アタッチメントは上下に揺動を繰り返すため、マーカーを先端アタッチメントに設けると、作業中に撮像装置４１０により撮像できなくなる可能性が高い。一方、アーム１４３は先端アタッチメントに比べると大きく揺動する頻度は低く、撮像装置４１０によってマーカーを常に捉えやすくなる。また、解体作業時の無人飛行機４０のホバリング維持制御用の目標飛行位置としては、先端アタッチメントやアーム１４３よりも上方位置を想定しているため、マーカー位置としてはアーム１４３の上面が良い。さらにマーカーと同時に、解体作業の対象、すなわち解体している部分を撮像装置４１０により同時に撮像するには、マーカーの位置は先端アタッチメントに近いアーム１４３の先端に設けるのがよい。
以上のように、上記実施例によれば、撮像対象の位置が変化した場合でも、変化後の撮像対象の位置が撮像パラメータ設定部５１３により設定される撮像装置４１０の撮像画角又は撮像方向によって撮像可能な場合には、飛行体４０の飛行位置を継続的に維持するためのホバリング維持制御を実行する、このため、無人飛行機４０の飛行状態の制御における処理負荷の増加や、無人飛行機４０の電力消費の増加に伴うバッテリの寿命の短縮化などの不都合を効果的に回避できる。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
１ 作業機械
８ 周辺機器
１０ 制御装置
４０ 無人飛行機
５０ 飛行制御装置
５２ 遠隔操作装置
８０ 画像出力装置
８２ センサ類
１１０ 下部走行体
１２０ 上部旋回体
１２２ キャブ（運転室）
１３０ 旋回機構
１４０ 作業機構
１４１ ブーム
１４２ ブームシリンダ
１４３ アーム
１４４ アームシリンダ
１４５ 破砕機
１４６ シリンダ
１５０ 位置情報取得部
１５１ 姿勢情報取得部
１５２ 向き情報取得部
１５３ 通信処理部
１５４ 画像出力処理部
４００ 制御装置
４０１ 機体情報取得部
４０２ 目標飛行状態設定部
４０３ 機体制御部
４０４ 通信処理部
４１０ 撮像装置
５１０ 情報取得部
５１２ アタッチメント位置算出部
５１３ 撮像パラメータ設定部
５１４ 飛行制御部

Claims (7)

  1. 作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
    前記作業機械は、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記撮像装置が撮像した画像を表示する表示装置とを有し、
    当該作業支援装置は、
    前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、
    作業に係る撮像対象の位置を算出する撮像対象位置算出部と、
    前記撮像対象の位置が撮像されるように、前記撮像装置の撮像画角又は撮像方向を設定する撮像パラメータ設定部と、
    前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、
    前記飛行制御部が、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行している状況下で、前記撮像対象位置算出部により算出された前記撮像対象の位置が前記撮像装置の撮像画角から外れた場合、または外れることが予測される場合には、前記撮像パラメータ設定部は、前記ホバリング維持制御が継続されるように前記撮像装置の撮像画角又は撮像方向を変化させる、作業支援装置。
  2. 前記撮像対象位置算出部は、前記情報取得部により取得される前記作業機械の状態を表す情報に基づいて、前記撮像対象の位置を算出する、請求項１に記載の作業支援装置。
  3. 前記撮像対象位置算出部は、前記撮像装置の撮像画像に基づく画像認識を介して前記撮像対象の位置を算出する、請求項１に記載の作業支援装置。
  4. 前記撮像パラメータ設定部は、光学的な手段により前記撮像装置の撮像画角を設定する、請求項１～３のいずれか１項に記載の作業支援装置。
  5. 前記撮像パラメータ設定部は、前記撮像装置の撮像画像に対する電子的な処理により前記撮像装置の撮像画角を設定する、請求項１～３のいずれか１項に記載の作業支援装置。
  6. 前記撮像パラメータ設定部は、前記撮像装置を回転させることにより前記撮像装置の撮像方向を設定する、請求項１～３のいずれか１項に記載の作業支援装置。
  7. 前記撮像パラメータ設定部は、前記撮像装置の撮像画像に対する電子的な処理により前記撮像装置の撮像方向を設定する、請求項１～３のいずれか１項に記載の作業支援装置。
JP2020135762A 2020-08-11 2020-08-11 作業支援装置 Pending JP2022032206A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020135762A JP2022032206A (ja) 2020-08-11 2020-08-11 作業支援装置
EP21189574.3A EP3964910B1 (en) 2020-08-11 2021-08-04 Work support system for work machine
US17/444,390 US20220049475A1 (en) 2020-08-11 2021-08-04 Work support apparatus for work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020135762A JP2022032206A (ja) 2020-08-11 2020-08-11 作業支援装置

Publications (1)

Publication Number Publication Date
JP2022032206A true JP2022032206A (ja) 2022-02-25

Family

ID=77499592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020135762A Pending JP2022032206A (ja) 2020-08-11 2020-08-11 作業支援装置

Country Status (3)

Country Link
US (1) US20220049475A1 (ja)
EP (1) EP3964910B1 (ja)
JP (1) JP2022032206A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2619273A (en) * 2022-05-24 2023-12-06 Caterpillar Paving Products Inc System for providing visual feeds of operations of a machine

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730795A (ja) * 1993-07-13 1995-01-31 Sony Corp ビデオカメラシステム
WO2017131194A1 (ja) * 2016-01-29 2017-08-03 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786105B2 (en) * 2015-12-08 2017-10-10 Caterpillar Inc. Gathering data from machine operating at worksite
US10029790B2 (en) * 2016-01-28 2018-07-24 Panasonic Intellectual Property Corporation Of America Device that controls flight altitude of unmanned aerial vehicle
WO2018072063A1 (zh) * 2016-10-17 2018-04-26 深圳市大疆创新科技有限公司 一种对飞行器的飞行控制方法、装置及飞行器
US10562624B2 (en) * 2016-11-18 2020-02-18 Magna Mirrors Of America, Inc. Vehicle vision system using aerial camera
JP7003798B2 (ja) * 2018-03-29 2022-01-21 井関農機株式会社 圃場作業車両の管理システム
JP6630939B2 (ja) * 2018-04-26 2020-01-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP7305981B2 (ja) 2019-02-25 2023-07-11 横浜ゴム株式会社 材料の解析方法及び材料の解析用コンピュータプログラム
CN115697843A (zh) * 2020-06-19 2023-02-03 川崎重工业株式会社 拍摄***及机器人***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730795A (ja) * 1993-07-13 1995-01-31 Sony Corp ビデオカメラシステム
WO2017131194A1 (ja) * 2016-01-29 2017-08-03 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体

Also Published As

Publication number Publication date
EP3964910A1 (en) 2022-03-09
US20220049475A1 (en) 2022-02-17
EP3964910B1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
ES2965874T3 (es) Procedimiento y dispositivo para elevar una carga
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
JP6816156B2 (ja) Ｕａｖ軌道を調整するシステム及び方法
US9557738B2 (en) Return path configuration for remote controlled aerial vehicle
US9765926B2 (en) Systems and methods for payload stabilization
CN108780316B (zh) 用于飞行装置的移动控制的方法和***
WO2018110707A1 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP2016181119A (ja) 移動機器の周囲状況提示システム
KR101615319B1 (ko) 스마트폰을 이용한 스마트 드론 독 시스템
WO2019051640A1 (zh) 云台的控制方法、控制器和云台
WO2021168819A1 (zh) 无人机的返航控制方法和设备
JP2022032206A (ja) 作業支援装置
JP2019176418A (ja) 作業車両の管理システム
JP7472708B2 (ja) 作業支援装置
JP6560479B1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
JP7472746B2 (ja) 作業支援装置
JP7487605B2 (ja) 作業支援装置
JP2023105960A (ja) 支援装置及びシステム
JP7443978B2 (ja) 作業支援装置
JP2019175312A (ja) 作業車両の管理システム
JP2023105836A (ja) 支援装置および支援装置を含むシステム
JP2020019622A (ja) クレーン
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
CN115922731B (zh) 一种机器人的控制方法以及机器人
JP2023156807A (ja) 作業支援装置およびこれを備えた作業システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240528