JP7032308B2 - 建設機械用作業管理システム及び建設機械 - Google Patents

建設機械用作業管理システム及び建設機械 Download PDF

Info

Publication number
JP7032308B2
JP7032308B2 JP2018508128A JP2018508128A JP7032308B2 JP 7032308 B2 JP7032308 B2 JP 7032308B2 JP 2018508128 A JP2018508128 A JP 2018508128A JP 2018508128 A JP2018508128 A JP 2018508128A JP 7032308 B2 JP7032308 B2 JP 7032308B2
Authority
JP
Japan
Prior art keywords
work
progress
progress area
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018508128A
Other languages
English (en)
Other versions
JPWO2017170651A1 (ja
Inventor
方土 古賀
雅人 因藤
正樹 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of JPWO2017170651A1 publication Critical patent/JPWO2017170651A1/ja
Application granted granted Critical
Publication of JP7032308B2 publication Critical patent/JP7032308B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、建設機械用作業管理システム及び建設機械に関する。
ストロークセンサの出力に基づいて導き出されるバケットの刃先の軌跡情報を用いて地形情報を生成するショベルが知られている(特許文献1参照。)。
特開2014-129676号公報
しかしながら、特許文献1のショベルによって生成される地形情報は、バケットからこぼれ落ちた土砂、自然に崩れ落ちた土砂等、バケットの刃先の軌跡情報からでは把握できない地形の変化が反映されない。
上述に鑑み、作業要素の軌跡情報からでは把握できない地形の変化を反映させた地形情報を生成できる建設機械用作業管理システムを提供することが望まれる。
本発明の実施例に係る建設機械用作業管理システムは、建設機械と、撮像装置を備えた飛行体と、管理装置とで構成される建設機械用作業管理システムであって、作業現場内で前記建設機械による作業が進捗した進捗領域を前記建設機械のアタッチメントの所定部位の位置情報の時系列データに基づいて特定する進捗領域特定部と、前記進捗領域を前記撮像装置が撮像できるように前記進捗領域特定部により特定された前記進捗領域に関する情報に基づいて前記飛行体の飛行経路を設定する飛行経路設定部と、を備える。
本発明の実施例に係る建設機械は、応力発光塗料が塗布されたアタッチメントを有する。
上述の手段により、作業要素の軌跡情報からでは把握できない地形の変化を反映させた地形情報を生成できる建設機械用作業管理システムが提供される。
作業管理システムの構成例を示す概略図である。 作業管理システムのシステム構成図である。 作業管理システムの機能ブロック図である。 作業現場の上面図である。 作業現場の部分断面図である。 作業現場で作業中のショベルの上面図である。 作業管理システムの別の例のシステム構成図である。 作業管理システムの更に別の例の機能ブロック図である。 応力発光塗料が塗布されたブームの斜視図である。 ブームに塗布された応力発光塗料の状態を示す図である。 ブームに塗布された応力発光塗料の状態を示す図である。
最初に、図1及び図2を参照し、本発明の実施例に係る建設機械としてのショベル(掘削機)100及び飛行体200を含む作業管理システムSYSについて説明する。図1は、作業管理システムSYSの構成例を示す概略図である。図2は、作業管理システムSYSのシステム構成図である。
作業管理システムSYSは、飛行体を利用することでショベルによる作業を管理するシステムであり、主に、ショベル100、飛行体200、及び管理装置300で構成されている。作業管理システムSYSを構成するショベル100及び飛行体200はそれぞれ1台であってもよく、複数台であってもよい。図1及び図2の例は、1台のショベル100と1機の飛行体200を含む。
飛行体200は、遠隔操作又は自動操縦により飛行させることができる自律式飛行体であり、例えば、マルチコプタ(ドローン)、飛行船等を含む。本実施例では、カメラを搭載したクワッドコプタである。
管理装置300は、ショベルの作業を管理する装置であり、例えば、作業現場外の管理センタ等に設置されるコンピュータである。管理装置300は、使用者が持ち運び可能な可搬性のコンピュータであってもよい。
ショベル100の下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載されている。上部旋回体3にはブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはバケット6が取り付けられている。作業要素としてのブーム4、アーム5、及びバケット6はアタッチメントの一例である掘削アタッチメントを構成する。ブーム4、アーム5、バケット6は、ブームシリンダ7、アームシリンダ8、バケットシリンダ9によりそれぞれ油圧駆動される。上部旋回体3にはキャビン10が設けられ、エンジン11等の動力源が搭載されている。
ショベル100は、図2に示すように、エンジン11、メインポンプ14、パイロットポンプ15、コントロールバルブ17、操作装置26、コントローラ30、エンジン制御装置74等で構成されている。
エンジン11はショベル100の駆動源であり、例えば、所定の回転数を維持するように動作するディーゼルエンジンである。エンジン11の出力軸はメインポンプ14及びパイロットポンプ15の入力軸に接続されている。
メインポンプ14は、作動油ライン16を介して作動油をコントロールバルブ17に供給する斜板式可変容量型油圧ポンプである。メインポンプ14は、斜板傾転角の変化に応じて1回転当たりの吐出流量が変化する。斜板傾転角はレギュレータ14aにより制御される。レギュレータ14aはコントローラ30からの制御電流の変化に応じて斜板傾転角を変化させる。
パイロットポンプ15は、パイロットライン25を介して操作装置26等の各種油圧制御機器に作動油を供給する固定容量型油圧ポンプである。
コントロールバルブ17は油圧アクチュエータに関する作動油の流れを制御する流量制御弁のセットである。コントロールバルブ17は、操作装置26の操作方向及び操作量に対応するパイロット圧の変化に応じ、メインポンプ14から作動油ライン16を通じて受け入れた作動油を1又は複数の油圧アクチュエータに選択的に供給できる。油圧アクチュエータは、例えば、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左走行用油圧モータ1A、右走行用油圧モータ1B、旋回用油圧モータ2A等を含む。
操作装置26は、ショベル100の操作者が油圧アクチュエータの操作のために用いる装置である。操作装置26はパイロットライン25を介してパイロットポンプ15から作動油の供給を受けてパイロット圧を生成する。そして、パイロットライン25aを通じ、対応する流量制御弁のパイロットポートにそのパイロット圧を作用させる。パイロット圧は操作装置26の操作方向及び操作量に応じて変化する。パイロット圧センサ15aはパイロット圧を検出し、その検出値をコントローラ30に対して出力する。
コントローラ30は、ショベル100を制御するための制御装置である。本実施例では、コントローラ30はCPU、RAM、ROM等を備えたコンピュータで構成されている。コントローラ30のCPUは、各種機能に対応するプログラムをROMから読み出してRAMにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現できる。
エンジン制御装置74はエンジン11を制御できる。エンジン制御装置74は、例えば、入力装置を介して設定されたエンジン回転数が実現されるように燃料噴射量等を制御する。
上部旋回体3に取り付けられた送信装置S1、受信装置S2、測位装置S3、姿勢検出装置S4、向き検出装置S5、カメラS6、表示装置40のそれぞれはコントローラ30に接続されている。コントローラ30は、受信装置S2、測位装置S3、姿勢検出装置S4、向き検出装置S5、及びカメラS6のそれぞれが出力する情報に基づいて各種演算を実行できる。そして、演算結果に基づいて生成した情報を送信装置S1から外部に発信し、或いは、表示装置40で表示できる。
送信装置S1はショベル100の外部に向けて情報を発信できる。送信装置S1は、例えば、飛行体200及び管理装置300の少なくとも一方が受信可能な情報を発信する。本実施例では、送信装置S1は、管理装置300の要求に応じて管理装置300が受信可能な情報を管理装置300に向けて発信する。
受信装置S2はショベル100の外部からの情報を受信できる。受信装置S2は、例えば、飛行体200及び管理装置300の少なくとも一方が発信する情報を受信する。本実施例では、受信装置S2は管理装置300が発信する情報を受信する。
測位装置S3はショベル100の位置に関する情報を取得できる。本実施例では、測位装置S3はGNSS(GPS)受信機であり、ショベル100の存在位置の緯度、経度、高度を測定する。
姿勢検出装置S4はショベル100の姿勢を検出できる。ショベル100の姿勢は、例えば、掘削アタッチメントの姿勢である。本実施例では、姿勢検出装置S4は、ブーム角度センサ、アーム角度センサ、バケット角度センサ、及び機体傾斜センサを含む。ブーム角度センサは、ブーム角度を取得するセンサである。ブーム角度センサは、例えば、ブームフートピンの回転角度を検出する回転角度センサ、ブームシリンダ7のストローク量を検出するストロークセンサ、ブーム4の傾斜角度を検出する傾斜(加速度)センサ等を含む。加速度センサとジャイロセンサの組み合わせであってもよい。アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体3の傾斜角度を検出する。本実施例では、機体傾斜センサは上部旋回体3の前後軸及び左右軸回りの傾斜角を検出する2軸加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベル100の旋回軸上の一点であるショベル中心点を通る。機体傾斜センサは3軸加速度センサであってもよい。
向き検出装置S5は、ショベル100の向きを検出できる。向き検出装置S5は、地磁気センサ、旋回機構2の旋回軸に関するレゾルバ又はエンコーダ、ジャイロセンサ等で構成される。本実施例では、向き検出装置S5は、3軸地磁気センサとジャイロセンサの組み合わせで構成されている。
コントローラ30は、測位装置S3、姿勢検出装置S4、及び向き検出装置S5の出力に基づいてバケット6の爪先の軌跡情報を取得できる。
コントローラ30、表示装置40、エンジン制御装置74等は蓄電池70から電力の供給を受けて動作する。蓄電池70はエンジン11によって駆動される発電機11aによって充電される。蓄電池70の電力はエンジン11のスタータ11b等にも供給される。スタータ11bは蓄電池70からの電力で駆動されてエンジン11を始動させる。
カメラS6は、上部旋回体3に取り付けられてショベル100の周囲を撮像できる。本実施例では、カメラS6は、ショベル100の後方の空間を撮像する後方カメラ、ショベル100の右側方の空間を撮像する右側方カメラ、及び、ショベル100の左側方の空間を撮像する左側方カメラを含む。
表示装置40は、各種情報を表示する装置であり、キャビン10内の運転席の近傍に配置されている。本実施例では、表示装置40は、カメラS6が撮像した画像、及び、飛行体200が撮像した画像を表示可能である。カメラS6が撮像した画像は、複数台のカメラの撮像画像を合成して得られる合成画像を含む。合成画像は、視点変換処理等の各種画像処理が施されていてもよい。
飛行体200は、制御装置201、送信装置202、受信装置203、自律航行装置204、カメラ205、スピーカ206、マイク207等で構成されている。
制御装置201は、飛行体200を制御するための装置である。本実施例では、制御装置201は、RAM、ROM等を備えたコンピュータで構成されている。制御装置201のCPUは、各種機能に対応するプログラムをROMから読み出してRAMにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現できる。
送信装置202は、飛行体200の外部に向けて情報を発信できる。送信装置202は、例えば、ショベル100及び管理装置300の少なくとも一方が受信可能な情報を発信する。本実施例では、送信装置202は、ショベル100及び管理装置300が受信可能な情報を所定周期で繰り返し発信する。ショベル100及び管理装置300が受信可能な情報は、例えば、カメラ205が撮像した撮像画像を含む。
受信装置203は、飛行体200の外部からの情報を受信できる。受信装置203は、例えば、ショベル100及び管理装置300のそれぞれが発信する情報を受信する。
自律航行装置204は、飛行体200の自律航行を実現するための装置である。本実施例では、自律航行装置204は、飛行制御装置、電動モータ、及びバッテリを含む。飛行制御装置は、ジャイロセンサ、加速度センサ、地磁気センサ(方位センサ)、気圧センサ、測位センサ、超音波センサ等の各種センサを含み、姿勢維持機能、高度維持機能等を実現できる。電動モータは、バッテリから電力の供給を受けてプロペラを回転させる。自律航行装置204は、例えば、制御装置201から飛行経路に関する情報を受けると4つのプロペラの回転速度を別々に制御し、飛行体200の姿勢及び高度を維持しながら飛行体200をその飛行経路に沿って移動させる。飛行経路に関する情報は、例えば、飛行位置の緯度、経度、及び高度で構成される。制御装置201は、例えば、受信装置203を通じて飛行経路に関する情報を外部から取得する。自律航行装置204は、制御装置201から向きに関する情報を受けて飛行体200の向きを変化させてもよい。
カメラ205は画像を取得するための装置である。本実施例では、カメラ205は飛行体200の鉛直下方を撮像できるように飛行体200に取り付けられている。カメラ205が撮像した撮像画像は、例えば、飛行体200の飛行位置である撮像位置に関する情報を含み、3次元地形データを生成するために利用される。カメラ205は、単眼カメラであってもよく、ステレオカメラであってもよい。
スピーカ206は、外部に向けて音声を出力する装置である。本実施例では、スピーカ206は、例えば、作業現場内にいる人に向けて音声情報を伝えるために用いられる。
マイク207は、外部からの音声を受ける装置である。本実施例では、マイク207は、例えば、作業現場内にいる人が発した音声を取得するために用いられる。
管理装置300は、制御装置301、送信装置302、受信装置303、表示装置304、操作入力装置305等で構成されている。
制御装置301は、管理装置300を制御するための装置である。本実施例では、制御装置301は、RAM、ROM等を備えたコンピュータで構成されている。制御装置301のCPUは、各種機能に対応するプログラムをROMから読み出してRAMにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現できる。
送信装置302は、管理装置300の外部に向けて情報を発信できる。送信装置302は、例えば、飛行体200が受信可能な情報を所定周期で繰り返し発信する。ショベル100が受信可能な情報を発信してもよい。本実施例では、送信装置302は、飛行体200が受信可能な情報を所定周期で繰り返し発信する。飛行体200が受信可能な情報は、例えば、飛行体200の飛行経路に関する情報を含む。
受信装置303は、管理装置300の外部からの情報を受信できる。受信装置303は、例えば、ショベル100及び飛行体200の少なくとも一方が発信する情報を受信する。本実施例では、受信装置303は飛行体200が発信した情報を受信する。飛行体200が発信した情報は、例えば、飛行体200のカメラ205が撮像した撮像画像を含む。
表示装置304は、各種情報を表示するための装置である。本実施例では、表示装置304は液晶ディスプレイであり、ショベル100による作業に関する情報、地形データに関する情報、飛行体200の操縦に関する情報等を表示する。飛行体200のカメラ205が撮像した撮像画像を表示してもよい。
操作入力装置305は、操作入力を受けるための装置である。本実施例では、操作入力装置305は、液晶ディスプレイの上に配置されるタッチパネルである。
次に図3を参照し、作業管理システムSYSにおける各種機能要素について説明する。図3は、作業管理システムSYSの機能ブロック図である。作業管理システムSYSは、主に、軌跡情報生成部F1、進入物検知部F2、認証部F3、進捗領域特定部F4、飛行経路設定部F5、地形データ生成部F6、作業量算出部F7、及び進捗率算出部F8を有する。本実施例では、ショベル100のコントローラ30が軌跡情報生成部F1、進入物検知部F2、及び認証部F3を有し、管理装置300の制御装置301が進捗領域特定部F4、飛行経路設定部F5、地形データ生成部F6、作業量算出部F7、及び進捗率算出部F8を有する。しかしながら、各機能要素は、コントローラ30及び制御装置301の何れに含まれていてもよい。飛行体200の制御装置201に含まれていてもよい。
軌跡情報生成部F1は、アタッチメント上の所定部位が辿った軌跡に関する軌跡情報を生成できる。本実施例では、軌跡情報生成部F1は、バケット6の爪先の位置情報(緯度、経度、及び高度)の時系列データをバケット6の爪先が辿った軌跡に関する軌跡情報として不揮発性記憶媒体等に記憶する。バケット6の爪先の位置情報は、例えば、測位装置S3、姿勢検出装置S4、及び向き検出装置S5の出力に基づいて取得される。
進入物検知部F2は、作業現場内の所定領域に進入する物体を検知できる。物体は、例えば、人、ダンプ等である。本実施例では、ショベル100に取り付けられたカメラS6の撮像画像に各種画像認識処理を施すことで作業現場内の所定領域に進入する進入者を検知する。進入物検知部F2は、作業現場の出入口ゲートに設置されたカメラの撮像画像を用いて進入者を検知してもよく、飛行体200のカメラ205の撮像画像を用いて進入者を検知してもよい。作業現場の出入口ゲートに設置されたカメラの撮像画像を用いる場合、そのカメラは、無線通信等を介してショベル100及び管理装置300の少なくとも一方に接続される。
認証部F3は、進入物検知部F2が検知した進入者を認証できる。本実施例では、ショベル100に取り付けられたカメラS6の撮像画像に含まれる進入者の顔画像に基づいて進入者が登録済みの者であることが確認できた場合にその進入者を認証する。撮像画像は、作業現場の出入口ゲートに設置されたカメラの撮像画像であってもよく、飛行体200のカメラ205の撮像画像であってもよい。進入者が登録済みの者であるか否かの判定は、例えば、社員証等に示されている写真等の予め準備された画像を認証部F3に与えて機械学習させておくことで実現される。
認証部F3は、顔画像認証以外の他の認証方式を用いて進入者を認証してもよい。他の認証方式は、例えば、作業現場の出入口ゲートに設置されたカードリーダ、ICタグリーダを用いたカード認証、タグ認証、進入者が所定のポーズをとったことを画像認識できた場合に認証するポーズ認証、進入者が所定の合言葉を発話したことを音声認識できた場合に認証する合言葉認証等を含む。
進捗領域特定部F4は、所定期間中に作業現場内でショベル100による作業が進捗した進捗領域を特定できる。本実施例では、前回の特定が行われた後の軌跡情報に基づいて前回の特定後にバケット6の爪先が通った領域を進捗領域として特定する。進捗領域は、例えば、複数の位置情報(緯度、経度、及び高度)を用いてその境界を導き出すことによって特定される。
飛行経路設定部F5は、飛行体200の飛行経路を設定できる。本実施例では、飛行経路設定部F5は、進捗領域特定部F4が特定した進捗領域を、飛行体200のカメラ205が撮像できるように飛行体200の飛行経路を設定する。具体的には、カメラ205の撮像画像に基づいて地形データ生成部F6がその進捗領域の3次元地形データを生成できるように飛行体200の飛行経路を設定する。
飛行経路設定部F5は、認証部F3による認証を受けていない者(以下、「未認証者」とする。)が作業現場内の所定領域に進入したときに、飛行体200をその未承認者に向かわせるように飛行体200の飛行経路を設定してもよい。
この場合、飛行体200は、飛行経路設定部F5が設定した飛行経路に沿って駐機場から未認証者の上空まで移動する。そして、飛行体200は、スピーカ206を用い、所定領域からの退出を促す音声メッセージをその未認証者に向けて出力してもよい。或いは、飛行体200は、顔画像認証又はポーズ認証のための画像をカメラ205で撮像してもよい。或いは、飛行体200は、スピーカ206を用い、合言葉認証のための合言葉の発話を促す音声メッセージをその未認証者に向けて出力してもよい。その場合、飛行体200は、マイク207を作動させて未認証者が発する合言葉を集音してもよい。飛行体200は、顔画像認証、ポーズ認証、合言葉認証等による認証を受けた者(以下、「被認証者」とする。)に対しては退出を促す音声メッセージを出力することなく、駐機場に帰還してもよい。
地形データ生成部F6は、作業現場の3次元地形データを生成できる。本実施例では、地形データ生成部F6は、施工前の作業現場の3次元地形データと進捗領域の3次元地形データとに基づいて現在(施工中)の作業現場の3次元地形データを生成する。
施工前の作業現場の3次元地形データは、例えば、トータルステーション測量、GNSS測量等によって生成される。飛行体200のカメラ205が撮像した作業現場の全域の画像に基づいて生成されてもよい。
具体的には、地形データ生成部F6は、飛行体200のカメラ205が撮像した進捗領域の画像から進捗領域に関する3次元地形データを生成する。
そして、地形データ生成部F6は、進捗領域に関する3次元地形データと、進捗領域以外の領域に関する3次元地形データとをつなぎ合わせて作業現場の現在の3次元地形データを生成する。進捗領域以外の領域に関する3次元地形データは、施工前の作業現場の3次元地形データ、又は、地形データ生成部F6が過去に生成した3次元地形データをそのまま用いればよい。進捗領域以外の領域の地形は変化していないと推定できるためである。
地形データ生成部F6は、複数台のショベルによる複数の進捗領域に関する3次元地形データを用いて作業現場の現在の3次元地形データを生成してもよい。
地形データ生成部F6は、各種画像処理により進捗領域の一部にショベル、ダンプ等の既知の物体が存在すると判定した場合、そのタイミングではその進捗領域の一部に関する3次元地形データの作成を行わないようにしてもよい。そして、別のタイミングでその進捗領域の一部の画像を取得し直した上でその進捗領域の一部に関する3次元地形データを作成してもよい。それら既知の物体が地形の一部として扱われ、作業量、進捗率等の算出に悪影響が及ぶのを防止するためである。その進捗領域の一部の画像を取得し直す前にその進捗領域の一部に関する3次元地形データを表示する場合には「作業中」等のメッセージを同時に表示してもよい。その進捗領域の一部の画像を取得し直す前にその進捗領域の一部に関する3次元地形データを記憶する場合には、作業中であることを表すフラグ等の情報を同時に記憶してもよい。
地形データ生成部F6は、その進捗領域の一部の画像を新たに取得するまでは、作業量、進捗率等の算出が行われないようにしてもよい。この場合、作業量、進捗率等が表示されるべきところには「データ取得待ち」等のメッセージが表示されるようにしてもよい。或いは、その進捗領域の一部の画像を取得し直す前に作業量、進捗率等の算出が行われた場合にはその算出値が暫定的な値であることが表示されるようにしてもよい。
作業量算出部F7は、作業現場の3次元地形データに基づいてショベル100の作業量を算出できる。作業量算出部F7は、例えば、施工前の作業現場の3次元地形データと地形データ生成部F6が生成した現在の作業現場の3次元地形データとの差から導き出される土砂の体積を、施工開始後のショベル100の累積作業量として導き出す。或いは、作業量算出部F7は、地形データ生成部F6が生成した第1時刻での作業現場の3次元地形データと、地形データ生成部F6が生成した第2時刻での作業現場の3次元地形データと差から導き出される土砂の体積を、第1時刻から第2時刻までの期間におけるショベル100の作業量として導き出してもよい。
進捗率算出部F8は、作業現場の3次元地形データに基づいて作業の進捗率を算出できる。進捗率算出部F8は、例えば、ショベル100の累積作業量を、目標作業量で除した値を進捗率として算出する。目標作業量は、例えば、施工前の作業現場の3次元地形データと施工完了時の作業現場の3次元地形データ(目標地形データ)との差から導き出される土砂の体積として導き出される。
進捗率算出部F8は、作業現場の3次元地形データに基づいて複数台のショベルによる共同作業の進捗率を算出してもよい。進捗率算出部F8は、例えば、各ショベルの累積作業量の合計を目標作業量で除した値を、複数台のショベルによる共同作業の進捗率として算出する。
次に図4及び図5を参照し、作業管理システムSYSの地形データ生成機能について説明する。図4は、午前中の作業が終わった時点における作業現場R0の上面図である。図5は、図4の一点鎖線で表された平面を矢印で示す方向から見た作業現場R0の部分断面図である。領域R1は、作業が行われた領域のうち既に地形の変化が3次元地形データに反映されている領域(例えば、昨日作業が行われた領域)を示す。領域R2は、作業が行われた領域のうち地形の変化が未だ3次元地形データに反映されていない領域(例えば、今日の午前中に作業が行われた領域)を示す。領域R3は、未だ作業が行われていない領域の一部(例えば、今日の午後に作業が行われる予定の領域)を示す。領域R4は、飛行体200の駐機場を示す。図5の破線で示す範囲は、飛行体200のカメラ205の撮像範囲を示す。
管理装置300の制御装置301は、受信装置303を通じて取得したショベル100が発信する情報に基づいてショベル100のエンジン11が停止されたか否かを判定する。そして、エンジン11が停止されたと判定した場合、制御装置301の進捗領域特定部F4は、今日の午前中に作業現場R0内でショベル100による作業が進捗した進捗領域である領域R2を特定する。具体的には、ショベル100の稼働中にショベル100のコントローラ30における軌跡情報生成部F1が記憶した軌跡情報を取得し、その軌跡情報に基づいて領域R2を特定する。
その後、制御装置301の飛行経路設定部F5は、進捗領域特定部F4が特定した進捗領域としての領域R2を飛行体200のカメラ205が撮像できるように飛行体200の飛行経路を設定する。そして、制御装置301は、送信装置302を通じてその飛行経路に関する情報を飛行体200に送信する。
飛行経路に関する情報を受信した飛行体200は駐機場から領域R2の上空まで飛行し、領域R2の上空をその飛行経路に沿って飛行しながら領域R2をカメラ205で撮像する。飛行体200は、送信装置202を通じて撮像画像を管理装置300に送信する。
その後、制御装置301の地形データ生成部F6は、飛行体200のカメラ205が撮像した領域R2の画像から領域R2に関する3次元地形データを生成する。そして、地形データ生成部F6は、領域R2に関する3次元地形データと、領域R2以外の領域に関する3次元地形データとをつなぎ合わせて作業現場R0の現在の3次元地形データを生成する。
次に図4を参照し、作業管理システムSYSの進入者監視機能について説明する。作業管理システムSYSは、ショベル100が稼働中である場合には、作業現場R0へ進入した未認証者を作業現場R0から退出させるために飛行体200を利用してもよい。
例えば、ショベル100のコントローラ30における進入物検知部F2は、ショベル100に取り付けられたカメラS6の撮像画像に各種画像認識処理を施すことで作業現場R0内の所定領域に進入する進入者を検知する。図4の例では、カメラS6は、後方カメラS6B、左側方カメラS6L、及び右側方カメラS6Rを含む。進入物検知部F2は、作業現場R0の出入口ゲートに設置されたカメラS6Eの撮像画像を用いて進入者を検知してもよい。この場合、コントローラ30は、送信装置S1を通じてカメラS6Eの撮像画像を取得する。管理装置300の制御装置301が進入物検知部F2を有していてもよい。この場合、制御装置301は、受信装置303を通じてカメラS6Eの撮像画像及びカメラS6の撮像画像を取得する。進入物の検知は、赤外線センサ、超音波センサ等の他のセンサを用いて行われてもよい。
進入者を検知した場合、コントローラ30の認証部F3は、進入物検知部F2が検知した進入者の認証を試みる。進入者を認証できない場合、その旨を管理装置300に通知する。進入者を認証できた場合、認証部F3は、管理装置300への通知を省略してもよい。
進入者を認証できない旨の通知を受けた管理装置300は、飛行体200をその進入者のところに向かわせる。具体的には、制御装置301の飛行経路設定部F5は、飛行体200を未認証の進入者に向かわせるように飛行体200の飛行経路を設定する。
飛行経路に関する情報を受信した飛行体200は駐機場から進入者のところまで飛行し、その進入者の認証を試みる。例えば、スピーカ206から合言葉の発話を促し、マイク207で進入者が発した合言葉を認識できた場合にその進入者を認証する。飛行体200は、ポーズ認証で進入者を認証してもよい。
進入者を認証できない場合、飛行体200は、作業現場R0からの退出を促す音声メッセージをスピーカ206からその進入者に向けて出力する。進入者を認証できた場合、飛行体200は、音声メッセージを出力することなく、駐機場へ帰還してもよい。
以上の構成により、作業管理システムSYSは、飛行体200を利用して得られた撮像画像に基づいてショベル100の作業進捗管理を効率的に且つ正確に行うことができる。また、飛行体200のカメラ205を用いて3次元地形データを生成するため、トータルステーション測量、GNSS測量等を省略できる。
また、作業管理システムSYSは、所定期間中に作業現場R0内でショベル100による作業が進捗した進捗領域だけを飛行体200に撮像させて3次元地形データを生成するため、作業進捗管理を効率的に行うことができる。
また、作業現場R0内の所定領域に人、ダンプ等の物体が進入したことを検知でき、その旨をショベル100の操作者、管理センタにいる管理者等に伝えることができる。
次に図6を参照し、作業管理システムSYSの作業者監視機能について説明する。図6は、作業現場で作業中のショベル100の上面図である。外側の破線円と内側の破線円とで囲まれた環状領域は第1作業範囲R5を示し、内側の破線円で囲まれた円形領域は第2作業範囲R6を示す。第2作業範囲R6は、例えば、ショベル100の旋回範囲(掘削アタッチメントが到達可能な範囲)である。図6の例では、ショベル100のコントローラ30における認証部F3は、被認証者を作業関係者と非関係者に分類する。
被認証者のうち作業関係者として分類された人が第1作業範囲R5に進入したことを進入物検知部F2が検知した場合、コントローラ30は、キャビン10内に設置された車載スピーカ又は表示装置40を通じてその旨をショベル100の操作者に伝える。
被認証者のうち非関係者として分類された人が第1作業範囲R5に進入したことを進入物検知部F2が検知した場合、コントローラ30は、その旨をショベル100の操作者に伝え、且つ、送信装置S1を通じてその旨を管理装置300に伝える。
非関係者が第1作業範囲R5に進入したとの通知を受けた管理装置300は、飛行体200をその非関係者のところに向かわせる。具体的には、制御装置301の飛行経路設定部F5は、飛行体200を非関係者に向かわせるように飛行体200の飛行経路を設定する。
飛行経路に関する情報を受信した飛行体200は駐機場から非関係者のところまで飛行し、第1作業範囲R5からの退出を促す音声メッセージをスピーカ206からその非関係者に向けて出力する。
被認証者のうち作業関係者として分類された人が第2作業範囲R6に進入したことを進入物検知部F2が検知した場合、コントローラ30は、キャビン10内に設置された車載スピーカ又は表示装置40を通じてその旨をショベル100の操作者に伝える。この場合、コントローラ30は、作業関係者が第1作業範囲R5に進入したときとは異なる態様(例えば、異なる音声メッセージ、より大きな音量、より大きな表示等)でその旨をショベル100の操作者に伝えるようにしてもよい。ショベル100の動きを制限してもよい。
被認証者のうち非関係者として分類された人が第2作業範囲R6に進入したことを進入物検知部F2が検知した場合、コントローラ30は、その旨をショベル100の操作者に伝え、且つ、送信装置S1を通じてその旨を管理装置300に伝える。コントローラ30は、キャビン10の外部に設置されたスピーカを通じて第2作業範囲R6からの退出を促す音声メッセージをその非関係者に向けて出力してもよい。
非関係者が第2作業範囲R6に進入したとの通知を受けた管理装置300は、飛行体200をその非関係者のところに向かわせる。具体的には、制御装置301の飛行経路設定部F5は、飛行体200を非関係者に向かわせるように飛行体200の飛行経路を設定する。
飛行経路に関する情報を受信した飛行体200は駐機場から非関係者のところまで飛行し、第2作業範囲R6からの退出を促す音声メッセージをスピーカ206からその非関係者に向けて出力する。この場合、飛行体200は、非関係者が第1作業範囲R5に進入したときとは異なる態様(例えば、異なる音声メッセージ、より大きな音量、より接近した飛行等)で音声メッセージをその非関係者に向けて出力してもよい。
以上の構成により、作業管理システムSYSは、図4及び図5のところで説明した効果に加え、ショベル100の操作者及び作業関係者に煩わしさを感じさせることなく、作業現場の所定領域から非関係者を確実に退出させることができる。
次に図7を参照し、作業管理システムの別の構成例について説明する。図7は、作業管理システムSYSの別の構成例に関するシステム構成図である。図7の作業管理システムSYSは、ショベル100が飛行体用充電部71及び充電回路72を備える点で図2の作業管理システムSYSと異なる。
飛行体用充電部71は、飛行体200を充電可能に受け入れて固定する機構である。図7の例では、飛行体用充電部71は、飛行体200が自律的に着陸できるように上部旋回体3の上面に設置されている。飛行体200は、例えば、カメラ205の撮像画像を用いて飛行体用充電部71の場所を特定して自動的に着陸する。また、飛行体用充電部71は、ショベル100の稼働中に飛行体200が振り落とされないよう、着陸した飛行体200をロックするように構成される。一方、進入者を検知した場合等、飛行体200を飛行させる必要が生じた場合には、そのロックを解除できる。
飛行体200は、飛行体用充電部71のところに着陸してロックされた場合、カメラ205をカメラS6として機能させてもよい。
充電回路72は、飛行体用充電部71に着陸した飛行体200のバッテリを充電するための電気回路である。飛行体200は、飛行体用充電部71のところに着陸してロックされた状態でショベル100の蓄電池70から充電回路72を通じて電力の供給を受ける。そのため、飛行体200は、蓄電池70から電力の供給を受け、ジャイロセンサ、加速度センサ、地磁気センサ(方位センサ)、気圧センサ、測位センサ、超音波センサ等の各種センサを含む飛行制御装置を稼働させてもよい。この場合、ショベル100は、飛行制御装置における各種センサの出力を利用してもよい。
以上の構成により、作業管理システムSYSは、図4~図6を参照して説明した効果に加え、ショベル100の電源を利用して飛行体200を動作させることができるという追加的な効果を実現できる。
次に図8及び図9を参照し、作業管理システムSYSの別の構成例について説明する。図8は、作業管理システムSYSの別の構成例に関する機能ブロック図である。図9は、作業管理システムSYSを構成するショベル100のブーム4の斜視図である。図8のコントローラ30は、応力状態検出部F9を有する点で図3のコントローラ30と異なる。図9のブーム4は、応力発光塗料LPが塗布されている点で図1のブーム4と異なる。別の構成例では、制御装置301が応力状態検出部F9を有していてもよく、飛行体200の制御装置201が応力状態検出部F9を有していてもよい。
応力状態検出部F9は、建設機械の構成部品に作用する応力の状態を検出できる。本実施例では、応力状態検出部F9は、応力発光塗料LPが塗布されたブーム4を撮像した画像に基づいてブーム4に作用する応力の状態を検出する。応力状態の検出対象となる建設機械の構成部品は、下部走行体1のフレーム、アーム5等であってもよい。
応力発光塗料LPは、力が加えられたときに発光する応力発光体を含む塗料である。応力発光塗料LPは、好適には、建設機械の出荷前に構成部品に塗布される。但し、出荷後に塗布されてもよい。応力発光塗料LPは、塗布対象の構成部品の伸縮によって力が加えられて発光する。応力発光塗料LPが発光したときの光の強さ(光度)は、典型的には、加えられた力が大きいほど高い。また、加えられた力がその後に小さくなるとその光度は低下し、加えられた力が消失すると発光も消失する。応力発光体は、例えば、ユウロピウム添加アルミン酸ストロンチウム(SrAl2O4:Eu)、ユウロピウム添加アルミノジケイ酸アルミニウムカルシウム(CaAl2SiO8:Eu)、プラセオジム添加チタン酸バリウムカルシウム((BaCa)TiO3:Pr)である。特に、ユウロピウム添加アルミン酸ストロンチウムは、上記応力発光体の中で最も発光強度が高く、力が加えられたときに緑色に発光する。ユウロピウム添加アルミノジケイ酸アルミニウムカルシウム、プラセオジム添加チタン酸バリウムカルシウムは、力が加えられたときにそれぞれ青色、赤色に発光する。応力発光体は、酸化ジルコニウム(ZrO2)分散液、マンガン添加硫化亜鉛(ZnS:Mn)であってもよい。マンガン添加硫化亜鉛は、力が加えられたときに黄橙色に発光する。
応力発光塗料LPが塗布されたブーム4の表面は、CCD、CMOS等の撮像素子で構成されるカメラで撮像される。好適には、飛行体200のカメラ205で撮像される。ショベル100の上部旋回体3に取り付けられたカメラS6、ショベル100の周囲にいる作業関係者が携帯するタブレットPC、スマートフォン等に搭載された携帯型カメラで撮像されてもよい。飛行体200のカメラ205を用いることは、ブーム4の背側(+Z側)の金属板の表面等、作業関係者が携帯する携帯型カメラでは撮像が困難な部分を撮像できるという利点がある。また、作業関係者等を煩わせることなく自動的に撮像できるという利点がある。
図9に示す例では、応力発光塗料LPはドットハッチングで表されている。具体的には、応力発光塗料LPは、ブームシリンダボス4aとブームフート4bとの間でブーム4の背側(+Z側)、左側(-Y側)、右側(+Y側)、及び腹側(-Z側)の4つの金属板のそれぞれの表面に塗布されている。また、応力発光塗料LPは、ブームシリンダボス4aとブームトップ4cとの間でブーム4の背側(+Z側)、左側(-Y側)、右側(+Y側)、及び腹側(-Z側)の4つの金属板のそれぞれの表面に塗布されている。より具体的には、応力発光塗料LPは、隔壁の溶接部に対応した溶接ビード部等、応力が集中し易い場所に塗布されている。但し、応力発光塗料LPは、ブーム4の表面全体に塗布されていてもよい。或いは、応力発光塗料LPがブーム4の表面に直接的に塗布される代わりに、応力発光塗料が塗布されたシートがブーム4の表面に貼り付けられてもよい。アーム5等の他の構成要素に応力発光塗料LPを塗布する場合についても同様である。
応力状態検出部F9は、所定の時間間隔でカメラが撮像する画像(カメラ画像)に各種画像処理を施して表示用画像を生成できる。表示用画像は、表示装置40、表示装置304等で表示される画像である。カメラ画像をそのまま表示用画像としてもよい。カメラ画像は、例えば、ブーム4の全体の画像を含む。応力発光塗料LPが塗布された部分のブーム全体に占める位置を、表示用画像を見た者が容易に認識できるようにするためである。表示用画像は、1つのカメラ画像から生成されてもよく、複数のカメラ画像から生成されてもよい。
図10A及び図10Bは、応力状態検出部F9が生成した表示用画像の例を示す。具体的には、図10Aは、ブーム4に負荷がほとんど掛かっていないときの状態、すなわち、応力発光塗料LPが発光していない状態を示す。図10Bは、ブーム4に負荷が掛かっているときの状態、すなわち、応力発光塗料LPが発光している状態を示す。本実施例では、応力状態検出部F9は、画像処理によって、表示用画像における掘削アタッチメントの姿勢が常に同じになるようにしている。閲覧者の見易さのためである。そのため、図10A及び図10Bのそれぞれの掘削アタッチメントの姿勢は、実際には異なるが、一致するように表示されている。応力状態検出部F9は、画像処理によって、閲覧者が任意の視点(例えばブーム4の真下の視点)から掘削アタッチメントの画像を視認できるように(三次元ビューが可能なように)表示用画像を生成してもよい。応力状態検出部F9は、ブーム4に負荷がほとんど掛かっていないときの状態と、ブーム4に負荷が掛かっているときの状態とを表示装置40、表示装置304等に並べて表示させてもよく、重ねて表示させてもよい。
応力状態検出部F9は、カメラ画像に対して各種画像認識処理を実行し、建設機械の構成部品に作用する応力の状態を検出できる。例えば、カメラ画像に写るブーム4の表面の応力発光塗料LPの輝度値に基づいてブーム4に作用する応力の状態を検出する。応力発光塗料LPの輝度値は、応力発光塗料LPが発光したときの光度に対応する。
例えば、応力状態検出部F9は、応力発光塗料LPの輝度値が所定値以上となった場合に、ブーム4にクラック(亀裂)が発生したと判定してもよい。或いは、応力状態検出部F9は、その輝度値の分布の時間的推移に基づいて、クラックが発生するまでの時間等を予測してもよい。この場合、応力状態検出部F9は、複数の表示用画像を時系列で保存している。各表示用画像は、掘削アタッチメントの実際の姿勢、土砂の重量等と関連付けて保存されてもよい。土砂の重量は、例えば、ブームシリンダ圧等から導き出されてもよい。
応力状態検出部F9は、クラックが発生したこと、クラックが発生するまでの予測時間等を表す情報を表示用画像に追加してもよい。閲覧者が高応力部分(高輝度部分)を他の部分から区別できるように、表示用画像において高応力部分(高輝度部分)を強調表示させてもよい。強調表示は、輝度増大表示、網掛け表示、ハイライト表示等を含む。
応力状態検出部F9は、アタッチメントから少なくとも所定距離だけ離れた位置から飛行体200のカメラ205がアタッチメントを撮像できるよう、送信装置S1を通じて飛行体200に情報を送信してもよい。例えば、応力状態検出部F9は、ブーム4から少なくとも所定距離だけ離れた位置からカメラ205がブーム4を撮像できるよう、ショベル100の位置、姿勢、向き等に関する情報を飛行体200に対して送信してもよい。それらの情報を受信した飛行体200は、例えば、カメラ205がブーム4の背側(+Z側)、左側(-Y側)、右側(+Y側)、及び腹側(-Z側)の4つの金属板のそれぞれの表面を撮像できるように自律的に飛行する。飛行体200は、画像認識技術等により、アタッチメントを自動的に認識して撮像してもよい。この場合、アタッチメントは撮像対象として予め設定されていてもよい。例えば、アタッチメントの形状が画像認識対象の形状として予め登録されていてもよい。飛行体200の飛行経路は予め設定されていてもよい。
応力状態検出部F9は、カメラ画像が適切なタイミングで撮像されるよう、撮像タイミングに関する情報を送信装置S1を通じて外部に出力してもよい。例えば、応力状態検出部F9は、パイロット圧センサ15a、ブームシリンダ圧センサ等の各種センサの出力に基づいて掘削アタッチメントに負荷が掛かっている状態であるか否かを判定する。そして、掘削アタッチメントに負荷が掛かっている状態であると判定した場合に、その旨を飛行体200に通知する。掘削アタッチメントに負荷が掛かっているときにカメラ205が掘削アタッチメントを撮像できるようにするためである。飛行体200は、この通知を受信しているときにカメラ205で掘削アタッチメントを撮像することで、掘削アタッチメントに負荷が掛かっているときに掘削アタッチメントを撮像できる。同じ目的のために、掘削アタッチメントに負荷が掛かっていない旨を飛行体200に通知してもよい。
作業管理システムSYSは、環境光の明るさを検出する照度センサを有していてもよい。照度センサは、好適には、ショベル100に取り付けられる。照度センサは、例えば、応力発光塗料LPが塗布されたブーム4の表面を撮像するタイミングを決めるために使用される。応力発光塗料LPが出す光は、周囲が暗いほど検出され易いためである。この場合、ショベル100は、照度センサの出力に基づいて環境光の明るさがブーム4の表面の撮像に適していると判定した場合に、その旨を飛行体200に通知する。同じ目的のために、環境光の明るさがブーム4の表面の撮像に適していない旨を飛行体200に通知してもよい。照度センサは、カメラ等の画像センサであってもよい。応力状態検出部F9は、照度センサの出力に基づいてカメラ画像及び表示用画像の輝度を補正してもよい。
以上の構成により、作業管理システムSYSは、掘削アタッチメントで発生するクラックの早期検出を可能にする。表示用画像を見た閲覧者は、掘削アタッチメントの応力状態の推移を容易に把握でき、掘削アタッチメントのメンテナンス計画を容易に立案できる。また、表示用画像を見た閲覧者は、ショベルの作業中に応力が集中する部分を簡単に確認できる。また、クラックが発生した場合には、その後の掘削アタッチメントの応力状態の推移から、クラックの進展状況を容易に確認できる。
歪みゲージを用いる構成は、ブーム4の背側(+Z側)、左側(-Y側)、右側(+Y側)、及び腹側(-Z側)の4つの金属板のそれぞれの中央部分の応力を算出してブーム4に作用する荷重レベルを算出することでブーム4の余寿命を推定する。これに対し、本実施例は、クラックが発生し易い箇所に応力発光塗料LPを塗布することでクラックの進展を直接的に把握することができる。
上述の実施例では、ブーム4を構成する金属板の外側表面に応力発光塗料LPが塗布されているが、閲覧者は、金属板の内側でクラックが発生したことを検知し得る。金属板の外側表面の応力状態は、金属板の内側表面の応力状態の影響を受けるためである。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはない。上述した実施例には、本発明の範囲を逸脱することなしに種々の変形及び置換が適用され得る。
例えば、上述の実施例では、飛行体200は、昼休み、或いは、1日の作業が終了したときにショベル100が停止状態になったことを検知して自動的に離陸し、駐機場から進捗領域の上空まで自動的に飛行する。しかしながら、本発明はこの構成に限定されるものではない。例えば、飛行体200は、予め設定された時刻になると駐機場から進捗領域の上空まで自動的に飛行してもよく、操作者の操作入力に応じて飛行を開始してもよい。
建設機械は、ブルドーザ、ホイールローダ等であってもよい。
本願は、2016年3月31日に出願した日本国特許出願2016-073111号、及び、2017年1月18日に出願した日本国特許出願2017-006611号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
1・・・下部走行体 1A・・・左走行用油圧モータ 1B・・・右走行用油圧モータ 2・・・旋回機構 2A・・・旋回用油圧モータ 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 11a・・・発電機 11b・・・スタータ 14・・・メインポンプ 14a・・・レギュレータ 15・・・パイロットポンプ 15a・・・パイロット圧センサ 16・・・作動油ライン 17・・・コントロールバルブ 25、25a・・・パイロットライン 26・・・操作装置 30・・・コントローラ 40・・・表示装置 70・・・蓄電池 71・・・飛行体用充電部 72・・・充電回路 74・・・エンジン制御装置 100・・・ショベル 200・・・飛行体 201・・・制御装置 202・・・送信装置 203・・・受信装置 204・・・自律航行装置 205・・・カメラ 206・・・スピーカ 207・・・マイク 300・・・管理装置 301・・・制御装置 302・・・送信装置 303・・・受信装置 304・・・表示装置 305・・・操作入力装置 F1・・・軌跡情報生成部 F2・・・進入物検知部 F3・・・認証部 F4・・・進捗領域特定部 F5・・・飛行経路設定部 F6・・・地形データ生成部 F7・・・作業量算出部 F8・・・進捗率算出部 F9・・・応力状態検出部 LP・・・応力発光塗料 S1・・・送信装置 S2・・・受信装置 S3・・・測位装置 S4・・・姿勢検出装置 S5・・・向き検出装置 S6・・・カメラ S6B・・・後方カメラ S6L・・・左側方カメラ S6R・・・右側方カメラ

Claims (11)

  1. 建設機械と、撮像装置を備えた飛行体と、管理装置とで構成される建設機械用作業管理システムであって、
    作業現場内で前記建設機械による作業が進捗した進捗領域を前記建設機械のアタッチメントの所定部位の位置情報の時系列データに基づいて特定する進捗領域特定部と、
    前記進捗領域を前記撮像装置が撮像できるように前記進捗領域特定部により特定された前記進捗領域に関する情報に基づいて前記飛行体の飛行経路を設定する飛行経路設定部と、を備える、
    建設機械用作業管理システム。
  2. 前記撮像装置が撮像した前記進捗領域の画像から前記進捗領域に関する地形データを生成する地形データ生成部と、
    前記進捗領域に関する地形データに基づいて前記建設機械の作業量を算出する作業量算出部を備える、
    請求項1に記載の建設機械用作業管理システム。
  3. 前記地形データ生成部は、前記進捗領域に関する地形データと、前記進捗領域以外の領域に関する地形データとをつなぎ合わせて前記作業現場に関する地形データを生成する、
    請求項2に記載の建設機械用作業管理システム。
  4. 前記作業現場に関する地形データに基づいて作業の進捗率を算出する進捗率算出部を備える、
    請求項3に記載の建設機械用作業管理システム。
  5. 前記進捗領域特定部は、複数の前記建設機械に関する複数の前記進捗領域を特定し、
    前記地形データ生成部は、複数の前記進捗領域に関する地形データを含む前記作業現場に関する地形データを生成し、
    前記進捗率算出部は、前記作業現場に関する地形データに基づいて複数の前記建設機械による共同作業の進捗率を算出する、
    請求項4に記載の建設機械用作業管理システム。
  6. 前記飛行経路設定部は、前記作業現場内の所定領域に未認証の物体が進入したときに、前記飛行体を前記未認証の物体に向かわせるように前記飛行体の飛行経路を設定する、
    請求項1に記載の建設機械用作業管理システム。
  7. 前記飛行体はスピーカ及びマイクを備える、
    請求項6に記載の建設機械用作業管理システム。
  8. 飛行経路設定部によって設定された飛行経路を飛行する撮像装置を備えた飛行体が、建設機械による作業が進捗した進捗領域を前記撮像装置により撮像できるように、作業現場内で前記進捗領域を前記建設機械のアタッチメントの所定部位の位置情報の時系列データに基づいて特定する進捗領域特定部と、
    前記進捗領域特定部により特定された前記進捗領域に関する情報に基づいて前記飛行経路を設定できるように前記特定された前記進捗領域に関する情報を送信する送信装置と、
    を備える建設機械。
  9. 前記撮像装置が撮像した前記進捗領域の画像に基づいて算出された作業量を表示する表示装置を備える、
    請求項8に記載の建設機械。
  10. 前記撮像装置が撮像した前記進捗領域の画像に基づき、前記進捗領域に関する地形データと、前記進捗領域以外の領域に関する地形データとをつなぎ合わせて生成された前記作業現場に関する地形データを表示する表示装置を備える、
    請求項8に記載の建設機械。
  11. 建設機械と、撮像装置を備えた飛行体と、管理装置とで構成される建設機械用作業管理システムで実行される建設機械用作業管理方法であって、
    作業現場内で前記建設機械による作業が進捗した進捗領域を前記建設機械のアタッチメントの所定部位の位置情報の時系列データに基づいて特定し、
    特定された前記進捗領域を前記撮像装置が撮像できるように前記特定された前記進捗領域に関する情報に基づいて前記飛行体の飛行経路を設定する、
    建設機械用作業管理方法。
JP2018508128A 2016-03-31 2017-03-29 建設機械用作業管理システム及び建設機械 Active JP7032308B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016073111 2016-03-31
JP2016073111 2016-03-31
JP2017006611 2017-01-18
JP2017006611 2017-01-18
PCT/JP2017/012829 WO2017170651A1 (ja) 2016-03-31 2017-03-29 建設機械用作業管理システム及び建設機械

Publications (2)

Publication Number Publication Date
JPWO2017170651A1 JPWO2017170651A1 (ja) 2019-03-07
JP7032308B2 true JP7032308B2 (ja) 2022-03-08

Family

ID=59964743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508128A Active JP7032308B2 (ja) 2016-03-31 2017-03-29 建設機械用作業管理システム及び建設機械

Country Status (6)

Country Link
US (1) US11092976B2 (ja)
EP (1) EP3438915A4 (ja)
JP (1) JP7032308B2 (ja)
KR (1) KR20180124064A (ja)
CN (1) CN109074612A (ja)
WO (1) WO2017170651A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051511A1 (ja) * 2016-09-16 2018-03-22 日立建機株式会社 作業機械
JP6805883B2 (ja) * 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
US10569875B2 (en) 2017-09-29 2020-02-25 Deere & Company Using unmanned aerial vehicles (UAVs or drones) in forestry imaging and assessment applications
JP7040304B2 (ja) * 2018-06-12 2022-03-23 コベルコ建機株式会社 施工管理システム
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11138712B2 (en) 2018-07-12 2021-10-05 TerraClear Inc. Systems and methods to determine object position using images captured from mobile image collection vehicle
JP7176874B2 (ja) * 2018-07-18 2022-11-22 株式会社フジタ 作業機械を監視する移動式飛行体装置
US10767348B2 (en) * 2018-07-30 2020-09-08 Deere & Company Machine stability detection and control
JP2020143476A (ja) * 2019-03-05 2020-09-10 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
JP7334052B2 (ja) * 2019-04-09 2023-08-28 株式会社小松製作所 情報処理装置、情報処理方法、学習済モデルの生成方法、およびシステム
DE102019207165A1 (de) * 2019-05-16 2020-11-19 Robert Bosch Gmbh Verfahren zur Berechnung eines Aushubvolumens
CN110221610A (zh) * 2019-06-10 2019-09-10 吉林大学 无人驾驶工程机械的智能化作业***及作业方法
JP7293934B2 (ja) 2019-07-17 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7293933B2 (ja) 2019-07-17 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7293939B2 (ja) 2019-07-22 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021021253A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7043471B2 (ja) * 2019-09-30 2022-03-29 日立建機株式会社 作業機械
JP7321050B2 (ja) * 2019-10-15 2023-08-04 水ing株式会社 水道施設を点検するシステム
JP2021070922A (ja) * 2019-10-29 2021-05-06 住友重機械工業株式会社 ショベル
CN114729808A (zh) * 2019-11-27 2022-07-08 诺瓦特伦有限公司 用于确定工作现场中的情境意识的方法
JP7328157B2 (ja) * 2020-01-23 2023-08-16 五洋建設株式会社 施工管理方法及び施工方法
JP7452038B2 (ja) * 2020-01-30 2024-03-19 コベルコ建機株式会社 作業支援システム
JP7180886B2 (ja) * 2020-02-18 2022-11-30 Necプラットフォームズ株式会社 作業稼働率測定装置及び作業稼働率測定方法
JP7112758B2 (ja) * 2020-03-19 2022-08-04 Totalmasters株式会社 建設現場安全管理装置
JP7463158B2 (ja) * 2020-03-26 2024-04-08 住友重機械工業株式会社 作業管理システム
JP2021155995A (ja) * 2020-03-26 2021-10-07 住友重機械工業株式会社 ショベルの支援装置、ショベルの管理装置
JP2022055922A (ja) * 2020-09-29 2022-04-08 コベルコ建機株式会社 遠隔操作支援装置及び遠隔操作支援システム
JP7472746B2 (ja) * 2020-09-30 2024-04-23 コベルコ建機株式会社 作業支援装置
JP7344398B2 (ja) * 2020-10-01 2023-09-13 日立建機株式会社 作業機械
JP7149447B1 (ja) * 2020-12-21 2022-10-06 日本国土開発株式会社 建設機械
JP2022157458A (ja) * 2021-03-31 2022-10-14 株式会社小松製作所 施工管理システム、データ処理装置、及び施工管理方法
WO2023189216A1 (ja) * 2022-03-31 2023-10-05 日立建機株式会社 作業支援システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186145A (ja) 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
JP2015113100A (ja) 2013-12-16 2015-06-22 株式会社ニコン・トリンブル 情報取得システム、無人飛行体制御装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5234546B1 (ja) 1976-01-27 1977-09-03
JP2772551B2 (ja) * 1989-07-31 1998-07-02 大成建設株式会社 総合工事管理方法
JP4233932B2 (ja) 2003-06-19 2009-03-04 日立建機株式会社 作業機械の作業支援・管理システム
JP4406695B2 (ja) * 2005-03-31 2010-02-03 独立行政法人産業技術総合研究所 応力測定システム
US20090286076A1 (en) * 2005-08-03 2009-11-19 Chao-Nan Xu Material to be measured for stress analysis, coating liquid for forming coating film layer on the material to be measured, and stress-induced luminescent structure
JP5234546B2 (ja) 2009-02-20 2013-07-10 独立行政法人産業技術総合研究所 応力発光解析装置、応力発光解析方法、応力発光解析プログラムおよび記録媒体
JP2010203207A (ja) * 2009-03-06 2010-09-16 Caterpillar Japan Ltd 作業機械の制御装置
US20120143482A1 (en) * 2010-12-02 2012-06-07 Honeywell International Inc. Electronically file and fly unmanned aerial vehicle
US20140012404A1 (en) * 2012-07-06 2014-01-09 Caterpillar Inc. Methods and systems for machine cut planning
US20140163885A1 (en) * 2012-12-07 2014-06-12 Caterpillar Inc. Terrain map updating system
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
JP6258582B2 (ja) 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
JP6155032B2 (ja) * 2013-01-31 2017-06-28 セコム株式会社 撮影システム
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
FR3004801A1 (fr) * 2013-04-18 2014-10-24 Delta Drone Procede de mesure du volume d'un amas de materiaux
US20170081026A1 (en) * 2014-09-03 2017-03-23 Infatics, Inc. (DBA DroneDeploy) System and methods for hosting missions with unmanned aerial vehicles
JP5775632B2 (ja) 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム
DE102014218749A1 (de) * 2014-09-18 2016-03-24 Bayerische Motoren Werke Aktiengesellschaft Unterstützung eines Bedieners einer Arbeitsmaschine mittels eines unbemannten Flugobjektes
CN104376598A (zh) * 2014-12-09 2015-02-25 鞍钢集团矿业公司 利用飞机航拍影像的露天矿采剥量计算方法
CN104463470B (zh) * 2014-12-10 2017-06-20 中国水产科学研究院东海水产研究所 基于无人机航拍的潮间带生境调查方法
KR101550036B1 (ko) * 2015-02-26 2015-09-07 주식회사 디안스 정보통신기술 기반 무인 경계 시스템
US9494936B2 (en) * 2015-03-12 2016-11-15 Alarm.Com Incorporated Robotic assistance in security monitoring
CN104765307B (zh) * 2015-03-30 2018-06-15 陈松 一种无人机航拍***
US9685009B2 (en) * 2015-04-01 2017-06-20 Caterpillar Inc. System and method for managing mixed fleet worksites using video and audio analytics
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
US9721158B2 (en) * 2015-10-19 2017-08-01 Caterpillar Inc. 3D terrain mapping system and method
CN105334862A (zh) * 2015-10-28 2016-02-17 上海同筑信息科技有限公司 基于bim的无人机监控方法及***
US9786105B2 (en) * 2015-12-08 2017-10-10 Caterpillar Inc. Gathering data from machine operating at worksite
US20170193646A1 (en) * 2016-01-05 2017-07-06 Caterpillar Inc. Dust detection system for a worksite

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186145A (ja) 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
JP2015113100A (ja) 2013-12-16 2015-06-22 株式会社ニコン・トリンブル 情報取得システム、無人飛行体制御装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
コマツレポート2015,[オンライン],株式会社 小松製作所,2015年7月26日,pp.08-16,[検索日2017.05.25],インターネット:<URL:https://web.archive.org/web/0150726080612/http://www.komatsu.co.jp:80/CompanyInfo/ir/annual/html/2015/pdfs/komatsu-reports2015-ja.pdf>
第3部:警備編 最新技術で死角を消す、警備員も電子装備で強化,日経エレクトロニクス 12月号,2015年11月20日,第1162号,pp.36-41,ISSN 0385-1680

Also Published As

Publication number Publication date
US11092976B2 (en) 2021-08-17
KR20180124064A (ko) 2018-11-20
JPWO2017170651A1 (ja) 2019-03-07
CN109074612A (zh) 2018-12-21
WO2017170651A1 (ja) 2017-10-05
EP3438915A4 (en) 2019-09-25
US20190028676A1 (en) 2019-01-24
EP3438915A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP7032308B2 (ja) 建設機械用作業管理システム及び建設機械
US11492783B2 (en) Shovel and autonomous aerial vehicle flying around shovel
KR102455260B1 (ko) 쇼벨 및 건설기계의 작업지원시스템
KR102659077B1 (ko) 쇼벨
JPWO2019124549A1 (ja) ショベル及びショベルの管理システム
US20220154431A1 (en) Shovel and information processing apparatus
US20170175363A1 (en) Method for providing images of a work tool for a machine
CN113661296A (zh) 施工机械、支援***
JP2021188258A (ja) ショベル用のシステム
KR102615982B1 (ko) 쇼벨 및 쇼벨의 관리시스템
US20240035257A1 (en) Construction machine and assisting device for construction machine
JP7463158B2 (ja) 作業管理システム
JP7346061B2 (ja) ショベル
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
JP2024051364A (ja) 作業機械の遠隔情報取得システム、及び遠隔情報取得システム
JP2022085617A (ja) 周辺監視システム、表示装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210112

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210119

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210305

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210309

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210608

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211012

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220118

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220222

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220224

R150 Certificate of patent or registration of utility model

Ref document number: 7032308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150