JP6891087B2 - 作業車両、表示装置、および障害判定方法 - Google Patents

作業車両、表示装置、および障害判定方法 Download PDF

Info

Publication number
JP6891087B2
JP6891087B2 JP2017191293A JP2017191293A JP6891087B2 JP 6891087 B2 JP6891087 B2 JP 6891087B2 JP 2017191293 A JP2017191293 A JP 2017191293A JP 2017191293 A JP2017191293 A JP 2017191293A JP 6891087 B2 JP6891087 B2 JP 6891087B2
Authority
JP
Japan
Prior art keywords
image
work vehicle
change
captured
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017191293A
Other languages
English (en)
Other versions
JP2019068236A (ja
Inventor
真範 皆川
真範 皆川
淳 森永
淳 森永
康博 大山
康博 大山
▲キ▼ 丁
▲キ▼ 丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2017191293A priority Critical patent/JP6891087B2/ja
Priority to AU2018342628A priority patent/AU2018342628B2/en
Priority to PCT/JP2018/036110 priority patent/WO2019065907A1/ja
Priority to US16/615,921 priority patent/US11168465B2/en
Priority to CA3065190A priority patent/CA3065190A1/en
Publication of JP2019068236A publication Critical patent/JP2019068236A/ja
Application granted granted Critical
Publication of JP6891087B2 publication Critical patent/JP6891087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2800/00—Features related to particular types of vehicles not otherwise provided for
    • B60Q2800/20—Utility vehicles, e.g. for agriculture, construction work
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/308—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working outwardly

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、画像を撮像し、当該画像を遠隔に送信する作業車両、表示装置、および障害判定方法に関する。
作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる。
なお、特許文献１には、回転灯をテレビカメラで撮影することで、コントロールルームのオペレータによる適切な制御を容易にする技術が開示されている。
特開平１０−２２６４８８号公報
オペレータは、画像の視認によって作業車両の状況を認識し、当該状況に基づいて作業車両を操作する。そのため、撮像装置、通信経路、および表示装置（画像系）のいずれかに障害が生じると、生産性が低下する可能性がある。
本発明の態様は、遠隔のオペレータに画像系の障害の有無を認識させることができる作業車両、表示装置、および障害判定方法を提供することを目的とする。
本発明の第１の態様によれば、作業車両は、作業機と、一定時間ごとに外観に既知の変化が生じる物体である変化物と、前記作業機の少なくとも一部および前記変化物が写る範囲を撮像する撮像装置と、前記撮像装置が撮像した画像を送信する送信装置とを備える。
上記態様によれば、作業車両は、遠隔のオペレータに画像系の障害の有無を認識させることができる。
第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業車両の外観図である。 第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。 第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。 第１の実施形態に係る画像系の障害判定方法を示すフローチャートである。 他の実施形態に係る障害判定装置の構成を示す概略ブロック図である。
〈第１の実施形態〉
《システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。
作業車両１００は、遠隔運転室５００から受信する操作信号に従って動作する。
遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。
《作業車両》
図２は、第１の実施形態に係る作業車両の外観図である。
第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。
作業機１１０は、ブーム１１１と、アーム１１２と、バケット１１３を備える。
ブーム１１１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１１２は、ブーム１１１とバケット１１３とを連結する。アーム１１２の基端部は、ブーム１１１の先端部にピンを介して取り付けられる。
バケット１１３は、土砂などを掘削するための刃と掘削した土砂を搬送するための容器とを備える。バケット１１３の基端部は、アーム１１２の先端部にピンを介して取り付けられる。
旋回体１２０には、運転室１２１が備えられる。
運転室１２１の前方には、モードランプ１２６が設けられる。モードランプ１２６は、複数のランプ（例えば、ＬＥＤ（Light Emitting Diode）など）を備え、作業車両１００の運転状態に応じて複数のランプのうち少なくとも１つが点滅する。各ランプの点滅のパターンはあらかじめ定められている。すなわち、ランプは、一定時間ごとに外観に既知の変化が生じる変化物の一例である。
モードランプ１２６は、例えば、運転席から外側に向かって左から順に、緑色に発行する第１ランプ、黄色に発行する第２ランプ、赤色に発行する第３ランプを備え、以下のような挙動をしてもよい。作業車両１００が有人運転状態である場合に、第１ランプが点滅する。作業車両１００が遠隔操作状態である場合に、第２ランプが点滅する。作業車両１００がエラー状態である場合に、第３ランプが点滅する。作業車両１００が有人運転と遠隔操作との切替中である場合に、すべてのランプが点滅する。作業車両１００がメンテナンス中である場合に、第１ランプと第２ランプとが点滅する。モードランプ１２６は、運転席５１０の前方のみならず、旋回体１２０の四隅に取り付けられていてもよい。また各ランプは、縦に並べて配置されてもよい。
これにより、作業車両１００の外にいる作業者は、作業車両１００の運転モードを認識することができる。作業車両１００が駆動している間、操作信号の有無に関わらず、常にモードランプ１２６の少なくとも１つのランプが点滅する。なお、モードランプ１２６が備えるランプは、光源の周りを回転する反射鏡によって光源が放つ光を反射させる回転灯であってもよい。
図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。
運転室１２１の上部には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前方かつ上方に設置される。撮像装置１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方の画像（例えば、動画像）を撮像する。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。撮像装置１２２は、作業機１１０、モードランプ１２６および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、撮像装置１２２が撮像する画像Ｐ１には、図３に示すように、作業機１１０、モードランプ１２６および運転室１２１の前方の作業対象範囲が写る。
作業車両１００は、制御装置１２５を備える。
制御装置１２５は、図示しない画像符号化装置を備え、撮像装置１２２が撮像した画像を符号化する。制御装置１２５は、符号化された画像を、遠隔運転室５００に送信する。なお、画像符号化装置は、制御装置１２５と別個に設けられたものであってもよい。
制御装置１２５は、遠隔運転室５００から操作信号を受信する。制御装置１２５は、受信した操作信号に従って、作業機１１０、旋回体１２０、または走行体１３０を駆動させる。
《遠隔運転室》
遠隔運転室５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられたディスプレイ５２１、ディスプレイ５２２、ディスプレイ５２３、ディスプレイ５２４、ディスプレイ５２５によって構成される。なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は１つのディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。
図４は、第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。
制御装置５４０は、作業車両１００から受信した画像のうち、撮像装置１２２が撮像した画像Ｐ１から、ディスプレイ５２１に表示させるための画像Ｐ１１、ディスプレイ５２２に表示させるための画像Ｐ１２、ディスプレイ５２３に表示させるための画像Ｐ１３、ディスプレイ５２４に表示させるための画像Ｐ１４、ディスプレイ５２５に表示させるための画像Ｐ１５をそれぞれ切り出す。このとき、制御装置５４０は、画像Ｐ１１から画像Ｐ１５の少なくとも１つにモードランプ１２６および作業機１１０の一部が写る部分が残るように切り出しを行う。図４に示す例では、制御装置５４０は、画像Ｐ１１にモードランプ１２６が写る部分が残るように切り出しを行う。
制御装置５４０は、ディスプレイ５２１に画像Ｐ１１を表示させる。制御装置５４０は、ディスプレイ５２２に画像Ｐ１２を表示させる。制御装置５４０は、ディスプレイ５２３に画像Ｐ１３を表示させる。制御装置５４０は、ディスプレイ５２４に画像Ｐ１４を表示させる。制御装置５４０は、ディスプレイ５２５に画像Ｐ１５を表示させる。
また、制御装置５４０は、図示しないバックカメラが撮像した画像や、車体情報（車体の傾斜状況など）を表す画像である画像Ｐ２を、画像Ｐ１１から画像Ｐ１５のいずれかに重畳して表示装置５２０の一部に表示させる。このとき、制御装置５４０は、撮像装置１２２が撮像した画像のうちモードランプ１２６が写らない部分に、図示しないバックカメラが撮像した画像や車体情報を表す画像を重畳させる。つまり、表示装置５２０には、常にモードランプ１２６の画像が表示される。図４に示す例では、制御装置５４０は、画像Ｐ２を、画像Ｐ１５に重畳させてディスプレイ５２５に表示させる。
オペレータは、表示装置５２０に表示された作業車両１００の前景を視認しながら、操作装置５３０を操作する。制御装置５４０は、操作装置５３０の操作を表す操作信号を作業車両１００に送信する。
《障害判定方法》
図５は、第１の実施形態に係る画像系の障害判定方法を示すフローチャートである。本実施形態において画像系とは、撮像装置１２２、制御装置１２５、制御装置５４０、および表示装置５２０を含む画像の伝達経路をいう。
上述の構成により、遠隔運転室５００の制御装置５４０は、作業車両１００の制御装置１２５からモードランプ１２６が写る画像Ｐ１１からＰ１５を取得し（ステップＳ１）、画像Ｐ１１からＰ１５を表示装置５２０に表示させる。オペレータは、表示装置５２０に表示された画像のうち、モードランプ１２６が表示される部分を視認し、表示された画像が一定時間ごとに変化しているか否かを判定する（ステップＳ２）。表示された画像が一定時間ごとに変化している場合（ステップＳ２：ＹＥＳ）、オペレータは、画像系の障害が発生していないと判定する（ステップＳ３）。他方、表示された画像が一定時間ごとに変化していない場合（ステップＳ２：ＹＥＳ）、オペレータは、画像系の障害が発生していると判定する（ステップＳ４）。
《作用・効果》
上記構成により、表示装置５２０には、常にモードランプ１２６の画像が表示される。撮像装置１２２が撮像した画像は、画像系を経由して、表示装置５２０に到達する。画像系で障害が発生すると、画像の伝送が停止するため、表示装置５２０に表示される画像が更新されなくなる可能性がある。例えば、撮像装置１２２が動画像を撮像する場合、更新がされない間、表示装置５２０には、同じフレーム画像が表示され続ける。また例えば、撮像装置１２２が静止画像を連続撮像する場合、更新がされない間、表示装置５２０には、障害発生前に撮像された同じ静止画像が表示され続ける。
他方、作業機１１０が停止しているとき、または作業機１１０の移動量が極めて微小であるときにも、オペレータには表示装置５２０に表示される画像が止まったように見える。
このとき、オペレータは、表示装置５２０に表示される画像のうち、モードランプ１２６が表示される部分を視認することで、画像系の障害により画像が停止してみえるのか、作業機１１０が停止しまたは移動量が微小であるために画像が停止してみえるのかを判断することができる。モードランプ１２６は、操作装置５３０の操作の有無に関わらず少なくとも画像の送受信中に外観が変化するため、オペレータは、作業機１１０が動いていなくても障害の有無を判断することができる。すなわち、本実施形態に係る作業車両１００は、遠隔のオペレータに画像系の障害の有無を認識させることができる。オペレータは、画像系に障害があると認識した場合、作業車両１００の操作を止め、障害の復旧を待機することができる。
《比較例》
ここで、比較例として、撮像装置１２２がモードランプ１２６を撮像せず、制御装置１２５が、一定周期で変化するアニメーション画像を、撮像装置１２２が撮像した画像に合成する作業車両１００を考える。比較例に係る作業車両１００においては、画像系が正常であるとき、表示装置５２０に表示されるアニメーション画像は、一定周期で変化する。他方、画像系のうち制御装置１２５、制御装置５４０、または表示装置５２０に障害が発生している場合、アニメーション画像が停止するため、オペレータは、障害が発生していることを認識することができる。しかしながら、撮像装置１２２に障害が発生して、撮像装置１２２が同一の画像を出力し続ける場合には、当該同一の画像に制御装置１２５がアニメーション画像を合成してしまうため、画像系に障害が生じているにも関わらず、表示装置５２０に表示されるアニメーション画像は、一定周期で変化する。そのため、オペレータは、障害が発生していることを認識することができない。
これに対し、第１の実施形態に係る作業車両１００によれば、画像系のどこに障害が発生していても、モードランプ１２６の変化が止まるため、オペレータは、画像系の障害の有無を確実に認識することができる。
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、作業車両１００は、一定時間ごとに外観に既知の変化が生じる変化物としてモードランプ１２６を備えるが、これに限られない。例えば、他の実施形態に係る作業車両１００は、変化物として他のランプ、点滅灯、時計（特に秒針）、一定時間で既知の変化をする画像を表示するモニタなどを備えてもよい。これらの変化物を作業車両１００に追加して設ける場合、ピラーなど、視界を遮らない位置に設けることが好ましい。また、変化物は、少なくとも撮像装置１２２が撮像する画像の送受信中に外観に既知の変化が生じるものであればよい。すなわち、変化物は、画像を送受信がなされていない間、外観が変化しないものであってもよい。
また、上述した実施形態に係るモードランプ１２６は、運転室１２１の前方に設置されるが、これに限られない。例えば、他の実施形態においては、変化物が撮像装置１２２の撮像範囲に含まれれば、運転室の内部に設置されていてもよい。また他の実施形態においては、作業車両１００がミラーを備え、当該ミラーで反射した変化物の像が撮像装置１２２の撮像範囲に含まれるものであってもよい。また、他の実施形態においては、車体で反射した変化物の像が撮像装置１２２の撮像範囲に含まれるものであってもよい。
また、上述した実施形態に係る制御装置５４０は、モードランプ１２６が写る部分が残るように切り出しを行うことで画像Ｐ１１から画像Ｐ１５を生成するが、これに限られない。例えば、他の実施形態においては、モードランプ１２６が写る部分が残らないように切り出しを行うことで画像Ｐ１１からＰ１５を生成し、さらに画像Ｐ１からモードランプ１２６が写る領域を切り出し、これを画像Ｐ１１からＰ１５のいずれかに重畳させて表示してもよい。
また、上述した実施形態では、オペレータが表示装置５２０に写るモードランプ１２６を視認することで障害の有無を判定するが、これに限られない。例えば、他の実施形態においては、コンピュータが画像Ｐ１のうちモードランプ１２６が写る個所の明度の変化量を監視することで、コンピュータが障害の有無を判定してもよい。
図６は、他の実施形態に係る障害判定装置の構成を示す概略ブロック図である。
例えば、他の実施形態に係る遠隔操作システム１においては、遠隔運転室５００内に図６に示す障害判定装置９００を備え、障害判定装置９００が画像系の障害の有無を判定してもよい。
障害判定装置９００は、プロセッサ９１０、メインメモリ９２０、ストレージ９３０、インタフェース９４０、撮像装置９５０を備えるコンピュータである。ストレージ９３０は、プログラムｐを記憶する。プロセッサ９１０は、プログラムｐをストレージ９３０から読み出してメインメモリ９２０に展開し、プログラムｐに従った処理を実行する。障害判定装置９００は、インタフェース９４０を介して撮像装置９５０に接続される。
撮像装置９５０は、表示装置５２０に表示された画像のうち少なくともモードランプ１２６が写る個所を撮像する。
ストレージ９３０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３０は、障害判定装置９００の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９４０を介して障害判定装置９００に接続される外部メディアであってもよい。ストレージ９３０は、一時的でない有形の記憶媒体である。
プロセッサ９１０は、プログラムｐの実行により、画像取得部９１１、明度特定部９１２、障害判定部９１３を備える。
画像取得部９１１は、撮像装置９５０から画像を取得する。
明度特定部９１２は、取得した画像のうちモードランプ１２６が写る個所の明度を特定する。
障害判定部９１３は、モードランプ１２６が写る個所の明度が一定時間ごとに変化しているか否かを判定することで、画像系の障害があるか否かを判定する。
障害判定装置９００は、図５に示すフローチャートと同様の処理によって画像系の障害を判定する。すなわち、画像取得部９１１は、撮像装置９５０からモードランプ１２６が写る画像を取得する（ステップＳ１）。明度特定部９１２は、取得した画像のうち、モードランプ１２６が表示される部分の明度を特定する。障害判定部９１３は、明度が一定時間ごとに変化しているか否かを判定する（ステップＳ２）。明度が一定時間ごとに変化している場合（ステップＳ２：ＹＥＳ）、障害判定部９１３は、画像系の障害が発生していないと判定する（ステップＳ３）。他方、明度が一定時間ごとに変化していない場合（ステップＳ２：ＹＥＳ）、障害判定部９１３は、画像系の障害が発生していると判定する（ステップＳ４）。
これにより、障害判定装置９００は、画像系の障害の有無を判定することができる。なお、他の実施形態においては制御装置５４０が受信した画像に基づいて上記の判定を行ってもよい。一方で、制御装置５４０が判定する場合、制御装置５４０と表示装置５２０との間に障害が発生している場合にこれを検知することができないため、障害判定装置９００のように、表示装置５２０に表示された画像に基づいて障害の判定を行うことが好ましい。
１…遠隔操作システム １００…作業車両 １１０…作業機 １１１…ブーム １１２…アーム １１３…バケット １２０…旋回体 １２１…運転室 １２２…撮像装置 １２５…制御装置 １２６…モードランプ １３０…走行体 ５００…遠隔運転室 ５２０…表示装置 ５３０…操作装置

Claims (5)

  1. 作業機と、
    一定時間ごとに外観に既知の変化が生じる物体である変化物と、
    前記作業機の少なくとも一部および前記変化物が写る範囲を撮像する撮像装置と、
    前記撮像装置が撮像した画像を送信する送信装置と
    を備える作業車両。
  2. 外部から受信した操作信号に基づいて前記作業機を動作させる制御装置を備える
    請求項１に記載の作業車両。
  3. 前記変化物は、前記操作信号の受信の有無に関わらず前記変化が生じる
    請求項２に記載の作業車両。
  4. 作業機を備える作業車両を遠隔操作するための操作装置の操作の有無に関わらず少なくとも画像の送受信中に、前記作業車両に搭載された撮像装置が撮像した画像であって、前記作業機の少なくとも一部、および一定時間ごとに外観に既知の変化が生じる物体である変化物が写る画像を表示する表示装置。
  5. 一定時間ごとに外観に既知の変化が生じる物体である変化物と、前記変化物が写る範囲を撮像する撮像装置とを備える作業車両から、前記撮像装置が撮像した画像を取得するステップと、
    取得した前記画像が一定時間ごとに変化しているか否かを判定するステップと
    を備える障害判定方法。
JP2017191293A 2017-09-29 2017-09-29 作業車両、表示装置、および障害判定方法 Active JP6891087B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017191293A JP6891087B2 (ja) 2017-09-29 2017-09-29 作業車両、表示装置、および障害判定方法
AU2018342628A AU2018342628B2 (en) 2017-09-29 2018-09-27 Work vehicle, display device, and fault determination method
PCT/JP2018/036110 WO2019065907A1 (ja) 2017-09-29 2018-09-27 作業車両、表示装置、および障害判定方法
US16/615,921 US11168465B2 (en) 2017-09-29 2018-09-27 Work vehicle, display device, and fault determination method
CA3065190A CA3065190A1 (en) 2017-09-29 2018-09-27 Work vehicle, display device, and fault determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017191293A JP6891087B2 (ja) 2017-09-29 2017-09-29 作業車両、表示装置、および障害判定方法

Publications (2)

Publication Number Publication Date
JP2019068236A JP2019068236A (ja) 2019-04-25
JP6891087B2 true JP6891087B2 (ja) 2021-06-18

Family

ID=65901612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017191293A Active JP6891087B2 (ja) 2017-09-29 2017-09-29 作業車両、表示装置、および障害判定方法

Country Status (5)

Country Link
US (1) US11168465B2 (ja)
JP (1) JP6891087B2 (ja)
AU (1) AU2018342628B2 (ja)
CA (1) CA3065190A1 (ja)
WO (1) WO2019065907A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363560B2 (ja) * 2020-02-18 2023-10-18 コベルコ建機株式会社 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7500219B2 (ja) * 2020-02-21 2024-06-17 株式会社小松製作所 作業機械の遠隔操作システム
JP7516068B2 (ja) * 2020-02-21 2024-07-16 株式会社小松製作所 作業機械の遠隔操作システム
EP4317616A1 (en) * 2021-03-31 2024-02-07 Hitachi Construction Machinery Co., Ltd. Construction machine
JP2024094471A (ja) * 2022-12-28 2024-07-10 株式会社クボタ 作業車両の遠隔操作支援システム、遠隔装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2575752Y2 (ja) * 1993-01-25 1998-07-02 株式会社小松製作所 作業モードの外部表示装置
JP3835774B2 (ja) 1997-02-14 2006-10-18 株式会社フジタ Ｐｃブロック設置装置の支援システム
JP3364419B2 (ja) * 1997-10-29 2003-01-08 新キャタピラー三菱株式会社 遠隔無線操縦システム並びに遠隔操縦装置，移動式中継局及び無線移動式作業機械
JP4332027B2 (ja) * 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
JP2008111269A (ja) * 2006-10-30 2008-05-15 Komatsu Ltd 画像表示システム
WO2012061888A1 (en) 2010-11-12 2012-05-18 Jason James Mordey Material clearing machine
JP2012142789A (ja) * 2010-12-28 2012-07-26 Mitsubishi Heavy Ind Ltd 機器、遠隔操作装置、および遠隔操作システム
JP5491561B2 (ja) * 2012-03-26 2014-05-14 株式会社小松製作所 建設機械、及び建設機械の運転動作の良否報知方法
US9224442B2 (en) 2013-03-15 2015-12-29 Qualcomm Incorporated System and method to dynamically determine a timing parameter of a memory device
JP5933004B2 (ja) * 2014-04-25 2016-06-08 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JP6134301B2 (ja) * 2014-09-29 2017-05-24 日立建機株式会社 建設機械の遠隔操縦用映像伝送システム
US10680678B2 (en) * 2015-02-16 2020-06-09 Tyri International, Inc. System for providing wireless operation of powered device(s) on a vehicle with direct charging
JP2016156262A (ja) * 2015-02-23 2016-09-01 株式会社小松製作所 作業車両
EP3985184A1 (en) * 2015-08-24 2022-04-20 Komatsu Ltd. Control system for wheel loader, control method thereof, and method of controlling wheel loader
JP2018019387A (ja) * 2016-07-15 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮影装置、及び、信号処理方法
US10114370B2 (en) * 2016-11-21 2018-10-30 Caterpillar Inc. Machine automation system with autonomy electronic control module

Also Published As

Publication number Publication date
US20200208381A1 (en) 2020-07-02
JP2019068236A (ja) 2019-04-25
AU2018342628B2 (en) 2021-07-29
AU2018342628A1 (en) 2019-11-21
US11168465B2 (en) 2021-11-09
WO2019065907A1 (ja) 2019-04-04
CA3065190A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6891087B2 (ja) 作業車両、表示装置、および障害判定方法
JP7108750B2 (ja) システムおよび方法
US10145087B2 (en) Surroundings display device for swing working machine
US10114370B2 (en) Machine automation system with autonomy electronic control module
JP6913630B2 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JPWO2018043104A1 (ja) ホイールローダおよびホイールローダの制御方法
JP6073827B2 (ja) 建設機械の遠隔操縦システム
JP2009193494A (ja) 警報システム
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
CN105493503A (zh) 产业机械的监视图像显示装置
CN114174604A (zh) 作业机械
JPWO2020090985A1 (ja) 表示制御システムおよび表示制御方法
JP2016194237A (ja) 作業機械
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
US20210363732A1 (en) System and method for selectively displaying image data in a working machine
JP7133428B2 (ja) 油圧ショベル
JP7346061B2 (ja) ショベル
JP7399836B2 (ja) 作業車両
WO2023132321A1 (ja) 周辺監視システム、作業機械
WO2024095776A1 (ja) 表示システム、遠隔運転装置および表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250