JP2023178015A - フォークリフトの遠隔操作システム - Google Patents

Abstract

【課題】遠隔映像を見ながら遠隔操作を行っているオペレータに有益かつ豊富な情報を提供することが可能な遠隔操作システムを提供する。【解決手段】遠隔操作システム１Ａは、フォークリフトＦに設けられる撮像装置２０と、オペレータＯの頭部に装着される頭部装着型映像表示装置１０と、オペレータＯによる遠隔操作指令を受け付ける指令受付装置１１と、指令受付装置１１が受け付けた遠隔操作指令の内容、遠隔操作指令に従って動作するフォークリフトＦの動作状態、および撮像装置２０によって撮影された遠隔映像を取得し、遠隔映像に遠隔操作指令の内容を示す指令表示画像およびフォークリフトＦの動作状態を示す動作表示画像を合成することにより合成遠隔映像を生成する合成遠隔映像生成装置１２Ａとを備えている。頭部装着型映像表示装置１０は、生成された合成遠隔映像をオペレータＯの眼前に表示する。【選択図】図１

Description

本発明は、離れた場所にあるフォークリフトを頭部装着型映像表示装置に表示される遠隔映像を見ながら遠隔操作することを可能にする遠隔操作システムに関する。

従来、離れた場所にある作業機械を頭部装着型映像表示装置に表示される遠隔映像を見ながら遠隔操作することを可能にする遠隔操作システムが知られている。例えば、特許文献１には、作業機械としてのショベルを遠隔操作するための遠隔操作システムが記載されている。

特許文献１に記載のシステムは、ウェアラブルセンサによって検出したオペレータの頭部の動きに応じて頭部装着型映像表示装置に表示される画像の内容が切り替わるよう構成されている。より詳しくは、このシステムは、オペレータの頭部がピッチダウンすると、表示される画像がショベルに取り付けられた撮像装置によって撮影された前方映像（遠隔映像）から計器画面画像に切り替わり、その状態からオペレータの頭部がピッチアップすると、表示される画像が遠隔映像に戻るよう構成されている。

特開２０１５－２２６０９４号公報

上記特許文献１に記載のシステムでは、遠隔映像または計器画面画像が択一的に頭部装着型映像表示装置に表示される。つまり、このシステムでは、遠隔映像でアームの動きを確認しているオペレータにショベルの計器情報が一切提供されない。このため、オペレータは、搭乗操作を行っているときに得られる情報よりも少ない情報を頼りに遠隔操作を行わなければならない。

本発明は、上記事情に鑑みてなされたものであって、遠隔映像を見ながら遠隔操作を行っているオペレータに有益かつ豊富な情報を提供することが可能な遠隔操作システムを提供することを課題とする。

上記課題を解決するために、本発明に係る遠隔操作システムは、オペレータから離れた場所にあるフォークリフトに設けられる撮像装置と、オペレータの頭部に装着される頭部装着型映像表示装置と、オペレータの手が届く場所にあり、オペレータによる遠隔操作指令を受け付ける指令受付装置と、指令受付装置が受け付けた遠隔操作指令の内容、遠隔操作指令に従って動作するフォークリフトの動作状態、および撮像装置によって撮影された遠隔映像を取得し、遠隔映像に遠隔操作指令の内容を示す指令表示画像およびフォークリフトの動作状態を示す動作表示画像を合成することにより合成遠隔映像を生成する合成遠隔映像生成装置と、を備え、頭部装着型映像表示装置は、合成遠隔映像生成装置によって生成された合成遠隔映像をオペレータの眼前に表示する、との構成を有している。

上記遠隔操作システムの頭部装着型映像表示装置は、オペレータの頭部の姿勢を検出する姿勢検出部を含んでいてもよい。この場合、上記遠隔操作システムの合成遠隔映像生成装置は、姿勢検出部が検出した姿勢を取得し、取得した姿勢に従って切り出した遠隔映像の一部に指令表示画像および動作表示画像を合成することにより合成遠隔映像を生成することが好ましい。

上記遠隔操作システムの合成遠隔映像生成装置は、（１）オペレータ側に設置され、インターネット回線を介してフォークリフトから該フォークリフトの動作状態および遠隔映像を取得するよう構成されていてもよいし、（２）フォークリフトに設置され、インターネット回線を介して指令受付装置から遠隔操作指令の内容を取得するよう構成されていてもよいし、（３）オペレータおよびフォークリフトから離れた場所に設置され、インターネット回線を介してフォークリフトから該フォークリフトの動作状態および遠隔映像を取得するとともに、インターネット回線を介して指令受付装置から遠隔操作指令の内容を取得するよう構成されていてもよい。

上記遠隔操作システムの指令受付装置は、フォークリフトに設けられたフォークの上昇および下降、並びにフォークリフトに設けられたマストの前傾および後傾に対応する、十字状に配置された４つのボタンを含んでいてもよい。この場合、指令表示画像は、４つのボタンに対応する、十字状に配置された４つの荷役シンボルを含み、４つのボタンのいずれかが操作されると該ボタンに対応する荷役シンボルの見た目が変化するようになっていることが好ましい。

上記遠隔操作システムの指令受付装置は、フォークリフトの走行方向および走行速度を指令するためのアナログスティックを含んでいてもよい。この場合、指令表示画像は、フォークリフトをモチーフとした車両シンボルと、アナログスティックの傾倒方向および傾倒量に応じて車両シンボルからの相対位置が変化する走行シンボルとを含んでいることが好ましい。

本発明によれば、遠隔映像を見ながら遠隔操作を行っているオペレータに有益かつ豊富な情報を提供することが可能な遠隔操作システムを提供することができる。

本発明の第１実施例に係る遠隔操作システムの構成を示す図である。 第１実施例に係る遠隔操作システムの指令受付装置を示す図である。 第１実施例に係る遠隔操作システムの第１演算装置による映像の切り出しを説明する図である。 第１実施例に係る遠隔操作システムの第１演算装置による映像の合成を説明する図である。 本発明の第２実施例に係る遠隔操作システムの構成を示す図である。 本発明の第３実施例に係る遠隔操作システムの構成を示す図である。

以下、添付の図面を参照しながら、本発明に係る遠隔操作システムの実施例について説明する。

［第１実施例］
図１に、本発明の第１実施例に係る遠隔操作システム１Ａを示す。遠隔操作システム１Ａは、離れた場所にあるフォークリフトＦをオペレータＯが遠隔操作するためのもので、同図に示すように、オペレータＯ側にある頭部装着型映像表示装置１０、指令受付装置１１、第１演算装置１２Ａおよび第１通信装置１３と、フォークリフトＦ側にある撮像装置２０、第２演算装置２１Ａおよび第２通信装置２２とを備えている。

頭部装着型映像表示装置１０は、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれているものである。頭部装着型映像表示装置１０は、オペレータＯの頭部に装着され、オペレータＯの眼前に後述する合成遠隔映像を表示する。

頭部装着型映像表示装置１０は、不図示の姿勢検出部を有している。姿勢検出部は、オペレータＯの頭部の姿勢を検出するとともに該姿勢に対応した信号（以下、「姿勢信号」という）を出力する。姿勢信号には、オペレータＯの頭部が左右方向にどの程度傾いているのかを示す信号と、オペレータＯの頭部が上下方向にどの程度傾いているのかを示す信号とが含まれている。

指令受付装置１１は、ゲームコンソールのコントローラのようなものであり、図２に示すように、十字状に配置された４つのボタン３０，３１，３２，３３と、アナログスティック３４とを有している。指令受付装置１１は、ボタン３０，３１，３２，３３のそれぞれが押し込まれているか否かを示す信号（以下、「ボタン操作信号」という）と、アナログスティック３４の傾倒方向および傾倒量を示す信号（以下、「スティック操作信号」という）とを出力する。ボタン３０，３１，３２，３３は、オペレータＯの左手親指によって操作される。また、アナログスティック３４は、オペレータＯの右手親指によって操作される。

第１演算装置１２Ａは、パーソナルコンピュータのようなものであり、ＵＳＢ等の外部機器接続用インタフェースを介して頭部装着型映像表示装置１０および指令受付装置１１に有線で接続されている。なお、本実施例では、この第１演算装置１２Ａが「合成遠隔映像生成装置」に相当する。

第１通信装置１３は、ルータのようなものであり、ＬＡＮ等の通信インタフェースを介して第１演算装置１２Ａに有線で接続されている。第１通信装置１３は、インターネット回線ＮＴにも接続されている。

撮像装置２０は、遠隔操作されるフォークリフトＦに取り付けられた３６０°カメラである。フォークリフトＦは、オペレータが着座するシートの代わりに１ｍ弱の長さを有するポール２５を備え、撮像装置２０は、このポール２５の上端に取り付けられている。つまり、撮像装置２０は、オペレータがシートに着座した場合に該オペレータの頭部が位置することになる位置に取り付けられている。撮像装置２０は、３６０°分の遠隔映像を撮影するとともに該遠隔映像に関する信号（以下、「遠隔映像信号」という）を出力する。

第２演算装置２１Ａは、荷役装置２３（これには、マスト、フォークおよびこれらを駆動する油圧系が含まれる）および走行装置２４（これには、操舵輪の向きを変える操舵装置および駆動輪を駆動するモータが含まれる）を制御することが可能な車両制御ユニットＥＣＵである。第２演算装置２１Ａは、フォークリフトＦの各部の状態を把握する機能、およびフォークリフトＦの各部に異常が発生しているか否か判定する機能も有している。第２演算装置２１Ａは、把握しているフォークリフトＦの各部の状態および異常の発生の有無に関する信号（以下、「動作状態信号」という）を生成する。

本実施例では、第２演算装置２１Ａは、少なくともフォーク上の積荷の重量、マストのティルト角、フォークの揚高、モータの回転数（フォークリフトＦの走行速度）、およびバッテリの残量を常に把握することができる。

第２通信装置２２は、フォークリフトＦが作業を行う施設内に設置されたルータのようなものであり、通信インタフェースを介して第２演算装置２１Ａに無線で接続されている。第２通信装置２２は、インターネット回線ＮＴにも接続されている。

オペレータＯが指令受付装置１１のボタン３０，３１，３２，３３のいずれかを押し込むと、そのボタン（例えば、第１ボタン３０）に対応したボタン操作信号が“指令受付装置１１→第１演算装置１２Ａ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ａ”の経路で第２演算装置２１Ａに送られる。ボタン操作信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ａは、指令受付装置１１から送られてきたボタン操作信号に従って荷役装置２３を作動させる。具体的には、第２演算装置２１Ａは、第１ボタン３０に対応したボタン操作信号に従ってフォークを上昇させ、第２ボタン３１に対応したボタン操作信号に従ってフォークを下降させ、第３ボタン３２に対応したボタン操作信号に従ってマストを後傾させ、第４ボタン３３に対応したボタン操作信号に従ってマストを前傾させる。

オペレータＯが指令受付装置１１のアナログスティック３４をいずれかの方向に傾倒させると、その傾倒方向および傾倒量に対応したスティック操作信号がボタン操作信号と同様の経路、すなわち、“指令受付装置１１→第１演算装置１２Ａ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ａ”の経路で第２演算装置２１Ａに送られる。スティック操作信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ａは、指令受付装置１１から送られてきたスティック操作信号に従って走行装置２４を作動させる。具体的には、第２演算装置２１Ａは、フォークリフトＦの走行方向がスティック操作信号の示す傾倒方向に対応した方向に一致するように操舵装置を作動させるとともに、フォークリフトＦの走行速度がスティック操作信号の示す傾倒量に対応した速度に一致するようにモータを作動させる。

撮像装置２０が出力する３６０°分の遠隔映像に関する遠隔映像信号は、“撮像装置２０→第２演算装置２１Ａ→第２通信装置２２→インターネット回線ＮＴ→第１通信装置１３→第１演算装置１２Ａ”の経路で第１演算装置１２Ａに送られる。遠隔映像信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ａが把握しているフォークリフトＦの各部の状態および異常の発生の有無に関する動作状態信号は、“第２演算装置２１Ａ→第２通信装置２２→インターネット回線ＮＴ→第１通信装置１３→第１演算装置１２Ａ”の経路で第１演算装置１２Ａに送られる。

頭部装着型映像表示装置１０が出力する姿勢信号は、“頭部装着型映像表示装置１０→第１演算装置１２Ａ”の経路で第１演算装置１２Ａに送られる。

このようにして、合成遠隔映像生成装置としての第１演算装置１２Ａは、指令受付装置１１が出力したボタン操作信号およびスティック操作信号と、頭部装着型映像表示装置１０が出力した姿勢信号と、撮像装置２０が出力した遠隔映像信号と、第２演算装置２１Ａが出力した動作状態信号とを取得する。

第１演算装置１２Ａは、取得した姿勢信号に基づいて遠隔映像の一部を抽出する。言い換えると、第１演算装置１２Ａは、図３に示すように、オペレータＯの姿勢に従って３６０°分の遠隔映像からオペレータＯの視野に相当する大きさの画像Ａを切り出す。オペレータＯの頭部の姿勢が変化すれば、切り出される画像Ａの位置も変化する。一方、オペレータＯの頭部の姿勢が変化しても、切り出される画像Ａの大きさは変化しない。

第１演算装置１２Ａは、取得したボタン操作信号およびスティック操作信号に基づいて指令表示画像を生成する。

指令表示画像は、図４に示すように、指令受付装置１１のボタン３０，３１，３２，３３に対応する、十字状に配置された４つの荷役シンボル４０，４１，４２，４３を含んでいる。第１荷役シンボル４０は、フォークを上昇させるための第１ボタン３０に対応しており、第１ボタン３０が押し込まれているときとそうでないときとで見た目（例えば、色。以下同様）が変化するようになっている。第２荷役シンボル４１は、フォークを下降させるための第２ボタン３１に対応しており、第２ボタン３１が押し込まれているときとそうでないときとで見た目が変化するようになっている。第３荷役シンボル４２は、マストを後傾させるための第３ボタン３２に対応しており、第３ボタン３２が押し込まれているときとそうでないときとで見た目が変化するようになっている。また、第４荷役シンボル４３は、マストを前傾させるための第４ボタン３３に対応しており、第４ボタン３３が押し込まれているときとそうでないときとで見た目が変化するようになっている。

指令表示画像は、図４に示すように、フォークリフトＦをモチーフとした車両シンボル４４と、その近傍に位置する走行シンボル４５とをさらに含んでいる。車両シンボル４４を基準とした走行シンボル４５の相対位置は、アナログスティック３４の傾倒方向および傾倒量に応じて変化するようになっている。

指令表示画像における荷役シンボル４０，４１，４２，４３、車両シンボル４４および走行シンボル４５の配置は、指令受付装置１１におけるボタン３０，３１，３２，３３およびアナログスティック３４の配置に概ね対応している。すなわち、左手親指で操作されるボタン３０，３１，３２，３３に対応したシンボル４０，４１，４２，４３は、指令表示画像の左側に配置され、右手親指で操作されるアナログスティック３４に対応したシンボル４４，４５は、指令表示画像の右側に配置されている。

指令表示画像は、指令受付装置１１が受け付けた遠隔操作指令の内容、言い換えると、オペレータＯが入力した遠隔操作指令の内容を示す画像であると言える。

第１演算装置１２Ａは、取得した動作状態信号に基づいて動作表示画像を生成する。

動作表示画像は、図４に示すように、フォーク上の積荷の重量を示す荷重メータ５０、マストのティルト角を示すティルトメータ５１、フォークの揚高を示すリフトメータ５２、フォークリフトＦの走行速度を示す速度メータ５３、バッテリに残存する電力の量を示すバッテリメータ５４、および現在時刻あるいは稼働積算時間を示すアワメータ５６を含んでいる。この他、動作表示画像は、異常が発生したときに点灯したような見た目に変化する複数の警告シンボル５５も含んでいる。

第１演算装置１２Ａは、図４に示すように、遠隔映像の一部（画像Ａ）に指令表示画像および動作表示画像を合成することにより合成遠隔映像を生成する。そして、第１演算装置１２Ａは、生成した合成遠隔映像に関する信号（以下、「合成遠隔映像信号」という）を頭部装着型映像表示装置１０に向けて送る。

頭部装着型映像表示装置１０は、送られてきた合成遠隔映像信号に基づいて、オペレータＯの眼前に合成遠隔映像を表示する。

このように、第１実施例に係る遠隔操作システム１Ａでは、遠隔映像を見ながら遠隔操作を行っているオペレータＯに指令表示画像および動作表示画像が提示される。したがって、オペレータＯは、遠隔操作を中断することなく、指令表示画像によって操作指令が正しく受け付けられたことを確認したり、動作表示画像によって遠隔映像からは把握できないフォークリフトＦの状態を把握したりすることができる。

［第２実施例］
図５に、本発明の第２実施例に係る遠隔操作システム１Ｂを示す。遠隔操作システム１Ｂは、オペレータＯ側にある頭部装着型映像表示装置１０、指令受付装置１１、第１演算装置１２Ｂおよび第１通信装置１３と、フォークリフトＦ側にある撮像装置２０、第２演算装置２１Ｂおよび第２通信装置２２とを備えている。遠隔操作システム１Ｂは、第１演算装置１２Ａの代わりに第１演算装置１２Ｂを備えている点と、第２演算装置２１Ａの代わりに第２演算装置２１Ｂを備えている点とにおいて第１実施例に係る遠隔操作システム１Ａと相違しているが、他の点においては遠隔操作システム１Ａと共通している。

第１演算装置１２Ｂは、第１演算装置１２Ａと同様に、ＵＳＢ等の外部機器接続用インタフェースを介して頭部装着型映像表示装置１０および指令受付装置１１に有線で接続されている。

第２演算装置２１Ｂは、第２演算装置２１Ａと同様、荷役装置２３および走行装置２４を制御することが可能な車両制御ユニットＥＣＵであり、フォークリフトＦの各部の状態を把握する機能、およびフォークリフトＦの各部に異常が発生しているか否か判定する機能を有している。また、第２演算装置２１Ｂは、第２演算装置２１Ａと同様、把握しているフォークリフトＦの各部の状態および異常の発生の有無に関する動作状態信号を生成する。本実施例では、この第２演算装置２１Ｂが「合成遠隔映像生成装置」に相当する。

オペレータＯが指令受付装置１１のボタン３０，３１，３２，３３のいずれかを押し込むと、そのボタン（例えば、第１ボタン３０）に対応したボタン操作信号が“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られる。ボタン操作信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ｂは、第２演算装置２１Ａと同様、指令受付装置１１から送られてきたボタン操作信号に従って荷役装置２３を作動させる。

オペレータＯが指令受付装置１１のアナログスティック３４をいずれかの方向に傾倒させると、その傾倒方向および傾倒量に対応したスティック操作信号がボタン操作信号と同様の経路、すなわち、“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られる。スティック操作信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ｂは、第２演算装置２１Ａと同様、指令受付装置１１から送られてきたスティック操作信号に従って走行装置２４を作動させる。

撮像装置２０が出力する３６０°分の遠隔映像に関する遠隔映像信号は、“撮像装置２０→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られる。

頭部装着型映像表示装置１０が出力する姿勢信号は、“頭部装着型映像表示装置１０→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られる。姿勢信号は、途中で適当な形式に変換されてもよい。

このようにして、合成遠隔映像生成装置としての第２演算装置２１Ｂは、指令受付装置１１が出力したボタン操作信号およびスティック操作信号と、頭部装着型映像表示装置１０が出力した姿勢信号と、撮像装置２０が出力した遠隔映像信号と、第２演算装置２１Ｂ自身が生成した動作状態信号とを取得する。

第２演算装置２１Ｂは、第１演算装置１２Ａと同様に、取得した姿勢信号に基づいて遠隔映像の一部を抽出する（図３参照）。

第２演算装置２１Ｂは、第１演算装置１２Ａと同様に、取得したボタン操作信号、スティック操作信号および動作状態信号に基づいて指令表示画像および動作表示画像を生成する。

第２演算装置２１Ｂは、第１演算装置１２Ａと同様に、遠隔映像の一部（画像Ａ）に指令表示画像および動作表示画像を合成することにより合成遠隔映像を生成する（図４参照）。そして、第２演算装置２１Ｂは、生成した合成遠隔映像に関する合成遠隔映像信号を“第２演算装置２１Ｂ→第２通信装置２２→インターネット回線ＮＴ→第１通信装置１３→第１演算装置１２Ｂ→頭部装着型映像表示装置１０”の経路で頭部装着型映像表示装置１０に送る。

頭部装着型映像表示装置１０は、送られてきた合成遠隔映像信号に基づいて、オペレータＯの眼前に合成遠隔映像を表示する。

このように、第２実施例に係る遠隔操作システム１Ｂでも、遠隔映像を見ながら遠隔操作を行っているオペレータＯに指令表示画像および動作表示画像が提示される。したがって、オペレータＯは、遠隔操作を中断することなく、指令表示画像によって操作指令が正しく受け付けられたことを確認したり、動作表示画像によって遠隔映像からは把握できないフォークリフトＦの状態を把握したりすることができる。

［第３実施例］
図６に、本発明の第３実施例に係る遠隔操作システム１Ｃを示す。遠隔操作システム１Ｃは、オペレータＯ側にある頭部装着型映像表示装置１０、指令受付装置１１、第１演算装置１２Ｂおよび第１通信装置１３と、フォークリフトＦ側にある撮像装置２０、第２演算装置２１Ａおよび第２通信装置２２と、第３演算装置６０とを備えている。遠隔操作システム１Ｃは、第１演算装置１２Ａの代わりに第１演算装置１２Ｂを備えている点と、第３演算装置６０をさらに備えている点とにおいて第１実施例に係る遠隔操作システム１Ａと相違しているが、他の点においては遠隔操作システム１Ａと共通している。遠隔操作システム１Ｃは、第２演算装置２１Ｂの代わりに第２演算装置２１Ａを備えている点と、第３演算装置６０をさらに備えている点とにおいて第２実施例に係る遠隔操作システム１Ｂと相違しているが、他の点においては遠隔操作システム１Ｂと共通しているとも言える。

第３演算装置６０は、オペレータＯおよびフォークリフトＦの双方から離れた場所に設定されたクラウドサービスを提供するコンピュータであり、インターネット回線ＮＴに接続されている。本実施例では、この第３演算装置６０が「合成遠隔映像生成装置」に相当する。

オペレータＯが指令受付装置１１のボタン３０，３１，３２，３３のいずれかを押し込むと、そのボタン（例えば、第１ボタン３０）に対応したボタン操作信号が“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ａ”の経路で第２演算装置２１Ａに送られるとともに、“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０にも送られる。ボタン操作信号は、途中で適当な形式に変換されてもよい。

オペレータＯが指令受付装置１１のアナログスティック３４をいずれかの方向に傾倒させると、その傾倒方向および傾倒量に対応したスティック操作信号がボタン操作信号と同様の経路、すなわち、“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ａ”の経路で第２演算装置２１Ａに送られるとともに、“指令受付装置１１→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０にも送られる。スティック操作信号は、途中で適当な形式に変換されてもよい。

撮像装置２０が出力する３６０°分の遠隔映像に関する遠隔映像信号は、“撮像装置２０→第２演算装置２１Ａ→第２通信装置２２→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０に送られる。遠隔映像信号は、途中で適当な形式に変換されてもよい。

第２演算装置２１Ａが把握しているフォークリフトＦの各部の状態および異常の発生の有無に関する動作状態信号は、“第２演算装置２１Ａ→第２通信装置２２→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０に送られる。

頭部装着型映像表示装置１０が出力する姿勢信号は、“頭部装着型映像表示装置１０→第１演算装置１２Ｂ→第１通信装置１３→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０に送られる。姿勢信号は、途中で適当な形式に変換されてもよい。

このようにして、合成遠隔映像生成装置としての第３演算装置６０は、指令受付装置１１が出力したボタン操作信号およびスティック操作信号と、頭部装着型映像表示装置１０が出力した姿勢信号と、撮像装置２０が出力した遠隔映像信号と、第２演算装置２１Ａが出力した動作状態信号とを取得する。

第３演算装置６０は、第１演算装置１２Ａおよび第２演算装置２１Ｂと同様に、取得した姿勢信号に基づいて遠隔映像の一部を抽出する（図３参照）。

第３演算装置６０は、第１演算装置１２Ａおよび第２演算装置２１Ｂと同様に、取得したボタン操作信号、スティック操作信号および動作状態信号に基づいて指令表示画像および動作表示画像を生成する。

第３演算装置６０は、第１演算装置１２Ａおよび第２演算装置２１Ｂと同様に、遠隔映像の一部（画像Ａ）に指令表示画像および動作表示画像を合成することにより合成遠隔映像を生成する（図４参照）。そして、第３演算装置６０は、生成した合成遠隔映像に関する合成遠隔映像信号を“第３演算装置６０→インターネット回線ＮＴ→第１通信装置１３→第１演算装置１２Ｂ→頭部装着型映像表示装置１０”の経路で頭部装着型映像表示装置１０に送る。

頭部装着型映像表示装置１０は、送られてきた合成遠隔映像信号に基づいて、オペレータＯの眼前に合成遠隔映像を表示する。

このように、第３実施例に係る遠隔操作システム１Ｃでも、遠隔映像を見ながら遠隔操作を行っているオペレータＯに指令表示画像および動作表示画像が提示される。したがって、オペレータＯは、遠隔操作を中断することなく、指令表示画像によって操作指令が正しく受け付けられたことを確認したり、動作表示画像によって遠隔映像からは把握できないフォークリフトＦの状態を把握したりすることができる。

［変形例］
以上、本発明に係る遠隔操作システムの第１実施例、第２実施例および第３実施例について説明してきたが、本発明の構成はこれらに限定されない。

例えば、頭部装着型映像表示装置１０は、第１演算装置１２Ａ，１２Ｂまたは第１通信装置１３に無線で接続されていてもよい。頭部装着型映像表示装置１０が第１通信装置１３に無線で接続されている場合、姿勢信号は、“頭部装着型映像表示装置１０→第１通信装置１３→第１演算装置１２Ａ”の経路で第１演算装置１２Ａに送られるか、“頭部装着型映像表示装置１０→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られるか、“頭部装着型映像表示装置１０→第１通信装置１３→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０に送られることとなる。また、この場合、合成遠隔映像信号は、“第１演算装置１２Ａ→第１通信装置１３→頭部装着型映像表示装置１０”の経路、“第２演算装置２１Ｂ→第２通信装置２２→インターネット回線ＮＴ→第１通信装置１３→頭部装着型映像表示装置１０”の経路、または“第３演算装置６０→インターネット回線ＮＴ→第１通信装置１３→頭部装着型映像表示装置１０”の経路で頭部装着型映像表示装置１０に送られることとなる。

また、指令受付装置１１は、第１演算装置１２Ａ，１２Ｂまたは第１通信装置１３に無線で接続されていてもよい。指令受付装置１１が第１通信装置１３に無線で接続されている場合、ボタン操作信号およびスティック操作信号は、“指令受付装置１１→第１通信装置１３→第１演算装置１２Ａ”の経路で第１演算装置１２Ａに送られるか、“指令受付装置１１→第１通信装置１３→インターネット回線ＮＴ→第２通信装置２２→第２演算装置２１Ｂ”の経路で第２演算装置２１Ｂに送られるか、“指令受付装置１１→第１通信装置１３→インターネット回線ＮＴ→第３演算装置６０”の経路で第３演算装置６０に送られることとなる。

また、第１演算装置１２Ａ，１２Ｂは、第１通信装置１３に無線で接続されていてもよい。

また、指令受付装置１１は、両手持ちされるゲームコンソールのコントローラのようなものに限定されない。本発明では、オペレータＯの手が届く場所にあり、かつオペレータＯによる遠隔操作指令を受け付けることができる任意の装置を指令受付装置１１として使用することができる。

また、撮像装置２０は、３６０°カメラに限定されない。３６０°カメラに代わるものとしては、異なる方向を向いた複数のカメラの組み合わせが挙げられる。この場合、合成遠隔映像生成装置１２Ａ，２１Ｂ，６０は、姿勢信号に従って複数のカメラのうちどのカメラが撮影した遠隔映像を使用するのかを選択し、選択した遠隔映像に指令表示画像および動作表示画像を合成すればよい。

また、撮像装置２０は、ポール２５以外の手段でフォークリフトＦに取り付けられていてもよい。例えば、撮像装置２０は、ヘッドガードから吊り下げられていてもよい。

また、第２演算装置２１Ａ，２１Ｂは、荷役装置２３および走行装置２４の制御を担う車両制御ユニットＥＣＵとは別のユニットであってもよい。ただし、この場合、２つのユニットは、相互に信号のやり取りができるようになっていなければならない。

また、図４に示した指令表示画像および動作表示画像は、単なる一例である。これらの画像のレイアウトおよびこれらの画像に含める情報は、適宜変更されてもよい。また、これらの画像のレイアウトおよびこれらの画像に含める情報は、オペレータＯがカスタマイズすることができるようになっていることが好ましい。

また、本発明に係る遠隔操作システムは、エンジン式のフォークリフトを遠隔操作するために使用されてもよい。

１Ａ，１Ｂ，１Ｃ 遠隔操作システム
１０ 頭部装着型映像表示装置
１１ 指令受付装置
１２Ａ，１２Ｂ 第１演算装置
１３ 第１通信装置
２０ 撮像装置
２１Ａ，２１Ｂ 第２演算装置
２２ 第２通信装置
２３ 荷役装置
２４ 走行装置
２５ ポール
３０ 第１ボタン
３１ 第２ボタン
３２ 第３ボタン
３３ 第４ボタン
３４ アナログスティック
４０ 第１荷役シンボル
４１ 第２荷役シンボル
４２ 第３荷役シンボル
４３ 第４荷役シンボル
４４ 車両シンボル
４５ 走行シンボル
５０ 荷重メータ
５１ ティルトメータ
５２ リフトメータ
５３ 速度メータ
５４ バッテリメータ
５５ 警告シンボル
５６ アワメータ
６０ 第３演算装置
Ｆ フォークリフト
ＮＴ インターネット回線
Ｏ オペレータ

Claims (7)

1. オペレータから離れた場所にあるフォークリフトに設けられる撮像装置と、
   前記オペレータの頭部に装着される頭部装着型映像表示装置と、
   前記オペレータの手が届く場所にあり、前記オペレータによる遠隔操作指令を受け付ける指令受付装置と、
   前記指令受付装置が受け付けた前記遠隔操作指令の内容、前記遠隔操作指令に従って動作する前記フォークリフトの動作状態、および前記撮像装置によって撮影された遠隔映像を取得し、前記遠隔映像に前記遠隔操作指令の内容を示す指令表示画像および前記フォークリフトの動作状態を示す動作表示画像を合成することにより合成遠隔映像を生成する合成遠隔映像生成装置と、
   を備え、
   前記頭部装着型映像表示装置は、前記合成遠隔映像生成装置によって生成された前記合成遠隔映像を前記オペレータの眼前に表示する
   ことを特徴とする遠隔操作システム。
2. 前記頭部装着型映像表示装置は、前記オペレータの前記頭部の姿勢を検出する姿勢検出部を含み、
   前記合成遠隔映像生成装置は、前記姿勢検出部が検出した姿勢を取得し、前記姿勢に従って切り出した前記遠隔映像の一部に前記指令表示画像および前記動作表示画像を合成することにより前記合成遠隔映像を生成する
   ことを特徴とする請求項１に記載の遠隔操作システム。
3. 前記合成遠隔映像生成装置は、前記オペレータ側に設置され、インターネット回線を介して前記フォークリフトから該フォークリフトの動作状態および前記遠隔映像を取得する
   ことを特徴とする請求項１または請求項２に記載の遠隔操作システム。
4. 前記合成遠隔映像生成装置は、前記フォークリフトに設置され、インターネット回線を介して前記指令受付装置から前記遠隔操作指令の内容を取得する
   ことを特徴とする請求項１または請求項２に記載の遠隔操作システム。
5. 前記合成遠隔映像生成装置は、前記オペレータおよび前記フォークリフトから離れた場所に設置され、インターネット回線を介して前記フォークリフトから該フォークリフトの動作状態および前記遠隔映像を取得するとともに、前記インターネット回線を介して前記指令受付装置から前記遠隔操作指令の内容を取得する
   ことを特徴とする請求項１または請求項２に記載の遠隔操作システム。
6. 前記指令受付装置は、前記フォークリフトに設けられたフォークの上昇および下降、並びに前記フォークリフトに設けられたマストの前傾および後傾に対応する、十字状に配置された４つのボタンを含み、
   前記指令表示画像は、前記４つのボタンに対応する、十字状に配置された４つの荷役シンボルを含み、
   前記４つのボタンのいずれかが操作されると該ボタンに対応する荷役シンボルの見た目が変化する
   ことを特徴とする請求項１または請求項２に記載の遠隔操作システム。
7. 前記指令受付装置は、前記フォークリフトの走行方向および走行速度を指令するためのアナログスティックを含み、
   前記指令表示画像は、前記フォークリフトをモチーフとした車両シンボルと、前記アナログスティックの傾倒方向および傾倒量に応じて前記車両シンボルからの相対位置が変化する走行シンボルとを含む
   ことを特徴とする請求項１または請求項２に記載の遠隔操作システム。

Images