JP2019032589A - 遠隔操作システム及び管理サーバ - Google Patents

遠隔操作システム及び管理サーバ Download PDF

Info

Publication number
JP2019032589A
JP2019032589A JP2017151738A JP2017151738A JP2019032589A JP 2019032589 A JP2019032589 A JP 2019032589A JP 2017151738 A JP2017151738 A JP 2017151738A JP 2017151738 A JP2017151738 A JP 2017151738A JP 2019032589 A JP2019032589 A JP 2019032589A
Authority
JP
Japan
Prior art keywords
labor
operator
success rate
trial
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017151738A
Other languages
English (en)
Other versions
JP6760654B2 (ja
Inventor
絵美 玉城
Emi Tamaki
絵美 玉城
健一郎 岩▲崎▼
Kenichiro Iwasaki
健一郎 岩▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
H2L Inc
Original Assignee
H2L Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by H2L Inc filed Critical H2L Inc
Priority to JP2017151738A priority Critical patent/JP6760654B2/ja
Publication of JP2019032589A publication Critical patent/JP2019032589A/ja
Application granted granted Critical
Publication of JP6760654B2 publication Critical patent/JP6760654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • General Factory Administration (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】作業に対する操作者の習熟度を客観的に計算し、種々の作業に操作者を適切に割り当てることができる、遠隔操作システムを提供する。【解決手段】学習データ生成部は教師あり学習アルゴリズムを用いて辞書データ(操作者の推定成功率)を更新する。学習済み推定器は辞書データを参照して、労務カテゴリ毎の推定成功率を計算する。管理サーバ112は、算出した推定成功率に基づいて、操作者102に対し、適切な労務の割当を行う。労務の割当は、管理サーバからGWサーバ107に発行される指示に基づいて、GWサーバが労務端末とのTCP通信路を切り替えることで実現する。【選択図】図1

Description

本発明は、遠隔地に設置されているロボットを操作することで、所定の作業を遂行する、遠隔操作システムと、これに使用される管理サーバに関する。
従来、人(ユーザ)の前腕に複数の電極を装着し、その電極から前腕の筋肉に電気刺激信号を与えることで、外部からの指令で、ユーザの指又は手を動かそうとする試みが行われている。たとえば、手指のリハビリテーション、トレーニング、動きの補助などを、外部からの指令で行うことが考えられている。また、ヘッドマウントディスプレイなどを使用して、ユーザに仮想空間の映像を提示する仮想現実処理(Virtual Reality)や、現実の空間映像に仮想的なオブジェクト画像を重畳する拡張現実処理(Argumented Reality)を実行する際に、外部からの指令で、仮想空間等の映像に合わせて手指を動かすことで、リアリティ性を高めることなども提案されている。
発明者らは、先に特許文献1に記載されるような電気刺激装置を提案した。この特許文献1で提案した電気刺激装置は、ユーザの前腕に装着されるバンドに複数の電極を取り付けて、前腕の筋肉に電気刺激を与える装置である。
更に発明者らは、非特許文献1に記載される、筋肉の***を検出する赤外線センサを複数個装備した新たな電気刺激装置を開発した。
特開2014−104241号公報
「銃を撃った衝撃、指先に「じわっ」筋電刺激コントローラーUnlimited Hand」ASCII.JP×デジタル、2016年5月12日、2017年6月27日閲覧<http://ascii.jp/elem/000/001/161/1161772/>
近年、AI(artificial intelligence:人工知能)やロボットの台頭が話題になっているが、AIを搭載したロボットが自律的に所定の作業を遂行する能力を有するような状況に至るには、技術革新に相当な年数を要すると考えられる。しかし、人間の動作を模倣する機械は、限定的な性能であるものの一部は既に実用化されている。したがって、人間が操作するロボットは、自律型ロボットより早く実現可能となると思われる。ロボットは人間にとって劣悪な環境や危険な環境にも対応して稼働でき、人間にとって重労働になる作業も遂行できる。したがって人間が操作するロボットは、人間の代わりに劣悪な環境での作業や重労働を遂行し、かつ人の雇用を確保するという意味で、産業界におけるニーズも高い。
非特許文献1にて開示される電気刺激装置は、主にコンピュータゲームの入力デバイスとして使用されることを意図して開発された。しかし、この電気刺激装置は、コンピュータゲームに限らず、様々な用途に利用可能である。例えば、ファクトリオートメーション等に使用されるロボットアームの操作端末に応用することができる。つまり、電気刺激装置に装備されている筋肉センサの機能をロボットアームの操作端末として利用することで、ゲームパッドコントローラ等を使用するよりも、ロボットアームに対する直感的な操作が可能になる。
すなわち、電気刺激装置は、人間が操作するロボットの操作端末として有用であると考えられる。
発明者らは、この電気刺激装置を応用した遠隔操作システムを具体的に実現することを企画し、検討を重ねた。すると、この遠隔操作システムを実現するに際し、解決しなければならない課題として、操作者の習熟度を客観的に把握する必要があることが判明した。つまり、操作者の習熟度が分かると、作業の難易度に応じて、その習熟度を考慮して、安全かつ効率のよい作業環境を実現することが可能になる。
本発明は係る課題に鑑みてなされたものであり、作業に対する操作者の習熟度を客観的に計算し、種々の作業に操作者を適切に割り当てることができる、遠隔操作システム及び管理サーバを提供することを目的とする。
上記課題を解決するために、本発明の遠隔操作システムは、入力される操作情報に従って機械的動作を行う複数の労務端末と、労務端末と1対1の対応関係を有し、労務端末の動作状態を画像データとして出力する複数のモニタ用カメラと、操作者の操作あるいは動作に起因して労務端末を動作させるための操作情報を生成する操作情報入力装置と、操作情報入力装置が生成する操作情報を労務端末へ送信する端末装置とを具備する。更に、端末装置とネットワークを通じて接続され、端末装置に対して通信の中継を行うことで、複数の労務端末及びモニタ用カメラとを選択的に接続するゲートウェイサーバと、ゲートウェイサーバに、端末装置に対応する複数の労務端末及びモニタ用カメラとの接続の選択を指示する管理サーバとを具備する。
本発明により、作業に対する操作者の習熟度を客観的に計算し、種々の作業に操作者を適切に割り当てることができる、遠隔操作システム及び管理サーバを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施形態に係る遠隔操作システムの全体構成を示す概略図である。 筋肉センサ装置の外観斜視図である。 電極配置面の平面図である。 筋肉センサ装置を前腕に装着する直前の状態と、直後の状態を示す図である。 端末装置のハードウェア構成を示すブロック図である。 筋肉センサ装置のハードウェア構成を示すブロック図である。 ゲートウェイサーバのハードウェア構成を示すブロック図である。 ゲートウェイサーバのソフトウェア機能を示すブロック図である。 遠隔操作システムの通信処理を説明するためのタイムチャートである。 管理サーバのソフトウェア機能の内、学習フェーズにおける機能ブロック図である。 管理サーバのソフトウェア機能の内、推定フェーズにおける機能ブロック図である。 テーブル及びリストのフィールド構成を示す表である。 学習フェーズにおける、学習データ生成部と学習処理部を詳述する機能ブロック図である。 推定フェーズにおける、推定データ生成部と学習済み推定器を詳述する機能ブロック図である。 管理サーバのソフトウェア機能の内、学習フェーズにおける機能ブロック図である。 管理サーバのソフトウェア機能の内、推定フェーズにおける機能ブロック図である。 ある操作者における労務カテゴリ毎の推定成功率の一例を示す棒グラフである。 学習フェーズにおける、学習データ生成部と学習処理部を詳述する機能ブロック図である。 辞書データのフィールド構成を示す表である。 労務試行リストのフィールド構成を示す表と、相関係数行列の一例を示す図と、ある操作者における、カテゴリ毎の成功率の行列Sの一例を示す図である。 推定フェーズにおける、推定データ生成部と学習済み推定器を詳述する機能ブロック図である。
これより説明する実施形態に係る遠隔操作システムは、ロボットアーム等の機械を遠隔操作することで、所望の作業を遂行するシステムである。
ロボットアームは工場等の作業場に設置されている。作業者は自宅等の、作業場とは異なる場所か、あるいは作業場内の、ロボットアームの設置場所とは隔離された場所にいる。作業者は筋肉センサ装置を腕に装着して、パソコン等の端末装置のディスプレイに映し出されるモニタカメラの映像を見ながら、筋肉センサ装置を通じてロボットアームを操作する。
端末とロボットアームとの間は、ゲートウェイサーバによって通信が確立される。ゲートウェイサーバによる通信の制御は、管理サーバが実行する。管理サーバは、個々の作業者の習熟度を計算して、作業者に対して最適な作業を提供する。
[遠隔操作システム101:全体構成]
図1は、本発明の実施形態に係る遠隔操作システム101の全体構成を示す概略図である。
操作者102が使用するパソコン等の端末装置103は、筋肉センサ装置104とBluetooth(登録商標)等の近距離無線通信で通信する。この端末装置103はインターネット105を通じて、作業所106のゲートウェイサーバ(以下「GWサーバ107」)と接続する。
GWサーバ107には、
・ベルトコンベア等の作業場108において、所望の物品109を掴む等の作業を行うためのロボットアーム110、
・ロボットアーム110を操作する際に必要になるモニタ用カメラ111、
・遠隔操作システム101の中核部分になる管理サーバ112
が接続されている。
端末装置103はGWサーバ107とインターネット105を通じて通信を行うので、必然的に本発明の実施形態に係る遠隔操作システム101において使用されるネットワークには、TCP/IPが用いられる。
図1では紙面の都合上、ロボットアーム110とモニタ用カメラ111は1個ずつしか記載されていないが、実際には作業所106にはロボットアーム110とモニタ用カメラ111がそれぞれ複数台設置されることが多い。
管理サーバ112には、マシンビジョン用カメラ113や、図示しない検査用端末1001(図10参照)が接続されている。
マシンビジョン用カメラ113は、画像認識技術を用いて、撮影対象である物品109の状態が正常であるか異常であるかを判定し、物品109の情報と正常または異常の判定結果情報を管理サーバ112へ送信する。
検査用端末1001(図10参照)は、検査担当者が目視等で対象となる物品109の状態が正常であるか異常であるかを判定し、物品109の情報と正常または異常の判定結果情報を管理サーバ112へ送信する。
すなわち、マシンビジョン用カメラ113や検査用端末1001は、ロボットアーム110が実施した作業が正常に完遂されたのか、それとも失敗したのかを検出し、検出した結果を成果情報として管理サーバ112に送信するために設けられる。したがって、これらマシンビジョン用カメラ113及び検査用端末1001は、後述する教師信号の基となる情報を出力する、教師信号発生源となる。
操作者102が腕を動かすと、腕の筋肉が***したり、逆に***した筋肉が元に戻ることで、筋肉に物理的変動が生じる。筋肉センサ装置104は、腕の筋肉の物理的変動を電圧信号として検出し、デジタルの筋肉変位データに変換する。そして、筋肉変位データを近距離無線通信で端末装置103に送信する。端末装置103はインターネット105を通じて、筋肉変位データをGWサーバ107に送信する。GWサーバ107は、受信した筋肉変位データをロボットアーム110に転送する。ロボットアーム110は筋肉変位データを受信すると、筋肉変位データに応じた動作を遂行する。
すなわち、筋肉センサ装置104は、ロボットアーム110を操作するための操作情報を入力する、操作情報入力装置としての役割を果たしている。
モニタ用カメラ111は、ロボットアーム110の作業状況を撮影し、動画データあるいは静止画像データとしてGWサーバ107へ出力する。GWサーバ107は受信した動画データを端末装置103へ転送する。操作者102は動画データを端末装置103のディスプレイで見ることで、ロボットアーム110の動作をリアルタイムで把握し、ロボットアーム110を適切に制御することが可能になる。
すなわち、ロボットアーム110とモニタ用カメラ111は1対1の対応関係を有する。例えば、第一のロボットアームの近傍には第一のモニタ用カメラが設置されている。同様に、第二のロボットアームの近傍には第二のモニタ用カメラが設置されている。
このように作業所106には、ロボットアーム110と対になるモニタ用カメラ111が当該ロボットアーム110の近傍に設置され、ロボットアーム110の作業状況をリアルタイムで確認できるように構成されている。
一方、マシンビジョン用カメラ113や検査用端末1001は、必ずしもロボットアーム110との対応関係があるとは限らない。1個のマシンビジョン用カメラ113が、複数のロボットアーム110の作業結果を出力することがあり得る。特に、作業所106が宅配便業者における集配センターである場合は、不特定多数の物品109をマシンビジョン用カメラ113が検品して、その判定結果情報を管理サーバ112へ送信することもできる。
ロボットアーム110の作業内容としては、様々なものが想定される。ロボットアーム110の作業内容は、図1に示されるような、工場内のベルトコンベアによって運ばれた物品109を掴み取り、別の場所へ移動させる作業に限定されない。なお、物品109を掴み取る作業はピッキングと呼ばれる。
例えば、物品109の組立作業、選別作業、宅配便の集配センターにおいて、物品109を適切な配送先のトラックへ運搬する作業等は、作業所106における代表的な作業である。
更に、ロボットアーム110が適用可能とされる作業内容は、こういった作業所106における作業に留まらない。
家庭内の片付け等の家事や介護等の家庭内の作業、医療現場における外科手術、ネイルサロン等におけるネイリストによるネイルアートの施術、美容院における美容師によるヘアメイク、農場における農作業等、様々な作業にロボットを用いた遠隔操作システム101が適用可能である。
また、ロボットは作業環境を選ばないので、クリーンルームや汚染環境、極端な高温あるいは低温の環境等でも運用が可能である。
[筋肉センサ装置104:外観]
図2は、本発明の実施形態の例である筋肉センサ装置104の外観斜視図である。なお、図2から図6に渡って説明する筋肉センサ装置104は、非特許文献1に開示されているものであるが、開示される前に、本願の出願人によって特願2016−47583(以下「先願」)として出願されている。
筋肉センサ装置104はV字形状のバンド201を備える。このバンド201はシリコーンゴム等の柔軟性を有する樹脂シートで構成されている。バンド201の両翼部分は、水平線L205から等しい傾斜角度θ1及びθ2だけ傾斜した形状である。傾斜角度θ1及びθ2は例えば32°である。バンド201の表面側の中心部分には直方体形状の回路収納ボックス203が設けられている。回路収納ボックス203には、後述するワンチップマイコン(図6参照)や二次電池などが内蔵されている。
回路収納ボックス203の、一方の短辺側の側面には、第一シリアルインターフェース端子204が設けられている。第一シリアルインターフェース端子204は例えばmicroUSB用の端子である。筋肉センサ装置104はこの第一シリアルインターフェース端子204を通じて、内蔵する不図示の二次電池を充電する。また、第一シリアルインターフェース端子204をパソコン等に接続することで、ワンチップマイコンの構成要素であるファームウェアをアップデートする等の機能拡張が可能になる。
バンド201の回路収納ボックス203が取り付けられた面とは反対側の裏面(図2の下側の面)は、図3にて後述する電極配置面200aである。
筋肉センサ装置104は、後述する図4A及び図4Bの装着例で説明するように、バンド201の裏面である電極配置面200aを操作者102の前腕に巻き付けることで、操作者102に装着される。
図3は、電極配置面200aの平面図である。
電極配置面200aには、操作者102の前腕の筋肉に電気刺激信号を与えるための電極301〜308と、その電極301〜308とペアで使用される接地電極である電極311〜313,316,317とを備える。但し、接地電極は、対向する複数の電極に対して共通で使用されるため、電極301〜308と電極311〜313,316,317の数は一致しない。
加えて電極配置面200aは、操作者102の前腕の筋肉の動きを検出する筋変位センサ321〜328を備える。
電極配置面200aの右側(図中の左側)には右側電極配置箇所331が設けられており、右側電極配置箇所331には4個の電極301,302,311,312が配置されている。4個の電極301,302,311,312の内で、電極301は第一の電極であり、電極302は第二の電極である。また、電極311は電極301に対向する接地電極であり、電極312は電極302に対向する接地電極である。
電極301と電極311は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極302と電極312も前腕の筋肉に刺激を与える電極であり、周方向Hに対して傾斜角度θ2で、傾斜した状態で配置されたほぼ長方形の電極である。電極302と電極312とは、腕の長手方向Lに隣接して配置される。
電極配置面200aの中央には、中央電極配置箇所332が設けられており、中央電極配置箇所332には5個の電極303,304,305,308,313が配置される。5個の電極303,304,305,308,313の内で、電極303は第三の電極であり、電極304は第四の電極であり、電極305は第五の電極である。これら3個の電極303,304,305は、腕の長手方向に伸びて、腕の周方向にほぼ平行に並んで配置されている。
また、電極308は、腕の周方向に長く伸びた第八の電極である。電極313は、電極303,304,305,308に対向して共通に使用される接地電極である。
電極303と電極304と電極305とは、それぞれのチャンネルごとに前腕のそれぞれ別の筋肉に刺激を与える電極であり、接地電極として電極313が共通に使用される。3つの電極303,304,305は、腕の周方向Hに並んで配置され、この3つの電極303,304,305と長手方向Lに隣接して配置される共通の接地電極である電極313は、腕の周方向Hに長く伸びた長方形の電極である。
電極308は、電極313に隣接して、腕の周方向Hに長く伸びた長方形の電極である。電極313は、電極308の接地電位としても使用される。なお、電極308は予備に使用される電極であり、この電極308は腕の周方向Hに長く伸びているため、腕の複数の筋肉に同時に刺激を与えることができる。
電極配置面200aの左側部(図3中の右側)には左側電極配置箇所333が設けられており、左側電極配置箇所333には4個の電極306,307,316,317が配置される。4個の電極306,307,316,317の内で、電極306は第六の電極であり、電極307は第七の電極である。また、電極316は電極306に対向する接地電極であり、電極317は電極307に対向する接地電極である。
電極306と電極316は前腕の筋肉に刺激を与える電極であり、周方向Hに対して左側部の傾斜角度θ1と同じ角度θ1で、傾斜した状態で配置されたほぼ長方形の電極である。
電極307と電極317は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Lに隣接して配置される。
電極配置面200aの右側電極配置箇所331の近傍には、2個所に筋変位センサ321,322が配置されている。電極配置面200aの中央電極配置箇所332の近傍には、4個所に筋変位センサ323,324,325,326が配置されている。電極配置面200aの左側電極配置箇所333の近傍には、2個所に筋変位センサ327,328が配置されている。
8個の筋変位センサ321〜328は周知のフォトリフレクタである。これらの筋変位センサはそれぞれ赤外線発光素子321a〜328aと赤外線受光素子321b〜328b(図6参照)とで構成されており、筋変位センサ配置面から腕の筋肉の表面までの距離の変化を検出する。図6に示す赤外線発光素子321a〜328aは、例えば近赤外線LEDであり、赤外線受光素子321b〜328bは例えばフォトトランジスタである。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる***によって、フォトリフレクタと筋肉の表面部分との距離が変動する。フォトリフレクタはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の***状態を検出することに適している。
なお、電極配置面200aの右側電極配置箇所331、中央電極配置箇所332、左側電極配置箇所333を除く個所には、粘着性を有する樹脂材(不図示)が配置され、その樹脂材の粘着性で、電極配置面200aを前腕に巻き付けた状態にて装着できるように構成されている。
[筋肉センサ装置104の装着例]
図4Aは、筋肉センサ装置104を前腕に装着する直前の状態を示す図である。
図4Bは、筋肉センサ装置104を前腕に装着した直後の状態を示す図である。
図4Aに示すように、操作者102の右腕の前腕RAの手首寄りの個所に、バンド201の電極配置面200a(図3)の中央部分が触れた状態とする。このときには、図4Aに示すように手のひらが上側となった位置とする。また、ほぼV字形状をしたバンド201の中央にある回路収納ボックス203が、手のひら側を向くように配置する。
そして操作者102は、バンド201の両翼を、矢印F1と矢印F2で示すように手首に巻き付ける。
このようにして、図4Bに示すように、筋肉センサ装置104が前腕RAに巻き付いた状態で装着される。このときには、電極配置面200aに配置した粘着性を有する樹脂材の粘着性で、前腕RAに巻き付いた状態が維持される。
なお、樹脂材の粘着性だけで前腕RAに巻き付いた状態とするのは一例であり、例えばバンド201の両端に面ファスナー等の固定機構を設けて、両端が重なった状態で止まるように構成してもよい。
このように筋肉センサ装置104は、バンド201を前腕RAに巻き付けて装着するため、簡単に装着することができる。そして、バンド201がほぼV字形状をしているため、操作者102は装着方向が判りやすく、また覚えやすい。したがって、操作者102は、図4Bに示すように、決められた方向に確実に装着することができる。
なお、図4では操作者102の右腕に筋肉センサ装置104を装着する例を示したが、左腕に筋肉センサ装置104を装着するようにしてもよい。
[筋肉センサ装置104の使用形態]
図1を再度参照して、筋肉センサ装置104の使用形態を説明する。
筋肉センサ装置104は、Bluetooth(登録商標)等の近距離無線通信機能を有する。一方、端末装置103は、筋肉センサ装置104と同様の近距離無線通信機能を内蔵する端末装置103か、近距離無線通信機能を提供する周辺機器を接続することで、筋肉センサ装置104との近距離無線通信による双方向通信を確立することができる。図1中、端末装置103には近距離無線通信部508(図5参照)が内蔵されており、筋肉センサ装置104との間で双方向通信を確立する。
端末装置103には、所定のアプリケーションプログラムが稼働している。そして、このアプリケーションプログラムに対する操作者102の操作に応じて、端末装置103は筋肉センサ装置104に対し、操作者102の所定の筋肉へ電気刺激を与える命令を近距離無線通信にて送信する。筋肉センサ装置104は、端末装置103から受信した電気刺激の命令に基づき、操作者102の所望の筋肉へ電気刺激を与える。
また、筋肉センサ装置104は、図6に示した筋変位センサ321〜328にて操作者102の腕の筋肉の変位情報を受信し、これをデジタルデータとして端末装置103に送信する。端末装置103は、筋肉センサ装置104から送信される筋変位データを受信し、すると、GWサーバ107へ転送する。
筋肉センサ装置104は、端末装置103に対して、操作者102の腕の筋肉の変位情報を収集する入力装置として、及び腕の筋肉に変位を与える出力装置として機能する。また、筋肉センサ装置104は、端末装置103または端末装置103において稼働するアプリケーションプログラムに対する入出力端末であるということもできる。
但し、本発明の実施形態において、筋肉センサ装置104の機能のうち、筋肉に電気刺激を与えるための電極は使用しない。本発明の実施形態に係る遠隔操作システム101では、筋肉センサ装置104に装備されている筋変位センサの機能のみが使用される。
また、本実施形態の遠隔操作システム101では、図6に示した筋肉センサ装置104に限定されない。筋肉センサ装置104の電極及び電極の駆動回路を除去した新たな筋肉センサ装置を用いることもできる。
[端末装置103のハードウェア構成]
図5は、端末装置103のハードウェア構成を示すブロック図である。
前述のように一般的なパソコンよりなる端末装置103は、バス507に接続された、CPU501、ROM502、RAM503、不揮発性ストレージ504、表示部505、操作部506、近距離無線通信部508及びNIC(Network Interface Card)508を備える。近距離無線通信部508は、筋肉センサ装置104と近距離無線通信を行うためのハードウェアである。NIC509はインターネット105に接続され、GWサーバ107と通信を行うために設けられる。不揮発性ストレージ504には、OSと、パソコンを筋肉センサ装置104の端末装置103として動作させるためのアプリケーションプログラムが格納されている。
なお、端末装置103としては、スマートフォン等の携帯型無線端末も利用可能である。
[筋肉センサ装置104のハードウェア構成]
図6は、筋肉センサ装置104のハードウェア構成を示すブロック図である。
バス601に接続されているCPU602、ROM603、RAM604、A/D変換器605、そして第二シリアルインターフェース606(図6中「第二シリアルI/F」と略記)は、周知のワンチップマイコン607を構成する。
筋変位センサ321、322…328を構成する赤外線LEDである赤外線発光素子321a、322a…328aのアノードは電源電圧ノード+Vccに接続されている。赤外線発光素子321a、322a…328aのカソードは第一マルチプレクサ608を通じて電流制限抵抗R609の一端に接続されている。電流制限抵抗R609の他端は接地されている。
筋変位センサ321、322…328を構成するフォトトランジスタである赤外線受光素子321b、322b…328bのコレクタは電源電圧ノード+Vccに接続されている。赤外線受光素子321b、322b…328bのエミッタは第二マルチプレクサ610を通じてA/D変換器605に接続されていると共に、抵抗R611a、R611b、…R611hを通じて接地されている。
第一マルチプレクサ608及び第二マルチプレクサ610が、第二シリアルインターフェース606から制御信号を受けて、周期的に切り替え制御されることで、A/D変換器605には時分割で8個の筋変位センサ321、322…328の電圧信号が入力される。
この第一マルチプレクサ608及び第二マルチプレクサ610は、複数の筋変位センサ321、322…328のうちの1個を選択する。なお、第一マルチプレクサ608及び第二マルチプレクサ610を総称して、センサ用マルチプレクサと呼ぶことができる。
ワンチップマイコン607のバス601には周知の6軸センサ612と近距離無線通信部613も接続されており、6軸センサ612が出力する姿勢情報及び加速度情報は、A/D変換器605を通じて得られた8個の筋変位センサ321、322…328の情報と共に、近距離無線通信部613を通じて端末装置103へ送信される。
ワンチップマイコン607のバス601には更に、第一シリアルインターフェース614(図6中「第一シリアルI/F」と略記)が接続されている。なお、この第一シリアルインターフェース614は、不図示の蓄電池に電力を供給するため、及びROM603に格納されているファームウェアをアップデートする際に用いられる。
第二シリアルインターフェース606には更に、周知のチョークコイルとコンデンサとトランジスタスイッチよりなる昇圧回路615が接続されている。そして、第二シリアルインターフェース606から昇圧回路615に、例えば100kHzで、ほぼ電源電圧+Vccに等しい電圧の矩形波パルス信号が供給される。この矩形波パルス信号は、昇圧回路615内の不図示のトランジスタスイッチをオン・オフ制御する。
そして、昇圧回路615によって矩形波パルス信号の電圧は2倍に昇圧される。昇圧回路615が出力する電気刺激電圧は、PWMスイッチ616と第三マルチプレクサ617を通じて電極301、302…308に供給される。
第三マルチプレクサ617は、複数の電極301、302…308のうちの1個を選択する、電極用マルチプレクサということもできる。
PWMスイッチ616は第二シリアルインターフェース606によって制御され、昇圧回路615によって昇圧された電気刺激電圧にPWM変調を施す。電気刺激電圧は、PWM変調にてデューティ比が変化されるため、筋肉に与える電気刺激電圧が所望の電圧に変更される。第三マルチプレクサ617も第二シリアルインターフェース606を通じて制御され、端末装置103から近距離無線通信部613を通じて受信した命令に指定された電極を選択して、その電極にPWM変調された電気刺激電圧が印加される。
センサ用マルチプレクサを構成する第一マルチプレクサ608及び第二マルチプレクサ610と、電極用マルチプレクサを構成する第三マルチプレクサ617は、端末装置103の指示によってオン・オフ制御することができる。本発明の実施形態において、筋肉センサ装置104に備わっている機能のうち、筋肉に電気刺激を与える電極の機能は使用しないので、端末装置103の制御によって電極用マルチプレクサは常時オフとされる。
なお、筋肉センサ装置104を、筋肉に電気刺激を与える電極を持たない筋変位センサと6軸センサのみが装備される装置として構成してもよい。
[GWサーバ107及び管理サーバ112のハードウェア構成]
図7は、GWサーバ107のハードウェア構成を示すブロック図である。
GWサーバ107は、バス701に接続された、CPU702、ROM703、RAM704、不揮発性ストレージ705、現在日時情報を出力するRTC(RealTime Clock)706、第一NIC707及び第二NIC708を備える。
不揮発性ストレージ705には、ネットワークOSの他に、サーバをGWサーバ107として動作させるためのアプリケーションプログラムが格納されている。
GWサーバ107には、表示部709と操作部710は装備されていないことが多いが、一般的なパソコンをGWサーバ107に流用する場合もあるので、図7では表示部709と操作部710は破線で示している。
本発明の実施形態において、GWサーバ107はファイアウォールを兼用している。このためGWサーバ107には、インターネット105に接続される第一NIC707と、作業所106内のLANに接続される第二NIC708が設けられ、インターネット105と作業所106内のLANを物理的に隔離している。
もし、ファイアウォールとGWサーバ107を別体で構成する場合は、GWサーバ107に第二NIC708は不要になる。
また、管理サーバ112のハードウェア構成も、第二NIC708がない以外は、GWサーバ107と同一である。管理サーバ112の不揮発性ストレージにはネットワークOSと、サーバを管理サーバ112として動作させるためのアプリケーションプログラムが格納されている。
[GWサーバ107:ソフトウェア機能]
図8は、GWサーバ107のソフトウェア機能を示すブロック図である。
外部通信処理部801は、GWサーバ107と端末装置103との間でTCP通信路(TCP Connection)を確立する機能を有する。この、GWサーバ107と操作者102のパソコンとの間で使用される通信及び、GWサーバ107とロボットアーム110との間で使用される通信は、ロボットアーム110を制御する筋変位データを送受信することから、パケット再送機能を有するTCPが望ましい。但し、通信の品質が何らかの手段で保持できるのであれば、この通信にUDPを利用することを否定するものではない。
認証処理部802は、操作者マスタ803(後述)を参照して、操作者102の操作者認証を実施する。外部通信処理部801は、認証処理部802から操作者認証が正常に終了したことを受けて、GWサーバ107と端末装置103との間でTCP通信路を確立する。
労務要求処理部804は、内部通信処理部805を介して管理サーバ112へ、操作者102を一意に識別する操作者IDと共に当該操作者102が作業をしたい旨の情報を送信する。
内部通信処理部805は、管理サーバ112から送信された指示を受けて、管理サーバ112から指示されたロボットアーム110及びモニタ用カメラ111との間でTCP通信路を確立する機能を有する。
GW通信処理部806は、外部通信処理部801で端末装置103との間に確立したTCP通信路と、内部通信処理部805でロボットアーム110及びモニタ用カメラ111との間に確立したTCP通信路を接続し、相互のTCP通信路の間でデータの転送を実現する。
このGWサーバ107は、公知のL7スイッチ(Layer 7)に類似するアプリケーションゲートウェイの機能を有する。
端末装置103からGWサーバ107へ送信されたデータは、TCP/IPパケットの状態から一旦元のデータまで復元される。そして、元のデータはGWサーバ107からロボットアーム110に向けて、再度TCP/IPパケットに変換されて送信される。逆方向のデータの流れも同様である。すなわち、GWサーバ107は、端末装置103とロボットアーム110との間、及び端末装置103とモニタ用カメラ111との間の、通信の中継を行う。このため、端末装置103とGWサーバ107との間の通信のプロトコルと、GWサーバ107とロボットアーム110、GWサーバ107とモニタ用カメラ111との間の通信のプロトコルが異なっていても、問題なくデータの転送が実現できる。
例えば、端末装置103とGWサーバ107との間の通信がHTTPS(Hyper Text Transfer Protocol Secure)で、GWサーバ107とロボットアーム110、GWサーバ107とモニタ用カメラ111との間の通信のプロトコルがHTTP(Hyper Text Transfer Protocol)であってもよい。また、端末装置103とGWサーバ107との間の通信がIPv6で、GWサーバ107とロボットアーム110、GWサーバ107とモニタ用カメラ111との間の通信のプロトコルがIPv4であってもよい。
[遠隔操作システム101:タイムチャート]
図9は、遠隔操作システム101の通信処理を説明するタイムチャートである。
先ず、端末装置103はGWサーバ107に対し接続を試みる。GWサーバ107の認証処理部802は端末装置103の操作者に対する認証処理(以下「操作者認証」)を行う。認証処理部802は、正常に操作者認証が終了したら、外部通信処理部801に対し、端末装置103とのTCP通信路を確立させる(S901)。
次に、労務要求処理部804は、管理サーバ112に対し、端末装置103に属する操作者102の操作者IDと共に、労務の要求を送信する(S902)。
管理サーバ112は、GWサーバ107から労務要求を受信すると、当該操作者IDについて、作業あるいは労務カテゴリの成功率を推定する。そして更に、成功率が一定値以上の労務カテゴリを絞り込む等の処理を行い、当該操作者に最適な作業を決定する(S903)。
管理サーバ112はGWサーバ107に対し、操作者IDに最適な作業担当アーム番号を通知する(S904)。
GWサーバ107の労務要求処理部804は、管理サーバ112から操作者IDに最適な作業担当アーム番号を受信すると、内部通信処理部805を通じて、当該作業を担当するロボットアームと、これに伴うモニタ用カメラ111に対し、TCP通信路を確立する(S905)。
また、GWサーバ107のGW通信処理部806は、外部通信処理部801と内部通信処理部805とで同一操作者IDの通信が確立したことを検出すると、互いのTCP接続を接続し、就労作業を実行する(S906)。
ステップS906の就労作業として、GW通信処理部806は、端末装置103から外部通信処理部801を通じて受信した筋変位データを、内部通信処理部805に引き渡す。内部通信処理部805は、当該作業担当のロボットアームへ筋変位データを送信する。また、GW通信処理部806は、モニタ用カメラ111から内部通信処理部805を通じて受信した動画データを、外部通信処理部801に引き渡す。外部通信処理部801は、端末装置103へ動画データを送信する。
すなわち、このステップS906の時点でGWサーバ107は、公知のL7スイッチに類似するアプリケーションゲートウェイとして稼働する。
ステップS906において、操作者102が装着する筋肉センサ装置104の操作情報は、GWサーバ107を介してロボットアーム110に送信される。また、モニタ用カメラ111の動画ストリームデータは、GWサーバ107を介して端末装置103に送信される。
作業の終了は、操作者102の自己申告か、作業所106に設けられた所定のセンサ類で検出される。
作業の終了をGWサーバ107のGW通信処理部806が検出すると、GW通信処理部806は先ず、内部通信処理部805で確立していたTCP通信路を切断する(S907)。次に必要であれば、外部通信処理部801で確立していたTCP通信路を切断する(S908)。しかし、操作者102は継続して次の作業を希望することが多いので、その場合は端末装置103とのTCP通信路を切断することなく、ステップS902に戻って作業の要求から処理を繰り返す。
一方、作業が正常に成功して終了したか、それとも失敗したのかは、マシンビジョン用カメラ113や所定のセンサ類、あるいは管理者の肉眼で、成果物の状態を検出することにより行われる(S909)。そして、作業の成功または失敗の情報は、管理サーバ112に送信される。管理サーバ112は、ステップS909における成果物に関する報告を受けて、操作者IDが遂行した作業の成功失敗を判定する(S910)。判定した結果はログ記録され、更に判定結果に基づいた学習が実行される(S911)。
つまり、ステップS901において端末装置103とGWサーバ107の外部通信処理部801との間で確立したTCP通信路は、操作者102が作業の遂行を止めることがなければ、つまりステップS908でTCP通信路を閉じるまでは、切断されることなく維持される。この間、ステップS902からS907の処理が繰り返されることにより、
・ステップS905においてGWサーバ107がロボットアーム110との間でTCP通信路を確立し、
・ステップS906において操作者102がロボットアーム110を操作して、作業を遂行し、
・ステップS907においてGWサーバ107がロボットアーム110との間で確立したTCP通信路を閉じる
ことが繰り返される。
つまり、GWサーバ107がロボットアーム110との間で確立するTCP通信路が次々に切り替わる。
操作者102には、作業が終了すると次々に作業を遂行すべきロボットアーム110が接続されることとなる。
次に、管理サーバ112のソフトウェア機能について説明する。
これ以降、管理サーバ112のソフトウェア機能は、
・労務カテゴリを区別しない全体の成功率を計算する実施形態を第一の実施形態、
・労務カテゴリを区別して労務カテゴリ毎の成功率を計算する実施形態を第二の実施形態
に分けて説明する。
管理サーバ112は、教師あり学習アルゴリズムを利用して、操作者102の作業の成功率を学習し、推定する。
[第一の実施形態]
図10は、管理サーバ112のソフトウェア機能の内、学習フェーズにおける機能ブロック図である。
マシンビジョン用カメラ113や検査用端末1001から、労務の成功または失敗の情報が労務結果出力部1002へ送信される。
労務結果出力部1002は、労務の成功または失敗の情報と、労務端末マスタ1003、操作者マスタ803及び操作者リスト1004を参照して、操作者IDと労務の成功または失敗の情報を紐付ける。そして、RTC706が出力する現在日時情報と共に、ログテーブル1005に登録する。また、労務結果出力部1002は、ログテーブル1005に新規登録したレコードに係る操作者IDを学習データ生成部1006に与える。
学習データ生成部1006は、ログテーブル1005を読み込み、労務試行リスト1007を生成する。そして、労務試行リスト1007を参照して、学習データ生成部1006は、入力データ生成部1008において入力データを生成し、教師信号生成部1009において教師信号を生成する。
入力データと教師信号は学習処理部1010に入力される。学習処理部1010は例えばベイジアンネットワーク等の、教師あり学習アルゴリズムを実行する。
学習処理部1010は、学習結果を辞書データ1011に反映し、辞書データ1011を更新する。
図11は、管理サーバ112のソフトウェア機能の内、推定フェーズにおける機能ブロック図である。
端末装置103から送信され、GWサーバ107で受信された、労務を要求する操作者102の操作者IDは、推定データ生成部1101に入力される。
推定データ生成部1101は、ログテーブル1005を読み込み、操作者IDで絞り込み検索を行った上で、労務試行リスト1007を生成する。そして、労務試行リスト1007に基づき、入力データ生成部1008を通じて入力データを生成する。推定データ生成部1101は、図10に示した学習データ生成部1006のサブセットである。つまり、学習データ生成部1006から教師信号生成部1009を取り除いたものが推定データ生成部1101である。
推定データ生成部1101の入力データ生成部1008で生成された入力データは、学習済み推定器1102に入力される。学習済み推定器1102は教師あり学習アルゴリズムを用いて、辞書データ1011を参照し、操作者IDに係る操作者102の推定成功率を出力する。
推定成功率は、労務割当処理部1103に入力される。労務割当処理部1103は、先ず、推定成功率を所定の閾値と比較して、労務の成功または失敗を推定する。次に、労務割当処理部1103は、労務端末マスタ1003と、操作者マスタ803と、図示しない労務リストを参照して、労務者に労務を割り当て、操作者リスト1004を更新する。
なお、労務割当処理部1103は、操作端末1104を通じて管理者によるマニュアル操作によっても、労務割当処理が可能である。
図12は、図10及び図11に示したテーブル及びリストのフィールド構成を示す表である。
操作者マスタ803は、操作者IDフィールド、PWハッシュフィールド、操作者個人情報フィールドを有する。
操作者IDフィールドには、操作者102を一意に識別する操作者IDが格納される。
PWハッシュフィールドには、操作者102のパスワードのハッシュ値が格納される。
操作者個人情報フィールドには、操作者102の個人情報として、例えば氏名、性別、年齢、住所等が格納される。
労務端末マスタ1003は、労務端末番号フィールドと、モニタ用カメラ番号フィールドと、労務カテゴリ番号フィールドを有する。
労務端末番号フィールドには、ロボットアーム110等の労務端末を一意に識別する番号である労務端末番号が格納される。
モニタ用カメラ番号フィールドには、ロボットアーム110等の労務端末と1対1の関係で対応しているモニタ用カメラ111を一意に識別する番号であるモニタ用カメラ番号が格納される。
労務カテゴリ番号フィールドには、当該労務端末の労務カテゴリを示す労務カテゴリ番号が格納される。労務カテゴリとは、労務作業の種別を示す情報である。例えばピッキングの場合、ピッキングの対象となる物品の大きさや形状によって、ピッキングの難易度が変動する。そこで、類似する労務作業を一つの労務カテゴリに集約し、様々な労務作業を複数の労務カテゴリで分類する。多くの場合、労務カテゴリ番号と労務端末番号は、1対多の対応関係を有する。
労務端末とは、必ずしもロボットアーム110に限られない。無人フォークリフトや、無人搬送車等も労務端末に含まれる。すなわち労務端末とは、入力される操作情報に従って機械的動作を行う機械である。
ログテーブル1005は、操作者IDフィールド、労務端末番号フィールド、労務試行日時フィールド、及び労務試行結果フィールドを有する。
操作者IDフィールドは、操作者マスタ803の操作者IDフィールドと同じである。
労務端末番号フィールドは、労務端末マスタ1003の労務端末番号フィールドと同じである。
労務試行日時フィールドには、当該操作者IDの操作者102が当該労務端末番号の労務端末にて労務を試行した日時が格納される。
労務試行結果フィールドには、労務試行日時フィールドの日時にて当該操作者IDの操作者102が当該労務端末番号の労務端末にて労務を試行した結果、当該労務が成功したかまたは失敗したかを示すフラグ情報が格納される。
すなわちログテーブル1005は、ある日時に操作者102が労務端末を操作して所定の労務を遂行し、その結果成功した、あるいは失敗したことを示す情報が記録されるテーブルである。
操作者リスト1004は、操作者IDフィールド、労務端末番号フィールド、及び労務試行日時フィールドを有する。
操作者IDフィールドは、操作者マスタ803の操作者IDフィールドと同じである。
労務端末番号フィールドは、労務端末マスタ1003の労務端末番号フィールドと同じである。
労務試行日時フィールドは、ログテーブル1005の労務試行日時フィールドと同じである。
この操作者リスト1004は、現在作業中の操作者102の操作者IDと、当該操作者102が使用している労務端末を示すリストである。つまり、この操作者リスト1004に登録されている労務端末は、現在使用中であることを示す。
労務試行リスト1007は、操作者IDフィールド、現時点の労務総試行回数フィールド、現時点の労務総成功回数フィールド、過去の労務総成功回数フィールド、及び労務総試行カテゴリ数フィールドを有する。
操作者IDフィールドは、操作者マスタ803の操作者IDフィールドと同じである。
現時点の労務総試行回数フィールドには、現時点(t−1)における、当該操作者IDの操作者102が今まで施行した労務の総数が格納される。
現時点の労務総成功回数フィールドには、現時点(t−1)における、当該操作者IDの操作者102が今まで施行した労務の総成功回数が格納される。
過去の労務総成功回数フィールドには、過去(t−2)における、当該操作者IDの操作者102が今まで施行した労務の総成功回数が格納される。
労務総試行カテゴリ数フィールドには、現時点(t−1)における、当該操作者IDの操作者102が今まで施行した労務の総カテゴリ数が格納される。
これらフィールドの値は、ログテーブル1005を読み込み、当該操作者IDで絞り込み、総レコード数、総成功レコード数を計数することで得られる。
なお、これ以降、現時点をt−1、過去をt−2、未来をtと定義する。このt,t−1,t−2は、後述する学習データ生成部1006及び学習済み推定器1102における入力データと教師信号において、必要な情報である。
辞書データ1011は、操作者IDフィールド及び推定成功率フィールドを有する。
操作者IDフィールドは、操作者マスタ803の操作者IDフィールドと同じである。
推定成功率フィールドには、当該操作者102の推定成功率が格納される。
辞書データ1011は、学習データ生成部1006によって更新され、学習済み推定器1102によって使用される。
図13は、学習フェーズにおける、学習データ生成部1006と学習処理部1010を詳述する機能ブロック図である。図10の一部を拡大して、入力データ及び教師信号の詳細な内訳を明示したものである。
学習データ生成部1006は労務結果出力部1002から操作者IDを受け取る。そして、ログテーブル1005を読み込んで、操作者IDで絞り込み検索を行い、一旦、労務試行リスト1007を生成する。
教師信号生成部1009は、労務試行リスト1007を読み込み、現時点の労務総成功回数を現時点の労務総試行回数で除算して、現時点の労務総試行成功率(t−1)D1301を算出する。
次に、入力データ生成部1008は、労務試行リスト1007を読み込み、先ず、現時点の労務総試行回数(t−1)D1302を得る。
また、入力データ生成部1008は、過去の労務総成功回数を過去の労務総試行回数で除算して、過去の労務総試行成功率(t−2)D1303を算出する。なお、過去の労務総試行回数は、現時点の労務総試行回数から1を減算すればよい。
次に入力データ生成部1008は、現時点の労務総試行カテゴリ数(t−1)D1304を得る。
入力データ生成部1008は、入力データとして、現時点の労務総試行回数(t−1)D1302、過去の労務総試行成功率(t−2)D1303、現時点の労務総試行カテゴリ数(t−1)D1304を学習処理部1010に与える。
教師信号生成部1009は、教師信号として、現時点の労務総成功回数を現時点の労務総試行回数で除算して、現時点の労務総試行成功率(t−1)D1301を学習処理部1010に与える。
学習処理部1010はこれら入力データと教師信号を基に学習処理を実行して、辞書データ1011を更新する。
図14は、推定フェーズにおける、推定データ生成部1101と学習済み推定器1102を詳述する機能ブロック図である。図11の一部を拡大して、入力データの詳細な内訳を明示したものである。
推定データ生成部1101はログテーブル1005を読み込み、ログテーブル105の操作者IDで絞り込み検索を行った上で、一旦、労務試行リスト1007を生成する。
入力データ生成部1008は、労務試行リスト1007を読み込み、先ず、当該操作者IDで特定される操作者102の、未来の労務総試行回数(t)D1402を得る。未来の労務総試行回数(t)D1402とは、現時点の労務総試行回数(t−1)D1302に1を加算した値である。
次に入力データ生成部1008は、当該操作者102の現時点の労務総成功回数を現時点の労務総試行回数で除算して、現時点の労務総試行成功率(t−1)D1301を算出する。
次に入力データ生成部1008は、当該操作者102の未来の労務総試行カテゴリ数(t)D1404を得る。未来の労務総試行カテゴリ数(t)D1404とは、未来の労務カテゴリが当該操作者102にとって初めての労務カテゴリであれば、現時点の労務総試行回数(t−1)D1302に「1」を加算した値である。未来の労務カテゴリが当該操作者102にとって初めての労務カテゴリでないならば、現時点の労務総試行回数(t−1)D1302と等しい値になる。
入力データ生成部1008は、入力データとして、未来の労務総試行回数(t)D1402、現時点の労務総試行成功率(t−1)D1301、未来の労務総試行カテゴリ数(t)D1404を学習済み推定器1102に与える。
学習済み推定器1102は、入力データを読み込み、推定演算を実行して、入力データに対応する推定成功率を出力する。
[第二の実施形態]
図15は、本発明の第二の実施形態を表す遠隔操作システムを示し、特に管理サーバ112のソフトウェア機能の内、学習フェーズにおける機能ブロック図である。
図15の機能ブロック図と図10の機能ブロック図(第一の実施形態)の異なる点は、
・労務結果出力部1501は、学習データ生成部1502に対し、操作者IDに加え、当該操作者102が遂行した労務の労務カテゴリを出力すること、
・学習データ生成部1502に相関係数行列1503が入力されること、
・ログテーブル1005を読み込み、相関係数行列1503を更新する相関係数更新処理部1504が設けられていること、
・学習データ生成部1502、労務試行リスト1505、入力データ生成部1506、教師信号生成部1507、学習処理部1508及び辞書データ1509は、労務カテゴリを考慮した処理が行われること
である。
その他の機能ブロック及び大まかな処理の流れは図10と同じなので説明を省略し、入力データや教師信号等のデータの内訳や処理の詳細は、図18にて後述する。
図16は、管理サーバ112のソフトウェア機能の内、推定フェーズにおける機能ブロック図である。
図16の機能ブロック図と図11の機能ブロック図(第一の実施形態)の異なる点は、
・推定データ生成部1601に相関係数行列1503が入力されること、
・学習済み推定器1602は、図11の学習済み推定器1102とは異なり、ある操作者102について全ての労務カテゴリにおける推定成功率を出力すること、
・労務割当処理部1603は、図11の労務割当処理部1103とは異なり、ある操作者102について全ての労務カテゴリにおける推定成功率に対する、成功率閾値との比較結果を得ること、
・更に労務割当処理部1603は、図11の労務割当処理部1103とは異なり、ある操作者102について成功率閾値以上を満たす労務カテゴリにおける推定成功率を考慮して、労務割当を決定すること、
である。
その他の機能ブロック及び大まかな処理の流れは図11と同じなので説明を省略し、入力データ等のデータの内訳や処理の詳細は、図21にて後述する。
図17は、ある操作者102における労務カテゴリ毎の推定成功率の一例を示す棒グラフである。
学習済み推定器1602は、ある操作者102について、この図17に示すように、労務カテゴリ毎に異なる推定成功率を算出する。
図17に示すある操作者102の推定成功率は、労務カテゴリ#1、労務カテゴリ#2及び労務カテゴリ#3において、成功率閾値V1701を越えている。そして、労務カテゴリ#4及び労務カテゴリ#5において、成功率閾値V1701を下回っている。
労務割当処理部1603は、これら推定成功率に対し、成功率閾値V1701と比較して、成功率閾値V1701に満たない労務カテゴリを、当該操作者102に対する労務割当対象から外す。図17では、労務カテゴリ#4及び労務カテゴリ#5が成功率閾値V1701に満たないので、これらを当該操作者102に割り当てる労務カテゴリから除外する。
次に労務割当処理部1603は、幾つかのルールに基づいて、当該操作者102に労務を割り当てる。
(1)先ず、推定成功率が成功率閾値V1701以上の労務カテゴリが複数個ある場合、最も推定成功率が低い労務カテゴリを優先する。
図17の場合、労務カテゴリ#1、労務カテゴリ#2及び労務カテゴリ#3のうち、労務カテゴリ#3の推定成功率が最も低い。そこで、このルールでは労務カテゴリ#3を選択する。
すなわち、例えば、第一の労務カテゴリの推定成功率が成功率閾値V1701以上であり、第二の労務カテゴリの推定成功率が成功率閾値V1701に満たない場合、第二の労務カテゴリは労務割当処理部1603によって選択から外され、第一の労務カテゴリが選択される。
(2)次に、優先したい労務カテゴリに作業待ち労務がない場合、次に推定成功率が低い労務カテゴリを優先する。上述(1)の場合において、労務カテゴリ#1、労務カテゴリ#2及び労務カテゴリ#3のうち、労務カテゴリ#3の次に労務カテゴリ#2の推定成功率が低い。そこで、仮に、労務カテゴリ#3に作業待ち労務がない場合には、このルールでは労務カテゴリ#2を選択する。
(3)しかし、作業待ち労務が多く滞留している労務が存在する場合、他の操作者102の作業状況を考慮して、作業待ち労務の滞留を解消するために、当該労務カテゴリを割り当てる場合がある。
特に(3)の判断は、操作端末1104を通じて管理者がその都度判定して、労務を操作者102に割り当てることがある。
図17の場合、もし、労務カテゴリ#1の労務が多く滞留している場合、管理者は、労務カテゴリ#2及び労務カテゴリ#3より優先して労務カテゴリ#1の労務を多くの人員(操作者102)を割いて遂行するようにする。そして、操作端末1104を通じて労務カテゴリ#1を優先的に操作者102に割り当てる。
図18は、学習フェーズにおける、学習データ生成部1502と学習処理部1010を詳述する機能ブロック図である。図15の一部を拡大したものである。
図18の機能ブロック図と図13の機能ブロック図(第一の実施形態)の異なる点は、
・教師信号が、現時点の労務総試行成功率(t−1)D1301から、目的労務カテゴリにおける現時点の労務総試行成功率(t−1)D1801に代わっていること、
・入力データ生成部1506に、相関係数行列1503が読み込まれること、
・入力データの、現時点の労務総試行回数(t−1)D1302から、目的労務カテゴリにおける現時点の労務総試行回数(t−1)D1802に代わっていること、
・入力データの、過去の労務総試行成功率(t−2)D1303から、目的労務カテゴリにおける過去の労務総試行成功率(t−2)D1803に代わっていること、
・入力データに、現時点のΣKi*Si(t−1)D1804という、相関係数Kと他の目的労務カテゴリの成功率Sとの乗算総和が追加されていること
である。
各機能ブロックの動作の詳細は、次の図19の説明の後に記す。
図19は、辞書データ1509のフィールド構成を示す表である。
図19に示す辞書データ1509の、第一実施形態における図12に示す辞書データ1011との相違点は、労務カテゴリ#1の推定成功率フィールド、労務カテゴリ#2の推定成功率フィールド、労務カテゴリ#3の推定成功率フィールド、…労務カテゴリ#nの推定成功率フィールドというように、当該操作者102の、労務カテゴリ毎の推定成功率が格納されるフィールドが設けられている点である。
図20Aは、労務試行リスト1505のフィールド構成を示す表である。
図12に示した労務試行リスト1007と異なる点は、
・労務カテゴリ毎に、
(1)現時点における当該労務カテゴリの労務総試行回数フィールド、
(2)現時点における当該労務カテゴリの労務総成功回数フィールド、
(3)過去における当該労務カテゴリの労務総成功回数フィールド
が設けられていること
である。
これらのフィールドに含まれる情報は、ログテーブル1005を読み込み、労務カテゴリ毎に当該操作者IDで絞り込み検索を行い、検索にヒットした全てのレコード数、全ての成功レコード数を計数することで得られる。
図20Bは、相関係数行列1503の一例を示す図である。相関係数行列1503の縦と横は労務カテゴリで構成される。したがって、相関係数行列1503は労務カテゴリ数nのn次正方行列である。
本発明の第二の実施形態において、成功率の相関係数は、異なる労務カテゴリ間における成功率の推定に役立つ。未経験の労務カテゴリであっても、熟練者で、類似した労務カテゴリを高い確率で成功していれば、当該未経験の労務カテゴリを成功させることが期待できる。
図20Cは、ある操作者102の、カテゴリ毎の成功率の行列Sの一例を示す図である。行列Sの要素数は労務カテゴリ数nと等しい。
改めて図18に記す、学習フェーズにおける、学習データ生成部1502と学習処理部1508の動作の流れを説明する。
学習データ生成部1502は労務結果出力部1501から操作者IDを受け取り、ログテーブル1005を読み込み、操作者IDで絞り込み検索を行った上で、当該操作者102が実施した作業の労務カテゴリを特定すると共に、一旦、労務試行リスト1505を生成する。学習データ生成部1502が特定した労務カテゴリが、目的労務カテゴリになる。
教師信号生成部1507は、労務試行リスト1505を読み込み、目的労務カテゴリにおける現時点の労務総成功回数を現時点の労務総試行回数で除算して、目的労務カテゴリにおける現時点の労務総試行成功率(t−1)D1801を算出する。
入力データ生成部1506は、労務試行リスト1505を読み込み、先ず、目的労務カテゴリにおける現時点の労務総試行回数(t−1)D1802を得る。
次に入力データ生成部1506は、目的労務カテゴリにおける過去の労務総成功回数を過去の労務総試行回数で除算して、目的労務カテゴリにおける過去の労務総試行成功率(t−2)D1803を算出する。
次に入力データ生成部1506は、現時点の労務総試行カテゴリ数(t−1)D1304を得る。
更に入力データ生成部1506は、相関係数行列1503とログテーブル1005を読み込み、相関係数と他の目的労務カテゴリの成功率との乗算総和(現時点のΣKi*Si(t−1)D1804)を計算する。この、現時点のΣKi*Si(t−1)D1804は、相関係数行列1503(図20B参照)と目的労務カテゴリの成功率行列(図20C参照)の内積である。
入力データ生成部1506は、学習処理部1508に対し、入力データとして、目的労務カテゴリにおける現時点の労務総試行回数(t−1)D1802、目的労務カテゴリにおける過去の労務総試行成功率(t−2)D1803、現時点の労務総試行カテゴリ数(t−1)D1304、相関係数と他の目的労務カテゴリの成功率との乗算総和(現時点のΣKi*Si(t−1)D1804)を与える。
教師信号生成部1507は、学習処理部1508に対し、教師信号として、目的労務カテゴリにおける現時点の労務試行成功率(t−1)を与える。
学習処理部1508はこれら入力データと教師信号を基に学習処理を実行して、辞書データ1509を更新する。
図21は、推定フェーズにおける、推定データ生成部1601と学習済み推定器1602を詳述する機能ブロック図である。図16の一部を拡大したものである。
図21の、図14との相違点は、
・入力データ生成部1506に、相関係数行列1503が読み込まれること、
・入力データの、未来の労務総試行回数から、目的労務カテゴリにおける未来の労務総試行回数D2101に代わっていること、
・入力データの、現時点の労務総試行成功率(t−1)D1301から、目的労務カテゴリにおける現時点の労務総試行成功率(t−1)D1801に代わっていること、
・入力データに、未来のΣKi*Si(t)D2102という、相関係数と他の目的労務カテゴリの成功率との乗算総和が追加されていること、
・推定データ生成部1601は、目的労務カテゴリを#1から#nまで順に切り替えて学習済み推定器1602に与え、推定対象となる操作者102について全ての労務カテゴリにおける推定成功率を算出すること
である。
推定データ生成部1601は、ログテーブル1005を読み込み、操作者IDと目的労務カテゴリで絞り込み検索を行った上で、一旦、労務試行リスト1505を生成する。
入力データ生成部1506は、労務試行リスト1505を読み込み、先ず、当該操作者IDで特定される操作者102の、ある目的労務カテゴリにおける未来の労務総試行回数D2101を得る。
次に入力データ生成部1506は、当該操作者102の目的労務カテゴリにおける現時点の労務総成功回数を現時点の労務総試行回数で除算して、目的労務カテゴリにおける現時点の労務総試行成功率(t−1)D1801を算出する。
次に入力データ生成部1506は、当該操作者102の未来の労務総試行カテゴリ数(t)D1404を得る。
更に入力データ生成部1506は、相関係数行列1503とログテーブル1005を読み込み、相関係数と他の目的労務カテゴリの成功率との乗算総和(未来のΣKi*Si(t)D2102)を計算する。
入力データ生成部1506は、学習済み推定器1602に対し、入力データとして、目的労務カテゴリにおける未来の労務総試行回数D2101、目的労務カテゴリにおける現時点の労務総試行成功率(t−1)D1801、未来の労務総試行カテゴリ数(t)D1404、相関係数と他の目的労務カテゴリの成功率との乗算総和(未来のΣKi*Si(t)D2102)を与える。
学習済み推定器1602は、入力データに対応する推定成功率を出力する。
図21に示す推定データ生成部1601と学習済み推定器1602は、当該操作者102について、全ての労務カテゴリについて推定成功率を算出し、出力する。すなわち、推定データ生成部1601は、目的労務カテゴリを#1から#nまで順に切り替えて入力データを学習済み推定器1602に与え、学習済み推定器1602は推定対象となる操作者102について全ての労務カテゴリにおける推定成功率を算出する。
以上に説明した本発明の実施形態(第一及び第二の実施形態)は、更に、以下の様な変形例が可能である。
(1)上述の実施形態に係る遠隔操作システム101では、筋肉センサ装置104を使用したが、操作情報入力装置は筋肉センサ装置104に限定されない。コンピュータゲームに使用されるゲームパッドやステアリングコントローラ、あるいはパソコン等で一般的なASCII配列キーボードやテンキー等も、ロボットアーム110や無人フォークリフト、無人搬送車等の労務端末を遠隔操作するための操作情報を入力する、操作情報入力装置として利用可能である。
(2)上述の実施形態に係る遠隔操作システム101では、管理サーバ112の労務割当処理部1603は、管理者の操作端末1104から発される指示のみを受け付けていた。しかし、労務の滞留状態が低く、かつ、操作者102の能力に余裕がある場合等の状況によっては、操作者102の端末に成功率閾値V1701を超えた複数の労務カテゴリを一覧表示させて、操作者102に対して労務の選択を自由に行うことができるように構成してもよい。この時、GWサーバ107は管理サーバ112との接続を操作者102の端末装置103と接続する。そして、管理サーバ112は端末装置103に対して労務選択メニュー画面を表示させる。
(3)図17に示した成功率閾値V1701は、労務カテゴリ毎に異なる値を設定することが考えられる。例えば、物流センター等のピッキングにおいて、扱う物品が高価なものである場合は、失敗によって生じる損害賠償額を考慮して、成功率閾値V1701を他の労務カテゴリよりも高い値を設定することが好ましい。
本実施形態においては、遠隔操作システム101を開示した。
学習データ生成部1502は、教師あり学習アルゴリズムを用いて辞書データ1509(操作者102の推定成功率)を更新する。学習済み推定器1602は、辞書データ1509を参照して、労務カテゴリ毎の推定成功率を計算する。
管理サーバ112は、算出した推定成功率に基づいて、操作者102に対し、適切な労務の割当を行う。労務の割当は、管理サーバ112からGWサーバ107に発行される指示に基づいて、GWサーバ107が労務端末とのTCP通信路を切り替えることで実現する。
本実施形態に係る遠隔操作システム101は、これまで重労働とされていた作業や、作業拠点が遠隔地になることが多い農業等の在宅勤務を可能にする。特に、本実施形態に係る遠隔操作システム101にて筋肉センサ装置104を利用することにより、障害者の就労機会を大きく拡大することが可能になる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
101…遠隔操作システム、102…操作者、103…端末装置、104…筋肉センサ装置、105…インターネット、106…作業所、107…GWサーバ、108…作業場、109…物品、110…ロボットアーム、111…モニタ用カメラ、112…管理サーバ、113…マシンビジョン用カメラ、201…バンド、203…回路収納ボックス、204…第一シリアルインターフェース端子、301、302、303、304、305、306、307、308、311、312、313、316、317…電極、321…筋変位センサ、321a、321b…赤外線受光素子、323…筋変位センサ、327…筋変位センサ、331…右側電極配置箇所、332…中央電極配置箇所、333…左側電極配置箇所、501…CPU、502…ROM、503…RAM、504…不揮発性ストレージ、505…表示部、506…操作部、507…バス、508…近距離無線通信部、509…NIC、601…バス、602…CPU、603…ROM、604…RAM、605…A/D変換器、606…第二シリアルインターフェース、607…ワンチップマイコン、608…第一マルチプレクサ、610…第二マルチプレクサ、612…6軸センサ、613…近距離無線通信部、614…第一シリアルインターフェース、615…昇圧回路、616…PWMスイッチ、617…第三マルチプレクサ、701…バス、702…CPU、703…ROM、704…RAM、705…不揮発性ストレージ、706…RTC、707…第一NIC、708…第二NIC、709…表示部、710…操作部、801…外部通信処理部、802…認証処理部、803…操作者マスタ、804…労務要求処理部、805…内部通信処理部、806…GW通信処理部、1001…検査用端末、1002…労務結果出力部、1003…労務端末マスタ、1004…操作者リスト、1005…ログテーブル、1006…学習データ生成部、1007…労務試行リスト、1008…入力データ生成部、1009…教師信号生成部、1010…学習処理部、1011…辞書データ、1101…推定データ生成部、1102…学習済み推定器、1103…労務割当処理部、1104…操作端末、1501…労務結果出力部、1502…学習データ生成部、1503…相関係数行列、1504…相関係数更新処理部、1505…労務試行リスト、1506…入力データ生成部、1507…教師信号生成部、1508…学習処理部、1509…辞書データ、1601…推定データ生成部、1602…学習済み推定器、1603…労務割当処理部

Claims (12)

  1. 入力される操作情報に従って機械的動作を行う複数の労務端末と、
    前記労務端末と1対1の対応関係を有し、前記労務端末の動作状態を画像データとして出力する複数のモニタ用カメラと、
    操作者の操作あるいは動作に起因して前記労務端末を動作させるための前記操作情報を生成する操作情報入力装置と、
    前記操作情報入力装置が生成する前記操作情報を前記労務端末へ送信する端末装置と、
    前記端末装置とネットワークを通じて接続され、前記端末装置に対して通信の中継を行うことで、複数の前記労務端末及び前記モニタ用カメラとを選択的に接続するゲートウェイサーバと、
    前記ゲートウェイサーバに、前記端末装置に対応する複数の前記労務端末及び前記モニタ用カメラとの接続の選択を指示する管理サーバと
    を具備する、遠隔操作システム。
  2. 更に、
    前記操作者が前記労務端末を遠隔操作して所定の作業を遂行した結果、前記作業が成功したかあるいは失敗したかを示す成果情報を生成して、前記管理サーバに送信する、教師信号発生源と、を具備し、
    前記管理サーバは、前記成果情報に基づいて前記操作者の推定成功率を計算し、前記推定成功率を所定の成功率閾値と比較して、前記推定成功率が前記成功率閾値以上である場合に、前記操作者に作業を割り当てるように、前記ゲートウェイサーバに対し、前記端末装置と、前記労務端末及び前記モニタ用カメラとの通信の中継を行う指示を行う、
    請求項1に記載の遠隔操作システム。
  3. 前記管理サーバは、
    教師あり学習アルゴリズムを用いて操作者の推定成功率を計算して辞書データを更新する学習処理部と、
    前記操作者が労務を遂行した情報が記録されているログテーブルに基づいて、前記学習処理部に供給するための入力データを生成する入力データ生成部と、
    前記ログテーブルに基づいて、前記学習処理部に供給するための教師信号を生成する教師信号生成部と、
    前記入力データ生成部から、前記入力データの供給を受けて、前記辞書データを参照して、前記操作者の推定成功率を計算して出力する学習済み推定器と、
    前記推定成功率に基づいて前記操作者に適切な労務を割り当てる労務割当処理部と
    を具備する、請求項1または2に記載の遠隔操作システム。
  4. 前記ログテーブルは、
    操作者を一意に識別する操作者IDが格納される操作者IDフィールドと、
    入力される操作情報に従って機械的動作を行う複数の労務端末を一意に識別する労務端末番号が格納される労務端末番号フィールドと、
    前記操作者が労務を試行した日時が格納される労務試行日時フィールドと、
    前記操作者が労務を試行した結果が格納される労務試行結果フィールドと
    を有する、
    請求項3に記載の遠隔操作システム。
  5. 前記入力データ生成部は、前記ログテーブルに基づいて、前記操作者の現時点の労務総試行回数と、過去の労務総試行成功率と、現時点の労務総試行カテゴリ数とを計算して、前記学習処理部に供給し、
    前記教師信号生成部は、前記操作者の現時点の労務総試行成功率を計算して、前記学習処理部に供給し、
    前記学習済み推定器は、前記入力データ生成部から、前記操作者の未来の労務総試行回数と、現時点の労務総試行成功率と、未来の労務総試行カテゴリ数の供給を受けて、前記辞書データを参照して、前記操作者の推定成功率を計算して出力する、
    請求項4に記載の遠隔操作システム。
  6. 複数の前記労務端末は、労務作業の種別を示す情報である労務カテゴリ毎に分類されており、
    前記管理サーバは、前記成果情報に基づいて前記操作者の前記労務カテゴリ毎の推定成功率を計算し、前記労務カテゴリ毎の推定成功率を所定の成功率閾値と比較して、第一の労務カテゴリの推定成功率が成功率閾値以上であり、第二の労務カテゴリの推定成功率が成功率閾値に満たない場合、前記操作者に第二の労務カテゴリを選択せず、第一の労務カテゴリの作業を割り当てるべく、前記ゲートウェイサーバに対し、前記端末装置と、前記労務端末及び前記モニタ用カメラとの通信の中継を行う指示を行う、
    請求項2に記載の遠隔操作システム。
  7. 前記管理サーバは、
    教師あり学習アルゴリズムを用いて操作者の推定成功率を計算して辞書データを更新する学習処理部と、
    前記操作者が労務を遂行した情報が記録されているログテーブルに基づいて、前記学習処理部に供給するための入力データを生成する入力データ生成部と、
    前記ログテーブルに基づいて、前記学習処理部に供給するための教師信号を生成する教師信号生成部と、
    前記入力データ生成部から、前記入力データの供給を受けて、前記辞書データを参照して、前記操作者の推定成功率を計算して出力する学習済み推定器と、
    前記推定成功率に基づいて前記操作者に適切な労務を割り当てる労務割当処理部と
    を具備する、請求項6に記載の遠隔操作システム。
  8. 前記ログテーブルは、
    操作者を一意に識別する操作者IDが格納される操作者IDフィールドと、
    入力される操作情報に従って機械的動作を行う複数の労務端末を一意に識別する労務端末番号が格納される労務端末番号フィールドと、
    前記操作者が労務を試行した日時が格納される労務試行日時フィールドと、
    前記操作者が労務を試行した結果が格納される労務試行結果フィールドと
    を有する、請求項7に記載の遠隔操作システム。
  9. 前記入力データ生成部は、前記ログテーブルと前記労務カテゴリ同士の相関係数よりなる相関係数行列とに基づいて、前記操作者の目的労務カテゴリにおける現時点の労務総試行回数と、目的労務カテゴリにおける過去の労務総試行成功率と、現時点の労務総試行カテゴリ数と、現時点の相関係数と他の目的労務カテゴリの成功率との乗算総和を計算して、前記学習処理部に供給し、
    前記教師信号生成部は、前記ログテーブルに基づいて、前記操作者の目的労務カテゴリにおける現時点の労務総試行成功率を計算して、前記学習処理部に供給し、
    前記学習済み推定器は、前記入力データ生成部から、前記操作者の目的労務カテゴリにおける未来の労務総試行回数と、目的労務カテゴリにおける現時点の労務総試行成功率と、未来の労務総試行カテゴリ数の供給を受けて、前記辞書データを参照して、前記操作者の全ての労務カテゴリにおける推定成功率を計算して出力する、
    請求項8に記載の遠隔操作システム。
  10. 教師あり学習アルゴリズムを用いて操作者の推定成功率を計算して辞書データを更新する学習処理部と、
    操作者を一意に識別する操作者IDが格納される操作者IDフィールドと、入力される操作情報に従って機械的動作を行う複数の労務端末を一意に識別する労務端末番号が格納される労務端末番号フィールドと、前記操作者が労務を試行した日時が格納される労務試行日時フィールドと、前記操作者が労務を試行した結果が格納される労務試行結果フィールドとを有するログテーブルに基づいて、前記学習処理部に供給するための入力データを生成する入力データ生成部と、
    前記ログテーブルに基づいて、前記学習処理部に供給するための教師信号を生成する教師信号生成部と、
    前記入力データ生成部から、前記入力データの供給を受けて、前記辞書データを参照して、前記操作者の推定成功率を計算して出力する学習済み推定器と、
    前記推定成功率に基づいて前記操作者に適切な労務を割り当てる労務割当処理部と
    を具備する、管理サーバ。
  11. 前記入力データ生成部は、前記ログテーブルに基づいて、前記操作者の現時点の労務総試行回数と、過去の労務総試行成功率と、現時点の労務総試行カテゴリ数とを計算して、前記学習処理部に供給し、
    前記教師信号生成部は、前記操作者の現時点の労務総試行成功率を計算して、前記学習処理部に供給する、
    請求項10に記載の管理サーバ。
  12. 複数の前記労務端末は、労務作業の種別を示す情報である労務カテゴリ毎に分類されており、
    前記入力データ生成部は、前記ログテーブルと前記労務カテゴリ同士の相関係数よりなる相関係数行列とに基づいて、前記操作者の目的労務カテゴリにおける現時点の労務総試行回数と、目的労務カテゴリにおける過去の労務総試行成功率と、現時点の労務総試行カテゴリ数と、現時点の相関係数と他の目的労務カテゴリの成功率との乗算総和を計算して、前記学習処理部に供給し、
    前記教師信号生成部は、前記ログテーブルに基づいて、前記操作者の目的労務カテゴリにおける現時点の労務総試行成功率を計算して、前記学習処理部に供給し、
    前記学習済み推定器は、前記入力データ生成部から、前記操作者の目的労務カテゴリにおける未来の労務総試行回数と、目的労務カテゴリにおける現時点の労務総試行成功率と、未来の労務総試行カテゴリ数の供給を受けて、前記辞書データを参照して、前記操作者の全ての労務カテゴリにおける推定成功率を計算して出力する、
    請求項10に記載の管理サーバ。
JP2017151738A 2017-08-04 2017-08-04 遠隔操作システム及び管理サーバ Active JP6760654B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017151738A JP6760654B2 (ja) 2017-08-04 2017-08-04 遠隔操作システム及び管理サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017151738A JP6760654B2 (ja) 2017-08-04 2017-08-04 遠隔操作システム及び管理サーバ

Publications (2)

Publication Number Publication Date
JP2019032589A true JP2019032589A (ja) 2019-02-28
JP6760654B2 JP6760654B2 (ja) 2020-09-23

Family

ID=65524301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017151738A Active JP6760654B2 (ja) 2017-08-04 2017-08-04 遠隔操作システム及び管理サーバ

Country Status (1)

Country Link
JP (1) JP6760654B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123978A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 学習装置、学習システムおよび学習方法
JP2022126658A (ja) * 2019-08-01 2022-08-30 オムロン株式会社 作物の栽培管理のための装置、システム、方法、およびプログラム
WO2023053520A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143147A (ja) * 1991-11-22 1993-06-11 Toshiba Corp ロボツト遠隔分散配置操作システム
JPH1190872A (ja) * 1997-09-11 1999-04-06 Agency Of Ind Science & Technol 遠隔操作装置
JP2007164756A (ja) * 2005-11-16 2007-06-28 Sharp Corp ネジ締め作業者配置システム、ネジ締め作業者配置方法、ネジ締め作業者配置プログラムおよびネジ締め作業者配置プログラムを格納した記録媒体
JP2014191377A (ja) * 2013-03-26 2014-10-06 Hitachi Systems Ltd 作業担当者割当方法および作業担当者割当システム
JP2014228983A (ja) * 2013-05-21 2014-12-08 株式会社日立製作所 作業管理装置、作業管理方法及びコンピュータプログラム
JP2017064831A (ja) * 2015-09-29 2017-04-06 日立Geニュークリア・エナジー株式会社 遠隔作業支援システム及び遠隔作業支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143147A (ja) * 1991-11-22 1993-06-11 Toshiba Corp ロボツト遠隔分散配置操作システム
JPH1190872A (ja) * 1997-09-11 1999-04-06 Agency Of Ind Science & Technol 遠隔操作装置
JP2007164756A (ja) * 2005-11-16 2007-06-28 Sharp Corp ネジ締め作業者配置システム、ネジ締め作業者配置方法、ネジ締め作業者配置プログラムおよびネジ締め作業者配置プログラムを格納した記録媒体
JP2014191377A (ja) * 2013-03-26 2014-10-06 Hitachi Systems Ltd 作業担当者割当方法および作業担当者割当システム
JP2014228983A (ja) * 2013-05-21 2014-12-08 株式会社日立製作所 作業管理装置、作業管理方法及びコンピュータプログラム
JP2017064831A (ja) * 2015-09-29 2017-04-06 日立Geニュークリア・エナジー株式会社 遠隔作業支援システム及び遠隔作業支援方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022126658A (ja) * 2019-08-01 2022-08-30 オムロン株式会社 作物の栽培管理のための装置、システム、方法、およびプログラム
JP7505520B2 (ja) 2019-08-01 2024-06-25 オムロン株式会社 作物の栽培管理のための装置、システム、方法、およびプログラム
WO2022123978A1 (ja) * 2020-12-08 2022-06-16 ソニーグループ株式会社 学習装置、学習システムおよび学習方法
WO2023053520A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP6760654B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
US10076425B2 (en) Control of limb device
US10491380B2 (en) Firmware of modular assembly system
JP6760654B2 (ja) 遠隔操作システム及び管理サーバ
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
EP3424108B1 (en) Modular assembly toy system
Lin et al. Shared autonomous interface for reducing physical effort in robot teleoperation via human motion mapping
Benavidez et al. Design of a home multi-robot system for the elderly and disabled
Ying et al. Grasping with your brain: a brain-computer interface for fast grasp selection
CN113840697A (zh) 控制装置、控制***、机械装置***以及控制方法
US20180268280A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
Valiton et al. Perception-action coupling in usage of telepresence cameras
Chu et al. Multisensory fusion, haptic, and visual feedback teleoperation system under IoT framework
Galambos et al. Vibrotactile force feedback for telemanipulation: Concept and applications
Weisz et al. A user interface for assistive grasping
Lin et al. How people use active telepresence cameras in tele-manipulation
Lin et al. The impacts of unreliable autonomy in Human-Robot collaboration on shared and supervisory control for remote manipulation
Weisz et al. Single muscle site semg interface for assistive grasping
Zhu et al. Evaluating shifted body representation and modified body schema using extra robotic thumb
CN112512759A (zh) 中介装置及使用该中介装置的中介方法
US20230278201A1 (en) Robots, tele-operation systems, computer program products, and methods of operating the same
Yang et al. Proportional and reachable cluster teleoperation of a distributed multi-robot system
Preti et al. Sensorized objects used to quantitatively study distal grasping in the African elephant
CN115963927A (zh) 一种vr互动穿戴设备、控制方法及装置
Bull Robotic Grasp Control using Tactile Feedback
CN115237247A (zh) 一种用于远程操作的人机交互方法和***

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200831

R150 Certificate of patent or registration of utility model

Ref document number: 6760654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250