JP7505520B2 - 作物の栽培管理のための装置、システム、方法、およびプログラム - Google Patents

Description

本発明は、ロボットに生じた作物の栽培に関して操作者の判断を仰ぐべき事象を操作者に割り当てるための技術に関する。

近年の情報技術の進展に伴い、ロボットが周囲の状況を判断して自律的に処理を行えるようになっている。しかしながら、ロボットはあらゆる状況に対応できるようには自動化されていないため、ロボットが対応できないような例外的な状況に陥った場合には、人間がこの例外事象に対処しなければならない。

ロボットは遠隔操作可能であることから、遠隔地にいるいずれかの操作者に遠隔操作によって例外事象に対処するよう依頼することが考えられる。このように例外事象に対して遠隔操作によって対応する技術として特許文献１，２が挙げられる。

特許文献１は、サーバが、遠隔操作してもらうことを希望するタスクを公開し、遠隔操作者からの入札に応じて当該タスクを依頼する遠隔操作者を決定することを開示する。しかしながら、この手法では、遠隔操作者からの入札がなければタスクが実行されないため、即応性に欠けるという問題がある。

特許文献２に開示される自律走行ロボットは、障害物が検出されたときに遠隔操作を促す信号を出力し、遠隔操作によって障害物を回避するように構成される。この自律走行ロボットは、過去に障害物を回避したときの操作情報を記憶しておき、新たに障害物を回避する必要があるときに参照可能に構成される。特許文献２では、自律走行ロボットと遠隔操作者があらかじめ対応づけられていることが想定されている。ロボットと遠隔操作者が１対１に対応させた場合は、多数の遠隔操作者が必要となるという問題がある。また一人の遠隔操作者が複数のロボットに対応づけられる場合は、遠隔操作が必要な事象が複数のロボットに同時に発生したときに対処できないという問題がある。

国際公開第２００８／１４００１１号 特開２０１３－２０６２３７号公報

本発明は、ロボットにおいて発生した作物の栽培に関して操作者の判断を仰ぐべき事象に対処できるようにすることを目的とする。

上記目的を達成するために、本発明は以下の構成を採用する。

具体的には、本発明の第一態様は、操作者が有する操作端末の接続状態を管理する操作端末接続部と、ロボットから状態情報を受信する状態受付部と、前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択する情報制御部と、前記選択された操作者の操作端末に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信する送信部と、を備えるタスク配信装置である。

本開示において、ロボットとは、何らかの動作を自律的に実行可能な任意の装置が含まれる。典型的には、ロボットは、センサとアクチュエータを含み、センサから得られる情報に基づいてアクチュエータを自律的に制御するように構成された装置である。ロボットは、自律移動可能なモバイルロボットであってもよいし、自律移動不可能な固定型ロボットであってもよい。

ロボットの状態情報とは、少なくとも、ロボットの現在の状態が把握可能な情報であってよい。ロボットの状態情報の例として、ロボットが備えるセンサから得られるセンサ情報、センサ情報に基づいてロボットが解析した解析結果が含まれる。なお、ロボットの状態情報の全てがタスク配信装置に送信される必要はなく、少なくともロボットに例外事象が発生していると判断可能な状態情報が送信されればよい。また、ロボットから状態情報を受信するということは、ロボットから状態情報を受信することと、その他の装置を介して受信することの両方を含む。

例外事象とは、ロボットが自動で処理を行えない、または、行うことが適切ではないと判断される事象である。あるいは、例外事象とは、人間による操作または確認が必要な事象と捉えることができる。例外事象は、状態情報に含まれていてもよいし、状態情報からタスク配信装置によって判断されてもよい。

操作端末接続部が行う操作端末の接続状態の管理には、複数の操作端末のオンライン状態を確立することと、オンライン状態を監視することが含まれてもよい。なお、オンライン状態というのは、タスク配信装置からの通知に対して操作端末が即座に応答可能な状態を含む。

情報制御部は、ロボットに例外事象が発生していると判断される場合に、この例外事象に対処するための操作者を選択する。例外事象が発生しているか否かは、状態情報の内容から判断可能である。ただし、例外事象が発生した場合のみに状態情報がタスク配信装置に通知される実施形態では、情報制御部は、状態情報を受信すれば、その内容を参照することなく、例外事象が発生していると判断可能である。情報制御部は、例えば、オンライン状態である操作端末に関連付けられた操作者を、受信した例外事象に対処するための操作者として選択してもよい。情報制御部は、さらに、他のロボットの例外事象に対処中ではないという条件を満たす操作者を選択するとよい。ただし、対処可能な操作者がいない場合にはこの限りではない。

本態様は、上記のような構成を有するので、例外事象に対して迅速に対応可能な操作者を選択できる。言い換えると、ロボットに例外事象が発生したときに、この例外事象に迅速に対応することが可能となる。

本態様にかかるタスク配信装置は、操作者のスキルを記憶する操作者情報記憶部をさらに有してもよい。また、情報制御部は、ロボットの種類および例外状態の少なくとも一方に合致するスキルを有する操作者を選択してもよい。

このような構成によれば、発生した例外事象に対して適切な操作者を選択することができる。

本態様にかかるタスク配信装置は、前記操作端末から前記ロボットに対する操作指令を受信する受信部と、前記操作指令を前記ロボットに対して出力する出力部と、前記ロボットの状態と前記操作者からの操作内容とを関連付けて記憶する対応記憶部と、さらに有してもよい。

本態様において、前記受信手段は、前記ロボットの例外事象に対する対処結果を前記操作端末から受信し、前記対応記憶部は、前記対処結果を、前記ロボットの例外事象および前記操作者と関連付けて記憶してもよい。対処結果の内容は特に限定されず、例えば、例外事象が解決したかあるいは解決していないかを表すものであってもよいし、他のオペレータによる現場での確認を求めるものであってもよい。

本態様において、前記情報制御部は、前記対応情報記憶部を参照して前記操作者のスキルを評価し、前記操作者情報記憶部を更新してもよい。

本態様において、前記操作者情報記憶部は、前記操作者の利用費用を記憶しており、前記情報制御部は、前記対応記憶部を参照して前記操作者の対応履歴に応じて支払うべき報酬を決定してもよい。

本態様において、前記情報制御部は、前記ロボットの例外事象を分類し、例外事象の種類に応じた操作者を、前記例外事象に対処するための操作者として選択してもよい。例えば、例外事象の種類ごとに、対応する操作者、あるいは操作者のグループをあらかじめ定めておいてもよい。このようにすれば、同じ種類の例外事象が特定の操作者によって対処されることになるので、これらの操作者は、当該種類の例外事象に対する習熟度が増す。

本態様において、前記送信部は、前記操作者からの要求に応じて、前記ロボットが設置されている現場にいる管理者の操作端末に、前記ロボットの状態情報を送信してもよい。このようにすれば、ロボットの作業現場での処理が必要であると操作者が判断した場合に、現場の管理者が確認を行える。

本態様において、状態情報には、ロボットに搭載されたカメラによって撮影された画像と、ロボットに備えられたセンサから得られるセンサ情報の解析結果が含まれてもよい。これらの情報を操作者が参照することで、例外事象への対処が容易になる。

本発明の第二の態様は、ロボットと、前記ロボットを遠隔操作するための操作端末と、上述のタスク配信装置と、を備えるタスク配信システムである。

本態様において、前記操作端末は、前記ロボットの例外事象への対処要求を受信すると、当該状態情報と前記ロボットを操作するためのグラフィカルユーザーインターフェース（ＧＵＩ）とを表示部に表示するように構成されてもよい。

本態様において、ロボットは、固定型ロボットであってもよいし、モバイルロボットであってもよい。モバイルロボットは、移動装置と、センサと、カメラとを有し、自律移動可能なモバイルロボットであってもよい。モバイルロボットの上にアーム型ロボットを搭載したロボットであってもよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有するタスク配信装置またはタスク配信システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、タスク配信方法や、当該方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、ロボットにおいて発生した作物の栽培管理に関して操作者の判断を仰ぐべき事象に対処できる。

図１は、実施形態に係るタスク配信システムの構成例を示す図である。 図２は、実施形態においてタスク配信サーバが行う処理を示すフローチャートである。 図３は、実施形態においてタスク配信サーバが行う処理を示すフローチャートである。 図４は、実施形態において情報制御部が行う処理を説明する図である。 図５は、実施例１における操作者情報ＤＢの例を示す図である。 図６は、実施例１における対応情報ＤＢの例を示す図である。 図７は、実施例１におけるロボットが撮影する画像の例を示す図である。 図８は、実施例１におけるロボットが撮影する画像の例を示す図である。 図９は、実施例１における例外事象への対処結果を説明する図である。 図１０は、実施例２に係るロボットの構成例を示す図である。 図１１Ａ，図１１Ｂは、実施例２におけるロボットが撮影する画像の例を示す図である。 図１２は、実施例２における操作情報ＤＢの例を示す図である。 図１３は、実施例２における対応情報ＤＢの例を示す図である。 図１４は、実施例２における操作者端末に表示されるロボットの遠隔操作用のグラフィカルユーザーインターフェースを示す図である。

＜適用例＞
図１は、本発明が適用されたタスク配信システムの構成例を示すブロック図である。タスク配信システムは、タスク配信サーバ（タスク配信装置）１、操作端末２、固定型ロボット３ａやモバイルロボット３ｂのようなロボットを含んで構成される。以下、固定型ロボット３ａとモバイルロボット３ｂを区別する必要がないときは、単にロボット３と称することもある。タスク配信サーバ１と操作端末２は、インターネットのような広域ネットワークを介して接続され、操作者はロボット３の作業位置から離れた遠隔地に所在する。

本システムにおいて、タスク配信サーバ１（以下、単にサーバ１とも称する）は、ロボット３に例外事象が発生したときに、この例外事象に対応するための操作者を選択して、選択された操作者に例外事象への対処タスクを配信する。なお、サーバ１は、操作者ごとに、ロボット３の種類あるいは例外事象の種類ごとの対処スキルを情報として保持し、例外事象が発生したロボット３あるいはその例外事象に対処するスキルを有する操作者を選択するように構成されてもよい。

操作者は操作端末２を用いて、ロボット３の操作を行って例外事象に対処する。なお、ロボット３に対する操作指示はサーバ１を介してロボット３に送信され、サーバ１は操作内容の履歴を格納可能である。

［構成］
サーバ１は、ＣＰＵ１１、メモリ１２、ストレージ１３、ネットワークインタフェース（不図示）等を備えるコンピュータである。ストレージ１３に格納されたプログラムをＣＰＵ１１がメモリ１２にロードして実行することにより、サーバ１は以下の機能を提供する。すなわち、サーバ１は、状態受付部１０１、情報制御部１０２、送信部１０３、操作端末接続部１０４、受信部１０５、出力部１０６、操作者情報ＤＢ１０７、対応情報ＤＢ１０８をその機能部として有する。ＤＢとはデータベースを意味する。

状態受付部１０１は、固定型ロボット３ａやモバイルロボット３ｂから状態情報を受信
する。なお、状態受付部１０１は、固定型ロボット３ａからはロボットコントローラ５ａを介して状態情報を受信し、モバイルロボット３ｂからは無線通信装置６を介して状態情報を受信する。状態情報は、ロボット３に例外事象が発生したときのみロボット３からサーバ１に送信されてもよいし、例外事象の発生有無にかかわらずロボット３からサーバ１に送信されてもよい。

情報制御部１０２は、ロボット３に例外事象が発生した際の当該例外事象に対処する操作者の選択、操作端末からの操作内容（対応履歴）の保存、操作者のスキル評価、操作者への報酬決定などの処理を行う。詳細は以下で説明する。

送信部１０３は、ロボット３の例外事象への対処要求、およびロボット３の状態情報を操作端末２へ送信する。

操作端末接続部１０４は、操作端末２とのあいだの接続の確立を行い、操作端末２のオンライン状態の監視を行う。ここでは、オンライン状態とは、操作端末２がサーバ１と即座に通信を行ってロボット３に操作指令を送信できる状態を意味する。また、オンライン状態とは、サーバ１と操作端末２のあいだの接続状態を意味するだけでなく、操作者が要求に対して即座に対応できることを意味してもよい。したがって、操作端末接続部１０４は、例えば、操作者による入力を表す情報を操作端末２から受信せず、操作者が即座に対応可能であるか不明な場合に、問い合わせを行ってもよい。なお、オンライン状態は、操作端末２へのプッシュ通知により接続を確立するものであってもよい。また、操作端末接続部１０４は、操作端末２のオンライン状態だけでなく、操作端末２がいずれかのロボット３の例外状態に対処中であるか否か、言い換えると、新たにロボット３の例外事象に対応可能であるか否かも管理する。操作端末２の状態に関する情報は、例えば、メモリ１２に格納される。

受信部１０５は、操作者が操作端末２に入力してサーバ１に送信した情報を受信する。操作端末２から送信される情報には、ロボット３に対する操作指令や、例外事象への対処結果が含まれる。ロボット３への操作指令は、出力部１０６を介してロボット３に送信されるとともに、対応情報ＤＢ１０８に対応履歴として保存される。また、例外事象への対処結果も、対応情報ＤＢに対応履歴として保存される。

操作者情報ＤＢ１０７は、操作者に関する情報を記憶する。対応情報ＤＢ１０８は、例外事象に対する対応履歴の内容を記憶する。これらのデータベースについては、図５，図６を参照して、以下で説明する。

出力部１０６は、操作端末２から入力されたロボット３の操作指令をロボット３に送信する。なお、固定型ロボット３ａへの操作指令はロボットコントローラ５ａに送信され、ロボットコントローラ５ａがこの操作指令の内容に従ってロボット３ａを制御する。モバイルロボット３ｂへの操作指令は無線通信装置６を介してモバイルロボット３ｂ内のロボットコントローラ５ｂに送信され、ロボットコントローラ５ｂがこの操作指令の内容に従ってモバイルロボット３ｂを制御する。以下、ロボットコントローラ５ａとロボットコントローラ５ｂを区別する必要がないときは、単にコントローラ５と称することもある。

操作端末２は、サーバ１と通信可能であり、固定型ロボット３ａおよびモバイルロボット３ｂを遠隔操作することが可能な任意のコンピュータである。操作端末２として、デスクトップＰＣ、ラップトップ型ＰＣ、タブレット端末、スマートフォン端末が例示できる。操作端末２は、ロボットを遠隔操作するための、専用のティーチングペンダントであってもよい。操作端末２は、ロボット３の種類に応じて異なる種類の操作用ＧＵＩをユーザに提供する。このＧＵＩは、操作端末２自身が生成したものであってもよいし、サーバ１
やその他の装置から提供されるものであってもよい。操作者は、操作端末２のＧＵＩを介して、ロボット３の状態情報を把握可能である。この状態情報には、ロボット３のセンサから得られるセンサ情報、当該センサ情報の解析結果、ロボット３が有するカメラによって撮影された画像が含まれる。操作端末２は、処理が必要な状態の情報をサーバ１から受信し、これを画面に表示して、操作者に操作を促す。操作者は、操作端末２のＧＵＩを介して、ロボット３に対する操作指令、およびロボット３に対する操作の結果を、入力・送信可能である。入力情報は、操作端末２からサーバ１の受信部１０５に送信される。

ロボット３は、何らかの動作を自律的に実行可能な装置である。固定型ロボット３ａは、アクチュエータとセンサを有しており、センサから得られる情報に従ってアクチュエータを制御することにより、処理を実行する。固定型ロボット３ａの制御内容は、ロボットコントローラ５によって決定される。固定型ロボット３ａの例として、ＦＡ用ロボット、ＮＣ工作機械、成形機、プレス機、飼育動植物への自動給餌装置、栽培植物への自動潅水施肥装置が挙げられるが、これらの例に限定はされない。

モバイルロボット３ｂは、アクチュエータとセンサに加えて、移動装置、ロボットコントローラ５ｂを搭載しており、自律的に移動可能であり、移動先で何らかの動作を実行する装置である。モバイルロボット３ｂの例として、運搬ロボット、掃除ロボット、給仕ロボット、警備ロボット、アーム型ロボットと組み合わせたロボットなどが挙げられるが、これらの例に限定されない。

固定型ロボット３ａ、モバイルロボット３ｂのいずれも、センサとしてカメラ（撮像手段）を有することも好ましい。カメラは、可視光カメラ、赤外カメラ、３次元カメラなど任意のカメラであってよい。

ロボットコントローラ５は、ロボット３のセンサから得られる情報に基づいて、あらかじめ定義されたプログラムに従ってロボット３を制御する。なお、ロボットコントローラ５は、オンライン学習により、制御内容を動的に変更可能に構成されてもよい。

ロボットコントローラ５は、ロボット３において自動で処理を行えない、または、自動で処理を行うことが適切ではない事象が発生しているかを判断可能に構成される。このような事象を、本開示では、例外事象と称する。例外事象の例として、ロボットコントローラ５からロボット３へ送信する操作指示とロボット３から返信される操作結果とが不一致であり、ロボット３が操作指示通りに動作していない事象が挙げられる。また、例外事象の例として、人間による確認が必要な事象の発生が挙げられる。このような事象として、ロボット３の異常な温度上昇や、異音の発生、操作対象物の異常が挙げられる。

［データベース］
操作者情報ＤＢ１０７は、操作者に関する情報を記憶する。例えば、図５に示すように、操作者情報ＤＢ１０７は、操作者ＩＤ５０１、操作端末情報５０２、スキル情報５０３、時給５０４、および作業時間履歴５０５が格納される。これらは例示に過ぎず、操作者情報ＤＢ１０７はこれら全ての情報を記憶しなくてもよいし、その他の情報を記憶してもよい。

操作者ＩＤ５０１は、操作者をシステム内で一意に特定するための識別子である。操作者は、この操作者ＩＤと不図示のパスワードを用いてシステムにログインし、オンライン状態を保つ。操作端末情報５０２は、オンライン状態を保つ操作端末２に関する情報であり、サーバ１から操作端末２を特定して接続するために必要な情報、例えば、ＩＰアドレスや、ＭＡＣアドレスを含む。操作端末情報５０２は、ＰＣやスマートフォン端末のような操作端末２自体の特性を示す情報、操作端末に接続された特殊なユーザインタフェース
（ＵＩ）の情報を含み、これらの情報はタスクのマッチングに用いられる。特殊ＵＩは、例えば、エンドエフェクタの指の部分を操作するために手に装着するセンサなどである。

スキル情報５０３は、スキル保有情報５０３ａ、スキル評価５０３ｂを含む。図に示す、スキル１、スキル２、・・・スキルＮは、タスク配信システムに接続されたロボット３に関するスキルであり、これらをまとめてスキル情報５０３と呼ぶ。操作者がスキルＮに対して操作できるスキルを持っていれば、スキル保有情報５０３ａにはＹＥＳが登録され、そうでなければＮＯが登録されている。また、操作者がスキルＮを有している場合、その評価がスキル評価５０３ｂとして登録される。スキル評価５０３ｂは、スキルＮに対する経験回数、応答の速さ、システム内の評価者（管理者）による評価などにより値が決められる。例えば、１から１０の値を設定でき、１０が最高ランクとして設定できる。また、操作者の例外事象への対応結果に基づいて、サーバ１が操作者のスキル評価自動的に更新してもよい。

時給５０４は、操作者が有するスキル等に設定される時間あたりの報酬である。雇用者の立場からは、時給５０４は操作者の利用費用を表す。ここでは、時給の単位をポイントとしているが、これは操作者の居住地域の最低賃金（あるいはその他の賃金レベル）に合わせて報酬計算をできるようにするためである。作業時間履歴５０５は、操作者が働いた時間の累計を記録する。作業時間履歴５０５は、日ごと、週ごと、月ごとなどで操作者が働いた時間を集計でき、報酬計算に利用できる。

対応情報ＤＢ１０８は、例外事象に対する対応履歴の内容を記憶する。対応情報ＤＢ１０８には、例外事象ごとに、ロボット３の状態と操作者からの操作内容とが関連付けて記憶される。例えば、図６に示すように、対応情報ＤＢ１０８は、例外事象の発生時刻６０１、例外事象が発生したロボットＩＤ６０２、状態情報６０３、操作情報６０４、操作結果６０５、操作者ＩＤ６０６、対応時間６０７が格納される。これらは例示に過ぎず、操作者情報ＤＢ１０７はこれら全ての情報を記憶しなくてもよいし、その他の情報を記憶してもよい。

例外事象の発生時刻６０１は、ロボット３に例外事象が発生し、ロボットコントローラ５からサーバ１（状態受付部１０１）が例外事象の状態情報を受け付けた時間を表す。ロボットＩＤ６０２は、例外事象が発生したロボット３をシステム内で一意に特定するための識別子である。

状態情報６０３は、ロボット３から送られてくる例外状態およびステータスなどの情報である。操作情報６０４は、送られてきた状態情報を元に、操作者が例外状態を通常状態に戻すために、ロボット３に与える操作を指示する情報である。状態情報６０３および操作情報６０４については、実施例の説明の際に詳しく説明する。

操作結果６０５は、操作情報によってロボット３が操作された結果を記録するための情報である。操作者ＩＤ６０６は、例外事象に対処した操作者を一意に特定するための識別子である。対応時間６０７は、例外状態を通常状態に戻すために要した時間を表す。通常状態に戻せなかった場合には、遠隔操作だけでは解決不可能であると操作者が判断するまでの時間を表す。

［処理］
図２，図３は、タスク配信システムにおいてサーバ１が行う処理を示したフローチャートである。

ステップＳ１０１において、サーバ１の受信部１０５が操作端末２から接続要求を受け
付けると、ステップＳ１０２において、操作端末接続部１０４が操作端末２の接続管理、すなわち、接続の確立とオンライン状態の監視を行う。また、操作端末接続部１０４は、操作端末２がいずれかのロボット３の例外事象に対処中であるか否かも管理する。操作端末接続部１０４による接続管理は、ステップＳ１０２以降も操作端末２が接続を切断するまで継続する。

ステップＳ１０３において、状態受付部１０１は、ロボット３（固定型ロボット３ａまたはモバイルロボット３ｂ）から状態情報を受信する。ここでは、ロボット３からサーバ１への状態情報の送信は例外事象が発生したときのみに行うことを想定しているので、状態情報を受信した場合にはロボット３に例外事象が発生していると自動的に判断できる。ただし、ロボット３は例外事象の有無にかかわらず状態情報をサーバ１に送信するように構成されてもよく、この場合は、情報制御部１０２が状態情報を参照してロボット３に例外事象が発生しているか判断して、例外事象が発生していると判断される場合にステップＳ１０４以降の処理を実行するようにしてもよい。

ステップＳ１０４において、情報制御部１０２は、例外事象への対処タスクと操作者とのマッチング、すなわち、例外事象に対処する操作者の選択を行う。具体的には、情報制御部１０２は、利用可能な操作者の中から、操作者のスキルと例外事象とを考慮して、対処タスクを割り当てる操作者を選択する。図４に示すように、情報制御部１０２は、状態受付部１０１が受け取った状態情報に含まれるロボット３の種類（タイプ）および状態（不具合の状態）と、操作者情報ＤＢ１０７に含まれる情報を比較して、適切な操作者を抽出する。タスクがマッチングされる（割り当てられる）操作者の条件として、まず、オンライン状態であることが挙げられる。他の条件として、例外事象が発生しているロボット種類に対する対処スキル、または例外事象の種類に対する対処スキルが、要求される水準であるという条件も挙げられる。また、他のタスクを実行中でないという条件も採用するとよい。ただし、例外事象に対処可能な操作者の全てが他のタスクを実行中である場合には、他のタスクを実行中の操作者がマッチングされてもよい。さらに、操作者に対する報酬を考慮してマッチングする操作者が決定されてもよい。例えば、情報制御部１０２は、スキルが要求水準以上であるという条件を満たし、かつ、スキルと報酬に基づいて決定されるスコアが最も高い操作者を、マッチングする操作者として決定してもよい。ここで、スコアは、必要なスキルが高いほど高く、報酬が低いほど高く決定することが想定される。

なお、情報制御部１０２は、ロボットの例外事象をいくつかの種類に分類し、例外事象の種類に応じて特定の操作者に各例外事象を割り当てるようにしてもよい。ここで、例外事象に応じた特定の操作者は典型的には複数の操作者である、情報制御部１０２は例外種類に応じた同一グループ内の操作者に例外事象を割り当てることが好ましい。ただし、ある種類の例外事象が特定の一人の操作者に割り当てられることを除外するものではない。

ステップＳ１０５において、情報制御部１０２は、ステップＳ１０４にて選択された操作者の操作端末２を特定し、特定された操作端末２に対して例外処理への対処要求およびロボット３の状態情報とを送信する。図４に示すように、情報制御部１０２は、操作者情報ＤＢ１０７を参照して、選択された操作者の操作端末情報を取得する。操作端末情報は、操作端末２と通信を行うための情報であり、例えば、ＩＰアドレスやＭＡＣアドレスである。操作端末情報には端末種別情報が含まれていてもよい。情報制御部１０２は、状態受付部１０１を介してロボット３から受信した状態情報と、操作端末情報とを、送信情報として送信部１０３に渡す。送信部１０３は、操作端末情報によって特定される操作端末２に対して、状態情報およびタスク実行依頼とを送信する。

操作端末２は、例外事象への対処タスクおよびロボット３の状態情報を受信すると、こ
のロボット３を操作するためのＧＵＩを表示部に表示する。このＧＵＩでは、ロボット３の状態情報の確認、ロボット３に対する操作情報（操作指令）の入力、対処結果の入力、などが行える。ロボット３に対する操作情報は、ロボット３をリアルタイム制御で遠隔操作するための指令であってもよいし、一連の手順の処理を行わせる指令であってもよい。操作端末２に入力されたロボット３への操作情報は、操作端末２からサーバ１に送信されて、受信部１０５によって受信される。

ステップＳ１０６において、受信部１０５は、操作端末２から情報を受信する。受信部１０５が受信する受信情報には、操作端末情報および操作情報が含まれる。

ステップＳ１０７において、情報制御部１０２は、受信情報から操作情報を抽出し、出力部１０６から当該操作情報を対象のロボット３に送信する。これにより、ロボット３に対して、操作者が指示した動作を行わせることができる。

なお、図２，３のフローチャートでは示していないが、操作端末２からの操作指令等によってロボット３の状態が更新された場合、ロボット３の状態情報がロボット３から直接またはサーバ１を介して操作端末２に送信されてもよい。このようにすれば、操作者はロボット３の最新の状態を把握可能となる。

操作者からの操作指令に従ってロボット３が動作をした後、操作者はその操作の結果を評価して、操作端末２に入力してサーバ１に送信する。操作結果の例として、例外事象への対処が完了したか否か、管理者による現場での事後確認が必要か否か、が挙げられる。なお、対処完了には、正常状態に復帰した場合と、対処が不要である（異常ではない）と判断した場合が含まれる。なお、操作者からの操作指令に従ってロボット３が通常の動作に戻った状態情報を状態受付部１０１が受信することによって、例外事象への対処が完了したとしてもよい。この場合、タスク配信サーバ１が操作結果を操作端末２に送信する。

ステップＳ１０８において、受信部１０５が、操作端末２から操作結果を受信する。

ステップＳ１０９において、情報制御部１０２は、ロボット３から受信した状態情報と、操作端末２から受信した操作情報および操作結果を関連付けて、対応情報ＤＢ１０８に格納する。これにより、ロボット３がどのような状態の時に、操作者がどのような操作を行ったかを履歴として残せる。また、情報制御部１０２は、操作者による例外事象への対処タスクの開始から修了までに要した時間を、対応情報ＤＢ１０８に格納してもよい。これにより、操作者の作業時間を把握可能になり、操作者の報酬計算や、操作者のスキル評価に利用できる。なお、作業時間や報酬などの情報は、操作者情報ＤＢ１０７に格納してもよい。

ステップＳ１１０では、情報制御部１０２は、例外事象への対処が完了したか否かを判断する。この判断は、操作端末２から送信される操作結果情報に基づいて行えばよい。対処が未完了である場合（Ｓ１１０－ＮＯ）には、ステップＳ１０５に戻って、操作者からの指示に基づくロボット３の操作を行う。なお、ここでは前回と同一の操作者に対して対処を依頼しているが、ステップＳ１０４に戻って対処する操作者の再選択を行ってもよい。この場合、必要に応じて、前回の操作者を候補から除外して、別の操作者を選択するようにしてもよい。また、対処が完了している場合（Ｓ１１０－ＹＥＳ）には、処理はステップＳ１１１に進む。

ステップＳ１１１では、情報制御部１０２が、対応情報ＤＢ１０８に格納されている対応履歴および結果に基づいて操作者のスキルを評価し、操作者情報ＤＢ１０７に格納されているスキルを更新する。スキルの評価には、例外事象への対処結果、対処の内容、対処
に要した時間などが考慮される。

ステップＳ１１２では、情報制御部１０２は、操作者情報ＤＢ１０７に格納されている操作者の時間あたりの報酬と、例外事象の対処に要した時間とに基づいて、操作者に支払うべき報酬額を決定する。

なお、ここでは、例外事象への対処を行うたびに、スキル評価（Ｓ１１１）および報酬計算（Ｓ１１２）を行っているが、これらの処理は適当なタイミングで別途行われても構わない。

また、上記の例において、ロボット３に例外事象が発生した場合に、操作者がロボット３に対して何らかの操作を行うように説明したが、実際には操作者はロボット３に対する操作を行わなくてもよい。例えば、ロボット３に例外事象が発生した場合であっても、操作者がロボット３の状態を確認して実際には異常が発生していないと確認できる場合もある。このような場合には、操作者は、ロボット３に対する操作指令を送信することなく、対処不要という旨を操作端末２からサーバ１に送信してもよい。

［有利な効果］
本実施形態によれば、ロボット３で発生した例外事象を、遠隔地にいる操作者に対処してもらうことができる。ここで、タスク配信サーバ１は、操作端末２との接続管理を行っており、即座に対応可能な操作者を選択してタスク配信をするので、迅速な例外対応が可能である。また、操作者のスキルを考慮して、ロボットの種類や例外事象の種類に応じて適切な操作者を選択してタスク配信するので、適切な例外対応が可能である。

操作者を工場等のロボットの作業位置に待機させる必要がなく、操作者は遠隔地から複数の場所のロボットを操作できる。したがって、本システムを導入すれば、ロボットの例外処理に対応する人員を自社工場に待機させる必要がないので、コスト削減が可能である。

近年、少子高齢化に起因する労働力不足や地方での雇用不足などの問題が指摘されているが、本実施形態は工場（ロボットの作業場所）と遠隔地の労働力を結びつける社会インフラあるいはプラットフォームを提供するので、これらの問題解消に寄与する。本システムでは、操作者は特定の場所で勤務する必要は無くなり遠隔地から作業を行える。したがって長距離の通勤が困難な人であっても働きやすい環境を提供できるので、高齢者や地方在住者であっても作業が可能である。

また、日本の労働力不足解消のために外国人労働やの日本への移民が議論されている。本システムにおける操作者は日本国内に所在する必要がなく外国に所在してもよい。操作端末のインタフェースを外国語にすれば、外国人が外国から操作することもでき、外国人を移民させることなく労働力の輸入が可能となるという効果もある。

＜実施例１＞
ここでは、モバイルロボット３ｂが小包などを自動運転により配達する配達ロボットである場合を例として、本発明が適用されたタスク配信システムをより具体的に説明する。

本実施例における配達ロボットは、移動機構として車輪を採用するモバイルロボットである。ここでは、対向２輪型の配達ロボットを例として説明するが、配達ロボットの移動機構は対向２輪型以外の車輪移動機構や、多脚式や無端軌道式の移動機構であってもよい。配達ロボットは、配送品を安定に収容するための収容部を有する。また、配達ロボットは、位置情報取得センサ、カメラ、ＬＩＤＡＲ、ミリ波レーダ、超音波センサ、加速度セ
ンサ等の各種のセンサを有し、これらのセンサから得られるセンサ情報に基づいて、内蔵のロボットコントローラ５が配達ロボットの移動その他の運動を制御する。

配達ロボットは、例外事象が発生したときに、状態情報をサーバ１に送信する。また、サーバ１を介して操作端末２から送信される操作指令に基づいて動作可能である。

ここでは、配達ロボットが、無人すなわち自動運転での配達途中で、路上の穴に左車輪が落ち、脱輪状態で停止したという異常状態（例外事象）が発生したと仮定する。配達ロボットの周りの状態を把握しないで対処しようとすると、より危険な状態に陥る可能性がある。例えば、穴が配達ロボットよりも大きければ、配達ロボットが穴に落下する危険がある。そこで、配達ロボットは、加速度センサの情報から機体の水平が保たれていないと判断した時点で、例外事象が発生したと判断して、サーバ１に状態情報とともに例外事象の発生を通知する。なお、どの時点で例外事象が発生したと判断するかは、モバイルロボットの制御技術のレベルや要求される安全レベルに応じて変わるものであり、上記の基準はあくまでも一例に過ぎない。

状態受付部１０１が、モバイルロボット３ｂから状態情報を受け付ける（Ｓ１０３）と、この情報は対応情報ＤＢ１０８に格納される。図６に示されるように、例外事象の発生時刻６０１、例外事象が発生したロボットＩＤ６０２、および状態情報６０３がデータベースに格納される。

ここでの状態情報６０３は、位置情報、車体の傾き、車輪の状態、積荷、およびロボット３ｂに搭載されたカメラかが撮影した画像が含まれる。位置情報は、モバイルロボット３ｂが搭載するＧＰＳ装置（位置情報取得センサ）から得られる位置情報である。車体傾きは、モバイルロボット３ｂが搭載する傾きセンサ（加速度センサ）から得られる、車体の前後左右の傾きを表す情報である。例えば、４度（絶対値）を越える傾きが発生したときに異常と判断することができる。この例では、左右傾きが－５度（マイナスは左下がりを示す）であり、傾き角度の絶対値が閾値を超えたのでロボット３ｂは異常状態であると判断している。

車輪の状態は停止状態である。これは、ロボット３ｂが異常を検出したため車輪の駆動を停止したためである。積荷情報は配送元で入力される情報である。操作者は、積荷情報に基づいて、どのような操作をどれだけ行ってよいかを判断できる。例えば、この例に示すように積荷が小包であれば多少乱暴に扱っても問題ないと考えられる。一方、積荷が飲食物であれば慎重に扱う必要があることがわかる。また、積荷が飲食物であり車体傾きが４５度など大きい値であれば、異常状態を回復するよりも、配送元に連絡する方が得策であると考えることもできる。モバイルロボット３ｂのコンテナ内で、飲食物が横転し、配送先に届けられたとしても、意味のない状態になっていると考えられるからである。

ロボットカメラからの画像は、モバイルロボット３ｂの車体に取り付けられたカメラによる画像である（図７参照）。カメラは、少なくとも進行方向前方を撮影するように取り付けられている。ロボットカメラは、車体の周囲に複数取り付けられて、車体周囲の撮影するアラウンドビュー画像を撮影してもよい。あるいは、全方位カメラ（３６０度カメラ）によって撮影される全方位画像（３６０度画像）であってもよい。

サーバ１の情報制御部１０２は、配達ロボット（モバイルロボット）３ｂから送信される状態情報から配達ロボット３ｂに例外事象が発生していると判断でき、したがって、この例外事象に対処するための操作者を選択するタスクマッチングの処理を行う（ステップＳ１０４）。この例での例外事象は、配達ロボット３ｂに対する不具合であるので、情報制御部１０２は、オンライン状態であり、かつ他のタスクの処理を行っていない操作者の中から、この例外事象に対処するためのスキルを有する操作者を選択する。

オンライン状態かつ他のタスクを処理していない操作者として、図５に示す操作者１と操作者２が存在する場合を考える。ここで、操作者１，２はいずれも、「モバイルロボット、配達、不具合対応」のスキルを有している。情報制御部１０２は、各操作者の当該スキルの評価や時給を考慮して、操作者を選択する。例えば、この例では、スキル２の評価がより高く、かつ、時給がより安い操作者２が選択される。

情報制御部１０２は、配達ロボット３ｂに生じた異常事象への対処を求める要求と、配達ロボット３ｂの状態情報とを、選択した操作者の操作端末に対して送信する（ステップＳ１０５）。これらの情報を受信した操作端末２は、配達ロボット３ｂの状態情報と、配達ロボット３ｂを操作するためのＧＵＩとを含む画面を表示する。操作端末２は、これらの情報を表示するための表示部と、ロボット３ｂへの操作指示を入力するためのユーザインタフェースが備えられている。操作情報の入力は、キーボードを介して行われてもよいし、画面へのタッチにより行われてもよい。他のユーザインタフェースの例として、モバイルロボット３ｂを動かすための簡単な指示（プログラム、コマンド列）を入力するインタフェースがある。

操作端末２には、例えば、配達ロボットの状態情報（図６の状態情報６０３に示す情報）や、配達ロボット３ｂに搭載されたカメラによって撮影された画像（図７）が表示される。操作者は、これらの情報を元に、まず何らかの対処が必要な異常状態であるか否か、異常状態である場合は遠隔操作により対処が可能であるか否か、遠隔操作により対処が可能である場合にはどのような操作を行うべきか、などを判断する。

本例では、図７に示す画像やその他のセンサ情報から、操作者は以下のことを読み取れる。
・風景全体が右下がりとなっているため、モバイルロボット３ｂは左に傾いている。
・傾きの角度から、左車輪が脱輪している可能性が高い。
・ガードレールに沿った側溝がないことから、不測の穴に脱輪している可能性が高い。
・左右にガードレールがあることから、モバイルロボット３ｂを操作して動かしても比較的安全な場所である。
・モバイルロボット３ｂの方向を変えてバックまたは直進させる際に、左右のガードレールに接触しないように操作する必要がある。
・左側のガードレールの方が近いため、脱輪状態から復帰するためには、右後方に１メートル以内でバックすることが安全である。

例外事象の発生時に送られる状態情報や画像は千差万別であり、上記の事柄は人間には瞬時に把握できることであるが、コンピュータ（ＡＩ等）にとっては困難なことである。操作者は、モバイルロボット３ｂからの画像や、その他の状態情報に基づいて、配達ロボットの左車輪が穴に落ちたと結論できる。さらに、操作者は、周囲の状況から、モバイルロボット３ｂの進行方向右後ろに１メートル程度後退しても問題ないと判断し、モバイルロボット３ｂを動かすことが復旧に必要であると判断できる。このような状況判断やモバイルロボット３ｂの操作は、モバイルロボット３ｂにプログラミングされていなければ実行することができない。あらゆる状況に対応可能なプログラミングを事前に行うことは現実的ではなく、千差万別の状況に適切に対処して操作することは、いまだに人間（操作者）に判断させるのが適切である。

操作者は、このような判断のもと、モバイルロボット３ｂに与える操作指令を以下のように決定する。まず、第１ステップとして、右車輪をロックしたまま、左車輪を－０．０５ｍ／ｓで回転させることを指示する。左車輪が穴に落ちている状況なので、操作者は、
穴の外にある右車輪をロックし、そこを軸として左車輪をゆっくりと後退させる動作を指示する。この動作により、落ちた穴の縁に左車輪が掛かり、ゆっくりと左車輪を引き上げることができる。

第２ステップとして、車体傾きが０±２度（正常状態）になった時点で、右車輪速度を－０．０５ｍ／ｓに変更するよう指示する。車体の傾きが明らかに正常範囲になった時点で、左車輪が穴から引き揚げられたことを判断できる。その判断の後に、右車輪を左車輪と同じ速度で後退させ、モバイルロボット３ｂを穴から遠ざけるように動かす。なお、第１ステップの動作を一定時間継続しても車体傾きが正常状態にならない場合には異常終了するように指示してもよい。

第３ステップとして、操作者は、１０秒後に車輪動作を停止し、ロボット３ｂの前方カメラで画像を撮影し、かつ、通常状態に戻ったかを自己診断実行を指示する。第２ステップの後退動作を１０秒間継続することで、穴に落ちた位置から０．５メートル離れた位置に移動したことになる。この値は周囲の状況に応じて設定するべき値であり、値の決定も人間（操作者）に行わせることが適切である。穴から０．５メートル離れることで、ロボット３ｂに搭載されたカメラが穴を撮影できると考えられる。

第３ステップの操作として自己診断を実行するのは、再確認のためである。車体傾きが正常範囲になっただけでなく、モバイルロボット３ｂが機能的に問題ないか自己診断させ、通常状態に戻ったのであればそこから配達作業を続行することができる。モバイルロボット３ｂが自己診断の結果正常であると判断しても、操作者は異常状態が継続していると判断することもあり、このような場合は操作者による判断を優先させてもよい。

操作者は、上記の第１から第３ステップからなる操作指令を、操作端末２からサーバ１を介してモバイルロボット３ｂに送信する（ステップＳ１０６，１０７）。本実施例では、操作者は、上記の第１から第３のステップの指示を一括でモバイルロボット３ｂに対して送信することを想定する。しかしながら、それぞれのステップの単位で指示を送信してもよいし、より細かい単位で指示を送信してもよい。また、モバイルロボットからの状態情報がリアルタイムで送信される場合には、操作者はリアルタイムでモバイルロボットを遠隔操作しても構わない。

モバイルロボット３ｂは、上記の操作指令に従って動作して、その結果として得られる情報を、サーバ１を介して、または直接に、操作端末２に送信する。モバイルロボット３ｂは、第１から第３のステップの結果、脱輪状態から復帰し穴から後退して、図８に示すような、穴を撮影した画像を取得できる。

本例では、操作者は図８に示す画像から、以下のことを読み取れる。
・風景全体からモバイルロボット３ｂが水平状態になっている。
・操作情報の指示通り、停止位置から右後方に移動した。
・画像から穴が認識でき、そこに左車輪が脱輪していたために異常状態となっていた。
・以上のことから、モバイルロボット３ｂは正常状態に復帰した。

サーバ１は、道路上に穴があることをＧＰＳの位置情報とともに記録することができる。これにより、図９に示すように道路上の穴の位置９０１が把握可能となり、今後この道路を走行するモバイルロボット３ｂが穴の位置９０１を参考にして走行経路９０２を決定することで、穴への落下をより確実に回避できるようになる。

また、図８に示す画像以外にも、車体傾きが０度であり自己診断の結果が正常であることなどを示す情報が、操作端末２に送信されて表示される。

操作者は、モバイルロボット３ｂから送信される状態情報を参照して、操作の結果を入力してサーバ１に送信する（ステップＳ１０８）。本例では、通常状態に復帰した旨を示す操作結果が入力される。サーバ１は、送信された操作結果を、行った操作内容、操作者ＩＤ、対応に要した時間とともに対応情報ＤＢ１０８に格納する（ステップＳ１０９）。このように、状態情報と操作情報とその結果情報とを関連付けて保存することで、どのような状況においてどのような操作により正常状態に復帰できるのかというノウハウを蓄積することができる。操作結果の情報は、操作者が手動で操作端末２に入力してもよいし、モバイルロボット３ｂに自己判断させてもよい。

なお、１回の操作で通常状態に復帰せずに、通常状態に戻るために試行錯誤を繰り返す場合も想定される。この場合は、再度、操作者からの操作指令の入力が行われる。なお、サーバ１は、同一の操作者に引き続き対処を依頼してもよいが、新たな操作者を選択して別の操作者に異常事象への対処を行わせてもよい。

＜実施例２＞
次に、モバイルロボット３ｂがトマトの栽培管理を行う農業ロボットである場合を例として、本発明が適用されたタスク配信システムを具体的に説明する。

本実施形態におけるモバイルロボット３ｂは、少なくとも、自律的に移動して圃場やビニールハウス内を巡回可能であり、写真を撮影して転送する機能を有する。モバイルロボット３ｂは、図１０に示すように、移動機構１０１１とロボットコントローラ１０１２と位置情報取得装置１０１３とカメラ１０１４と電源（不図示）を含む本体（走行部）と、農薬収容部１０２１と農薬散布部１０２２と照明部１０２３とカメラ１０２４を含むアーム１０２０を備える。ここでは、１つのアーム１０２０に画像撮影と農薬散布の機能を持たせているが、異なるアームに対して各機能を持たせてもよい。また、アーム１０２０は、実の収穫や、葉をかき分けたりつまみ上げたりすることができる。また、モバイルロボット３ｂは、図示した以外にも、距離センサや加速度センサなどのその他のセンタを備えていてもよい。

移動機構１０１１は、車輪型や無端軌道式などの移動機構である。ロボットコントローラ１０１２は上述したものと同様である。位置情報取得装置１０１３は、圃場やビニールハウス内でのロボットの位置を特定するための装置である。位置情報取得装置１０１３はＧＰＳ装置であってもよいし、圃場やビニールハウスまたは株に取り付けられたバーコードやＲＦＩＤに読み込む装置であってもよい。カメラ１０１４は、ロボットの周囲を比較的広い範囲で撮影する。

モバイルロボット３ｂは、農薬収容部１０２１と農薬散布部１０２２による農薬散布機能を有し、農薬散布が必要であるロボットが判断するときに自動で農薬を散布可能である。農薬は例えばアームから散布される。害虫がいる場合や病害がある場合には、アームカメラ１０２４の画像から害虫の種類や病状を判別でき、特定された害虫や病状に対して有効な農薬の種類が特定できる。例えば、ニジュウヤホシテントウがいる場合には、クロチアニジン水溶液が有効であると判断できる。複数の害虫や病状に対応できるように農薬収容部１０２１は、複数種類の農薬を搭載していてもよい。なお、カメラ１０２４から得られる画像から異常が発生している可能性があることはわかるが、実際に異常であるか、および異常である場合にどのように対処すべきであるかを、ロボットが自動的に判断するのが難しい場合がある。例えば、葉に変色がある場合、その原因は害虫、カビ、ウイルスなど様々であり、原因によって異なる農薬を使用すべきである。

ロボットアーム１０２０は、前後左右に移動でき、茂った葉の中に挿入することができ
る。ロボットアーム１０２０の先端にはカメラ１０２４と照明部１０２３が搭載されており、アーム１０２０を回転させることでカメラ１０２４と照明部１０２３による撮影および照明の方向を変更可能である。例えば、カメラ１０２４および照明部１０２３を上向きとすることで、葉の裏側の撮影可能である（図１１Ａ参照）。

図１１Ａは、モバイルロボット３ｂの本体カメラ１０１４が撮影した画像１１０１の例を示す図である。画像１１０１には、アーム１０２０を伸ばした状態であり、アーム１０２０が写っている。図示されるように、トマトの葉表の一部に変色部分１１０２が認められる。ロボットコントローラ１０１２は、葉表の変色部分１１０２の画像だけからでは変色の原因が特定できないと判断し、アーム１０２０を動作させて葉裏の画像を撮影する必要があると判断したと仮定する。ロボットコントローラ１０１２は、アームカメラ１０２４および照明部１０２３を上向きの状態で、アームを葉裏の位置まで伸ばしてカメラ１０２４による撮影を実施する。上記一連の動作はあくまでも一例であり、葉に変色部分が認められなくても、株全数に対して検査を行うようにロボット３ｂを制御してもよい。また、異常がない場合には画像を操作端末に送らなくてもよい。

図１１Ｂは、アームカメラ１０２４によって撮影された葉裏の画像１１０３を示す図である。画像１１０３に対して画像処理を施すことで、葉裏にも変色部分１１０４があり、また、その周囲に複数の同様の大きさの小さい斑点１１０５があることが認識できる。この画像処理は、ロボットコントローラ１０１２あるいはロボット３ｂに組み込まれたその他の処理装置によって行われてもよいし、ロボット３ｂから画像を送信された外部の装置によって行われてもよい。ロボットコントローラ１０１２は、この画像処理の結果から、異常が発生している可能性は高いが、どのように対処してよいかは不明であり、したがって操作者（人間）による判断を仰ぐべき事象、すなわち例外事象が発生したと判断する。したがって、ロボットコントローラ１０１２は、状態情報をサーバ１に送信する。

サーバ１の状態受付部１０１が、モバイルロボット３ｂから状態情報を受け付ける（Ｓ１０３）と、この情報は対応情報ＤＢ１０８に格納される。図１２に、本実施例における対応情報ＤＢ１０８の例を示す。テーブル形式自体は、実施例１（図６）と同様であるため、詳細な説明は省略する。この時点では、例外事象の発生日時１２０１、例外事象が発生したロボットＩＤ１２０２、および状態情報１２０３がデータベース１０８に格納される。

本例では、状態情報１２０３に、位置情報、葉表の状態、葉裏の状態、葉の面積、葉の面積、実の直径、実の色、画像が含まれる。位置情報は、位置情報取得装置１０１３によって取得された緯度経度情報、ビニールハウス番号、株番号を含む。また、位置情報は高さ情報を含んでおり、この高さ情報はロボット本体１０１０に搭載されたカメラ１０１４で撮像される位置、またはアームカメラ１０２４によって画像が撮影されている場合にはアームカメラ１０２４またはアーム１０２０の高さである。アームカメラ１０２４またはアーム１０２０の高さは、アーム１０２０に備えられるエンコーダから取得可能である。高さ情報は、対象とする実または葉の高さを表す。

葉表の情報は、画像認識技術による葉表の状態の判別結果を示す。葉表の情報の例として、「正常」「変色部分あり」「虫食い部分あり」「虫あり」などを例示できる。このような画像認識は、ディープラーニングなどの機械学習の手法により実現可能であり、公知であるため詳細な説明は省略する。

葉裏の情報は、画像認識技術による葉裏の状態の判別結果を示す。本例では、葉表の状態が「変色部分あり」であったので、モバイルロボット３ｂは葉裏の画像を撮影し画像認識結果を得ている。葉裏の情報はこの認識結果であり、本例では「変色部分あり」かつ「
虫あり」という認識結果が得られている。なお、葉表の状態が「正常」となった場合は、葉裏の撮影および状態の判断を省略してもよい。また、葉表の状態が「正常」であっても葉裏には異常がある場合もあるので、葉表および葉裏の両方を撮影して状態を確認するようにしてもよい。

葉の面積、実の直径、実の色は、本体カメラ１０１４の撮影画像および距離センサによる対象物（葉または実）までの距離に基づいて計算によって求められる。これらの情報は公知技術を用いて計算することができるので詳細な説明は省略する。

ロボット本体に搭載したカメラ１０１４からの画像およびロボットアームに搭載したカメラ１０２４からの画像は、それぞれ図１１Ａおよび図１１Ｂに示したものである。

サーバ１の情報制御部１０２は、モバイルロボット３ｂから送信される状態情報から例外事象が発生していると判断でき、したがって、この例外事象に対処するための操作者を選択するタスクマッチングの処理を行う（ステップＳ１０４）。この例での例外事象は、トマトの病害診断に関するので、情報制御部１０２は、オンライン状態であり、かつ他のタスクの処理を行っていない操作者の中から、この例外事象に対処するためのスキルを有する操作者を選択する。

本実施例における操作者情報ＤＢ１０７の例を図１３に示す。操作者情報ＤＢ１０７の内容は実施例１と基本的に同様であるので、重複した説明は省略する。本実施例は農作業への応用であるので、各操作者の農作業に関するスキルが格納される。図１０に示す例では、スキル情報の一つとして、「トマトの葉の病気、害虫の点検」が設定されている。このスキルは、トマトに発生する病気および害虫についての知識があり、発見した病気および害虫に対する適切な処置についての知識を意味する。適切な処置とは、病気および害虫に対する有効な農薬の選択または経過観察する判断能力である。他のスキルとして、「トマトの収穫」も設定される。このスキルは、ロボットから送信される画像を見て、収穫してよいか否かの判断、およびアームを遠隔操作して収穫できるスキルである。

オンライン状態かつ他のタスクを処理していない操作者として、図１３に示す操作者１と操作者２が存在する場合を考える。本例の例外事象はトマトの葉の病気や害虫の点検に関するので、対応できる操作者は操作者１のみである。したがって、サーバ１の情報制御部は、今回の例外事象と操作者１とをマッチングする（ステップＳ１０４）。

情報制御部１０２は、例外事象への対処を求める要求と、モバイルロボット３ｂの状態情報とを、選択した操作者の操作端末に対して送信する（ステップＳ１０５）。これらの情報を受信した操作端末２は、配達ロボットの状態情報と、配達ロボットを操作するためのＧＵＩとを含む画面を表示する。

図１４は、操作端末２に表示されるＧＵＩ１４００の例を示す。ＧＵＩ１４００には、本体カメラ１０１４の画像１４０１、アームカメラ１０２４の画像１４０２、画像以外の状態情報１４０５が含まれる。ＧＵＩ１４００には、また、ロボット本体１０１０を操作（移動）させるための入力部１４０３、アーム１０２０を操作（移動）させるための入力部１４０４、一連の操作指令を入力するための入力部１４０６、操作結果を入力するための入力部１４０７、および入力内容をサーバ１に送信するための送信ボタン１４０８が含まれる。

操作者は、ＧＵＩ１４００を用いてモバイルロボット３ｂに対する操作指令を入力してサーバ１に送信する。例えば、次のような２ステップの操作指令を入力することが考えられる。第１ステップは、葉の剪定処理である。操作者は、画像１４０１，１４０２や状態
情報１４０５から、葉に虫が付いていることを確認し、その処置として、虫による被害をこれ以上広げないようにするために葉を剪定して密閉箱に収納するよう指示する。なお、密閉箱はロボットが有しており、目標とする葉のロボットアームによる剪定処理および密閉箱への収納処理はロボットが自動で行えることを前提としている。

第２のステップは、農薬の散布処理である。操作者は、虫がアブラムシの可能性が高いと判断し、農薬散布の項目に「ＹＥＳ」を入力し、続いて、アブラムシに効果のある農薬アセフェートを選択して入力する。ここでは、ロボットには複数種類の農薬が備えられており、農薬散布処理はロボットが自動で行えることを前提としている。

操作者によって入力された操作指令は、サーバ１を介してモバイルロボット３ｂに送信される（ステップＳ１０６，Ｓ１０７）。モバイルロボット３ｂは、上記の操作指令に従って動作し、その結果として得られる情報を、サーバ１を介して、または直接に、操作端末２に送信する。操作者は、モバイルロボット３ｂから送信される画像や状態情報に基づいて、葉の剪定処理や農薬散布処理が正常に完了したか判断できる。正常に完了している場合には、操作結果として「処理完了」を入力する。また、操作者による判断は画像に基づくものであるため、判断が誤っている可能性があること、虫や病気がロボットの画像だけでは発見できない場所に広がっている可能性があることなどから、農場で直接確認できる人への連絡事項として、操作者は事後確認を「必要」と入力する。また、操作者は、判断結果として、発生している虫の種類として「アブラムシ」を入力してもよい。これらの操作結果の情報は、操作端末２からサーバ１に送信される（ステップＳ１０８）。

サーバ１は、送信された操作結果を、操作指令内容、操作者ＩＤ、対応に要した時間とともに対応情報ＤＢ１０８に格納する（ステップＳ１０９）。この処理により、図１２に示すように、対応情報ＤＢ１０８の操作情報１２０４，操作結果１２０５，操作者ＩＤ１２０６、対応時間１２０７が更新される。

なお、本実施例では、操作結果として事後確認が必要とされていることから、サーバ１の情報制御部１０２は、現場（農場）にいる操作者の操作端末２に対して、例外事象の対応情報を送信して、どのような事象が発生し、どのような処置を行ったかを知らせるとともに、事後確認を行うように通知する。これを受けて、現場の操作者は、虫がついていた株を調べて周囲に虫が残っていないかや、モバイルロボット３ｂが剪定した葉を調べて虫が実際にアブラムシであるかなどを確認する。もし、遠隔操作者による判断が間違っていた場合には、現場操作者は別の処置をしたり、正しい結果をサーバ１に登録したりする。

なお、本実施例において、モバイルロボット３ｂが農場で作業を行うのは夜の時間帯としてもよい。本実施例におけるモバイルロボット３ｂは、完全にロボット化あるいは自動化がされた農場で用いられることは想定していない。そのため、農作業者とモバイルロボット３ｂが同じ場所で作業をすることになるが、農作業者とロボットが混在して作業をするよりも、時間帯を分けて作業をする方が効率がよい。このような理由から、モバイルロボット３ｂによる作業は夜間に行ってもよい。例外事象への対処は夜間に行う必要があるが、遠隔操作者はネットワークでつながっていればどこにいても対応できるため、例えば、例外事象への対処タスクを時差の大きい外国にいる遠隔作業者に割り当てることも好ましい。

また、夜の時間帯に農作業ロボットに写真撮影させた場合、ロボット本体またはロボットアームに搭載する照明を使用する。照明条件の変化する昼間ではなく照明条件が一定の夜間に作業を行うことで、同じ条件の画像撮影が可能である。遠隔作業者は同一条件下で作業を行えるため、スキルの習熟速度が向上することが期待できる。

＜実施例３＞
モバイルロボット３ｂが店舗の商品管理を行うロボットである場合について簡単に説明する。モバイルロボット３ｂは、商品補充、検品、欠品の確認、値札の確認などの作業を自律的に行う。そのため、モバイルロボット３ｂには、マニプレータやカメラが搭載される。

本実施例で想定される例外事象を例示する。まず、画像から物体認識を高精度で行えない場合が挙げられる。反射率の高い不定形のパッケージの商品や、アルミラミネートされたパッケージ、透過率の高い透明パッケージの商品は、物体認識を高精度に行えないか全く行えない場合がある。したがって、このような場合に、商品の認識を遠隔作業者に依頼することが想定される。

次に、例外事象の例として、物体を把持する際のハンドリング位置を決定できない場合が挙げられる。不定形や重量バランスが偏っている商品については、モバイルロボット３ｂは商品のどの部分を掴んで把持すればよいか判断できない場合がある。このような時に、商品のどの部分を掴めば安定して把持ができるかを教示するよう遠隔作業者に依頼することが想定される。

例外事象の別の例として、ハンドリング途中で商品を落とした場合が挙げられる。ロボット３ｂが品出しの自動作業中に商品を落とした場合、想定外の場所に商品が転がっていったりすると、その商品がどこへ行ったかを探すことは困難である。そこで、遠隔操作者に落とした商品の探索および回収を依頼することが想定される。また、商品を回収できたとして、その商品が傷ついたり凹んだりして売り物としての価値が損なわれている場合もある。この判断をロボット３ｂが自動的に行うのが困難であるので、遠隔作業者に確認作業を依頼することも想定される。

例外事象のさらに別の例として、値札の読み取りを高精度で行えない場合が挙げられる。販売店では、販売日を限定して特定の商品を特価で販売することがあり、特価と通常価格の値札を付け替えることがある。値札を付け替えた場合、ロボット３ｂに搭載されたカメラで画像撮影し、画像認識によって値札の確認作業を行うことが想定される。値札の状態によっては、ロボットが値札の読み取りを高精度に行えない場合がある。このような場合に、値札の読み取りを遠隔作業者に依頼することが想定される。なお、遠隔操作者は、送られた画像から値札を読み取るだけでなく、照明の反射が起きないような方向から値札の再撮影を行うように指示してもよい。

＜実施例４＞
モバイルロボット３ｂが掃除ロボットである場合について簡単に説明する。モバイルロボット３ｂは、移動機構、床の掃除機能、カメラ、無線通信機能を有しており、作業場所の地図データに基づいて自走および床掃除を行う。作業場所は、ビル、駅、空港などの広い場所である。モバイルロボット３ｂは、また、エレベータのボタンを押すマニプレータを有する。モバイルロボット３ｂは、また、マイクおよびスピーカを備えており、人間と対話を行う機能も有する。

このようなモバイルロボット３ｂは、地図データで指定された場所を自走し、床の掃除作業を行う。地図データに存在しない障害物を検知した場合には、モバイルロボット３ｂは自動的に回避する必要がある。

本実施例で想定される例外事象を例示する。まず、地図データにない障害物を検知したが、安全な回避方法が不明な場合が挙げられる。このような場合に、画像を操作端末に送って、遠隔操作者に安全な回避を行うように依頼することが想定される。

例外事象の他の例として、床の汚れを検知したが、ロボット３ｂが清掃できるか否かを判断できない場合が挙げられる。このような場合に、操作端末２に画像を送り、ロボットに清掃をさせるか、清掃員を派遣させるかの指示を操作端末に入力するよう遠隔操作者に依頼することが想定される。例えば、ロボット３ｂは床面に落ちているごみの大きさ、種類などを操作端末に送信する。また、センサにより液体を検出した場合、それ以降の清掃を自動で続けるかどうかも重要である。液体の汚れの場合、ロボット３ｂの清掃用のブラシもしくは車輪で汚れを拡散する可能性があるからである。したがって、ロボット３ｂには液体の清掃を行わせずにその他の箇所の清掃を続けさせ、液体の清掃は清掃員に行わせることが望ましいこともある。

例外事象の他の例として、移動ができない場合が挙げられる。ビルの掃除の場合、ロボット３ｂがフロア間を移動することが想定される。ロボット３ｂはフロア間の移動にエレベータを用い、マニプレータを用いて操作ボタンを押下する。しかしながら、エレベータの操作ボタンは千差万別であり、場合により階の表示がかすれて読みにくい場合もある。このようにロボットがどの操作ボタンを押すべきか自動で判断できない場合は、移動したい場所（フロア）と画像を操作端末に送って、遠隔操作者に判断を依頼することが想定される。

例外事象のさらに他の例として、人間とコミュニケーションをとるべき場合が挙げられる。ロボット３ｂの周囲には人がいる可能性もあり、人がロボットに対して苦情を言っているような場合、人間（操作者）が直接話をした方が好ましい。なお、ロボット３ｂが人と会話を行うように自動化されている場合であっても、コミュニケーションが円滑に進んでいないとロボット３ｂが判断した場合に例外事象が発生したと判断してもよい。このような場合は、ロボットが受信した音声を操作端末に送信して、遠隔操作者に対応を依頼することが想定される。人がロボット３ｂに対して発した音声はロボットのマイクを介して操作端末のスピーカから出力され、遠隔操作者が発した音声は操作端末のマイクを介してロボットのスピーカから出力される。これにより、遠隔操作者と現場の人との会話が実現でき、例えば、苦情に対応できる。

＜実施例５＞
以上の実施例ではモバイルロボット３ｂに生じた例外事象を遠隔操作者に対処してもらうことを想定していたが、対象のロボットは固定型ロボット３ａであってもよい。このような固定型ロボット３ａの例として、養殖生簀の管理ロボットが挙げられる。

生け簀管理ロボット３ａは、水温、気温、日射量などの値をセンシングし、養殖の管理を行う。ロボット３ａによる自動処理の実現が困難な作業として、給餌量の決定がある。給餌量は、その日の魚の状態に応じて適量を与えることが必要であり、また環境汚染の問題やコストの問題から単に多くの量を給餌すればよいというわけではない。

本実施例の生け簀管理ロボット３ａは、餌投入装置、カメラ、無線通信装置、各種センサ（水温、気温、日射量）を備えており、センサによって取得されたデータを無線通信によって送信する。本実施例において、給餌量の決定には操作者（人間）による判断が必要となるため、給餌タイミングは常に例外事象が発生するとみなす。したがって、給餌タイミングでは、生け簀管理ロボット３ａによって撮影された画像およびセンサによって取得されたデータが操作端末に送信されて、餌投入装置の制御を遠隔操作者に依頼する。遠隔操作者は、画像を見ながら餌投入装置を制御し、水面での魚の様子、つまり餌への食いつき具合を観察しながら投入する餌の量を調節することできる。

なお、生け簀管理ロボット３ａではなく、自動運転装置を備え付けられた船に搭載され
た餌投入装置を制御する場合にも同様に有効である。

（その他）
上述した各実施形態は、本発明の例示に過ぎない。本発明は上記の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

（付記１）
操作者が有する操作端末（２）の接続状態を管理する操作端末接続部（１０４）と、
ロボット（３ａ，３ｂ）から状態情報を受信する状態受付部（１０１）と、
前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択する情報制御部（１０２）と、
前記選択された操作者の操作端末（２）に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信する送信部（１０３）と、
を備える、タスク配信装置（１）。

（付記２）
コンピュータによって実行される方法であって、
操作者が有する操作端末（２）の接続状態を管理するステップ（Ｓ１０２）と、
ロボット（３ａ，３ｂ）から状態情報を受信するステップ（Ｓ１０３）と、
前記状態情報に基づいて前記ロボットに例外事象が発生していると判断される場合に、当該例外事象に対処するための操作者を、利用可能な操作者の中から選択するステップ（Ｓ１０４）と、
前記選択された操作者の操作端末（２）に、前記ロボットの例外事象への対処要求を前記ロボットの状態情報とともに送信するステップ（Ｓ１０５）と、
を含む、方法。

１：タスク配信サーバ ２：操作端末
３ａ：固定型ロボット ３ｂ：モバイルロボット
１０１：状態受付部 １０２：情報制御部 １０３：送信部
１０４：操作端末接続部 １０５：受信部 １０６：出力部
１０７操作者情報ＤＢ １０８：対応情報ＤＢ

Claims (16)

1. 操作者が有する操作端末から接続要求を受け付け、前記操作端末の接続状態を管理する操作端末接続部と、
   前記操作端末から、自律的に移動するロボットに対する操作指令を受け付ける受信部と、
   前記ロボットから、前記ロボットに備わるカメラにより撮影された画像を含み、作物の栽培に関して前記操作者による判断を仰ぐべき事象が発生しているか否かを判断可能な前記ロボットの状態情報を受け付ける状態受付部と、
   前記状態情報に基づいて前記事象が発生していると判断される場合に、接続が確立した操作端末の中から前記事象への対処要求を送信する対象の操作端末を決定する情報制御部と、
   前記情報制御部により決定された操作端末に対して、前記画像および前記事象への対処要求を送信する送信部と、
   を備え、
   前記情報制御部は、前記ロボットに備わるカメラにより撮影された画像に対する画像認識により得られる前記作物の状態への対応が可能なスキルを有する操作者の操作端末を、前記対処要求を送信する対象の操作端末として決定する、
   作物の栽培管理のための装置。
2. 前記状態受付部が受け付けた前記ロボットの状態情報に含まれる前記画像に対して、前記画像認識を行うことで前記作物の状態を判別する画像認識機能部を更に備える、
   ことを特徴とする請求項１に記載の装置。
3. 前記作物の状態は、前記ロボットに備わるカメラにより撮影された画像、および前記ロボットに備わる距離センサにより得られる前記ロボットから前記作物までの距離に基づいて求められる、ことを特徴とする請求項１または２に記載の装置。
4. 前記情報制御部は前記操作者の操作内容、および／または、前記操作者が前記事象への対処に要した時間に基づき、前記操作者のスキルを評価する、
   請求項２または３に記載の装置。
5. 前記情報制御部は、前記操作者の時間あたりの報酬と前記事象の対処に要した時間とに基づき、前記操作者に支払うべき報酬を計算する、
   請求項２から４のいずれか１項に記載の装置。
6. 前記操作指令を前記ロボットに対して出力する出力部と、
   前記ロボットの状態情報と前記操作者からの操作内容とを関連付けて記憶する対応情報記憶部と、
   をさらに備え、
   前記受信部は、前記事象に対する対処結果を前記操作端末から受信し、
   前記対応情報記憶部は、前記対処結果を、前記事象および前記操作者と関連付けて記憶し、
   前記情報制御部は、前記対応情報記憶部を参照して前記操作者のスキルを評価する、
   請求項２から５のいずれか１項に記載の装置。
7. 前記ロボットに備わるカメラは、前記ロボットの周囲を撮影するカメラ、および／または、前記ロボットのアームに備えられるカメラである、
   請求項１から６のいずれか１項に記載の装置。
8. 前記操作指令は、前記ロボットを移動させる指令、および前記ロボットのアームを移動させる指令を含む、
   請求項１から７のいずれか１項に記載の装置。
9. 前記操作指令は、前記ロボットに備わるカメラによって撮影された画像、前記ロボットを移動させる指令を入力するための入力部、および前記ロボットのアームを移動させるための指令を入力するための入力部を備えるユーザインタフェースを介して、前記操作端末から入力される、
   請求項１から８のいずれか１項に記載の装置。
10. 前記事象は、作物の収穫に関して判断を仰ぐべき事象である、
    請求項１から９のいずれか１項に記載の装置。
11. 前記事象は、作物の剪定に関して判断を仰ぐべき事象である、
    請求項１から９のいずれか１項に記載の装置。
12. 前記事象は、作物への農薬の散布に関して判断を仰ぐべき事象である、
    請求項１から９のいずれか１項に記載の装置。
13. ロボットと、
    前記ロボットを遠隔操作するための操作端末と、
    請求項１から１２のいずれか１項に記載された装置と、
    を備える作物の栽培管理のためのシステム。
14. コンピュータによって実行される方法であって、
    操作者が有する操作端末から接続要求を受け付け、前記操作端末の接続状態を管理するステップと、
    前記操作端末から、自律的に移動するロボットに対する操作指令を受け付けるステップと、
    前記ロボットから、前記ロボットに備わるカメラにより撮影された画像を含む、前記ロボットの状態情報を受け付けるステップと、
    前記状態情報に基づいて作物の栽培に関して前記操作者による判断を仰ぐべき事象が発
    生していると判断される場合に、接続が確立した操作端末の中から前記事象への対処要求を送信する対象の操作端末を決定するステップと、
    前記操作端末を決定するステップにおいて決定された操作端末に対して、前記画像および前記事象への対処要求を送信するステップと、
    を含み、
    前記操作端末を決定するステップは、前記ロボットに備わるカメラにより撮影された画像に対する画像認識により得られる前記作物の状態への対応が可能なスキルを有する操作者の操作端末を、前記対処要求を送信する操作端末として決定する、
    方法。
15. コンピュータを請求項１から１２のいずれか１項に記載の装置の各手段として機能させるためのプログラム。
16. コンピュータに請求項１４に記載の方法の各ステップを実行させるためのプログラム。

Images