JP7416197B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本発明は、ロボットに作業させるタスクに関する処理を行う制御装置、制御方法及び記録媒体の技術分野に関する。

ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、ハンドを有するロボットにより複数の物品を把持して容器に収容する場合に、ハンドが物品を把持する順序の組み合わせを決定し、組み合わせ毎に算出した指標に基づき、収容する物品の順序を決定するロボット制御装置が開示されている。

特開２０１８－５１６８４号公報

ロボットがタスクを実行する場合、与えられたタスクによっては、他のロボット又は他の作業者と同一の作業空間にて作業を行う必要がある。このような協働作業を伴う場合に必要なロボットの制御について、特許文献１には何ら開示されていない。

本発明の目的の１つは、上述した課題を鑑み、ロボットと他作業体との協働作業を好適に実行させることが可能な制御装置、制御方法及び記録媒体を提供することである。

制御装置の一の態様は、制御装置は、タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行う観測手段と、前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段と、を有する。

制御方法の一の態様は、コンピュータにより、タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行い、前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成し、前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う、制御方法である。

プログラムの一の態様は、タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行う観測手段と、前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段としてコンピュータを機能させる。

本発明によれば、ロボットと他作業体との協働作業を好適に実行させることができる。

第１実施形態におけるロボット制御システムの構成を示す。 制御装置のハードウェア構成を示す。 アプリケーション情報のデータ構造の一例を示す。 制御装置の機能ブロックの一例である。 動作シーケンス生成部の機能ブロックの一例である。 作業空間の俯瞰図を示す。 第１実施形態において制御装置が実行するロボット制御処理の概要を示すフローチャートの一例である。 第２実施形態におけるロボット制御システムの構成を示す。 第２実施形態における制御装置のブロック構成の一例である。 第２実施形態において制御装置が実行するロボット制御処理の概要を示すフローチャートの一例である。 第３実施形態における制御装置のブロック構成の一例である。 第３実施形態において制御装置が実行するロボット制御処理の概要を示すフローチャートの一例である。 第４実施形態における制御装置のブロック構成の一例である。 第４実施形態において制御装置が実行するロボット制御処理の概要を示すフローチャートの一例である。

以下、図面を参照しながら、制御装置、制御方法及び記録媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、制御装置１と、タスク指示装置２と、記憶装置４と、ロボット５と、計測装置７と、を備える。

制御装置１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット５を制御する。以後では、ロボット５が受付可能な単位により目的タスクを分解したタスク（コマンド）を、「サブタスク」と呼び、目的タスクを達成するためにロボット５が実行すべきサブタスクのシーケンスを「サブタスクシーケンス」とも呼ぶ。サブタスクシーケンスは、ロボット５の一連の動作を規定する動作シーケンスに相当する。

制御装置１は、タスク指示装置２、記憶装置４、ロボット５、計測装置７及び少なくとも一部の他作業体８と、通信網を介し又は直接通信により、データ通信を行う。例えば、制御装置１は、タスク指示装置２から、目的タスクを指定する入力信号「Ｓ１」を受信する。また、制御装置１は、タスク指示装置２に対し、ロボット５に実行させるタスクに関する表示を行うための表示信号「Ｓ２」を送信する。また、制御装置１は、ロボット５を動作させるための制御信号「Ｓ３」を、ロボット５に送信する。また、制御装置１は、計測装置７から出力信号「Ｓ４」を受信する。

タスク指示装置２は、ユーザによる目的タスクの入力を受け付ける装置である。タスク指示装置２は、制御装置１から供給される表示信号Ｓ２に基づき所定の表示を行ったり、ユーザの入力に基づき生成した入力信号Ｓ１を制御装置１へ供給したりする。タスク指示装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよく、ディスプレイが付属したリモートコントローラであってもよい。

記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、目的タスクからサブタスクシーケンスを生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、制御装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記録媒体であってもよい。また、記憶装置４は、制御装置１と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。

ロボット５は、制御装置１から供給される制御信号Ｓ３に基づき、他作業体８と協働作業を行う。ロボット５は、垂直多関節型ロボットであってもよく、水平多関節型などの任意の種類のロボットであってもよい。ロボット５は、ロボット５の状態を示す状態信号を制御装置１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の制御部が生成したロボット５のサブタスクの進捗状態を示す信号であってもよい。

計測装置７は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。計測装置７は、生成した出力信号Ｓ４を制御装置１に供給する。出力信号Ｓ４は、作業空間内を撮影した画像データであってもよく、作業空間内の物体の位置を示す点群データであってもよい。計測装置７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、計測装置７は、ロボット５に設けられたセンサ、及び他作業体８に設けられたセンサなどを含んでもよい。また、計測装置７は、作業空間内の音を検出するセンサを含んでもよい。このように、計測装置７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。

他作業体８（８Ａ、８Ｂ、…）は、目的タスクに関する動作を行う作業者、ロボット又は工作機械であって、作業空間内でロボット５と協働作業を行う。また、少なくとも一部の他作業体８（図１では他作業体８Ｂ）は、対象の他作業体８の動作に関する情報である他作業体動作関連情報「Ｓ５」を生成し、生成した他作業体動作関連情報Ｓ５を制御装置１へ送信する。他作業体動作関連情報Ｓ５は、例えば、他作業体８による現在実行中のタスクを完了するタイミングなどのタスクの進捗状況を示す情報、又は、規定時間当たりに実行可能なタスク数の情報が含まれてもよい。

他作業体８には、他作業体８の動作認識（モーションキャプチャ）を行うためのマーカ又はセンサが設けられてもよい。この場合、他作業体８の関節、手先などの他作業体８の動作認識において特徴的な箇所である特徴点に、上述のマーカ又はセンサが設けられる。特徴点に設けられたマーカの位置を検出するセンサ又は特徴点に設けられたセンサは、計測装置７の一例である。

なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は複数台存在してもよく、ロボットアームなどの夫々が独立して動作する制御対象物を複数有してもよい。これらの場合であっても、制御装置１は、目的タスクに基づき、ロボット５毎又は制御対象物毎に実行すべきサブタスクシーケンスを生成し、当該サブタスクシーケンスに基づく制御信号Ｓ３を、対象のロボット５に送信する。また、他作業体８は、１体のみ又は３体以上存在してもよい。また、計測装置７は、ロボット５の一部であってもよい。また、タスク指示装置２は、制御装置１と同一の装置として構成されてもよい。また、制御装置１は、複数の装置から構成されてもよい。この場合、制御装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボット５には、制御装置１の少なくとも一部又は全ての機能が組み込まれていてもよい。

（２）ハードウェア構成
図２（Ａ）は、制御装置１のハードウェア構成を示す。制御装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種のメモリにより構成される。また、メモリ１２には、制御装置１が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、制御装置１のメモリ１２として機能してもよい。なお、制御装置１が実行するプログラムは、メモリ１２以外の記録媒体に記憶されてもよい。

インターフェース１３は、制御装置１と外部装置とを電気的に接続するためのインターフェースである。例えば、インターフェース１３は、制御装置１とタスク指示装置２とを接続するためのインターフェース、及び制御装置１と記憶装置４とを接続するためのインターフェースを含む。また、インターフェース１３は、制御装置１とロボット５とを接続するためのインターフェース、及び制御装置１と計測装置７とを接続するためのインターフェースを含む。これらの接続は、有線接続であってもよく、無線接続であってもよい。例えば、制御装置１とこれらの外部装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づきこれらの外部装置とデータの送受信を有線又は無線により行うための通信インターフェースであってもよい。他の例では、制御装置１と外部装置とは、ケーブル等により接続されてもよい。この場合、インターフェース１３は、外部装置とデータの授受を行うためのＵＳＢ(Universal Serial Bus)、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。

なお、制御装置１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、制御装置１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、制御装置１は、タスク指示装置２又は記憶装置４の少なくとも一方を含んで構成されてもよい。

図２（Ｂ）は、タスク指示装置２のハードウェア構成を示す。タスク指示装置２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４と、表示部２５とを含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２９を介して接続されている。また、インターフェース２３には、入力部２４と表示部２５とが接続されている。

プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４が生成した信号を受信することで、入力信号Ｓ１を生成し、インターフェース２３を介して制御装置１に当該入力信号Ｓ１を送信する。また、プロセッサ２１は、インターフェース２３を介して制御装置１から受信した表示信号Ｓ２を、表示部２５にインターフェース２３を介して供給する。

メモリ２２は、ＲＡＭ、ＲＯＭなどの各種のメモリにより構成される。また、メモリ２２には、タスク指示装置２が所定の処理を実行するためのプログラムが記憶される。また、メモリ２２は、作業メモリとして使用される。また、メモリ２２は、フラッシュメモリ、ハードディスクなどの不揮発性メモリを含んでもよい。

インターフェース２３は、タスク指示装置２と他の装置とを電気的に接続するためのインターフェースである。例えば、インターフェース２３は、タスク指示装置２が他の装置と有線又は無線によりデータ通信を行うための通信インターフェースを含む。また、インターフェース２３は、入力部２４及び表示部２５と、プロセッサ２１及びメモリ２２とのインターフェース動作を行う。入力部２４は、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。表示部２５は、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示信号Ｓ２に基づく情報の表示を行う。

なお、タスク指示装置２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４及び表示部２５は、タスク指示装置２と電気的に接続する別体の装置として構成されてもよい。また、タスク指示装置２は、音出力装置、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。

（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。

図３は、アプリケーション情報記憶部４１に記憶されるアプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報記憶部４１は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６と、他作業体動作予測情報Ｉ７とを含む。

抽象状態指定情報Ｉ１は、サブタスクシーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。なお、目的タスクは、ロボット５が他作業体８と協働作業を行う（作業の同期をとる必要がある）種々のタスクであってもよい。例えば、目的タスクは、ロボット５と他作業体８との物の受け渡しを伴うタスク（ピックアンドプレイス、ねじ回しなどを含む製品の組立て、医療現場での補助等）、その他、他作業体８又はロボット５の一方のサブタスクの完了が他方のサブタスクの開始条件に含まれるようなタスクが該当する。

制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム）が接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。

動作限界情報Ｉ３は、制御装置１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５の可動部位又は関節ごとに動作限界を規定する情報であってもよい。

サブタスク情報Ｉ４は、ロボット５が受付可能なサブタスクの情報を示す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。

抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、対象物をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。

物体モデル情報Ｉ６は、計測装置７が生成した出力信号Ｓ４から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、他作業体８、障害物、ロボット５又は他作業体８が扱う工具その他の対象物などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などを制御装置１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ(computer aided design)データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

他作業体動作予測情報Ｉ７は、他作業体８の動作予測に用いられる情報である。他作業体動作予測情報Ｉ７は、例えば、他作業体８が所定の動作シーケンスを繰り返し実行する場合に、繰り返される動作シーケンスと各動作の周期を示す情報であってもよい。他の例では、他作業体動作予測情報Ｉ７は、他作業体８の現在の動作または現在の動作を含む過去の動作シーケンスから、次に他作業体８が実行する動作又は動作シーケンスを特定するための情報であってもよい。この場合、他作業体動作予測情報Ｉ７は、ルックアップテーブルであってもよく、機械学習により得られた推論器のパラメータであってもよい。

また、他作業体動作予測情報Ｉ７は、出力信号Ｓ４から現在実行している動作の完了予測時間、次に実行されると予測される動作又は／及び当該動作の所要時間などを推論する推論器のパラメータであってもよい。例えば他作業体８が仕掛品を後工程に渡す必要がある目的タスクの場合、推論器は、他作業体８を被写体とする画像又は時系列の画像群（動画データ）が入力された場合に、当該他作業体８が後工程に仕掛品を渡すまでの所要時間を出力するように学習される。このような推論器の学習に用いられる学習モデルは、畳み込みニューラルネットワークなどの深層学習、サポートベクターマシーンなどの他の機械学習、又はこれらの組合せであってもよい。

他作業体動作予測情報Ｉ７は、目的タスクの種類毎又は／及び他作業体８の種類毎にアプリケーション情報記憶部４１に記憶されてもよい。また、他作業体動作予測情報Ｉ７は、アプリケーション情報記憶部４１に予め記憶されてもよく、制御装置１が実行する後述の学習処理により生成されてもよい。

なお、アプリケーション情報記憶部４１は、上述した情報の他、サブタスクシーケンスの生成処理に関する種々の情報を記憶してもよい。

（４）制御装置の処理概要
図４は、制御装置１の処理の概要を示す機能ブロックの一例である。制御装置１のプロセッサ１１は、機能的には、観測部１５と、動作シーケンス生成部１６と、同期管理部１７と、ロボット制御部１８とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。

観測部１５は、出力信号Ｓ４又は他作業体動作関連情報Ｓ５の少なくとも一方に基づいて、作業空間内の物体の状態を観測し、観測結果「Ｒ」を動作シーケンス生成部１６に供給する。作業空間内の物体は、例えば、ロボット５、他作業体８、ロボット５又は他作業体８が取り扱う工具又は部品などの対象物、及び障害物などである。この場合、観測部１５は、物体モデル情報Ｉ６を参照し、作業空間の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、RFID（radio frequency identifier）を用いる技術等）により出力信号Ｓ４を解析することで、作業空間内の物体の状態を推定する。そして、観測部１５は、作業空間内の物体の状態に関する推定結果（「状態推定結果Ｒ１」とも呼ぶ。）を、観測結果Ｒとして生成する。状態推定結果Ｒ１には、観測した物体の種類、位置、及び姿勢などの情報が含まれている。

また、観測部１５は、他作業体動作予測情報Ｉ７を参照し、出力信号Ｓ４又は他作業体動作関連情報Ｓ５に基づいて、他作業体８の動作の予測を行い、その予測結果（「動作予測結果Ｒ２」とも呼ぶ。）を、観測結果Ｒとして生成する。動作予測結果Ｒ２には、例えば、現在実行中の動作の識別情報と当該動作の終了タイミングが含まれている。また、動作予測結果Ｒ２には、次に実行すると予測される動作（動作シーケンスであってもよい）の識別情報と当該動作の開始及び終了タイミングとがさらに含まれてもよい。この場合、例えば、観測部１５は、出力信号Ｓ４又は他作業体動作関連情報Ｓ５に基づき現在実行中の動作（及び当該動作の進捗状況）を認識し、他作業体動作予測情報Ｉ７を参照することで、動作予測結果Ｒ２を生成する。他の例では、他作業体動作予測情報Ｉ７に動作予測のための上述した推論器のパラメータが記憶されている場合には、観測部１５は、当該推論器に出力信号Ｓ４を入力することで、動作予測結果Ｒ２を取得する。

なお、観測部１５は、他作業体８が作業中の所定期間において時系列に供給される出力信号Ｓ４又は他作業体動作関連情報Ｓ５に基づいて、他作業体動作予測情報Ｉ７の生成又は更新を行ってもよい。例えば、観測部１５は、所定期間に生成される時系列の出力信号Ｓ４又は他作業体動作関連情報Ｓ５に基づいて他作業体８が実行する動作のシーケンスを認識し、１又は複数の動作が周期的に行われていると判定した場合に、周期的に実行される動作及びその周期を示す情報を他作業体動作予測情報Ｉ７として生成する。同様に、観測部１５は、他作業体８が作業中の所定期間において時系列に供給される出力信号Ｓ４又は他作業体動作関連情報Ｓ５に基づいて、他作業体８が実行した動作及び動作タイミングのシーケンスを認識し、その認識結果と所定時間前に得られた出力信号Ｓ４又は他作業体動作関連情報Ｓ５とを学習データセットとする機械学習を行ってもよい。この場合、観測部１５は、出力信号Ｓ４又は他作業体動作関連情報Ｓ５が入力された場合に予測される動作及び動作タイミングを出力する推論器のパラメータを、他作業体動作予測情報Ｉ７として記憶する。

なお、観測部１５に相当する機能を計測装置７が有してもよい。この場合、計測装置７は、出力信号Ｓ４に代えて、又はこれに加えて、生成した観測結果Ｒを制御装置１に供給する。

動作シーケンス生成部１６は、入力信号Ｓ１により目的タスクが指定された場合に、観測部１５から供給される観測結果Ｒと、アプリケーション情報記憶部４１が記憶する各種のアプリケーション情報と、に基づき、ロボット５に実行させるサブタスクシーケンス「Ｓｒ」を生成する。そして、動作シーケンス生成部１６は、生成したサブタスクシーケンスＳｒを同期管理部１７に供給する。ここで、サブタスクシーケンスＳｒには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。

また、動作シーケンス生成部１６は、目的タスクを受け付ける場合に、目的タスクを入力する画面を表示するための表示信号Ｓ２をタスク指示装置２に送信することで、タスク指示装置２に上述の画面を表示させる。例えば、動作シーケンス生成部１６は、画面上に出力信号Ｓ４に基づく作業空間内の画像を表示した画面への種々の操作を受け付けることで、「Ａに地点に存在する対象物ＸをＢ地点に運び、３０秒待ってから、後工程を行う他作業体８に対象物Ｘを渡す」といった目的タスクの入力を受け付ける。上述の操作の例は、タッチ操作、ドラッグアンドドロップ操作、ボタン操作、キーボード操作、及び音声入力操作等などを含む。

同期管理部１７は、動作シーケンス生成部１６からサブタスクシーケンスＳｒが供給された場合に、当該サブタスクシーケンスＳｒをロボット制御部１８に送信することで、ロボット５にサブタスクシーケンスＳｒを実行させる。また、ロボット５のサブタスクシーケンスＳｒの実行中において、同期管理部１７は、観測部１５から供給される観測結果Ｒに基づいて、ロボット５の動作と他作業体８の動作とが同期しているか否か判定し、これらの動作が同期していない場合に、これらの動作が同期するための同期制御を行う。

上述の同期制御の第１の例では、ロボット５の動作と他作業体８の動作とが同期していない場合、同期管理部１７は、ロボット５の動作タイミングを調整するタイミング調整情報「Ｉｂ」をロボット制御部１８に供給する。この場合、同期管理部１７は、タイミング調整情報Ｉｂに代えて、既に生成されたサブタスクシーケンスＳｒの動作タイミングの変更を反映した新たなサブタスクシーケンスＳｒをロボット制御部１８に供給してもよい。上述の同期制御の第２の例では、ロボット５の動作と他作業体８の動作とが同期していない場合、同期管理部１７は、動作シーケンス生成部１６に対し、サブタスクシーケンスＳｒの再生成を指示する再生成指示情報「Ｉａ」を動作シーケンス生成部１６に供給する。この場合、同期管理部１７は、再生成指示情報Ｉａに基づいて動作シーケンス生成部１６が生成したサブタスクシーケンスＳｒを、ロボット制御部１８へ供給する。後述するように、同期管理部１７は、第１の例と第２の例とを場合分けにより組み合わせて実行する。

ロボット制御部１８は、同期管理部１７から供給されたサブタスクシーケンスＳｒに基づき、サブタスクシーケンスＳｒを構成する各サブタスクを夫々定められた実行タイミング（タイムステップ）でロボット５が実行するための制御を行う。具体的には、ロボット制御部１８は、制御信号Ｓ３をロボット５に送信することで、サブタスクシーケンスＳｒを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。また、ロボット制御部１８は、サブタスクシーケンスＳｒに基づくロボット５の制御中に、新たなサブタスクシーケンスＳｒ又はタイミング調整情報Ｉｂが同期管理部１７から供給された場合、タイミング調整情報Ｉｂを反映したサブタスクシーケンスＳｒ又は新たに供給されたサブタスクシーケンスＳｒに基づき、ロボット５の動作制御を行う。

なお、ロボット制御部１８に相当する機能を、制御装置１に代えてロボット５が有してもよい。この場合、ロボット５は、サブタスクシーケンスＳｒ又はタイミング調整情報Ｉｂを示す制御信号Ｓ３を制御装置１から受信することで、サブタスクシーケンスＳｒを実現するための関節の位置制御又はトルク制御などを実行する。

なお、図４において説明した観測部１５、動作シーケンス生成部１６、同期管理部１７及びロボット制御部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。より具体的には、各構成要素は、メモリ１２又は記憶装置４に格納されたプログラムを、プロセッサ１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

（５）同期管理部の詳細
ロボット５のサブタスクシーケンスＳｒの実行中における同期管理部１７の処理の詳細について説明する。同期管理部１７は、観測部１５から供給される観測結果Ｒに基づいて、ロボット５の動作と他作業体８の動作との同期判定を行い、これらの動作が同期していない場合に、再生成指示情報Ｉａ又はタイミング調整情報Ｉｂを生成する。

ここで、ロボット５の動作と他作業体８の動作との同期判定について具体的に説明する。以後では、ロボット５又は他作業体８の一方に割り当てられたあるタスクが開始又は終了しないと他方が実行すべきタスクを開始又は終了することができない場合、前者のタスクを「キータスク」と呼び、後者のタスクを「従属タスク」とも呼ぶ。即ち、従属タスクは、他の作業体のタスクが開始又は終了しないと開始又は終了することができないタスクを指し、キータスクは、当該タスクが開始又は終了しないと開始又は終了することができない他の作業体のタスクが存在するタスクを指すとする。キータスク及び従属タスクは、ロボット５の場合、サブタスクシーケンスＳｒに含まれる１又は連続する複数個のサブタスクである。例えば、他作業体８が作る仕掛品をロボット５が取りに行く必要がある目的タスクが設定されている場合には、ロボット５が仕掛品を取りに行くというタスクがキータスクに該当し、他作業体８が仕掛品を完成させるというタスクが従属タスクに該当する。

同期管理部１７は、ロボット５又は他作業体８が実行すべきキータスクの開始又は終了タイミングが遅れていることにより、他方の従属タスクの開始又は終了ができないと予測される場合、ロボット５の動作と他作業体８の動作とが同期していないと判定する。この場合、同期管理部１７は、動作予測結果Ｒ２に基づき、他作業体８が実行すべきキータスク又は従属タスクの開始又は終了タイミングを予測する。また、同期管理部１７は、生成済のサブタスクシーケンスＳｒに基づき、ロボット５が実行すべきキータスク又は従属タスクの開始又は終了タイミングを予測する。この場合、同期管理部１７は、ロボット制御部１８が管理するサブタスクシーケンスＳｒの進捗度合に関する情報に基づき、ロボット５が実行すべきキータスク又は従属タスクの開始又は終了タイミングを、現実のロボット５の動作状況を勘案してより的確に予測してもよい。

次に、ロボット５の動作と他作業体８の動作とが同期していないと判定した場合について補足説明する。

第１の例では、同期管理部１７は、ロボット５のサブタスクの実行タイミングの調整により、ロボット５の動作と他作業体８の動作とを同期させることができると判定した場合、ロボット５のサブタスクの実行タイミングを調整する。一方、同期管理部１７は、ロボット５のサブタスクの実行タイミングの調整によっては、ロボット５の動作と他作業体８の動作とを同期させることができないと判定した場合、サブタスクシーケンスＳｒの再生成を指示する再生成指示情報Ｉａを動作シーケンス生成部１６に供給する。ここで、ロボット５のサブタスクの実行タイミングを調整する場合、同期管理部１７は、ロボット５のサブタスクの実行タイミングを調整するためのタイミング調整情報Ｉｂをロボット制御部１８に供給してもよく、実行タイミングの調整を反映したサブタスクシーケンスＳｒをロボット制御部１８に供給してもよい。この場合に、実行タイミングの調整対象となるサブタスクは、キータスク又は従属タスクとその後に実行するサブタスクであってもよく、サブタスクシーケンスＳｒを構成する未実行の全てのサブタスクであってもよい。

第２の例では、同期管理部１７は、ロボット５のサブタスクの実行タイミングの調整による上述の同期の可否に関わらず、再生成指示情報Ｉａにより動作シーケンス生成部１６にサブタスクシーケンスＳｒの再生成を指示する。そして、同期管理部１７は、再生成されたサブタスクシーケンスＳｒによる目的タスクの完了が、当初のサブタスクシーケンスＳｒに対して実行タイミングの調整を行った場合の目的タスクの完了よりも早いと予測される場合、再生成されたサブタスクシーケンスＳｒをロボット制御部１８に供給する。一方、同期管理部１７は、再生成されたサブタスクシーケンスＳｒによる目的タスクの完了が、当初のサブタスクシーケンスＳｒに対して実行タイミングの調整を行った場合の目的タスクの完了よりも遅い場合、当初のサブタスクシーケンスＳｒに対するロボット５のサブタスクの実行タイミングの調整を行う。なお、同期管理部１７は、ロボット５のサブタスクの実行タイミングの調整によってはロボット５の動作と他作業体８の動作とを同期させることができない場合には、第１の例と同様に、サブタスクシーケンスＳｒの再生成を指示する再生成指示情報Ｉａを、動作シーケンス生成部１６に供給する。

（６）動作シーケンス生成部の詳細
次に、動作シーケンス生成部１６の詳細な処理について説明する。

（６－１）機能ブロック
図５は、動作シーケンス生成部１６の機能的な構成を示す機能ブロックの一例である。動作シーケンス生成部１６は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、を有する。

抽象状態設定部３１は、観測部１５から供給される観測結果Ｒと、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、目的タスクを実行する際に考慮する必要がある作業空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を目標論理式生成部３２に供給する。

目標論理式生成部３２は、目的タスクに関する入力信号Ｓ１をタスク指示装置２から受信した場合に、抽象状態設定情報ＩＳに基づき、入力信号Ｓ１が示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。また、目標論理式生成部３２は、目的タスクに関する入力を受け付ける画面を表示するための表示信号Ｓ２を生成し、当該表示信号Ｓ２をタスク指示装置２に供給する。

タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。

抽象モデル生成部３４は、観測部１５から供給される観測結果Ｒと、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、に基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。

制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。

サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスＳｒを生成し、サブタスクシーケンスＳｒを同期管理部１７へ供給する。

（６－２）抽象状態設定部
抽象状態設定部３１は、観測部１５から供給される観測結果Ｒと、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間内において設定すべき抽象状態を認識する。なお、作業空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、入力信号Ｓ１により指定された目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。

図６は、ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。図６に示す作業空間には、２つのロボットアーム５２ａ、５２ｂと、４つの対象物６１（６１ａ～６１ｄ）と、障害物６２と、他作業体ハンド８１（８１ａ、８１ｂ）を有する他作業体８と、対象物６１の目的地である領域Ｇとが存在している。

この例の場合、計測装置７が出力する出力信号Ｓ４に基づき観測部１５が出力する観測結果Ｒに基づき、抽象状態設定部３１は、対象物６１の状態、障害物６２の存在範囲、他作業体８の状態、領域Ｇの存在範囲等を認識する。

ここでは、抽象状態設定部３１は、対象物６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ_１」～「ｘ_４」を、対象物６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド５３ａの位置ベクトル「ｘ_ｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘ_ｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。

また、抽象状態設定部３１は、他作業体８の一方の手である他作業体ハンド８１ａの位置ベクトル「ｘ_ｈ１」と、他作業体８の他方の手である他作業体ハンド８１ｂの位置ベクトル「ｘ_ｈ２」とを、他作業体８が物を掴む、離す、動かすなどの各種動作が行われる特徴点の位置として認識する。なお、抽象状態設定部３１は、他作業体ハンド８１ａ及び他作業体ハンド８１ｂを夫々異なる他作業体８とみなしてもよい。この場合、抽象状態設定部３１は、他作業体ハンド８１ａ及び他作業体ハンド８１ｂの各位置を、他作業体８の位置として認識する。

同様に、抽象状態設定部３１は、対象物６１ａ～６１ｄの姿勢（図６の例では対象物が球状のため不要）、障害物６２の存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２及び領域Ｇの各頂点の位置ベクトルを認識する。

また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、観測結果Ｒ（特に状態推定結果Ｒ１）が示す、作業空間内に存在する物体及び領域に関する認識結果（例えば物体及び領域の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。

図６の例では、抽象状態設定部３１は、状態推定結果Ｒ１により特定される対象物６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ内に存在するという命題「ｇ_ｉ」を定義する。また、抽象状態設定部３１は、障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏ_ｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。同様に、抽象状態設定部３１は、ロボットアーム５２と他作業体ハンド８１ａ、８１ｂとが干渉するという命題などを定義する。

このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇ_ｉ、ｏ_ｉ、ｈ）を、対象物６１の数、ロボットアーム５２の数、障害物６２の数、他作業体８の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。

（６－３）目標論理式生成部
まず、目標論理式生成部３２は、入力信号Ｓ１により指定された目的タスクを、時相論理を用いた論理式に変換する。入力信号Ｓ１は、自然言語を用いて表されていてもよい。なお、自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在するため、本実施形態では説明を省略する。例えば、図６の例において、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇ_ｉ」と用いて、論理式「◇ｇ_２」を生成する。なお、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。

次に、目標論理式生成部３２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。

例えば、図６に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム５２同士が常に干渉しない」、「対象物ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部３２は、図６の説明において抽象状態設定部３１により定義された命題「ｏ_ｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧_ｉ□￢ｏ_ｉ

よって、この場合、目標論理式生成部３２は、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ_２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）

なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が常に障害物Ｏに干渉しない」、「複数のロボットアーム５２が同じ対象物を掴まない」、「対象物同士が常に接触しない」、「ロボットアーム５２が常に他作業体ハンド８１ａ、８１ｂに干渉しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。

（６－４）目標論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。

ここで、図６の説明において例示した「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。

この場合、タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇとして、「（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_ｉ）」が目標論理式生成部３２から供給される。この場合、タイムステップ論理式生成部３３は、命題「ｇ_ｉ」をタイムステップの概念を含むように拡張した命題「ｇ_ｉ，ｋ」を用いる。ここで、命題「ｇ_ｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ_２,３）∧（∧_{ｋ＝１,２,３}□￢ｈ_ｋ）∧（∧_{ｉ,ｋ＝１,２,３}□￢ｏ_ｉ）

また、◇ｇ_２,３は、以下の式に示すように書き換えることが可能である。

このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ_１」～「φ_４」の論理和（φ_１∨φ_２∨φ_３∨φ_４）により表される。

よって、タイムステップ論理式生成部３３は、４つの候補φ_１～φ_４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ_１～φ_４の少なくともいずれかが真となる場合に真となる。

次に、目標タイムステップ数の設定方法について補足説明する。

タイムステップ論理式生成部３３は、例えば、ユーザ入力により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。

好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。

このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。

（６－５）抽象モデル生成部
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、観測結果Ｒとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクスを含む汎用的な形式の抽象モデルに対し、状態推定結果Ｒ１を反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５の台数等を示す。

また、抽象モデル情報Ｉ５には、他作業体８が実行し得る動作毎に他作業体８の抽象化されたダイナミクスに関する情報が含まれている。よって、抽象モデル生成部３４は、抽象モデル情報Ｉ５を参照し、動作予測結果Ｒ２が示す他作業体８の予測された動作に対応する他作業体８の抽象化されたダイナミクスを決定し、他作業体の抽象的なダイナミクスが反映された抽象モデルΣを生成する。

ここで、ロボット５による目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が対象物ｉを掴んでいる場合には、当該対象物ｉを動かすことができるが、ロボットアーム５２が対象物ｉを掴んでない場合には、当該対象物ｉを動かすことができない。

以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物ｉを掴むという動作を論理変数「δ_ｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図６に示す作業空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。

ここで、「ｕ_ｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示す。「Ｉ」は単位行列を示す。「０」は零行例を示す。「Ａ」は、他作業体８の他作業体ハンド８１のダイナミクスを表すドリフト項である。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δ_ｊ,ｉ」は、ロボットハンドｊが対象物ｉを掴んでいる場合に「１」となり、その他の場合に「０」となる論理変数である。また、「ｘ_ｒ１」、「ｘ_ｒ２」は、ロボットハンドｊ（ｊ＝１、２）の位置ベクトル、「ｘ_１」～「ｘ_４」は、対象物ｉ（ｉ＝１～４）の位置ベクトル、「ｘ_ｈ１」、「ｘ_ｈ２」は、他作業体ハンド８１の位置ベクトルを示す。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを１に設定している。

また、「Ａ」は、他作業体８の他作業体ハンド８１のダイナミクスを表すドリフト項であり、以下の式（２）又は式（３）により定めることができる。

ここで、式（２）における「Δｔ」は、タイムステップ幅を示し、「∂ｘ_ｈ１／∂ｔ」及び「∂ｘ_ｈ２／∂ｔ」は、タイムステップについての他作業体ハンド８１の偏微分を示す。また、式（３）における「Δｘ_ｈ１」及び「Δｘ_ｈ１」は、１タイムステップあたりの他作業体ハンド８１の位置の変位を示す。

ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップ（ｋ＋１）での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。

式（１）では、ロボット５全体及び他作業体８全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクス及び他作業体ハンド８１のダイナミクスのみを考慮している。これにより、制御入力生成部３５により最適化処理の計算量を好適に削減することができる。

また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数、及び、観測結果Ｒから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図６では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と観測結果Ｒとに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。

なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。

（６－６）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対するタイムステップ毎の制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。

例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄ_ｋ」と制御入力「ｕ_ｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄ_ｋは、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と領域Ｇとのタイムステップｋでの距離に相当する。

この場合、制御入力生成部３５は、たとえば、全タイムステップにおける距離ｄ_ｋのノルムの２乗と制御入力ｕ_ｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φ_ｉの論理和）を制約条件とする以下の式（４）に示す制約付き混合整数最適化問題を解く。

ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。

また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕ_ｋを決定する。

好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕ_ｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間６におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。

（６－７）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃが示すタイムステップ毎の制御入力をサブタスクに変換する。

例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃが示すタイムステップ毎の論理変数δの遷移に基づき決定する。

そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成されるサブタスクシーケンスＳｒを生成し、当該サブタスクシーケンスＳｒを同期管理部１７に供給する。例えば、目的タスクが「最終的に対象物（ｉ＝２）が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」のサブタスクシーケンスＳｒを生成する。この場合、対象物（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を領域Ｇに載置する。

（７）処理フロー
図７は、第１実施形態において制御装置１が実行するロボット制御処理の概要を示すフローチャートの一例である。

まず、制御装置１の観測部１５は、計測装置７から供給される出力信号Ｓ４に基づき、他作業体８を含む作業空間内の各物体の状態を観測する（ステップＳ１１）。これにより、観測部１５は、状態推定結果Ｒ１を生成する。また、観測部１５は、他作業体動作予測情報Ｉ７を参照し、状態推定結果Ｒ１、出力信号Ｓ４、又は他作業体動作関連情報Ｓ５の少なくともいずれかに基づいて、他作業体８の動作予測を行う（ステップＳ１２）。これにより、観測部１５は、動作予測結果Ｒ２を生成する。

次に、動作シーケンス生成部１６は、状態推定結果Ｒ１、動作予測結果Ｒ２及びアプリケーション情報に基づき、ロボット５の動作シーケンスであるサブタスクシーケンスＳｒを決定する（ステップＳ１３）。そして、ロボット制御部１８は、生成されたサブタスクシーケンスＳｒに基づく制御信号Ｓ３をロボット５へ供給し、生成されたサブタスクシーケンスＳｒに従いロボット５が動作するように制御する。

その後、観測部１５は、サブタスクシーケンスＳｒに基づきロボット５が動作中の期間において、ロボット５及び他作業体８の観測を行う（ステップＳ１４）。これにより、観測部１５は、ロボット５及び他作業体８に関する観測結果Ｒを生成する。

そして、同期管理部１７は、ロボット５の動作と他作業体８の動作とが同期しているか否か判定する（ステップＳ１５）。そして、同期管理部１７は、ロボット５の動作と他作業体８の動作とが同期していると判定した場合（ステップＳ１５；Ｙｅｓ）、ステップＳ１７へ処理を進める。一方、同期管理部１７は、ロボット５の動作と他作業体８の動作とが同期していないと判定した場合（ステップＳ１５；Ｎｏ）、ロボット５の作業タイミングの変更又は動作シーケンスの再生成による調整を行う（ステップＳ１６）。この場合、同期管理部１７は、例えば、タイミング調整情報Ｉｂ又はタイミングを調整したサブタスクシーケンスＳｒをロボット制御部１８へ送信する。他の例では、同期管理部１７は、再生成指示情報Ｉａを動作シーケンス生成部１６に送信し、その応答として動作シーケンス生成部１６から受信したサブタスクシーケンスＳｒを、ロボット制御部１８へ送信する。

そして、制御装置１は、目的タスクが完了したか否か判定する（ステップＳ１７）。この場合、制御装置１は、例えば、出力信号Ｓ４から生成された観測結果Ｒ又はロボット５から供給される目的タスクの完了を通知する信号に基づき、目的タスクの完了の有無を判定する。そして、制御装置１は、目的タスクが完了したと判定した場合（ステップＳ１７；Ｙｅｓ）、フローチャートの処理を終了する。一方、制御装置１は、目的タスクが完了していないと判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１４へ処理を戻し、同期管理部１７によるロボット５と他作業体８との動作の同期判定及び調整が行われる。

（９）変形例
図５に示す同期管理部１７のブロック構成は一例であり、種々の変更がなされてもよい。

例えば、ロボット５に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶されている場合、同期管理部１７は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、同期管理部１７は、最適な候補φの選定とロボット５の制御入力の決定とを行う。この場合、同期管理部１７は、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。このように、図５に示す同期管理部１７の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。

他の例では、アプリケーション情報には、目的タスクに対応するサブタスクシーケンスＳｒを設計するためのフローチャートなどの設計情報が予め含まれており、同期管理部１７は、当該設計情報を参照することで、サブタスクシーケンスＳｒを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、特開２０１７－３９１７０号に開示されている。また、同期管理部１７は、タスク指示装置２から供給される入力信号Ｓ１に基づき指定されたロボット５のサブタスクのシーケンスを示すサブタスクシーケンスＳｒを生成してもよい。

＜第２実施形態＞
図８は、第２実施形態におけるロボット制御システム１００Ａの構成を示す。ロボット制御システム１００Ａは、主に、制御装置１Ａと、タスク指示装置２と、ロボット動作表示装置３と、記憶装置４と、ロボット５と、計測装置７と、他作業体８と、を備える。第２実施形態に係る制御装置１Ａは、ロボット５が実行する動作に関する通知を、ロボット動作表示装置３により作業者である他作業体８（図８では作業者８Ａ）に行う点で、第１実施形態と異なる。以後では、第１実施形態と同一の構成要素については、適宜同一の符号を付し、その説明を省略する。

制御装置１Ａは、図２（Ａ）に示す制御装置１のハードウェア構成と同一のハードウェア構成を有する。そして、制御装置１Ａは、ロボット５に対するサブタスクシーケンスＳｒの生成後、サブタスクシーケンスＳｒに基づきロボット５が実行する動作に関する表示信号「Ｓ６」を生成し、表示信号Ｓ６をロボット動作表示装置３に送信する。なお、制御装置１Ａとロボット動作表示装置３とは、通信網を介し、又は、有線若しくは無線による直接通信により、データ通信を行う。

ロボット動作表示装置３は、制御装置１Ａから供給される表示信号Ｓ６に基づきロボット５が実行する動作に関する情報を表示する。ロボット動作表示装置３は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）による表示が可能なヘッドマウントディスプレイなどのウェアラブルデバイスであり、ロボット５が実行する動作に関する情報を、作業者８Ａが視認する実際の風景に重ねて表示する。

図９は、第２実施形態におけるプロセッサ１１のブロック構成の一例である。図９に示すように、プロセッサ１１は、第１実施形態と同様、観測部１５と、動作シーケンス生成部１６と、同期管理部１７Ａと、ロボット制御部１８とを有する。そして、同期管理部１７Ａは、サブタスクシーケンスＳｒに基づき、ロボット５が実行する動作に関する表示信号Ｓ６を生成し、インターフェース１３を介してロボット動作表示装置３に表示信号Ｓ６を供給する。

第１の例では、同期管理部１７Ａは、所定時間後（例えば数秒後）のロボット５の状態を、ロボット動作表示装置３に表示させる。この場合、同期管理部１７Ａは、たとえば、ロボット５の動作をシミュレーションするシミュレーション技術を用いて、サブタスクシーケンスＳｒと状態推定結果Ｒ１が示す現在のロボット５の状態とに基づいて、所定時間後のロボット５の位置（及び姿勢）を認識する。そして、同期管理部１７Ａは、認識したロボット５の位置に、ロボット５を表す画像を表示するための表示信号Ｓ６を生成する。この場合、ロボット５を表す画像は、ロボット５を模したコンピュータグラフィックであってもよく、ロボット５を抽象的に表すアイコンなどの平面的な画像であってもよい。また、ロボット５を表す画像は、作業に特に関連するロボット５の部位（例えば手先）のみを示す画像であってもよい。そして、ロボット動作表示装置３は、表示信号Ｓ６に基づき、作業者８Ａが視認する実風景上において、ロボット５が所定時間後に存在すると予測される位置に、ロボット５を表す画像を重ねて表示する。なお、この場合、ロボット動作表示装置３は、ＡＲデバイスが一般的に行うキャリブレーションなどを予め行うことで、同期管理部１７Ａが表示信号Ｓ６により指定した位置にロボット５を表す画像を表示する。

第１の例によれば、同期管理部１７Ａは、所定時間後のロボット５の状態を作業者８Ａに把握させることで、ロボット５の動作に合わせて作業者８Ａが動くことを作業者８Ａに好適に促すことができる。従って、この場合、同期管理部１７Ａは、再生成指示情報Ｉａ又はタイミング調整情報Ｉｂによらずに、ロボット５の動作と作業者８Ａの動作との協働を容易にし、ロボット５と作業者８Ａが効率的に協働作業を行うことを好適に支援することができる。

第２の例では、同期管理部１７Ａは、作業者８Ａの作業に関連するロボット５の次の動作が行われるまでの予想時間を、ロボット動作表示装置３に表示させる。上述の「ロボット５の次の動作」は、次にロボット５が実行するキータスクであってもよく、次にロボット５が実行する従属タスクであってもよい。この場合、同期管理部１７Ａは、ロボット５の次の動作が行われるまでの予想時間を表示するための表示信号Ｓ６を生成し、生成した表示信号Ｓ６をロボット動作表示装置３に送信する。この場合、ロボット動作表示装置３は、表示信号Ｓ６に基づき、ロボット５の次の動作が行われるまでの予想時間を表示する。第２の例においても、同期管理部１７Ａは、ロボット５の動作と作業者８Ａの動作との同期を促し、ロボット５と作業者８Ａが効率的に協働作業を行うことを好適に支援することができる。

図１０は、第２実施形態において制御装置１が実行するロボット制御処理の概要を示すフローチャートの一例である。

まず、制御装置１の観測部１５は、作業空間内の各物体の状態の観測（ステップＳ２１）、及び、他作業体８の動作予測を行う（ステップＳ２２）。次に、動作シーケンス生成部１６は、サブタスクシーケンスＳｒを決定し、ロボット制御部１８は、サブタスクシーケンスＳｒによるロボット５の制御を開始する（ステップＳ２３）。その後、観測部１５は、サブタスクシーケンスＳｒに基づきロボット５が動作中の期間において、ロボット５及び他作業体８の観測を行う（ステップＳ２４）。

そして、同期管理部１７Ａは、ロボット５が実行する動作に関する通知を行う（ステップＳ２５）。この場合、同期管理部１７Ａは、ロボット５が実行する動作に関する表示信号Ｓ６を生成し、表示信号Ｓ６をロボット動作表示装置３に送信することで、ロボット５が実行する動作に関する情報を、ロボット動作表示装置３に表示させる。これにより、ロボット５と作業者８Ａが効率的に協働作業を行うことを好適に支援する。

そして、同期管理部１７Ａは、ロボット５の動作と他作業体８の動作とが同期しているか否か判定する（ステップＳ２６）。そして、同期管理部１７Ａは、ロボット５の動作と他作業体８の動作とが同期していると判定した場合（ステップＳ２６；Ｙｅｓ）、ステップＳ２８へ処理を進める。一方、同期管理部１７Ａは、ロボット５の動作と他作業体８の動作とが同期していないと判定した場合（ステップＳ２６；Ｎｏ）、ロボット５の作業タイミングの変更又は動作シーケンスの再生成による調整を行う（ステップＳ２７）。その後、制御装置１は、目的タスクが完了したと判定した場合（ステップＳ２８；Ｙｅｓ）、フローチャートの処理を終了する。一方、制御装置１は、目的タスクが完了していないと判定した場合（ステップＳ２８；Ｎｏ）、ステップＳ２４へ処理を戻し、ロボット５と他作業体８との動作の同期判定及び調整と、ロボット動作表示装置３の表示制御とを継続する。

なお、ロボット動作表示装置３は、ＡＲを実現するヘッドマウントディスプレイに限られず、モニタ、プロジェクタ、又はタイムカウンターなどの種々の表示機器であってもよい。例えば、ロボット動作表示装置３がモニタ又はプロジェクタである場合、ロボット動作表示装置３は、計測装置７が撮像した画像に上述の第１の例に基づくロボット５を表す画像を重畳表示してもよく、上述の第２の例に基づく予想時間を表示してもよい。

また、同期管理部１７Ａは、ロボット動作表示装置３に代えて、音出力装置にロボット５が実行する動作に関する音声を出力させてもよい。この場合、同期管理部１７Ａは、例えば、ロボット５の次の動作が行われるまでの予想時間の音声を、音出力装置に出力させる。他の例では、同期管理部１７Ａは、ロボット５が所定時間後に存在する位置を認識し、当該位置に作業者８Ａが存在すると判定した場合に、作業者８Ａに移動を促す音声案内を音出力装置に出力させる。

また、好適には、制御装置１は、ロボット動作表示装置３に代えて、ロボット５のジェスチャを制御することで、ロボット５が実行する動作に関する情報を作業者８Ａに通知してもよい。これにより、制御装置１は、に直感的で分かりやすい態様により、ロボット５が実行する動作に関する通知を、作業者８Ａに対して行うことができる。

この場合、例えば、同期管理部１７Ａは、ロボット５が所定時間後に存在する位置を認識し、当該位置に作業者８Ａが存在すると判定した場合に、ロボット５に送信する制御信号に基づき、作業者８Ａに移動（退避）を促すジェスチャを、ロボット５に実行させる。他の例では、制御装置１は、所定のサブタスクをロボット５が終了したときに、当該サブタスクの終了を作業者８Ａに通知するためのジェスチャを、ロボット５に実行させる。所定のサブタスクは、キータスクであってもよく、キータスクの所定個数前のサブタスクであってもよい。この場合、好適には、上述のジェスチャがサブタスクとしてサブタスク情報Ｉ４に登録されており、動作シーケンス生成部１６は、上述の所定のサブタスクの次に上述のジェスチャに相当するサブタスクを挿入したサブタスクシーケンスＳｒを生成する。これにより、動作シーケンス生成部１６は、作業者８Ａにロボット５のタスクの完了を通知するためのジェスチャを、ロボット５に好適に実行させることができる。

＜第３実施形態＞
図１１は、第３実施形態における制御装置１Ｂの機能ブロック構成を示す。制御装置１Ｂは、作業者である他作業体８の意図を検出し、検出した意図に基づき、ロボット５の動作タイミングの調整又はサブタスクシーケンスＳｒの再生成を行う点で、第１実施形態と異なる。以後では、第１実施形態と同一の構成要素については、適宜同一の符号を付し、その説明を省略する。

制御装置１Ｂは、図２（Ａ）に示す制御装置１のハードウェア構成と同一のハードウェア構成を有する。そして、制御装置１Ｂのプロセッサ１１は、観測部１５と、動作シーケンス生成部１６と、同期管理部１７Ｂと、ロボット制御部１８と、意思検出部１９とを有する。

意思検出部１９は、アプリケーション情報を参照することで、計測装置７が生成した出力信号Ｓ４に基づき、作業者が実施している動作の意図を検出する。そして、同期管理部１７Ｂは、この場合、意思検出部１９の検出結果に基づいて、タイミング調整情報Ｉｂ又はタイミング調整情報Ｉｂを反映済みのサブタスクシーケンスＳｒをロボット制御部１８に供給するか、再生成指示情報Ｉａを動作シーケンス生成部１６に供給する。

この場合、第１の例では、意思検出部１９は、出力信号Ｓ４が作業者を被写体とする画像である場合に、当該画像から作業者のジェスチャを検出し、当該ジェスチャに対応する意図を検出する。この場合、例えば、アプリケーション情報記憶部４１には、ジェスチャ認識に必要な情報と、各ジェスチャと意思とを対応付けた情報とが予め記憶されている。ジェスチャ認識に必要な情報は、入力された画像からジェスチャの検出結果（ジェスチャの有無及び種類）を出力するように学習された推論器のパラメータであってもよく、ジェスチャ認識をテンプレートマッチングで行うために必要なテンプレートの情報であってもよい。例えば、作業者は、作業に必要な仕掛品をロボット５から早く受け取りたい場合には、手のひらを返すジェスチャを行う。この場合、意思検出部１９は、画像である出力信号Ｓ４に基づき上述のジェスチャを認識し、作業者が作業に必要な仕掛品をロボット５から早く受け取りたいことを示すジェスチャを検出した旨の検出結果を、同期管理部１７Ｂに供給する。

第２の例では、計測装置７がマイクであり、出力信号Ｓ４が作業者の音声信号である場合に、意思検出部１９は、出力信号Ｓ４に基づき音声認識処理を行うことで、作業者が発した音声に対応する意思を検出する。この場合、アプリケーション情報記憶部４１には、音声認識に必要な情報が記憶されている。例えば、作業者は、作業に必要な仕掛品を早く受け取りたい旨の発言を行う。この場合、意思検出部１９は、計測装置７が生成する音声信号である出力信号Ｓ４に基づき上述の音声を認識し、作業者が作業に必要な仕掛品をロボット５から早く受け取りたいことを示す音声を検出した旨の検出結果を、同期管理部１７Ｂに供給する。

図１２は、第３実施形態において制御装置１が実行するロボット制御処理の概要を示すフローチャートの一例である。

まず、制御装置１の観測部１５は、他作業体８を含む作業空間内の各物体の状態の観測（ステップＳ３１）、及び、他作業体８の動作予測を行う（ステップＳ３２）。次に、動作シーケンス生成部１６は、ロボット５の動作シーケンスであるサブタスクシーケンスＳｒを決定し、サブタスクシーケンスＳｒによるロボット５の制御を開始する（ステップＳ３３）。その後、観測部１５は、サブタスクシーケンスＳｒに基づきロボット５が動作中の期間において、ロボット５及び他作業体８の観測を行う（ステップＳ３４）。そして、同期管理部１７Ｂは、ロボット５の動作と他作業体８の動作とが同期しているか否か判定する（ステップＳ３５）。そして、同期管理部１７Ｂは、ロボット５の動作と他作業体８の動作とが同期していると判定した場合（ステップＳ３５；Ｙｅｓ）、ステップＳ３７へ処理を進める。一方、同期管理部１７Ｂは、ロボット５の動作と他作業体８の動作とが同期していないと判定した場合（ステップＳ３５；Ｎｏ）、ロボット５の作業タイミングの変更又は動作シーケンスの再生成による調整を行う（ステップＳ３６）。

また、意思検出部１９は、サブタスクシーケンスＳｒに基づきロボット５が動作中の期間において、計測装置７が出力する出力信号Ｓ４に基づいて、タスクに関する作業者の意思表示があったか否か判定する（ステップＳ３７）。そして、意思検出部１９は、タスクに関する作業者の意思表示があったと判定した場合（ステップＳ３７；Ｙｅｓ）、同期管理部１７Ｂは、意思検出部１９が検出した作業者の意思に応じ、ロボット５の作業タイミングの変更又は動作シーケンスの再生成による調整を行う（ステップＳ３８）。なお、ステップＳ３７及びステップＳ３８の処理と、ステップＳ３４～ステップＳ３６の処理とは順不同であり、これらの処理の順番が入れ替わってもよい。

ここで、ステップＳ３８について補足説明する。検出された意思が特定のサブタスクの作業タイミングの変更である場合には、同期管理部１７Ｂは、当該サブタスクに関する作業タイミングを変更するためのタイミング調整情報Ｉｂ又はタイミングを調整したサブタスクシーケンスＳｒをロボット制御部１８へ送信する。一方、検出された意思がロボット５のタスクの追加である場合には、同期管理部１７Ｂは、ロボット５に追加で実行させるタスクを明示した再生成指示情報Ｉａを動作シーケンス生成部１６に送信する。この場合、動作シーケンス生成部１６は、追加でロボット５が実行すべきタスクに対応するサブタスクを組み込んだ新たなサブタスクシーケンスＳｒを生成する。また、同期管理部１７Ｂは、当該サブタスクシーケンスＳｒを動作シーケンス生成部１６から受信後、当該サブタスクシーケンスＳｒをロボット制御部１８へ供給する。

その後、制御装置１は、目的タスクが完了したか否か判定を行い（ステップＳ３９）、目的タスクが完了したと判定した場合（ステップＳ３９；Ｙｅｓ）、フローチャートの処理を終了する。一方、制御装置１は、目的タスクが完了していないと判定した場合（ステップＳ３９；Ｎｏ）、ステップＳ３４へ処理を戻し、同期管理部１７Ｂによるロボット５と他作業体８との動作の同期判定及び調整と、作業者の意思の検出及び意思に応じたロボット５の動作調整とを継続する。

このように、第３実施形態によれば、制御装置１Ｂは、他作業体８である作業者の意思表示があった場合に、作業者の意思を的確に反映した動作を行うようにロボット５を好適に制御することができる。

＜第４実施形態＞
図１３は、第４実施形態における制御装置１Ｃの概略構成図である。図１３に示すように、制御装置１Ｃは、主に、動作シーケンス生成手段１６Ｃと、同期管理手段１７Ｃと、を有する。

動作シーケンス生成手段１６Ｃは、タスクを実行するロボットと協働作業を行う他作業体の動作予測結果「Ｒ２ａ」に基づき、ロボットに実行させる動作シーケンス「Ｓｒａ」を生成する。ここで、動作予測結果Ｒ２ａは、第１実施形態～第３実施形態におけるいずれかの動作予測結果Ｒ２とすることができる。動作シーケンスＳｒａは、第１実施形態～第３実施形態におけるいずれかのサブタスクシーケンスＳｒとすることができる。また、動作シーケンス生成手段１６Ｃは、第１実施形態～第３実施形態におけるいずれかの動作シーケンス生成部１６とすることができる。なお、制御装置１Ａは、ロボットの一部として組み込まれてもよく、ロボットと別体として構成されてもよい。

同期管理手段１７Ｃは、動作シーケンスＳｒａを実行中のロボットと他作業体との動作の同期を行う。同期管理手段１７Ｃは、第１実施形態の同期管理部１７、第２実施形態の同期管理部１７Ａ、第３実施形態の同期管理部１７Ｂのいずれかとすることができる。この場合、同期管理手段１７Ｃは、ロボットを制御することで上述の同期を行ってもよく、他作業体に対してロボットの動作に関する情報を通知することで他作業体がロボットの動作と同期する動作を行うように促してもよい。

図１４は、第４実施形態において制御装置１Ｃが実行するフローチャートの一例である。まず、動作シーケンス生成手段１６Ｃは、タスクを実行するロボットと協働作業を行う他作業体の動作予測結果Ｒ２ａに基づき、ロボットに実行させる動作シーケンスＳｒａを生成する（ステップＳ４１）。そして、同期管理手段１７Ｃは、動作シーケンスＳｒａを実行中のロボットと他作業体との動作の同期を行う（ステップＳ４２）。

第４実施形態の構成によれば、制御装置１Ｃは、ロボットと他作業体とが協働作業を行う場合に、ロボットと他作業体とが同期した動作を行うように好適に調整することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
タスクを実行するロボットと協働作業を行う他作業体の動作予測結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段と、
を有する制御装置。

［付記２］
前記同期管理手段は、前記ロボットと前記他作業体との動作が同期していない場合、前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングを調整する、付記１に記載の制御装置。

［付記３］
前記同期管理手段は、前記ロボットと前記他作業体との動作が同期していない場合、前記動作シーケンス生成手段に前記動作シーケンスの再生成を指示する、付記１に記載の制御装置。

［付記４］
前記同期管理手段は、
前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングの調整では前記タスクが完了できない場合、
又は、
再生成された前記動作シーケンスを実行した場合の前記タスクの完了が、前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングを調整した場合の前記タスクの完了よりも早いと予測される場合、
再生成された前記動作シーケンスを前記ロボットに実行させる、付記３に記載の制御装置。

［付記５］
前記タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行う観測手段をさらに有し、
前記動作シーケンス生成手段は、前記観測手段による前記他作業体の動作予測結果に基づき、前記動作シーケンスを生成する、付記１～４のいずれか一項に記載の制御装置。

［付記６］
前記観測手段は、前記作業空間における物体の状態を観測し、
前記動作シーケンス生成手段は、前記動作予測結果と、前記物体の状態に関する観測結果とに基づき、前記動作シーケンスを生成する、付記５に記載の制御装置。

［付記７］
前記同期管理手段は、作業者である前記他作業体に対し、前記ロボットが実行する動作に関する通知を行う、付記１～６のいずれか一項に記載の制御装置。

［付記８］
前記同期管理手段は、前記通知として、所定時間後に前記ロボットが実行する動作に関する情報を表示又は音声出力する、付記７に記載の制御装置。

［付記９］
前記同期管理手段は、前記ロボットに所定のジェスチャを実行させることで、前記通知を行う、付記７に記載の制御装置。

［付記１０］
前記動作シーケンス生成手段は、前記通知を行うための前記ジェスチャを含む前記動作シーケンスを生成する、付記９に記載の制御装置。

［付記１１］
作業者である前記他作業体の意思を検出する意思検出手段をさらに有し、
前記同期管理手段は、前記意思に基づき、前記動作シーケンス生成手段に前記動作シーケンスの再生成を指示する、又は、前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングを調整する、付記１～１０のいずれか一項に記載の制御装置。

［付記１２］
前記動作シーケンス生成手段は、
前記ロボットに作業させるタスクである目的タスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記目的タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する、付記１～１１のいずれか一項に記載の制御装置。

［付記１３］
コンピュータにより、
タスクを実行するロボットと協働作業を行う他作業体の動作予測結果に基づき、前記ロボットに実行させる動作シーケンスを生成し、
前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う、
制御方法。

［付記１４］
タスクを実行するロボットと協働作業を行う他作業体の動作予測結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段
としてコンピュータを機能させるプログラムが格納された記録媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ～１Ｃ 制御装置
２ タスク指示装置
３ ロボット動作表示装置
４ 記憶装置
５ ロボット
７ 計測装置
８（８Ａ、８Ｂ） 他作業体
４１ アプリケーション情報記憶部
１００、１００Ａ ロボット制御システム

Claims (9)

1. タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行う観測手段と、
   前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
   前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段と、
   を有する制御装置。
2. 前記同期管理手段は、前記ロボットと前記他作業体との動作が同期していない場合、前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングを調整する、請求項１に記載の制御装置。
3. 前記同期管理手段は、前記ロボットと前記他作業体との動作が同期していない場合、前記動作シーケンス生成手段に前記動作シーケンスの再生成を指示する、請求項１に記載の制御装置。
4. タスクを実行するロボットと協働作業を行う他作業体の動作予測結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
   前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段と、を有し、
   前記同期管理手段は、前記ロボットと前記他作業体との動作が同期していない場合、前記動作シーケンス生成手段に前記動作シーケンスの再生成を指示し、
   前記同期管理手段は、
   前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングの調整では前記タスクが完了できない場合、
   又は、
   再生成された前記動作シーケンスを実行した場合の前記タスクの完了が、前記動作シーケンスを構成する動作の前記ロボットによる実行タイミングを調整した場合の前記タスクの完了よりも早いと予測される場合、
   再生成された前記動作シーケンスを前記ロボットに実行させる、制御装置。
5. 前記観測手段は、前記作業空間における物体の状態を観測し、
   前記動作シーケンス生成手段は、前記動作予測の結果と、前記物体の状態に関する観測結果とに基づき、前記動作シーケンスを生成する、請求項１～３のいずれか一項に記載の制御装置。
6. タスクを実行するロボットと協働作業を行う他作業体の動作の終了タイミングを示す動作予測結果、または、前記他作業体が対象物に対して動作を施す位置に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
   前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段と、を有し、
   前記同期管理手段は、作業者である前記他作業体に対し、前記ロボットが実行する動作に関する通知を行う、制御装置。
7. 前記同期管理手段は、前記通知として、所定時間後に前記ロボットが実行する動作に関する情報を表示又は音声出力する、請求項６に記載の制御装置。
8. コンピュータにより、
   タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行い、
   前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成し、
   前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う、
   制御方法。
9. タスクが実行される作業空間を検出範囲とする検出装置の出力信号又は前記タスクを実行するロボットと協働作業を行う他作業体が出力する他作業体動作関連情報の少なくとも一方に基づき、前記他作業体の動作予測を行う観測手段と、
   前記他作業体の動作の終了タイミングを示す前記動作予測の結果に基づき、前記ロボットに実行させる動作シーケンスを生成する動作シーケンス生成手段と、
   前記動作シーケンスを実行中の前記ロボットと前記他作業体との動作の同期を行う同期管理手段
   としてコンピュータを機能させるプログラム。

Images