JP5100525B2 - Article management system, article management method, and article management program - Google Patents
Article management system, article management method, and article management program Download PDFInfo
- Publication number
- JP5100525B2 JP5100525B2 JP2008157964A JP2008157964A JP5100525B2 JP 5100525 B2 JP5100525 B2 JP 5100525B2 JP 2008157964 A JP2008157964 A JP 2008157964A JP 2008157964 A JP2008157964 A JP 2008157964A JP 5100525 B2 JP5100525 B2 JP 5100525B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- person
- information
- robot arm
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、人とロボット(例えばロボットアーム)が協調して作業を行う際に、取り扱う物品の配置を管理する物品管理システム及び物品管理方法及び物品管理プログラムに関するものである。 The present invention relates to an article management system, an article management method, and an article management program for managing the arrangement of articles to be handled when a person and a robot (for example, a robot arm) work in cooperation.
従来の物品の配置を管理するシステムとして、特許文献1に示すような倉庫の荷物を管理するものがある。これは、出庫までの滞留時間が短い物品は、出庫口に近い入庫棚から空き状況を検索して収納し、出庫までの滞留時間が長い物品は、出庫口から遠い入庫棚から空き状況を検索して収納するとともに、入庫済み物品についての滞留時間を所定期間毎に算出し、出庫口に近い入庫棚から空き状況を検索して、所定時間以下の入庫済み物品の配置替えをするものである。これにより、出庫間近の物品は、出庫口付近に集中することになり、出庫作業を効率的に進めるための物品の配置が制御されている。また、特許文献2では、製造日時と入庫日時が古い物品から先入れ先出しにより、出荷を行うようにしている。
As a conventional system for managing the arrangement of articles, there is a system for managing luggage in a warehouse as shown in
しかし、従来の技術は、倉庫という制御された空間において、与えられた出庫順に従って配置を制御するものなので、人が介在する作業における曖昧性に対して、対応が不可能である。 However, since the conventional technique controls the arrangement according to a given delivery order in a controlled space called a warehouse, it is impossible to cope with ambiguity in work involving humans.
つまり、人は、最初に与えられた手順とは異なる手順で作業したり、毎回異なる場所に物品を移動したりするので、これにより、後の作業の実行に悪影響を及ぼしてしまうという課題を有する。ここで、悪影響とは、人が物品(ここでは、以下、「障害物品」という。)を任意の場所に置いたことにより、ロボットが、その障害物品の陰になってしまった物品を取ろうとしたときに、その障害物品が邪魔になり、まず、邪魔な障害物品を移動させるという無駄な時間が発生してしまうことを指す。又は、人が障害物品を置いた所が、ロボットの可動範囲外であったときには、ロボットにはその障害物品を扱うことができないので、人が、その障害物品を取りに行かなければならないこともある。 In other words, since the person works in a procedure different from the procedure given first, or moves the article to a different place each time, this has a problem of adversely affecting the execution of the subsequent work. . Here, the adverse effect is that a robot places an article (hereinbelow, referred to as an “obstacle article”) at an arbitrary location, so that the robot tries to take the article behind the obstacle article. When this happens, the obstacle article becomes an obstacle, and first, it means that a wasteful time of moving the obstacle article is generated. Or, if the person places the obstacle article outside the range of movement of the robot, the robot cannot handle the obstacle article, and the person may have to go to get the obstacle article. is there.
図31に課題となる具体的な状況を示している。人とロボットが協調して調理をする場面である。 FIG. 31 shows a specific situation as a problem. This is a scene where people and robots work together to cook.
(1)まず、人が玉葱を切り、切った玉葱をボウルに入れる。
(2)次に、人が他の作業をするために、人がボウルを人の脇に置く。このとき、人が何も意識せずにいると、そのときの人の気分や気まぐれによって、ボウルを置く場所は一定ではない。ここでは、人の右側に置かれている、油の入った入れ物(油入れ)の前に置いたとする。すると、このボウルが前記した障害物品となる。
(3)作業が進み、人がコンロの前で炒め作業をするために、ロボットに油入れを取ってもらうように命令する。
(4)すると、先ほど置いたボウルが邪魔となり、ロボットは油入れを取ることができない。そのため、作業を進めるためには、次の(5)又は(5‘)を行わなければならない。
(5)ロボットが、邪魔なボウルを、邪魔にならない場所まで移動する。
(5‘)人が、邪魔なボウルを、邪魔にならない場所まで移動する。
(6)前記(5)又は(5‘)を行った結果、ロボットが油入れを取ることができるようになり、ロボットが油入れを取って人に渡すことができる。
以上のように、前記(2)の場面で不適切な場所に人がボウルを置いたことによって、以降の(5)又は(5‘)という無駄な作業時間が発生してしまう。逆に言えば、このとき、人が不適切な場所(油入れの前)にボウル置かないように情報を人に提供すれば、これを防ぐことができる。
(1) First, a person cuts onions and puts the onions into a bowl.
(2) Next, the person puts the bowl aside for the person to do other work. At this time, if the person is not conscious of anything, the place where the bowl is placed is not constant due to the mood and whim of the person at that time. Here, it is assumed that it is placed in front of an oil-filled container (oil tank) placed on the right side of the person. Then, this bowl becomes the obstacle article described above.
(3) The work proceeds and the person is instructed to have the oil pan removed in order to fry in front of the stove.
(4) Then, the bowl placed earlier becomes an obstacle, and the robot cannot take out the oil. Therefore, in order to proceed with the work, the following (5) or (5 ′) must be performed.
(5) The robot moves the disturbing bowl to a place where it does not get in the way.
(5 ′) A person moves a disturbing bowl to a place where it does not get in the way.
(6) As a result of performing the above (5) or (5 ′), the robot can remove the oil, and the robot can remove the oil and deliver it to the person.
As described above, when a person puts the bowl in an inappropriate place in the scene (2), the following wasted work time (5) or (5 ′) occurs. Conversely, this can be prevented by providing information to the person so that the person does not place the bowl in an inappropriate place (before filling the oil).
本発明は、前記従来の課題を解決するもので、無駄な時間の発生を防ぐために、物品を移動するとそれ以降の作業に悪影響を及ぼしてしまう場所(例えば、物品を置きたくない場所、物品の移動を避けたい場所)の情報を提示することで、効率的に作業を実行できるようにした物品管理システム及び物品管理方法及び物品管理プログラムを提供することを目的とする。 The present invention solves the above-described conventional problems, and in order to prevent generation of useless time, a place where the movement of the article adversely affects the subsequent work (for example, a place where the article is not desired to be placed, the article It is an object of the present invention to provide an article management system, an article management method, and an article management program capable of efficiently performing work by presenting information on a place where movement is to be avoided.
前記従来の課題を解決するために、本発明の物品管理システムは以下のように構成する。 In order to solve the conventional problem, the article management system of the present invention is configured as follows.
本発明の第1態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報を検出するセンシング装置と、
前記センシング装置により検出された情報を記録する検出履歴データベースと、
前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースと、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とを記録する作業手順データベースと、
前記センシング装置により検出された前記情報を基に、前記作業手順データベースに記録された作業手順の進捗の情報を管理する作業進捗管理手段と、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを判定する物品把持判定手段と、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かを判定するアクセス判定手段と、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記属性データベースに記録された前記ロボットアームの本体根元部の位置情報と移動速度情報を基に、算出する困難解消時間算出部と、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を提供する情報出力装置と、
を備えたことを特徴とする物品管理システムを提供する。
According to the first aspect of the present invention, the position information of the article existing in the environment where the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and A sensing device for detecting the position information of the person;
A detection history database that records information detected by the sensing device;
An attribute database in which position information and moving speed information of the base of the main body of the robot arm are recorded;
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step A work procedure database for recording handling articles of
Based on the information detected by the sensing device, work progress management means for managing information on the progress of work procedures recorded in the work procedure database;
Article gripping determination means for referring to the detection history database to determine that the person grips the handling article;
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person Access determination means for determining whether or not the robot arm is difficult to access based on position information of the article evacuation place when it is assumed that the handled article is gripped and placed at the article evacuation place in the environment When,
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation On the basis of the position information and the moving speed information of the base part of the main body of the robot arm recorded in the attribute database,
An information output device that provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means when the article gripping determination means determines that the person has gripped the handling article;
An article management system is provided.
本発明の第11態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報をセンシング装置で検出し、
前記センシング装置により検出された情報を検出履歴データベースに記録し、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供する、
ことを特徴とする物品管理方法を提供する。
According to the eleventh aspect of the present invention, the position information of the article existing in the environment in which the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and Detecting the position information of the person with a sensing device;
Record the information detected by the sensing device in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When the article gripping determination unit determines that the person has gripped the handling article, the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation unit.
An article management method is provided.
本発明の第12態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報をセンシング装置で検出された情報を検出履歴データベースに記録し、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供するといった手順をコンピュータに実行させるための物品管理プログラムを提供する。
According to the twelfth aspect of the present invention, the position information of the article existing in the environment where the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and Record the information detected by the sensing device with the position information of the person in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When it is determined by the article gripping determination means that the person has gripped the handling article, a procedure is provided in which the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means. An article management program for causing a computer to execute is provided.
本構成によって、人が物品を把持したときに、その物品の置き場所について、想定される障害物品除去時間を算出し、算出結果に基づいて情報提供を行うことができる。 With this configuration, when a person grips an article, an estimated obstacle removal time can be calculated for the place where the article is placed, and information can be provided based on the calculation result.
本発明によれば、人が物品を把持したときに、その物品の置き場所について、想定される障害物品除去時間を算出し、算出結果に基づいて情報提供を行うことにより、人が提供された情報に従って物品の置き場所を選択する(例えば、物品を置きたくない場所、物品の移動を避けたい場所を避ける)という最小限の手間で無駄な時間の発生を防ぐことができ、効率的に作業を実行できる。 According to the present invention, when a person grips an article, the estimated obstacle removal time is calculated for the place where the article is placed, and the person is provided by providing information based on the calculation result. Efficient work can be done by selecting the place to place the article according to the information (for example, avoiding the place where you do not want to place the article, avoiding the place where you want to avoid moving the article) with minimal effort. Can be executed.
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。 Embodiments according to the present invention will be described below in detail with reference to the drawings.
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, various embodiments of the present invention will be described before detailed description of embodiments of the present invention with reference to the drawings.
本発明の第1態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報を検出するセンシング装置と、
前記センシング装置により検出された情報を記録する検出履歴データベースと、
前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースと、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とを記録する作業手順データベースと、
前記センシング装置により検出された前記情報を基に、前記作業手順データベースに記録された作業手順の進捗の情報を管理する作業進捗管理手段と、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを判定する物品把持判定手段と、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かを判定するアクセス判定手段と、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記属性データベースに記録された前記ロボットアームの本体根元部の位置情報と移動速度情報を基に、算出する困難解消時間算出部と、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を提供する情報出力装置と、
を備えたことを特徴とする物品管理システムを提供する。
According to the first aspect of the present invention, the position information of the article existing in the environment where the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and A sensing device for detecting the position information of the person;
A detection history database that records information detected by the sensing device;
An attribute database in which position information and moving speed information of the base of the main body of the robot arm are recorded;
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step A work procedure database for recording handling articles of
Based on the information detected by the sensing device, work progress management means for managing information on the progress of work procedures recorded in the work procedure database;
Article gripping determination means for referring to the detection history database to determine that the person grips the handling article;
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person Access determination means for determining whether or not the robot arm is difficult to access based on position information of the article evacuation place when it is assumed that the handled article is gripped and placed at the article evacuation place in the environment When,
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation On the basis of the position information and the moving speed information of the base part of the main body of the robot arm recorded in the attribute database,
An information output device that provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means when the article gripping determination means determines that the person has gripped the handling article;
An article management system is provided.
本発明の第2態様によれば、前記ロボットアームの長さを前記属性データベースに予め記録するとともに、
前記アクセス判定手段は、前記属性データベースに記録された前記ロボットアームの本体根元部の位置情報と長さの情報と前記物品退避場所の位置情報とに基づき、前記ロボットアームの前記先端部が前記物品退避場所にアクセス困難な状況となるか否かを判定する、
ことを特徴とする第1の態様に記載の物品管理システムを提供する。
According to the second aspect of the present invention, the length of the robot arm is recorded in the attribute database in advance,
The access determination means is configured such that the tip of the robot arm is the article based on the position information and length information of the robot arm main body recorded in the attribute database and the position information of the article retreat location. Determine whether it becomes difficult to access the evacuation location.
An article management system according to the first aspect is provided.
本発明の第3態様によれば、前記作業手順データベースに、前記センシング装置により検出された情報を基に、各工程に使用する前記取扱物品の移動先の位置情報を記録し、
前記アクセス判定手段は、前記検出履歴データベースの情報と前記作業手順データベースの情報をそれぞれ参照して、前記取扱物品を置いた場所が、現在の作業の後の工程で他の取扱物品の移動先となるか否かにより、アクセス困難な状況となるか否かを判定する、
ことを特徴とする第1又は2の態様に記載の物品管理システムを提供する。
According to the third aspect of the present invention, in the work procedure database, based on the information detected by the sensing device, the location information of the destination of the handling article used for each step is recorded,
The access determination means refers to the information of the detection history database and the information of the work procedure database, respectively, and the place where the handled article is placed is the destination of the other handled article in a step after the current work. Whether or not it becomes difficult to access depending on whether or not
An article management system according to the first or second aspect is provided.
本発明の第4態様によれば、前記作業手順データベースには、各工程における作業場所の位置情報を記録し、
前記人の手の長さ及び前記ロボットアームの長さを前記属性データベースに記録するとともに、
前記困難解消時間算出部は、アクセス困難な状況を解消するために前記取扱物品を移動させるための、前記人及び前記ロボットアームの移動、把持、及び運搬に要する時間から困難解消時間を算出する、
ことを特徴とする第1〜3のいずれか1つの態様に記載の物品管理システムを提供する。
According to the fourth aspect of the present invention, the work procedure database records position information of work places in each process,
Recording the length of the person's hand and the length of the robot arm in the attribute database;
The difficulty elimination time calculation unit calculates the difficulty elimination time from the time required to move, grasp and carry the person and the robot arm for moving the handling article in order to eliminate the difficult access situation.
An article management system according to any one of the first to third aspects is provided.
本発明の第5態様によれば、前記作業手順データベースに、各工程の所要時間と、各工程が中断可能か否かを記録し、
前記困難解消時間算出部における困難解消時間の算出において、該当工程が中断不可であった場合、工程が終了するまでの所要時間を加算して算出する、
ことを特徴とする第4の態様に記載の物品管理システムを提供する。
According to the fifth aspect of the present invention, the work procedure database records the time required for each step and whether each step can be interrupted,
In the calculation of the difficulty resolution time in the difficulty resolution time calculation unit, if the corresponding process is not interruptable, calculate by adding the time required until the process is completed,
An article management system according to a fourth aspect is provided.
本発明の第6態様によれば、前記作業手順データベースに、複数の工程の作業順序とその確率を記録し、
前記困難解消時間算出部における困難解消時間の算出において、前記作業順序の前記確率を用いて重み付けをする、
ことを特徴とする第2〜5のいずれか1つの態様に記載の物品管理システムを提供する。
According to the sixth aspect of the present invention, in the work procedure database, the work order and the probabilities of a plurality of steps are recorded,
In the calculation of the difficulty elimination time in the difficulty elimination time calculation unit, weighting is performed using the probability of the work order.
An article management system according to any one of the second to fifth aspects is provided.
本発明の第7態様によれば、前記環境内の見取り図が記録されている環境マップデータベースと、
前記環境マップデータベース中の前記取扱物品が置かれる領域を複数の場所に分割して、各場所の位置情報を前記困難解消時間算出手段に与え、前記時間算出手段が算出した困難解消時間を取得し、前記環境マップ中の場所に算出した前記困難解消時間を対応付けるマップ管理手段と、
をさらに備えたことを特徴とする第1〜6のいずれか1つの態様に記載の物品管理システムを提供する。
According to a seventh aspect of the present invention, an environment map database in which a sketch of the environment is recorded;
The area where the handling article is placed in the environment map database is divided into a plurality of places, position information of each place is given to the difficulty solving time calculating means, and the difficulty solving time calculated by the time calculating means is acquired. Map management means for associating the calculated difficulty resolution time with a place in the environment map;
The article management system according to any one of the first to sixth aspects is further provided.
本発明の第8態様によれば、前記マップ管理手段は、前記取扱物品が置かれる前記領域を複数の場所に分割するときの各場所のサイズを調整可能である、
ことを特徴とする第7の態様に記載の物品管理システムを提供する。
According to the eighth aspect of the present invention, the map management means is capable of adjusting the size of each place when the area where the handling article is placed is divided into a plurality of places.
An article management system according to a seventh aspect is provided.
本発明の第9態様によれば、前記情報出力装置は、前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記ロボットアームの長さと前記物品退避場所の位置情報とにより、前記ロボットアームの可動範囲内と可動範囲外とに区別して前記困難解消時間の情報を表示する、
ことを特徴とする第1〜8のいずれか1つの態様に記載の物品管理システムを提供する。
According to a ninth aspect of the present invention, the information output device is configured to determine the length of the robot arm and the position information of the article retreat location when the article gripping determination unit determines that the person has gripped the handled article. By displaying the information on the difficulty elimination time in a distinction between the movable range and the movable range of the robot arm,
An article management system according to any one of the first to eighth aspects is provided.
本発明の第10態様によれば、前記情報出力装置は、前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人の手の長さと前記物品退避場所の位置情報とにより、前記人の手が届く範囲のみの前記困難解消時間の情報を表示する、
ことを特徴とする第1〜9のいずれか1つの態様に記載の物品管理システムを提供する。
According to a tenth aspect of the present invention, the information output device, when the article gripping determination means determines that the person grips the handling article, the length of the person's hand and the position of the article retreat location By the information, the information of the difficulty solving time only within the reach of the person is displayed.
An article management system according to any one of the first to ninth aspects is provided.
本発明の第11態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報をセンシング装置で検出し、
前記センシング装置により検出された情報を検出履歴データベースに記録し、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供する、
ことを特徴とする物品管理方法を提供する。
According to the eleventh aspect of the present invention, the position information of the article existing in the environment in which the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and Detecting the position information of the person with a sensing device;
Record the information detected by the sensing device in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When the article gripping determination unit determines that the person has gripped the handling article, the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation unit.
An article management method is provided.
本発明の第12態様によれば、ロボットアームと人とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアームの先端部の位置情報、及び、前記人の位置情報をセンシング装置で検出された情報を検出履歴データベースに記録し、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供するといった手順をコンピュータに実行させるための物品管理プログラムを提供する。
According to the twelfth aspect of the present invention, the position information of the article existing in the environment where the robot arm and the person perform work including a plurality of work steps in cooperation, the position information of the tip of the robot arm, and Record the information detected by the sensing device with the position information of the person in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When it is determined by the article gripping determination means that the person has gripped the handling article, a procedure is provided in which the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means. An article management program for causing a computer to execute is provided.
以下、図面を参照して本発明における第1実施形態を詳細に説明する。 Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.
本発明の1つの実施形態にかかる物品管理システム、その物品管理システムで実行される物品管理方法、及び、その物品管理システムを実行可能な物品管理プログラムについて、以下に説明する。 An article management system according to one embodiment of the present invention, an article management method executed by the article management system, and an article management program capable of executing the article management system will be described below.
《物品管理システムの利用シーンの一例》
図1Aには、本発明の前記1つの実施形態にかかる物品管理システムの利用シーンの一例を示している。ここでは、ロボットアーム102と人106とが協調して作業を行う例として、前記物品管理システムをキッチンルーム100での調理作業に利用する例について説明する。キッチンルーム100には、システムキッチン101と、ロボットの一例として機能するロボットアーム102と、情報出力装置103と、センサ104と、ガス台107と、調理台108と、シンク109と、電子レンジ110と、食器洗浄器111と、システムキッチン101の上方に配置された収納棚112とが配置されており、その他に、調理作業に用いられる物品105と、調理作業を行う人106とが存在している。
《Example of use scene of article management system》
FIG. 1A shows an example of a usage scene of the article management system according to the one embodiment of the present invention. Here, an example in which the article management system is used for cooking work in the
ロボットアーム102は、制御手段302の制御の下に、各関節の駆動モータ(具体的には、図1Bの肘関節駆動モータ131と肩関節駆動モータ132)及び先端部のハンド部102aの開閉に使用するハンド駆動モータ130により駆動されて、人106と協調して、人106の行う調理作業の支援を行うものである。例えば、ロボットアーム102の先端部にレードルを装着して、レードルで鍋の中身を自動的にかき混ぜる機能と、ロボットアーム102の先端部にスポンジを装着して、スポンジで拭き掃除を行う機能と、重い鍋を人とロボットアーム102とが一緒に持って搬送する機能と、調理用具をロボットアーム102が取って人に手渡しする機能と、次に人106が使用する調理用具をロボットアーム102が使用場所付近に準備する機能などを行うことが考えられる。
Under the control of the control means 302, the
情報出力装置103の例としては、この例では、液晶プロジェクタが設置されている。
As an example of the
センサ104の例としては、この例では、キッチンルーム100を撮像する画像センサ(カメラ)が設置されている。
As an example of the
図1Aにおいて、ロボットアーム102は、その本体根元部102bがシステムキッチン101上の奥側(人106に対して正面の壁側)に固定されているが、図2Aに示すように、システムキッチン101上の奥側(人106に対して正面の壁側)にレール201を設置し、ロボットアーム102の本体根元部102bが自走装置102Aに取り付けられてロボットアーム102の全体がレール201上を自走装置102Aで移動できるようにしても良い。また、図1A及び図2Aの代わりに、図2Bに示すように、システムキッチン101の上側の収納棚112に配置されていてもよい。又は、図2Cに示すように、システムキッチン101の壁101A側に配置されていてもよい。又は、図2Dに示すように、システムキッチン101上の例えば調理台108の手前側に配置されていても良い。システムキッチン101の上側や壁側に配置すれば、ロボットアーム102にとって、システムキッチン101上に置いた物品が邪魔にならなくなる。また、システムキッチン101の手前側に設置すれば、ロボットアーム102が電子レンジ110にも届くようになり、ロボットアーム102により電子レンジ110を利用する作業も可能になる。
In FIG. 1A, the
《作業手順》
本発明の前記実施形態において、人106とロボット(例えばロボットアーム102)が協調して行う作業は、作業手順が作業手順データベース306に予め記録されて用意されている。前記キッチンルーム100における調理作業のロボットによる支援においては、調理する献立のレシピが、作業手順に相当する。前記作業手順には、各工程において何の物品(調理器具や食材)を使用するか、どの場所で操作するか、などが作業する順番に従って作業手順データベース306に記録されている。詳細は後述する。
《Working procedure》
In the above-described embodiment of the present invention, the work procedure performed in cooperation between the
《利用シーン》
本発明の前記実施形態にかかる物品管理システムは、例えば、次のような場面で特に有効である。
"Use scene"
The article management system according to the embodiment of the present invention is particularly effective in the following scenes, for example.
多数の食材を用い、調理工程が多い等の手の込んだ料理を作るという作業では、食材や調理用具などの運搬や、ロボットアーム102の調理支援操作の工程が繰り返し発生する。
In the work of making elaborate dishes using a large number of ingredients and having many cooking processes, transportation of ingredients, cooking utensils and the like, and the process of cooking support operation of the
このとき、人106と協調して作業するロボットアーム102の機能として、ロボットアーム102による鍋のかき混ぜのような単調作業の実行や、ロボットアーム102による重量物の協調搬送とともに、ロボットアーム102による人106への調理用具の手渡しや、次の作業のために使いやすい場所に調理用具をロボットアーム102により予め準備しておくこと等が考えられる。このような機能を実現するために、ロボットアーム102が調理用具を把持することは、最低限、必要な動作である。
At this time, as a function of the
図1Bに、具体的なロボットアーム102を示す。ロボットアーム102は、本体根元部102bの肩関節と、本体根元部102bと先端部のハンド部102aとの間の肘関節とを有する。また、ロボットアーム102は、ロボットアーム先端部のハンド部102a及び関節(肩関節及び肘関節)の現在の位置を取得するエンコーダ133をそれぞれ有する。
FIG. 1B shows a
このようなロボットアーム102の動作は、制御手段302の制御の下に各関節の駆動モータ(具体的には、肘関節駆動モータ131、肩関節駆動モータ132)及び先端部のハンド部102bの開閉に使用するハンド駆動モータ130により駆動されて行われる。
Such an operation of the
一方、人106は、調理用具を使った後、その調理用具を手近な場所に何の気なしに置いてしまうことが良くある。次に、ロボットアーム102がその調理用具を手渡ししようとしたとき、ロボットアーム102の可動範囲外にその調理用具が置かれてしまっていると、その調理用具をロボットアーム102が把持することができず、結局、人がその調理用具を取りに行かなければならない、という無駄な作業(時間)が発生してしまうことになる。そこで、本発明の前記実施形態にかかる物品管理システムでは、人106が物品を移動するとき、それ以降の作業に悪影響を及ぼしてしまう場所(移動不適切場所)の情報を提示する。人は、その情報に従って、移動しようとする物品の置き場所を選ぶようにする、という最小限の手間で、無駄な作業(時間)の発生を事前に防ぐことができるようになる。
On the other hand, after using the cooking utensil, the
人が任意に物品を動かし、特に、キッチンルームのように決して広いとは言えない環境においては、作業の手順通りに、使用する予定の物品を予め並べて用意して置くことは困難であり、その場(例えば、作業の進行状況)に応じて、物品の位置情報や作業の進捗などから状況を判定し、後の作業を実行するときに無駄な作業が発生しないように情報を人106に提供する、という本発明の前記実施形態にかかる物品管理システムは有効である。
It is difficult to prepare and place the items to be used in advance according to the work procedure, especially in an environment where people move the items arbitrarily, especially in a kitchen room that is not so large. Depending on the situation (for example, the progress of the work), the situation is determined from the position information of the article, the progress of the work, etc., and information is provided to the
《物品管理システムの構成》
図3Aには、人106とロボットアーム102とが協調して複数の作業工程を含む作業を行うことができる環境において使用可能な、本発明の前記実施形態における物品管理システムの機能ブロック図を示している。物品管理システムは、時刻取得手段(時刻取得部)301と、制御手段(制御部)302と、センシング装置303と、検出履歴データベース304と、物品把持判定手段(物品把持判定部)305と、作業手順データベース306と、作業進捗管理手段(作業進捗管理部)307と、作業手順データベース更新手段308と、アクセス判定手段(アクセス判定部)310と、困難解消時間算出部(困難解消時間算出部)の一例として機能する障害物品除去時間算出手段(障害物品除去時間算出部)311と、環境マップデータベース312と、マップ管理手段(マップ管理部)313と、情報出力装置314と、属性データベース315と、記録情報データベース316とを備えるように構成されるものである。
《Configuration of article management system》
FIG. 3A shows a functional block diagram of the article management system according to the embodiment of the present invention, which can be used in an environment where the
以下、それぞれの構成要素について説明する。 Hereinafter, each component will be described.
《時刻取得手段》
時刻取得手段301は、現在時刻を取得し、制御手段302とセンシング装置303と作業進捗管理手段307とに出力するものである。なお、検出履歴データベース304への時刻の記録は、センシング装置303から出力された時刻を記録することにより行う。
<< Time acquisition means >>
The
《制御手段》
制御手段302は、全ての手段又は装置と接続されてそれらの手段又は装置に対してそれらの動作をそれぞれ制御して、制御手段302の制御下で前記物品管理システムを動作させるものである。制御手段302の制御下での前記物品管理システムの全体の処理フローは後述する。
<Control means>
The
《記録情報データベース》
記録情報データベース316は、センシング装置303において、人及び物品を検出するために予め記録しておく画像の情報や予め記録しておくIDの情報(識別情報)などの情報を保持するものである。例えば、キッチンルーム100において人や検出したい物品が無い状態である背景画像や、顔認識技術を利用するための人の顔画像や、テンプレートマッチング処理をするための物品のテンプレート画像などを記録情報データベース316に予め記録して保持する。さらに、顔画像やテンプレート画像は、その人やその物品の名前や、無線ICタグに記録されているIDなどと対応付けられて記録情報データベース316に記録保持されている。なお、これらの情報は、キーボード、マウス、音声入力装置、タッチパネル、又は、ディスプレイなどの入出力手段317により、記録情報データベース316に、あらかじめ記録しておいても良い。
<Recording information database>
The
《センシング装置》
センシング装置303は、人のIDや位置情報(例えば位置座標)、及び、物品IDや位置情報(例えば位置座標)を検出し、その検出結果(検出情報)を検出履歴データベース304に記録する。このとき、検出した時刻を時刻取得手段301から取得し、ここで検出した検出結果と対応付けて、その時刻情報を検出履歴データベース304に記録する
さらに、ロボットアーム102の先端部の現在位置情報(手先位置)及びロボットアーム102の根元部位置情報を制御手段302から取得して、その時刻情報とともに、検出履歴データベース304に記録する。すなわち、ロボットアーム102の本体根元部102bの動作時の位置座標は検出履歴データベース304で管理する。なお、ロボットアーム102の先端部の現在位置情報は、一例として、エンコーダ133より制御手段302を通じて取得する。
《Sensing device》
The
センシング装置303に用いられるセンサとしては、例えば、画像センサ、超音波タグセンサ、床圧力センサ、無線ICタグセンサ、又は、重量センサなどが考えられる。以下、各センサの具体的な動作の例を説明する。なお、図1Aでは、センサ104がセンシング装置303の一例として機能する。
As a sensor used for the
画像センサを用いる場合、図4に示すように、人106や物品404を検出したい領域401(例えば、図1Aのキッチンルーム100)を撮影できるように、カメラ402(例えば、図1Aのセンサ104)を設置する。領域401内に人106や検出したい物品404が無い状態の画像を、図5Aに示すように、背景画像501として予め保持しておく(システムキッチン101)。人106が領域401内に入ったときの人検出画像502(図5B参照)と前記背景画像501との差を画像処理手段403(図3B参照)で求めることにより、差分画像503(図5C参照)が得られる。図3Bには、センシング装置303の構成の一例を示しており、カメラ402と、カメラ402に接続されてカメラ402で撮像した画像情報を処理する画像処理手段403とにより、センシング装置303を構成している。
When an image sensor is used, as shown in FIG. 4, a camera 402 (for example, the
差分画像503で抽出された斜線部の領域504の下端が、検出された人106の床面上の位置である。図5A〜図5Cは、それぞれ、順に、処理画像、すなわち、背景画像、人検出画像、差分画像の例を示している。
The lower end of the shaded
また、人106のID又は名前と対応付けられた人106の顔画像を記録情報データベース316に予め記録しておき、予め記録された画像と、撮影した画像とを顔認識技術を利用して画像処理手段403で比較することにより、その人が誰であるかを識別することができる(例えば、特開2005−316888号公報、特開2006−178651号公報を参照)。
Further, the face image of the
キッチンルーム100に人106が入室するとき等、人106の顔を正面から撮影できるときにこの識別処理を行い、以降は、その人106の移動を追跡することで、人106がキッチンルーム100内のどこにいても、人106を識別することが可能である。
This identification processing is performed when the face of the
また、図6に示すように、取り扱う物品600のテンプレート画像601を予め記録しておき、差分画像で抽出された領域とのマッチング処理により、その物品が何であるかを識別できる。図6はテンプレート画像の一例を示している。可能なかぎり、色々な角度から見た画像を記録することが、マッチング処理精度を向上させる点で好ましい。
In addition, as shown in FIG. 6, a
超音波タグセンサを用いる場合、図7に示すように、人106を検出したい領域701の天井701cに複数の超音波受信機702を設置し、人106に超音波発信器703を携帯させる。人106が携帯する超音波発信器703が発信する超音波を、複数の超音波受信機702が受信し、前記超音波の到達時間の差により超音波発信器703の3次元位置を求めることができ、この位置を床面上に投影した2次元座標を人106の位置とする。また、超音波発信器703(又は記録情報データベース316)に人106のIDを予め記録しておくことにより、検出した人106が誰であるかを超音波受信機702により識別することもできる。
When the ultrasonic tag sensor is used, as shown in FIG. 7, a plurality of
床圧力センサを用いる場合、図8Aに示すように、人106を検出したい領域801の床面801cに床圧力センサの一例として機能する圧力感知素子802を敷き詰めておく。人106が歩いたときの圧力が検知された圧力感知素子802から、人106の位置を求めることができる。また、人106が歩いた軌跡から歩行パターンを圧力データ処理手段803(図8B参照)で求め、その人106が誰であるかを識別することができる(例えば、「センシングフロアによる人の識別・追跡」、日本機械学会ロボティクス・メカトロニクス講演会‘03講演論文集1A1−1F−A2を参照)。図8Bには、センシング装置303の構成の一例を示しており、圧力感知素子802と、圧力感知素子802に接続されて圧力感知素子802で感知した情報を処理する圧力データ処理手段803とにより、センシング装置303を構成している。
When the floor pressure sensor is used, as shown in FIG. 8A, a
無線ICタグセンサを用いる場合、図9Aに示すように、物品を検出したい領域901が検出範囲となるように読み取りアンテナ902を設置し、物品904には無線ICタグ903を貼り付ける。読み取りアンテナ902の検出範囲内に、無線ICタグ903が貼り付けられた物品904が置かれると、これを読み取りアンテナ902で読み取ることで、物品904の位置を検出することができる。ただし、読み取りアンテナ902の検出範囲内のどこにあるかまでは分からないので、検出位置の精度は、読み取りアンテナ902の検出範囲のサイズに依存する。また、無線ICタグ903に取り扱う物品のIDを記録情報データベース316に予め記録しておくことにより、検出した物品が何であるかを無線ICタグデータ処理手段904(図9B参照)で識別することができる。図9Bには、センシング装置303の構成の一例を示しており、読み取りアンテナ902と、読み取りアンテナ902に接続されて読み取りアンテナ902で読み取られた情報を処理する無線ICタグデータ処理手段904とにより、センシング装置303を構成している。
In the case of using a wireless IC tag sensor, as shown in FIG. 9A, a
また、通常の無線ICタグセンサの耐久性は50〜60℃程度であるので、読み取りアンテナ902の設置位置や無線ICタグ903の貼付位置を、50〜60℃以上の高温にならない箇所にする必要がある。
In addition, since the durability of a normal wireless IC tag sensor is about 50 to 60 ° C., the installation position of the
重量センサを用いる場合、図10Aに示すように、物品1003を検出したい領域1001内に重量検出センサ1002を3カ所に設置する。その領域1001内に物品1003が置かれると、各重量検出センサ1002は、現在の重量値と物品1003が置かれる前の重量値との差を重量データ処理手段1004(図10B参照)で算出し、その重心位置を物品1003の位置とする。ただし、複数の物品を同時に置いた場合には、それぞれの物品を区別して位置を求めることはできない。図10Bには、センシング装置303の構成の一例を示しており、重量検出センサ1002と、重量検出センサ1002に接続されて重量検出センサ1002で読み取られた重量情報を処理する重量データ処理手段1004とにより、センシング装置303を構成している。
When using a weight sensor, as shown in FIG. 10A,
また、取り扱う物品1003の重量値を記録情報データベース316に予め記録しておき、検出された物品1003の重量値を全ての重量検出センサ1002の重量変化の合計値と重量データ処理手段1004で比較することで、その物品1003が何であるかを識別することができる。ただし、物品同士の重量値の差が、重量センサの検出精度以下の場合には、その区別はできないが、直前に操作された物品の情報(物品のID情報)や、これらの重量の合計値などから推定することができる。
Further, the weight value of the
また、物品の中でも、玉葱や人参などの食材については、包丁で切るなどの加工をすることにより、食材自体に無線ICタグを貼り付け続けることはできなくなり、食材の外観や重量も変化するので、画像センサや重量センサによっても食材の検出は困難になる。そこで、国際公開公報WO/2006/035714(特願2004−280873号)に示されるような方法によって、加工した食材を検出するようにしても良い。前記国際公開公報には、加工した食材を、その食材を入れた容器と関連づけて管理する方法が示されているので、このような操作をする限りにおいては、加工した食材を検出することが可能となる。 In addition, among ingredients such as onions and carrots, by cutting them with a knife, it is no longer possible to keep the wireless IC tag attached to the ingredients themselves, and the appearance and weight of the ingredients will change. Even with an image sensor or a weight sensor, it becomes difficult to detect foodstuffs. Then, you may make it detect the processed foodstuff by the method as shown in international publication gazette WO / 2006/035714 (Japanese Patent Application No. 2004-280873). Since the international publication discloses a method for managing processed foods in association with the container containing the foods, the processed foods can be detected as long as such operations are performed. It becomes.
《検出履歴データベース》
検出履歴データベース304は、センシング装置303により検出された時刻情報と人106のIDや位置の情報と物品のIDや位置の情報とを記録するものである。検出履歴データベース304への記録のタイミングは、一定時間(例えば1秒)間隔で行う。また、検出履歴データベース304への記録のタイミングは、一定距離(例えば10センチメートル)だけ変化する毎に行うようにしてもよい。すなわち、人106や物品の位置が、現在の位置から一定距離(例えば10センチメートル)だけ変化したとき(すなわち、現在の位置から一定距離(例えば10センチメートル)だけ変化したことをセンシング装置303で検出したとき)に、人106のID又は位置の情報と物品のID又は位置との情報を時刻取得手段301から取得した時刻情報と対応付けて検出履歴データベース304に記録し、さらに記録した時点での人106又は物品の位置から、再度、一定距離だけ変化したとき(すなわち、記録した時点での位置から一定距離(例えば10センチメートル)だけ変化したことをセンシング装置303で検出したとき)に、時刻情報と人106のID又は位置の情報と物品のID又は位置とを検出履歴データベース304に記録する、というように、繰り返して前記情報を記録するようにしても良い。
《Detection history database》
The
図11に記録される情報の例を示す。 FIG. 11 shows an example of information recorded.
図11において、人検出履歴情報1101は、少なくとも、人106のIDの情報1102(以下、単に「ID1102」と称する。)、人の位置の情報1103(二次元座標)(以下、単に「位置1103」と称する。)、時刻の情報1104(以下、単に「時刻1104」と称する。)の項目を持っている。
In FIG. 11, the human
人検出履歴情報1101において、ID1102は、例えば、人106のIDの情報を記録しておく。センシング装置303によって人106のIDの情報が識別されなかった場合には、空欄(情報無し)にしておく。位置1103は、図4に示したような予め決めたXY座標系(床面上での直交する2つのXY軸による2次元座標系)に従って、前記センシング装置303によって検出された位置座標を記録する。時刻1104は、前記センシング装置303から出力される時刻であって、かつ、センシング装置303によってID1102を検出した時刻を人検出履歴情報1101として検出履歴データベース304に蓄積(記録)する。
In the person
人106の移動軌跡が分かるように、同じIDの情報を時刻の順に並べておくと良い。なお、同じIDの情報を時刻順に並べる際に、IDが空欄のデータは、例えば図11の「太郎」か「花子」のどちらの表に記憶すべきかを決定する必要があります。そのときは、例えば、IDが検出されなかった時刻の前後の時刻のデータにおいて、検出されたIDの位置と近い方の表に格納すればよい。また、人106がキッチンルーム100内からキッチンルーム100外に移動して、前記センシング装置303が人106を検出できなくなった場合には、人検出履歴情報1101に、人106がキッチンルーム100内に存在していないことを示す情報を記録する。例えば、位置1103の項目に、監視領域外の位置座標(例えば、監視領域外の位置座標を示す(−1[cm],−1[cm])の位置座標)を記録することで、これ(人106がキッチンルーム100内に存在していないことを示す情報)を表現する。
Information of the same ID may be arranged in order of time so that the movement trajectory of the
同様に、物品検出履歴情報1105には、少なくとも物品のID1106と物品の位置1107(座標)と時刻1108との項目を持つ。ID1106としては、物品のIDの情報を記録しておく。位置1107としては、図4に示したような予め決めたXY座標系(床面上での直交する2つのXY軸による2次元座標系)に従って、前記センシング装置303によって検出された位置座標を記録する。物品の場合、同じ2次元座標でも、例えば、調理台108の上と収納棚112の中のように異なる所にあることもあり得るので、これを区別できるように、3次元座標系(床面上での直交する2つのXY軸及びXY軸に直交するZ軸による3次元座標系)の方が好ましい。時刻1108としては、前記センシング装置303が検出した時刻を記録する。
Similarly, the article
前記人検出履歴情報1101と同様に、物品の移動軌跡が分かるように、同じIDの情報を時刻の順に並べておくと良い。また、物品がキッチンルーム100内からキッチンルーム100外に持ち出されて、前記センシング装置303が物品を検出できなくなった場合、物品検出履歴情報1105に、物品がキッチンルーム100内に存在していないことを示す情報を記録する。例えば、位置1107の項目に、監視領域外の位置座標(例えば、監視領域外の位置座標を示す(−1[cm],−1[cm],−1[cm])の位置座標)を記録することで、これ(物品がキッチンルーム100内に存在していないことを示す情報)を表現する。
Similar to the human
さらに、制御手段302から取得したロボットアーム102の先端部の現在位置情報(手先位置)及びロボットアーム102の根元部位置情報は、例えば、図11の1109に示すように、それぞれの位置情報と時刻情報を記録する。
Further, the current position information (hand position) of the tip of the
《物品把持判定手段》
物品把持判定手段305は、センシング装置303で検出されて検出履歴データベース304に記録された情報を基に、システムキッチン101の上面に置かれていた物品を人106が把持したことを判定するものである。この判定結果を基に、情報を出力するタイミングを情報出力装置314で決定する。つまり、システムキッチン101の上面の物品を人106が把持した後、人106は何らかの操作を行い、その操作終了後に、人106が物品をシステムキッチン101の上面などに置くのが一般的である。そこで、本発明の前記実施形態にかかる物品管理システムでは、この物品を把持してシステムキッチン101の上面から持ち上げたタイミングで、人106に対して情報を情報出力装置314から出力し、物品の移動不適切場所情報(物品を移動するのに不適切な場所の情報)を人106に提示する。
<< Article gripping judgment means >>
The article gripping
前記センシング装置303として、物品を検出するために超音波タグセンサを用いている場合、超音波タグセンサによる検出結果から物品のID情報と3次元位置とが得られるので、物品が鉛直方向の上向きに移動したことを超音波タグセンサで検出したら、人106が物品を把持したこと及びその物品のID情報を物品把持判定手段305で判定できる。
When an ultrasonic tag sensor is used as the
また、センシング装置303として、物品を検出するために重量センサを用いている場合、物品が人106により持ち上げられると、重量センサが検出する重量値は減少するので、人106が物品を把持したことを物品把持判定手段305で判定することができる。ただし、この場合、物品のID情報までは重量センサでは検出できないので、物品のID情報を検出可能な他のセンサと組み合わせて使用することになる。
Further, in the case where a weight sensor is used as the
《作業手順データベース》
作業手順データベース306は、人106とロボットアーム102とが協調して行う協調作業の各工程の内容とその順番の情報を予め記録したものである。図12A〜図12Cに、作業手順データベース306に記録された情報の例を示す。
《Work procedure database》
The
図12Aにおいて、作業手順データベース306に記録された作業手順データ1201は、各工程を実行する順に記録したものであり、人106の作業とロボットアーム102との協調作業がそれぞれどのような順序で実行され、どのタイミングで協調作業を行うかが対応付けられて記述されている。各工程の詳細な内容は、例えば、図12Bの工程データ1202又は図12Cの工程データ1212のように記録されている。何も作業を行わない時間は、待機時間とする。人106とロボットアーム102との協調作業は、同じ時間に並べて記述する。
In FIG. 12A, the
より具体的には、図12Aの作業手順データ1201は、人106は、「工程A」→「工程B」→「工程C」→「工程D」の順に作業し、ロボットアーム102は「工程i」→「工程ii」の順に作業することを示している。また、ロボットアーム102は、人106が「工程A」と「工程B」の作業中は何も作業を行わずに待機しているとともに、人106が「工程C」の作業中も何も作業を行わずに待機している。同様に、人106は、ロボットアーム102が「工程i」の作業中は、何も作業を行わずに待機している。「工程D」と「工程ii」は人106とロボットアーム102の協調作業を表しており、同じ時間に作業するので、両者を接続している(両工程を接続することを指示する情報が記録されている)。
More specifically, in the
作業手順データ1201の人106の作業又はロボットアーム102の作業の中で、入れ替え可能な工程が存在する場合には、例えば、図13Aに示した人106の作業の作業手順データ1301のように、実行される可能性のある複数の作業手順に分岐できるように記述する。例えば、人106の工程において、図13Aの作業手順データ1301では、「工程E」と「工程F」が入れ替え可能であり、「工程D」→「工程E」→「工程F」→「工程G」の順に作業するか、又は、「工程D」→「工程F」→「工程E」→「工程G」の順に作業するかのいずれかであることを示している。このような工程E及び工程Fの具体例としては、包丁で玉葱を切る工程と、包丁で人参を切る工程とがある(図13B参照)。
If there is a replaceable process in the work of the
作業手順データ1201の工程Aの工程データ1202としては、図12Bに示すように、工程のIDの情報1203と、種別の情報1204と、操作物品の情報1205と、移動先の情報1206と、所要時間の情報1207と、作業場所の情報1208との項目を少なくとも持つことを示している。IDの情報1203には、工程を識別するためのIDを記録しておく。図12Bでは、IDとして「A」が記録されている。種別の情報1204には、この工程が人106によって行われるか、ロボットアーム102によって行われるかの種別の情報を記録しておく。図12Bでは、種別の情報として「人」が記録されている。操作物品の情報1205には、この工程によって取り扱われる(操作対象となる)物品のID情報を記録しておく。図12Bでは、操作物品の情報として「フライパン」(のID情報)が記録されている。移動先の情報1206には、前記操作物品の情報1205にかかる物品がこの工程によってどこに移動されるか、つまり、この工程が行われた後に置かれる場所の情報(例えば位置座標など)を記録しておく。図12Bでは、移動先の情報として「コンロ」(のID情報)が記録されている。所要時間の情報1207の項目には、この工程を行うのにかかる時間を記録しておく。図12Bでは、所要時間の情報として「40秒」が記録されている。作業場所の情報1208には、この工程を行う場所の位置座標を記録しておく。この工程中に人106の移動を伴う場合には代表点の位置座標、例えば移動範囲の中心位置の位置座標を作業場所の情報1208として記録しておけばよい。図12Bでは、作業場所の情報として「(X1,Y1)」が記録されている。
As shown in FIG. 12B, the
図12Bに示した工程データ1202は、さらに、作業順序の情報1209と、協調作業の情報1210と、中断の情報1211との項目を追加しても良い。作業順序の情報1209には、図13Aに示したような入れ替え可能な工程が存在した場合に、その順序と確率を作業手順データベース306に記録しておく。図13Bに工程データの例1302を示しており、順序情報は図13Cを参照しており、工程E→工程Fへの作業順序の確率は70%であり、工程F→工程Eへの作業順序の確率は30%であることを意味している。協調作業の情報1210には、人106とロボットアーム102が協調して行う協調作業工程のとき、その対応を記録しておく。例えば、図12Cに示した、作業手順データ1201の工程iiの工程データ1212の例のように、ロボットアーム102の「工程ii」の協調作業の情報1210の項目には、対応する人106の「工程D」が記録されている。中断の情報1211には、その工程を行っている途中で、中断が可能か否かを記録しておく。中断が不可能な工程とは、例えば、天ぷらを揚げる等のように途中で手を離すことができない工程である(図12Cの工程ii参照)。また、中断可能な工程とは、例えば、包丁で野菜を切る工程であり、途中で手を止めて包丁を置き、物品の運搬などが可能な工程である(図13Cの工程E及び工程F参照)。
The
《作業進捗管理手段》
作業進捗管理手段307は、前記物品把持判定手段305の結果と前記作業手順データベース306を参照して、時刻取得手段301から取得した現在時刻を基に、現在の作業が、前記作業手順データ1201の中のどの工程まで進捗しているか(言い換えれば、工程データの作業完了項目などの作業手順の進捗の情報)を判定するものである。また、時刻取得手段301から取得する時刻を基に、各工程の作業に要した時間を作業進捗管理手段307で算出し、以降の作業において、人106とロボットアーム102の行う工程の対応を作業進捗管理手段307で管理する(言い換えれば、作業工程又は作業手順の進捗の情報を管理する)ものである。すなわち、作業進捗管理手段307では、その工程の完了の有無と、各工程が実際にかかった時間が予定時間から大幅に前後する場合は、以下に図14Aなどを使って説明するように、以降の工程(特に人106とロボットアーム102が協調して行う工程)の開始時間を調整する。
《Work progress management means》
The work
図14Aに示した工程データの例1401のように、工程データに、作業完了の情報1402の項目を作業進捗管理手段307で追加して作業手順データベース306に記録する。作業完了の情報1402の項目には、作業進捗管理手段307により、最初に「0」を記録しておき、その工程が完了したら、「0」の代わりに「1」を作業進捗管理手段307により作業手順データベース306に記録する。工程の完了は、センシング装置303により検出されて検出履歴データベース304に記録された検出情報に基づき、その工程で利用される物品が、すべて、人106の手を離れてシステムキッチン101上に置かれたと作業進捗管理手段307で判定したとき、工程が完了したと作業進捗管理手段307で判定する。すべての物品がシステムキッチン101上に置かれたことの作業進捗管理手段307による判定は、前記物品把持判定手段305と同じように判定する。
As in the process data example 1401 shown in FIG. 14A, the
すなわち、前記センシング装置303として、物品を検出するために超音波タグセンサを用いている場合、物品の3次元位置が得られるので、高さ方向の位置座標値がシステムキッチン101の上面と一致したことを作業進捗管理手段307で検出したら、人106が物品を置いたことにより工程が完了したと、作業進捗管理手段307により判定して作業手順データベース306に記録する。
That is, when an ultrasonic tag sensor is used as the
また、センシング装置303として、物品を検出するために重量センサを用いている場合、物品がシステムキッチン101の上面に置かれると重量センサが検出する重量値は増加するので、その増加を作業進捗管理手段307で検出すれば、人106が物品をシステムキッチン101の上面に置いたことにより、工程が完了したと、作業進捗管理手段307により判定して作業手順データベース306に記録する。
In addition, when a weight sensor is used as the
作業進捗管理手段307は、前記物品把持判定手段305によって得られた、把持された物品のID情報を基に、作業手順データベース306の前記作業手順データ1201の中から現在の工程を求める。これは、作業進捗管理手段307により、作業手順データベース306内の作業手順データのうち、作業完了の情報1402の項目が「0」である工程データを、早い時間順(図12Aの工程データ1201を例にすると左から右の順)に探索し、操作物品の情報(すなわち、その工程で操作する物品のID情報)1205が、前記把持された物品のID情報と一致する工程を、現在の工程とするものである。
The work
前記操作物品の情報1205にかかる前記把持された物品が、把持されてから置かれるまでの時間を作業進捗管理手段307で算出し、これを現在の工程の所要時間とする。現在の工程データ1201に記録されている所要時間の情報1207にかかる所要時間と、今回求めた現在の工程の所要時間が異なるか否かを作業進捗管理手段307で判断し、異なると作業進捗管理手段307で判断した場合、必要に応じて、このずれを作業進捗管理手段307により修正し、人106とロボットアーム102の行う工程が、どのタイミングで並行して行われるかを作業進捗管理手段307により正しく対応付けることができる。すなわち、前記説明したように、作業進捗管理手段307では、以下に説明するように、ずれを修正する場合には待機時間を作るなどして、以降の工程(特に人106とロボットアーム102が協調して行う工程)の開始時間を調整する。工程が前後しない程度の短時間(例えば、1秒以下の時間)のずれであると作業進捗管理手段307が判断すれば、障害物品除去時間算出手段311における障害物品を除去する時間の算出結果に影響しないので、作業進捗管理手段307により前記ずれを修正する必要はない。
ただし、人106とロボットアーム102の協調作業である工程は、同じ時間に行われなければならないので、作業進捗管理手段307により修正して異なる時間に行われるようにずらすことはできない。
The work progress management means 307 calculates the time from when the grasped article according to the
However, since the process that is the cooperative work of the
作業進捗管理手段307により前記ずれを修正する具体的な手法について説明する。図15A〜図15Dに、作業手順データベース306に記録されている情報の例を示す。作業手順データベース306において、図15Aの作業手順データ1501に対して、図15Bの工程データ1502が記録されていたとする。人106は、「工程A」→「工程B」→「工程C」→‥‥→「工程D」→「工程E」の順に作業し、ロボットアーム102は「工程i」→「工程ii」の順に作業する。「工程E」と「工程ii」は人106とロボットアーム102の協調作業であるので、同じ時間に作業が行われる。
A specific method for correcting the deviation by the work
このとき、「工程A」の実際の所要時間が150秒であったとすると、「工程A」の所要時間の増加分(この例では、予め設定された所要時間は120秒であるため、増加分は、150−120=30秒)だけ、「工程B」以降の人106の作業の時間とロボットアーム102の作業の時間がずれることになってしまう。ここで、「工程E」と「工程ii」は協調作業であるので、これらの工程は同時に行われなければならない。従って、「工程E」と「工程ii」の開始時間を合わせるため、図15Cの作業手順データ1503のように、「工程A」の所要時間の増加分を作業進捗管理手段307により求めたのち、この増加分だけ、ロボットアーム102の作業の「待機1」の時間を30秒だけ、作業進捗管理手段307により増加する。
At this time, assuming that the actual required time of “process A” is 150 seconds, an increase in the required time of “process A” (in this example, the preset required time is 120 seconds, 150−120 = 30 seconds), the work time of the
また、協調作業以前の工程(「工程C」や「工程i」など)が、人106の作業とロボットアーム102の作業の時間がずれても問題が無ければ(協調作業以前の工程において、人106の作業とロボットアーム102の作業の時間がずれても問題が無いという情報が作業手順データベース306に予め記録されておれば)、図15Dの作業手順データ1504のように、「工程A」の所要時間の増加分だけ、作業進捗管理手段307により「待機3」の時間を30秒増加するようにしても良い。
In addition, if there is no problem even if the process before the collaborative work ("process C", "process i", etc.) is out of time between the work of the
さらに、前記したように「工程A」の所要時間の増加分が30秒であるとき、作業進捗管理手段307により、「待機1」の時間を15秒増加し、かつ、「待機3」の時間を15秒増加する、というように複数の待機時間に分けて、トータルで増加時間が等しくなるようにしても良い。元の作業手順データに、待機する工程が存在しなかった場合は、作業を行う工程の間に、増加時間分だけ、待機する工程を作業進捗管理手段307により追加するようにしてもよい。
Further, as described above, when the increase in the required time of “Process A” is 30 seconds, the work progress management means 307 increases the time of “
《作業手順データベース更新手段》
作業手順データベース更新手段308は、センシング装置303により検出されたセンシング情報に基づいて作業手順データベース306に記録されている工程データ1202の項目の情報をそれぞれ更新するものである。
《Work procedure database update means》
The work procedure
例えば、図14Aに示した工程データの例1401のように、工程データに実行回数の情報1403の項目を作業手順データベース更新手段307により追加して作業手順データベース306に記録する(図14B参照)。これは、具体的には、この実行回数の情報1403の項目には、工程が実行された回数を作業手順データベース更新手段307により記録しておく。作業手順データベース更新手段307は、工程が実行されると、実行された工程の実行回数の情報1403の数値に「1」を加える。実行回数は、人IDごとに集計する。実行回数は、「作業順序の確率」の計算に使う。例えば、図14Aの作業順序の確率を再計算する際に使用する。すなわち、人が「工程E」→「工程F」の順で作業をするか、「工程F」→「工程E」の順で作業をするかは、人毎に異なるためである。作業順序の確率は、以下の手順で計算する。すなわち、工程IDがE(「工程E」)の実行回数=10、「工程E」→「工程F」の順序の確率=70%、「工程F」→「工程E」の順序の確率=30%のとき、次に、「工程E」→「工程F」の順序ならば、確率は8/11、3/11となる。複数の工程が存在しないデータについては、実行回数の管理は不要である。
For example, as in the process data example 1401 shown in FIG. 14A, the item of the
また、作業手順データベース更新手段308は、工程データ1202に記録されている操作物品の情報1205にかかる物品が、把持されてから置かれるまでの時間を算出し、これを工程の所要時間とする。作業手順データベース更新手段308により、すでに記録されている所要時間の情報1207にかかる所要時間と、今回算出した所要時間を足し合わせて2で割ることにより、平均の所要時間を算出し、算出した平均の所要時間を新たな所要時間の情報1207として、作業手順データベース更新手段308により作業手順データベース306に記録する。
Further, the work procedure
ここで、前記物品が置かれたことは、前記物品把持判定手段305と同様の処理により、作業手順データベース更新手段308で判定できる。例えば、センシング装置303として、物品を検出するために重量センサを用いている場合、重量センサが配置された領域に物品が置かれると、重量センサが検出する重量値は増加するので、重量センサからの重量値の増加情報を基に、人106が物品を置いたことを作業手順データベース更新手段308で判定することができる。
Here, the work procedure
また、工程の作業を実行しているときの人106の位置を作業手順データベース更新手段308で求め、この求められた位置の座標を工程の作業場所とする。この工程中に人106の移動を伴う場合には、代表点(例えば、移動範囲の中心位置)の座標を作業場所とする。作業手順データベース更新手段308により、すでに記録されている作業場所の情報1208にかかる位置座標と、今回求めた作業場所の位置座標を足し合わせて2で割ることにより、平均座標を求め、求めた平均座標を新たな作業場所の情報1208として、作業手順データベース更新手段308により作業手順データベース306に記録する。
Further, the position of the
また、図13A,図13Bに示したような入れ替え可能な工程E,Fが存在した場合に、実際に工程が行われた方の工程について、図14Bのように実行回数を作業手順データベース306に記録する。作業手順データベース更新手段308により、この実行回数を使って、作業順序の確率を再計算し、作業手順データベース306に記録する。具体的には、図14Bのように、ID E→F(「工程E」→「工程F」)の実行回数=10、順序E→F(「工程E」→「工程F」)の確率=70%、順序F→E(「工程F」→「工程E」)確率=30%、のとき、次に順序E→F(「工程E」→「工程F」)ならば、確率は8/11、3/11と計算し、作業手順データベース更新手段308により図14Bの作業順序を記録する。
Further, when there are interchangeable processes E and F as shown in FIGS. 13A and 13B, the number of executions of the process in which the process is actually performed is stored in the
《属性データベース》
属性データベース315は、人106とロボットアーム102とが協調して複数の作業工程を含む作業を行うことができる前記環境内の各種データ(情報)(前記環境内に存在する物品、ロボット、及び人の固有の情報(作業により変化しない、属性に関する情報)を記録するものである。図16A〜図16Cに示すように、属性データベース315としては、一例として、物品データ2301と、ロボットデータ2302と、人データ2303とを有している。
《Attribute database》
The
物品データ2301は、少なくとも各物品のサイズデータを有している。サイズデータとは、物品の外接直方体の縦、横、高さの寸法値で表された情報である。例えば、図16Aでは、サラダ油入れは、縦7cm、横7cm、高さ20cmのサイズデータを有する物品データ2301として記録されている。
The
ロボットデータ2302は、少なくとも、本体根元部102bの初期の位置座標(0,0,0)と、各ロボットアーム102の本体根元部102bの移動速度データと(ロボットアーム102の本体根元部102bが移動する場合に必要。)、アームの全長サイズデータと、アームのハンド部102aの動作速度データと、ロボットアーム102のハンド部102aが物品を把持するのに要する把持所要時間データと、を有している。また、後述するロボットアーム102と物品との干渉判定のため、ロボットアーム102の関節の数と、ロボットアーム102のリンクのサイズ(長さ、太さ)も有する(図示は省略)。例えば、図16Bでは、ID番号が00001のロボットアーム102は、本体の移動速度35cm/sと、アームの全長サイズ60cmと、アームのハンド部の動作速度25cm/sと、把持所要時間3sとを有するロボットデータ2302として記録されている。
The
人データ2303は、前記環境内に入る可能性がある複数の人106について、少なくとも各人の手の長さデータと、各人の移動速度データと、各人の手の移動速度データとを有している。例えば、図16Cでは、人106の一例である「花子さん」は、手の長さ68cm、移動速度60cm/s、手の移動速度30cm/sを有する人データ2303として記録されている。
これらのデータは、各物品、ロボットアーム102、人106に応じて属性データベース315に入出力手段317により予め記録しておく。
These data are recorded in advance in the
《環境マップ》
環境マップデータベース312は、前記環境の中の、特に作業に用いられる物品が置かれる領域について、その見取り図がマップ情報として記録されている。また、マップ管理手段313は、後述の障害物品除去時間算出手段311によって算出された障害物品除去時間を障害物品除去時間算出手段311から取得し、取得した障害物品除去時間を各場所(物品が置かれると想定されるとして指定された場所)に対応付けて環境マップデータベース312に記録する。すなわち、分割した全ての場所について障害物品除去時間を算出する。具体的には、図17Bのように、分割した全ての場所についての障害物品除去時間を算出し、図17Cの環境マップデータベース312で管理する。図17Aに、キッチンルーム100における環境マップデータベース312に記録されたマップ情報の例を示す。図17Cの環境マップデータベース312には、障害物品除去時間と各場所とが、どのように対応付けられているかがわかる例を示す。図17Cの環境マップデータベース312では、矩形に分割した場所を識別するID毎に障害物品除去時間を管理している。なお、この環境マップデータベース312の場所の情報は、一例として、分割した矩形の対角位置の情報を格納している。なお、これらの情報は、入出力手段317により、環境マップデータベース312に、あらかじめ記録しておいても良い。
<Environment Map>
In the
《マップ管理手段》
マップ管理手段313は、前記環境マップデータベース312に記録されかつ物品が置かれると想定する領域を、複数個の場所に分割して、分割された各場所の位置情報(例えば2次元又は3次元位置座標情報)を、作業手順データベース306の工程データに基づきロボットアーム102により把持した物品を置く位置として、後述のアクセス判定手段310に与える。例えば、各分割領域の中心点の座標を各場所の位置情報として、マップ管理手段313からアクセス判定手段310に与える。さらに、後述の障害物品除去時間算出手段311が算出した障害物品除去時間をマップ管理手段313が取得したのち、マップ管理手段313から前記環境マップデータベース312に与えて、障害物品除去時間を各場所の位置情報に対応付けて記録できるようにするものである。この処理は、前記物品把持判定手段305において、人106が物品を把持したと判定されたときに行われる。
《Map management means》
The map management means 313 divides the area recorded in the
マップ管理手段313は、前記分割した複数個の各場所のサイズを調整することができる。粗く分割する(すなわち、各場所のサイズを大きくする)ことで、おおまかな状況しか把握できないが、分割された場所の数が少なくなるため、高速に処理できる。また、細かく分割する(すなわち、各場所サイズを小さくする)ことで、分割された場所の数が多くなるため、処理に時間を要するが、詳細な状況を把握できる。マップ管理手段313は、物品のサイズに合わせて場所のサイズを決定しても良い。例えば、物品のサイズが小さければ、場所のサイズも小さくする一方、物品のサイズが大きければ、場所のサイズも大きくすることができる。 The map management means 313 can adjust the size of each of the plurality of divided locations. By roughly dividing (in other words, increasing the size of each location), only a rough situation can be grasped, but since the number of divided locations is reduced, processing can be performed at high speed. Further, since the number of divided locations increases by finely dividing (that is, reducing the size of each location), the processing takes time, but a detailed situation can be grasped. The map management means 313 may determine the size of the place according to the size of the article. For example, if the size of the article is small, the size of the place can be reduced, while if the size of the article is large, the size of the place can be increased.
《アクセス判定手段》
アクセス判定手段310は、前記マップ管理手段313により分割されて位置情報が与えられた複数の場所のうちの1つの場所に、人106が前記把持した物品を置いたと想定したとき、アクセス困難な状況となるか否かを判定するものである。
<< Access judgment means >>
When the
ここで、アクセス困難な状況とは、人106が物品(すなわち、障害物品)を任意の場所に置いたことにより、ロボットアーム102がその障害物品の陰になってしまった位置にある物品を取ろうとしたときに、障害物品が邪魔になってしまうこと、又は、人106が障害物品を置いた位置がロボットアーム102の可動範囲外であることを指している。これにより、前者の場合、まず、邪魔な物品(すなわち、障害物品)をロボットアーム102により移動させるという無駄な時間が発生してしまい、後者の場合にも、ロボットアーム102にはその障害物品を扱うことができないので、人106がその障害物品を取りに行かなければならないことになり、無駄な時間が発生してしまう。
Here, the situation where it is difficult to access is that the
アクセス判定手段310により、ロボットアーム102の本体根元部102bの固定位置の位置座標(具体的には、図11の検出履歴データベース304のロボットアーム102の本体根元部102bの位置)と前記属性データベース315に記録されたロボットアーム102の全長サイズデータを参照して、人106が障害物品を置いた位置がロボットアーム102の可動範囲内か否かを判定する。例えば、図18Aに示した物品1701は可動範囲外である。すなわち、図18Aにおいて、ロボットアーム102の可動範囲を斜線の半円領域で示しており、物品1701が置かれた位置は、斜線の半円領域外であるため、アクセス判定手段310により、人106が障害物品を置いた位置がロボットアーム102の可動範囲外であると判定する。なお、ロボットアーム102の可動範囲を想定するときのロボットアーム102の本体の固定位置の位置座標のロボットアーム位置検出履歴情報の一例を図11の1109に示す。ここでは、ロボットアーム位置検出履歴情報1109として、ロボットアーム102の先端部のハンド部102aの位置に加えて、ロボットアーム102の本体の固定位置の位置座標(ロボットアーム102の本体根元部102bの位置)を時刻毎に示している。
By the access determination means 310, the position coordinates of the fixed position of the main
また、アクセス判定手段310により、前記作業手順データベース306を参照して、人106が前記物品をある場所に置いたとき、その場所が、以降の工程でロボットアーム102が動かすべき物品の移動先となっているか否か(物品を置いた場所の位置情報と物品の移動先の位置情報とが一致しているか否か)を判定する。例えば、図18Bに示すように、ロボットアーム102のハンド部102aが把持した物品1704を、場所1705に移動しようとすると、物品1706が邪魔となる。これは、以降の工程でロボットアーム102が動かすべき物品の移動先の位置情報をアクセス判定手段310により前記作業手順データベース306を参照して取得するとともに、取得した物品の移動先の位置情報と、人106が前記物品をある場所に置いたときの場所の位置情報をアクセス判定手段310により検出履歴データベース304を参照して取得し、それぞれ取得した物品の移動先の位置情報と物品をある場所に置いたときの場所の位置情報とをアクセス判定手段310により一致するか否かを判定する。この結果、両者の位置情報が一致すると判定し、ロボットアーム102のハンド部102aが把持した物品1704を、場所1705に移動しようとすると、物品1706が邪魔となることがアクセス判定手段310により判定できる。
Further, when the
また、図18Cに示すように、アクセス判定手段310により、前記作業手順データベース306を参照して、以降の工程でロボットアーム102が把持する予定の物品を、ロボットアーム102で把持するために、ロボットアーム102を作動するとき、前記物品がロボットアーム102と干渉するか否かを、アクセス判定手段310により、属性データベース315に記録された物品データ2301とロボットデータ2302と検出履歴データベース304に記録されたロボットアーム102が把持する予定の物品の位置座標とロボットアーム102の位置座標とを参照して求めることもできる。以下に詳細に説明する。
Further, as shown in FIG. 18C, the
図19に、アクセス判定手段310による干渉判定のフローを示す。 FIG. 19 shows a flow of interference determination by the access determination means 310.
また、図20にロボットアーム102が物品を動かそうとするときの様子を示す。ロボットアーム102は、その本体根元部102bが座標(0,0,0)にあり、間接102cの数が2、リンク102dの長さがそれぞれ20cmであるとする。これらの情報は、属性データベース315にロボットデータ2302として予め記録されている。また、一例として、ロボットアーム102により把持して移動させようとする対象物品3002は、簡単のため、以下の障害物品3003のサイズよりも極小さな物品(例えば、サイズが1cm×1cm×1cmの立方体の物品)であるとし、座標(0,32,0)の位置に置かれているとする。また、障害物品3003は、サイズが16cm×16cm×16cmの立方体の物品で座標(0,16,0)の位置(障害物品3003の平均座標の位置)に置かれているとする。対象物品3002と障害物品3003のそれぞれの位置情報はセンシング装置303で検出されて検出履歴データベース304に記録されており、対象物品3002と障害物品3003のそれぞれのサイズは、属性データベース315に物品データ2301として予め記録されている。そして、前記作業手順データベース306を参照して、以降の工程でロボットアーム102が物品を把持する予定であることをアクセス判定手段310により判定したとき、前記属性データベース315に予め記録された物品データ2301とロボットデータ2302と検出履歴データベース304に予め記録された対象物品3002と障害物品3003のそれぞれの位置情報とをアクセス判定手段310により参照してそれぞれ取得する。
FIG. 20 shows a state where the
まず、ステップS2901で、アクセス判定手段310により作業手順データベース306及び検出履歴データベース304を参照して、ロボットアーム102の先端部(ハンド部)の目標位置の座標(把持対象物の座標と)を求める。具体的には、アクセス判定手段310により作業手順データベース306を参照して、把持する対象物品3002のID情報を取得し、取得したID情報にかかる対象物品3002の現在の位置をアクセス判定手段310により検出履歴データベース304を参照して取得する。ここでは、検出履歴データベース304からアクセス判定手段310が、把持する対象物品3002の位置の座標として(0,32,0)を得たとする。
First, in step S2901, the
次いで、ステップS2902で、アクセス判定手段310により検出履歴データベース304を参照して、センシング装置303で検出されて検出履歴データベース304に予め記録されているロボットアーム102の先端部の現在位置の座標を取得する。次いで、把持する対象物品3002の位置の座標と、取得したロボットアーム102の先端部の現在位置の座標との間のずれベクトルをアクセス判定手段310により算出する。具体的には、ロボットアーム102の先端部の現在位置の座標を(0,0,40)とすると、ずれベクトル=(把持する対象物品3002の位置の座標)−(ロボットアーム102の先端部の現在位置の座標)=(0,32,0)−(0,0,40)=(0−0,32−0,0−40)=(0,32,−40)がアクセス判定手段310により得られる。なお、ロボットアーム102の先端部1102aの現在位置の座標は、センシング装置303が制御手段302から取得している。
Next, in step S2902, the
次いで、ステップS2903で、前記で求めた、ずれベクトルから、逆運動学により軌道q(t)をアクセス判定手段310により決定する(図21B参照)。軌道q(t)は、各時間におけるロボットアーム102の各関節角度をベクトルとして表したものである。図21Bは、ロボットアーム102の先端部102aの現在位置から目標位置までを直線で繋いだ軌道を示す図である。逆運動学とは、ロボットアーム102の先端部の位置が与えられたとき、それを実現するための各関節の角度を求めるものである。前記軌道q(t)は、例えば、ロボットアーム102の先端部の現在位置から目標位置までを直線で繋ぐことで得ることができる。
Next, in step S2903, the access determination means 310 determines the trajectory q (t) from the deviation vector obtained above by inverse kinematics (see FIG. 21B). The trajectory q (t) represents each joint angle of the
例えば、ロボットアーム102の先端部(ハンド部)102aが対象物品3002を丁度把持するときの先端部(ハンド部)102aの軌道の様子を図21Aに示す。図21Aは、x=0における断面(y−z平面)を表しており、これより、α=arccos(16/20)=36.9°と求まる。よって、1つ目の間接(本体根元部102bとそれに隣接する基端側のリンク102dの基端部との関節)の角度θ1=90−α=53.1°、2つ目の関節(前記基端側のリンク102dの先端部とその基端側のリンク102dに隣接する先端側のリンク102dの基端部との関節)の角度θ2=2*α=73.8°となる。
For example, FIG. 21A shows the state of the trajectory of the distal end portion (hand portion) 102a when the distal end portion (hand portion) 102a of the
次いで、ステップS2904で、アクセス判定手段310により、時間を微少時間Δtだけ進める。
In step S2904, the
次いで、ステップS2905で、アクセス判定手段310により、前記軌道q(t)に基づいて得られたロボットアーム102の各関節角度から、順運動学によりロボットアーム102の現在の姿勢を求める。順運動学とは、各関節の角度からロボットアーム102の先端部の位置を求めるものである。
In step S2905, the access determination means 310 obtains the current posture of the
例えば、前記図21Aに示した例では、アクセス判定手段310により、θ1=53.1°とθ2=73.8°よりロボットアーム102の先端部の位置を求める。まず、図21Aに示した位置P1の座標をアクセス判定手段310により求め、次に、先端部の位置Pの座標の順にアクセス判定手段310により求める。位置P1の座標は(0,L1*sinθ1,L1*cosθ1)=(0,16,12)となり、位置Pの座標は(0,16+L2*sin(θ1+θ2),12+cos(θ1+θ2))=(0,32,0)となる。
For example, in the example shown in FIG. 21A, the position of the tip of the
次いで、ステップS2906で、アクセス判定手段310により、衝突検出計算を行う。これは、例えば、属性データベース315にそれぞれ格納された、ロボットアーム102の3次元形状と、障害物品3003の3次元形状を、オープンソースの物理計算シミュレータであるODE(Open Dynamics Engine)の衝突検出機能によって3次元形状同士が干渉しているかどうかを判定することで、求めることができる。
In step S2906, the
ロボットアーム102の3次元形状は、リンクと関節の組み合わせで表現する。各リンクは、例えば、円柱によって表現され、円柱の半径と長手軸方向の長さ(円柱の高さ)を指定することで定義できる。
The three-dimensional shape of the
同様に、障害物品3003の3次元形状は、例えば、直方体で表現され、縦、横、高さを指定することで定義できる。
Similarly, the three-dimensional shape of the
前記衝突検出機能は、2つの物体の接触情報を生成するものである。2つの物体として、ロボットアーム102と障害物品3003を指定し、接触情報として、接触数=0が返されれば、衝突が検出されていないことになり、接触数として0以外の値が返されれば、衝突が検出されたことになる。
The collision detection function generates contact information between two objects. If the
次いで、ステップS2907で、アクセス判定手段310により、前記衝突検出機能を使用してロボットアーム102と障害物品3003との間で衝突が検出されたか否かを判定し、アクセス判定手段310で衝突が検出されれば、ロボットアーム102が物品と干渉するとアクセス判定手段310により判定して、干渉判定のフローを終了する。アクセス判定手段310で衝突が検出されなければ、次のステップS2908へ進む。
In step S2907, the
ステップS2908で、ロボットアーム102の先端部が目標位置へ到達したか否か(検出履歴データベース304に記録されたロボットアーム102の先端部の現在の位置座標と、ステップS2901で求められた目標位置の位置座標とが一致しているか否か)をアクセス判定手段310により判定し、目標位置へ到達していないとアクセス判定手段310により判定されれば、ステップS2904から繰り返す。目標位置へ到達しているとアクセス判定手段310により判定されれば、ロボットアーム102は物品と干渉しないとアクセス判定手段310により判定して、干渉判定のフローを終了する。
In step S2908, whether or not the tip of the
ここでは、簡単のためにロボットアーム102の本体根元部102bの位置は固定されているとして考えたが、ロボットアーム102が移動可能な場合には、それぞれの場所において判定する必要がある。
Here, for the sake of simplicity, it is assumed that the position of the
図22にアクセス判定手段310による、アクセス困難な状況となるか否かの処理フローを示す。 FIG. 22 shows a processing flow by the access determination means 310 as to whether or not it becomes difficult to access.
指定された場所を「場所a」とし、ロボットアーム102により把持して、これから置こうとしている物品を「物品A」とする。指定された場所とは、前記マップ管理手段313により与えられる場所である。
The designated place is designated as “place a”, and the article that is gripped by the
まず、ステップS1601で、作業手順データベース306の工程データ及び属性データベース315のロボットデータ2302に基づきロボットアーム102により把持した物品を置く位置としてマップ管理手段313で指定された置き場所(図17Cの全ての場所を順番に指定した置き場所)が、ロボットアーム102の可動範囲内か否かをアクセス判定手段310により判定する。アクセス判定手段310により可動範囲内であると判定されればステップS1603へ進み、アクセス判定手段310により可動範囲外であると判定されればステップS1602へ進む。
First, in step S1601, the place specified by the
ステップS1602で、前記作業手順データベース306をアクセス判定手段310により参照して、前記ロボットアーム102に把持した「物品A」が、以降の工程でロボットアーム102に把持されるか否かをアクセス判定手段310により判定する。以降に把持される工程が存在しなければ、アクセス困難な状況はないとアクセス判定手段310により判定して、この処理フローを終了する。以降に把持される工程が存在すれば、可動範囲外に置かれたことによる、アクセス困難な状況があるとアクセス判定手段310により判定して、この処理フローを終了する。
In step S1602, the
ステップS1603で、前記作業手順データベース306をアクセス判定手段310により参照して、以降の工程で、ロボットアーム102が把持する物品をアクセス判定手段310により抽出し(このときの工程を「工程K」とし、物品を「物品B」とする。)、その「物品B」を把持するためにロボットアーム102を、制御手段302の制御の下に各関節の駆動モータ及び先端部のハンドの開閉モータにより駆動されるとき、先の干渉判定のフローを使用して先に置いた「物品A」がロボットアーム102と干渉するか否かをアクセス判定手段310により判定する。干渉が有るとアクセス判定手段310により判定されれば、ステップS1604へ進む。干渉が無いとアクセス判定手段310により判定されれば、ステップS1605へ進む。
In step S1603, the
ステップS1604で、前記作業手順データベース306をアクセス判定手段310により参照して、前記干渉が発生する「工程K」の以前に、前記ロボットアーム102により把持した「物品A」を、もう一度使う工程が存在するか否かをアクセス判定手段310により判定する。そのような、もう一度使う工程が存在するとアクセス判定手段310により判定されたならば、ステップS1605へ進む。そのような工程が存在しないとアクセス判定手段310により判定されれば、邪魔な物品によるアクセス困難な状況があるとアクセス判定手段310により判定して、この処理フローを終了する。
In step S1604, referring to the
ステップS1605で、前記作業手順データベース306をアクセス判定手段310により参照して、以降の工程で、ロボットアーム102が把持した物品の移動先が「場所a」である工程をアクセス判定手段310により検索し、そのような工程が存在するとアクセス判定手段310により判定されれば(この工程を「工程L」とし、物品を「物品C」とする。)、ステップS1606へ進む。そのような工程が存在しないとアクセス判定手段310により判定されれば、アクセス困難な状況はないとアクセス判定手段310により判定して、この処理フローを終了する。
In
ステップS1606で、前記作業手順データベース306をアクセス判定手段310により参照して、前記移動先が「場所a」である工程L以前に、前記ロボットアーム102により把持した「物品A」をもう一度使う工程が、存在するか否かをアクセス判定手段310により判定する。そのような工程が存在するとアクセス判定手段310により判定されたならば、アクセス困難な状況はないとアクセス判定手段310により判定して、この処理フローを終了する。そのような工程が存在しないとアクセス判定手段310により判定されれば、邪魔な物品によるアクセス困難な状況があるとアクセス判定手段310により判定して、この処理フローを終了する。
In step S1606, referring to the
《障害物品除去時間算出手段》
障害物品除去時間算出手段311は、前記アクセス判定手段310においてアクセス困難な状況が発生すると判定された場合、そのアクセス困難な状況を解消するために要する障害物品除去時間を算出するものである。ここで、障害物品除去時間とは、ロボットアーム102の可動範囲外によるアクセス困難な状況の場合には、人106がその物品を取りに行ったのち、邪魔な物品を移動させるのに要する時間を意味し、又は、邪魔な物品(障害物品)によるアクセス困難な状況の場合には、人106又はロボットアーム102が邪魔な物品を移動させるのに要する時間を意味する。
<< Measurement means for removing obstacles >>
The obstacle article removal time calculation means 311 calculates the obstacle article removal time required to resolve the difficult access situation when the access judgment means 310 determines that a difficult access situation occurs. Here, the obstacle article removal time is the time required for the
前者の場合には、人106が障害物品を取りに行き、障害物品を邪魔にならない場所に置き直し、元の位置に戻るまでに要する時間を求める。より詳細には、人106が、現在位置(開始位置)と、人106が障害物品を取ることが可能な位置と、障害物品を邪魔にならない場所に置く位置との間で移動するときの距離を、人106の移動速度で割って、これらの位置を移動する時間t1を算出する。さらに、人106が、障害物品を邪魔にならない場所に置くとき、手を伸ばして障害物品を置くとき、手を伸ばす距離を手の移動速度で割って、手の移動時間t2を算出する。そして、これらの時間の合計(t1+t2)が障害物品除去時間となる。
In the former case, the
後者の場合には、人106又はロボットアーム102が障害物品を取りに行く距離と、障害物品を邪魔にならない場所に置く距離との合計距離を、人106の手又はロボットアーム102の移動速度で割れば、障害物品除去時間を算出することができる。
In the latter case, the total distance between the distance that the
ここで、障害物品除去時間を障害物品除去時間算出手段311により算出するために、人106又はロボットアーム102が、邪魔な物品を移動する先を、退避スペース(物品退避場所の一例。)として、予め確保しておく。例えば、図23の領域2801のように、他の作業の邪魔になりにくい場所を退避スペースとし、退避スペースの中心の座標を、前記環境マップデータベース312にマップ管理手段313により記録しておく。
Here, in order to calculate the obstacle article removal time by the obstacle article removal time calculation means 311, the destination where the
そして、障害物品除去時間算出手段311は、各場所で算出された障害物品除去時間の情報をマップ管理手段313に出力する。
Then, the obstacle article removal time calculation unit 311 outputs information on the obstacle article removal time calculated at each location to the
以下、図24から図28を参照しながら具体例を示す。 Hereinafter, specific examples will be described with reference to FIGS.
図24は、この実施形態の一例として、調理作業の一部を示した作業手順データの例であり、このときの工程データを図26に示している。物品の移動を伴わない工程(この例では、工程Dと工程Hと工程Jと工程K)については、操作物品と移動先の項目が不要であり、代わりに、ここに作業内容を記述している。 FIG. 24 is an example of work procedure data showing a part of the cooking work as an example of this embodiment, and the process data at this time is shown in FIG. For the process that does not involve the movement of the article (in this example, the process D, the process H, the process J, and the process K), the operation article and the item of the movement destination are unnecessary, and the work content is described here instead. Yes.
以下、作業の内容を簡単に説明する。 The contents of the work will be briefly described below.
人106は、「工程A」で、肉を冷蔵庫(図示せず)から取り出して調理台108に置く。
In “Step A”, the
「工程A」に次いで、人106は、「工程B」で、玉葱を野菜置き場(図示せず)から取り出して調理台108に置く。
Following “Step A”, the
「工程B」に次いで、人106は、「工程C」で、じゃが芋を野菜置き場から取り出して調理台108に置く。ここで、「工程A」と「工程B」と「工程C」は、実際には作業順序を入れ替えても問題ない工程であるが、簡単のため、1つの順序のみを示している。以下の手順においても、説明に必要な箇所以外では1つの順序のみを示す。
Following “Step B”, the
ロボットアーム102は、人106の「工程A」と同時に又は「工程A」より先に又はより後に開始する「工程i」で、包丁を収納棚(図示せず)から取り出して調理台108に置く。
The
「工程i」に次いで、ロボットアーム102は、「工程ii」で、まな板を収納棚から取り出して調理台108に置く。
Following “Step i”, the
「工程ii」に次いで、ロボットアーム102は、「工程iii」で、鍋を収納棚から取り出してコンロ107に置く。ロボットアーム102は、「工程iii」が完了したのち、人106の「工程D」が完了するまで「待機工程1」で待機する。
Following “Step ii”, the
一方、人106は、「工程C」に引き続き「工程D」で、包丁とまな板を使用して、調理台108に取り出した食材(肉、玉葱、じゃが芋)を切る。この工程が終了するまでロボットアーム102は待機する。
On the other hand, the
「工程D」に次いで、人106は、下味を付けるために、「工程E」で、塩の瓶を調味料置き場から取り、切られた後、まな板の上に載っている食材に振り掛けたのち、塩の瓶を調味料置き場(図示せず)に戻す。
After “Process D”, the
「工程E」に次いで、人106は、「工程F」で、胡椒の瓶を調味料置き場から取り、まな板の上に載っている食材に振り掛けたのち、胡椒の瓶を調味料置き場に戻す。
After “Process E”, the
「工程F」に次いで、人106は、「工程G」で、まな板の上に載っている食材を取り、まな板ごとコンロ107の前まで移動し、まな板の上から、コンロ107に置かれている鍋に、食材を入れる。
Next to “Process F”, in “Process G”, the
ロボットアーム102は、「工程iii」の後の「待機工程1」に次いで(言い換えると、人106の「工程D」が完了したのち)「工程iv」で、人106の「工程D」で使い終わった包丁を、シンク109へ運び、ロボットアーム102は、人106が「工程G」を完了するまで「待機工程2」で待機する。
The
人106は、「工程G」を完了したのち「工程H」で、コンロ107に点火して、コンロ107の上の鍋の加熱を開始する。人106は、「工程H」が完了したのち、ロボットアーム102の「工程vi」が完了するまで「待機工程3」で待機する。
After completing the “process G”, the
ロボットアーム102は、「工程iv」の後の「待機工程2」に次いで(言い換えると、人106の「工程G」が完了したのち)「工程v」で、人106の「工程G」で使い終わったまな板を、シンク109へ運ぶ。
The
ロボットアーム102は、「工程v」に次いで「工程vi」で、次の、人106の作業「工程I」の準備のために、塩の瓶を、調味料置き場からコンロ107の横へ運ぶ。ロボットアーム102、「工程vi」が完了したのち、人106の「工程I」が完了するまで「待機工程4」で待機する。
The
人106は、味付けのために、「工程H」の後の「待機工程3」に次いで(言い換えると、ロボットアーム102の「工程vi」が完了したのち)「工程I」で、ロボットアーム102の「工程vi」でコンロ107の横へ運ばれた塩の瓶を取り、鍋の中に塩を振り掛けたのち、人106が調理台108の前まで移動し、調味料置き場に戻す。
For seasoning, the
人106は、「工程I」に次いで「工程J」で、鍋の中の食材を混ぜる。
The
人106は、「工程J」に次いで「工程K」で、ロボットアーム102の「工程iv」と「工程v」でシンク109に運ばれた調理具(包丁とまな板)を洗う。このとき、「工程J」と「工程K」は、作業順序を入れ替えても問題ない工程として示されており、その作業順序の確率は、「工程J」→「工程K」が70%、「工程K」→「工程J」が30%である。また、「工程K」は作業中に手に洗剤が付着するので中断不可な工程であるとする。
In “process K” after “process J”, the
ロボットアーム102は、「工程vi」の後の「待機工程4」に次いで(言い換えると、人106の「工程I」が完了したのち)「工程vii」で、次の、人106の作業「工程L」の準備のために、醤油入れを調味料置き場からコンロ107の横へ運び、次の作業まで「待機工程5」で待機する。
The
人106は、味付けのために、「工程J」→「工程K」に次いで、又は、「工程K」→「工程J」に次いで「工程L」で、ロボットアーム102の「工程vii」でコンロ107の横へ運ばれた醤油入れを取り、鍋の中に醤油を振り掛けたのち、人106は調理台の前まで移動し、醤油入れを調味料置き場に戻す。
For the purpose of seasoning, the
以後の工程については、説明を省略する。なお、この例では協調作業を含まない工程の例を示している。 Description of the subsequent steps is omitted. In this example, an example of a process not including cooperative work is shown.
以上のような作業手順データに従って作業している場合の、障害物品除去時間算出手段311の処理内容を説明する。 The processing contents of the obstacle article removal time calculation means 311 when working according to the above work procedure data will be described.
図25は、人106Aが「工程E」を開始する直前の様子を示したものである。
FIG. 25 shows a state immediately before the
図25に示すように、調理台108の前に人106(ここでは、具体的に、前述した「花子」106Aという名前の人であると仮定する。)がおり、ロボットアーム102が調理台108に設置されている。コンロ107に鍋2003が置かれている。調理台108の手前(人106Aに近い領域)には、作業に使用している包丁2004とまな板2005とが置かれており、まな板2005の上には、肉と玉葱とじゃが芋の食材2005Aが置かれている。調理台108の右奥の矩形の調味料置き場108Aには、醤油入れ2006と塩の瓶2007と胡椒の瓶2008とが置かれている。図26の前記工程データで示した「コンロ107の横」の位置は、矩形の領域2009が示す場所とする。また、調理台108の左奥の矩形の領域2010を、邪魔な物品(障害物品)を移動するための退避スペースとする。この退避スペースの領域2010の位置座標は、環境マップデータベース312に記録されており、前記マップ管理手段313が、環境マップデータベース312から退避スペースの領域2010の位置座標を取得して、障害物品除去時間算出手段311に与えるようにしている。
As shown in FIG. 25, there is a person 106 (here, specifically, it is assumed that the person named “Hanako” 106A described above) is in front of the cooking table 108, and the
ここで、人106の「工程E」で、人106Aが、塩の瓶2007を調味料置き場108Aから取る。すると、前記物品把持判定手段305が、センシング装置303で検出されて検出履歴データベース304に記録された情報を基に、システムキッチン101の上面の調味料置き場108Aに置かれていた物品(塩の瓶2007)を人106Aが把持したことを判定する。
Here, in “Process E” of the
次に、前記作業進捗管理手段307が、時刻取得手段301から取得した現在時刻を基に、現在の工程が「工程E」であることを判定する。
Next, the work
さらに、前記マップ管理手段313が、前記環境マップデータベース312中の、物品(塩の瓶2007)が置かれると想定する複数個(又は単数の)の場所の位置情報を前記アクセス判定手段310に与える。そして、前記アクセス判定手段310は、与えられた場所がアクセス困難な状況となるか否かを判定する。そして、アクセス判定手段310がアクセス困難な状況であると判定した場合、障害物品除去時間算出手段311がそのアクセス困難な状況を解消するために要する障害物品除去時間を算出する。
Further, the map management means 313 provides the access determination means 310 with position information of a plurality (or a number) of locations in the
前記マップ管理手段313は、前記環境マップデータベース312中の、物品(塩の瓶2007)が置かれると想定する複数個の場所として、例えば、図27に示した、調理台108の右側手前でかつまな板2005の右側の領域2501の位置情報と、調理台108の右側奥でかつ調味料置き場108Aの醤油入れ2006の左側の領域2502の位置情報とを前記アクセス判定手段310に与える。ここでは、領域2501の代表点の位置座標としては(120,75)とし、領域2502の代表点の位置座標としては(110,15)とする。また、退避スペースとして確保した領域2010の代表点の位置座標としては(80,15)とする。この退避スペースの領域2010の位置座標は、環境マップデータベース312に予め記録されており、前記マップ管理手段313が、環境マップデータベース312から退避スペースの領域2010の位置座標を取得して、障害物品除去時間算出手段311に与えるようにしている。
The map management means 313 may be a plurality of locations in the
以下、それぞれの位置情報が与えられた場合の障害物品除去時間算出例1及び2について説明する。 Hereinafter, the obstacle article removal time calculation examples 1 and 2 when the respective pieces of position information are given will be described.
《障害物品除去時間算出例1》
まず、前記マップ管理手段313から領域2501の位置情報が前記アクセス判定手段310に与えられた場合の、アクセス判定手段310の処理を説明する。
<< Example 1 for calculating obstacle removal time >>
First, the processing of the
図22に示したステップS1601にて、属性データベース315のロボットデータ2302をアクセス判定手段310により参照して、与えられた位置が、ロボットアーム102の可動範囲外であるか否かをアクセス判定手段310により判定する。即ち、ロボットアーム102の本体根元部102bの位置が(100,5)であり、領域2501の位置(120,75)までの距離をアクセス判定手段310により計算して、{(120−100)2+(75−5)2}1/2=72.8[cm]を求める。次いで、この距離72.8[cm]とロボットアーム102のアームサイズ(アームの長さ)である60[cm]とをアクセス判定手段310により比較する。その比較の結果、前記距離72.8[cm]がアームサイズ(アームの長さ)である60[cm]より大きいとアクセス判定手段310により判定することから、与えられた位置である領域2501の位置(120,75)が、ロボットアーム102の可動範囲外であることをアクセス判定手段310により判定される。
In step S1601 shown in FIG. 22, the
次に、ステップS1602にて、アクセス判定手段310により、作業手順データを参照して、以降のロボットアーム102の「工程vi」で塩の瓶2007をロボットアーム102が使用することから、ロボットアーム102が塩の瓶2007に対してアクセス困難な状況になるとアクセス判定手段310で判定する。
Next, in step S1602, the access determination means 310 refers to the work procedure data, and the
ロボットアーム102が塩の瓶2007に対してアクセス困難な状況になるとアクセス判定手段310で判定されたので、次の障害物品除去時間算出手段311の処理を行う。
When it is difficult for the
すなわち、ロボットアーム102の「工程vi」で、ロボットアーム102が塩の瓶2007に対してアクセス困難な状況が発生するので、このときに、「工程vi」より前の「工程v」の開始のタイミングで行われる人106の「工程H」を障害物品除去時間算出手段311により参照する。この「工程H」において、工程データの作業場所を障害物品除去時間算出手段311により参照すると、人106Aは(40,90)の位置で作業していることがわかる。領域2501に塩の瓶2007を置いたとすると、塩の瓶2007を人106Aが取りに行き、塩の瓶2007を退避スペース2010へ人106Aが移動させ、また元の位置に人106Aが戻ってくるまでの往復の所要時間を、困難な状況を解消するために要する障害物品除去時間とする。
That is, in the “process vi” of the
ここでは、塩の瓶2007を取るために塩の瓶2007の正面位置(120,90)まで人106Aが取りに行くとすると、人106Aは(40,90)の位置から(120,90)の位置に行き、また、(120,90)の位置から(40,90)の位置に移動することにより、これらの2つの位置の間を往復することになる。属性データベース315の人データ2303を障害物品除去時間算出手段311で参照して、花子106Aの移動速度は60[cm/s]であることを障害物品除去時間算出手段311が取得する。よって、花子106Aが前記2つの位置の間を往復する時間t1は、t1=(前記2つの位置の距離*2)/(花子106Aの移動速度)=((120−40)*2)/60=2.7[s]であることを障害物品除去時間算出手段311により求める。さらに、塩の瓶2007を退避スペース2010まで花子106Aが移動する時間を障害物品除去時間算出手段311により求める。領域2501から退避スペース2010までの距離を障害物品除去時間算出手段311により計算する。すなわち、両者の座標(120,75)と(80,15)とから、領域2501から退避スペース2010までの距離は{(120−80)2+(75−15)2}1/2=72.1[cm]と求まる。障害物品除去時間算出手段311は、人106Aの属性データ2303を参照して、花子106Aの手の移動速度30[cm/s]を取得する。よって、花子106Aの手で領域2501から退避スペース2010まで塩の瓶2007を置く時間t2は、障害物品除去時間算出手段311により、t2=(領域2501から退避スペース2010までの距離)/(花子106Aの手の移動速度)を求めると、t2=72.1/30=2.4[s]となる。これらを障害物品除去時間算出手段311により合計して、t1+t2=2.7+2.4=5.1[s]が障害物品除去時間算出手段311により算出された障害物品除去時間となる。
Here, if the
このように、作業手順データをアクセス判定手段310により参照することで、アクセス困難な状況が発生する時点における状況をアクセス判定手段310により推定し、その状況に基づいた障害物品除去時間の情報を障害物品除去時間算出手段311により求めることができる。
In this way, by referring to the work procedure data by the
《障害物品除去時間算出例2》
また、前記マップ管理手段313から領域2502の位置情報が前記アクセス判定手段310に与えられた場合の、アクセス判定手段310の処理を説明する。この領域2502の位置座標は、環境マップデータベース312に予め記録されており、前記マップ管理手段313が、環境マップデータベース312から領域2502の位置座標を取得して、障害物品除去時間算出手段311に与えるようにしている。
<< Example 2 for calculating obstacle removal time >>
The processing of the
図22に示したステップS1601にて、属性データベース315のロボットデータ2302を参照して、与えられた位置が、ロボットアーム102の可動範囲内であるか否かをアクセス判定手段310により判定する。即ち、ロボットアーム102の本体根元部102bの位置が(100,5)であり、領域2502の位置(110,15)までの距離をアクセス判定手段310により計算して、{(110−100)2+(15−5)2}1/2=14.1[cm]を求める。次いで、この距離14.1[cm]とロボットアーム102のアームサイズ(アームの長さ)である60[cm]とをアクセス判定手段310により比較する。その比較の結果、前記距離14.1[cm]がアームサイズ(アームの長さ)である60[cm]より小さいとアクセス判定手段310により判定することから、与えられた位置である領域2502の位置(110,15)が、ロボットアーム102の可動範囲内であるとアクセス判定手段310により判定される。
In step S1601 shown in FIG. 22, the
次に、ステップS1603にて、アクセス判定手段310により、前記作業手順データベース306を参照して、領域2502に置いた塩の瓶2007が他の物品の邪魔になるか否かを判定する。すると、塩の瓶2007が、以降の「工程vii」で使用する醤油入れ2006の邪魔になるとアクセス判定手段310により判定されるので、ステップS1604へ進む。
In step S1603, the
ステップS1604にて、アクセス判定手段310により前記作業手順データベース306を参照して、アクセス困難な状況が発生する可能性のある「工程vii」以前に、邪魔の原因となる塩の瓶2007を使用するか否かをアクセス判定手段310により判定すると、「工程vi」で塩の瓶02007を使用することが分かるので、ステップS1605へ進む。
In
ステップS1605にて、アクセス判定手段310により、前記作業手順データベース306を参照して、以降の工程で、領域2502に他の物品を置くことが発生するかを判定すると、以降のロボットアーム102の工程には、移動先が領域2502の場所になっている物品は存在しないとアクセス判定手段310により判定することができる。この結果、アクセス困難な状況にはならないとアクセス判定手段310により判定する。
In step S1605, when the
よって、障害物品除去時間算出手段311の処理は行われず、障害物品除去時間は0[s]となる。 Therefore, the processing of the obstacle article removal time calculation unit 311 is not performed, and the obstacle article removal time is 0 [s].
このように、作業手順データベース306の作業手順データをアクセス判定手段310により参照し、以降の工程で使用する物品との関連をアクセス判定手段310により判定することにより、現時点だけの判断ではアクセス困難な状況であるとアクセス判定手段310により判定されるが、以降の工程で該当物品を使用する時点で、アクセス困難な状況であるか否かをアクセス判定手段310により正しく判定することができるようになり、より正確な障害物品除去時間の情報を求めることができる。
As described above, the work procedure data in the
次に、図25に示した「工程E」を開始する直前の状態から、人106Aが、「工程F」にて、胡椒の瓶2008を調味料置き場108Aから取ったときを考え、前記マップ管理手段313が、例えば、図28に示した領域2601の位置情報と領域2602の位置情報とをアクセス判定手段310に与えた場合について説明する。領域2601の代表点の位置座標を(80,55)、領域2602の代表点の位置座標を(110,15)とする。退避スペースとして確保した領域2010の代表点の位置座標を(80,15)とする。
Next, from the state immediately before the start of “Process E” shown in FIG. 25, the map management is performed when the
以下、それぞれの位置情報が与えられた場合の障害物品除去時間算出例3及び4について説明する。 Hereinafter, the obstacle article removal time calculation examples 3 and 4 in the case where the respective pieces of position information are given will be described.
《障害物品除去時間算出例3》
まず、前記マップ管理手段313から領域2601の位置情報が前記アクセス判定手段310に与えられた場合の、アクセス判定手段310の処理を説明する。この領域2601の位置座標は、環境マップデータベース312に予め記録されており、前記マップ管理手段313が、環境マップデータベース312から領域2601の位置座標を取得して、障害物品除去時間算出手段311に与えるようにしている。
<< Example 3 of calculating obstacle removal time >>
First, the processing of the
図22に示したステップS1601にて、属性データベース315のロボットデータ2302をアクセス判定手段310により参照して、与えられた位置が、ロボットアーム102の可動範囲内であるか否かをアクセス判定手段310により判定する。即ち、ロボットアーム102の本体根元部102bの位置が(100,5)であり、領域2601の位置(80,55)までの距離をアクセス判定手段310により計算して、{(100−80)2+(55−5)2}1/2=53.9[cm]がロボットアーム102のアームサイズである60[cm]とをアクセス判定手段310により比較する。その比較の結果、前記距離53.9[cm]がアームサイズ(アームの長さ)である60[cm]より小さいことから、与えられた位置である領域2502の位置(110,15)が、ロボットアーム102の可動範囲内であるとアクセス判定手段310により判定される。
In step S1601 shown in FIG. 22, the
次に、ステップS1603にて、アクセス判定手段310により、前記作業手順データベース306を参照して、領域2601に置いた胡椒の瓶2008が他の物品の邪魔になるか否かを判定する。すると、胡椒の瓶2008が、以降の全ての工程でそれぞれ用いる物品に対しても邪魔にならないとアクセス判定手段310により判定されるので、ステップS1605へ進む。
In step S1603, the
ステップS1605にて、前記作業手順データベース306をアクセス判定手段310により参照して、以降の工程で、領域2601に他の物品を置くことが発生するか否かをアクセス判定手段310により判定すると、「工程vi」において塩の瓶の移動先が領域2601の場所になっているとアクセス判定手段310により判定されるので、ステップS1606へ進む。
In step S1605, the
ステップS1606にて、前記作業手順データベース306をアクセス判定手段310により参照して、アクセス困難な状況が発生する可能性のある「工程vi」以前に、邪魔の原因となる胡椒の瓶2008を使用するか否かをアクセス判定手段310により判定する。すると、いずれの工程においても胡椒の瓶2008は使用されないので、アクセス困難な状況になるとアクセス判定手段310により判定する。
In
アクセス困難な状況になるとアクセス判定手段310により判定されたので、以下のように障害物品除去時間算出手段311による障害物品除去時間算出処理を行う。
Since it is determined by the
「工程vi」で、ロボットアーム102が塩の瓶2007に対してアクセス困難な状況が発生するとアクセス判定手段310により判定されるので、このときに、「工程vi」より前の「工程v」の開始のタイミングで行われる人106の「工程H」を障害物品除去時間算出手段311により参照する。
この「工程H」において、工程データの作業場所を障害物品除去時間算出手段311により参照すると、人106Aは(40,90)の位置で作業していることがわかる。領域2601に胡椒の瓶2008を置いたとすると、この胡椒の瓶2008を人106Aが取りに行き、胡椒の瓶2008を退避スペース2010へ人106Aが移動させ、また元の位置に人106Aが戻ってくるまでの往復の所要時間を、困難な状況を解消するために要する障害物品除去時間とする。
Since it is determined by the
In this “process H”, when the work place of the process data is referred to by the obstacle article removal time calculation means 311, it can be seen that the
ここでは、胡椒の瓶2008を人106Aが取るために胡椒の瓶2008の正面位置(80,90)まで人106Aが胡椒の瓶2008を取りに行くとすると、人106Aは(40,90)の位置から(80,90)の位置に行き、また、(80,90)の位置から(40,90)の位置に移動することにより、これらの2つの位置の間を往復することになる。属性データベース315の人データ2303を障害物品除去時間算出手段311で参照して、花子106Aの移動速度は60[cm/s]であることを障害物品除去時間算出手段311が取得する。よって、花子106Aが前記2つの位置の間を往復する時間t1は、t1=(前記2つの位置の距離*2)/(花子106Aの移動速度)=((80−40)*2)/60=1.3[s]であることを障害物品除去時間算出手段311により求める。さらに、胡椒の瓶2008を退避スペース2010まで花子106Aが移動する時間を障害物品除去時間算出手段311により求める。領域2601から退避スペース2010までの距離を障害物品除去時間算出手段311により計算する。すなわち、両者の座標(80,55)と(80,15)とから、領域2601から退避スペース2010までの距離は{(80−80)2+(55−15)2}1/2=40[cm]と求まる。障害物品除去時間算出手段311は、人106Aの属性データ2303を参照して、花子106Aの手の移動速度30[cm/s]を取得する。よって、花子106Aの手で領域2601から退避スペース2010まで胡椒の瓶2008を置く時間t2は、障害物品除去時間算出手段311により、t2=(領域2601から退避スペース2010までの距離)/(花子106Aの手の移動速度)を求めると、t2=40/30=1.3[s]となる。これらを障害物品除去時間算出手段311により合計して、t1+t2=1.3+1.3=2.6[s]が障害物品除去時間算出手段311により算出された障害物品除去時間となる。
In this case, if the
一方、アクセス困難な状況の原因となる胡椒の瓶2008は、ロボットアーム102の可動範囲内にあるので、ロボットアーム102自体が胡椒の瓶2008を取り除くことができる。ロボットアーム102は作業終了後には必ず、本体根元部102bの位置(100,5)にアーム102の先端部を戻すこととすると、「工程vi」の直前にもそのような状態になっており、アーム先端部を、胡椒の瓶2008の位置まで移動させて胡椒の瓶2008を取りに行き、アーム先端部で胡椒の瓶2008を把持し、アーム先端部で胡椒の瓶2008を退避スペース2010へ移動し、アーム先端部で胡椒の瓶2008を置き、また元の位置までアーム先端部が戻ってくるまでに要する時間を、困難な状況を解消するために要する障害物品除去時間とする。
On the other hand, since the
ロボットアーム102の先端部は、本体根元部102bの位置(100,5)から領域2601の位置(80,55)と退避スペース2010の位置(80,15)とを経由して元の位置(100,5)へ移動することになる。属性データベース315のロボットデータ2302を参照して、アーム102のハンド部の動作速度は25[cm/s]である。よって、ロボットアーム102の本体根元部102bの位置(100,5)から領域2601の位置(80,55)まで算出した前記距離が53.9[cm]であり、領域2601の位置(80,55)から退避スペース2010の位置(80,15)まで算出した前記距離が40[cm]であり、退避スペース2010の位置(80,15)から本体根元部102bの位置(100,5)までの距離は、障害物品除去時間算出手段311により、{(100−80)2+(15−5)2}1/2=22.4[cm]と求められるため、(これらの全ての距離の合計)/(アームのハンド部の動作速度)=(53.9+40+22.4)/25=4.7[s]を障害物品除去時間算出手段311により求める。ロボットアーム102の把持所要時間が、物品を把持するときと置くときに費やされるので、3[s]*2=6[s]。これらを合わせて、4.7[s]+6[s]=10.7[s]が、障害物品除去時間算出手段311により算出された障害物品除去時間となる。
The distal end portion of the
以上のように、人106Aがアクセス困難な状況を解消するためには2.6[s]、ロボットアーム102がアクセス困難な状況を解消するためには10.7[s]が必要であることが障害物品除去時間算出手段311により求められる。なるべく少ない障害物品除去時間で作業を進めるためには、障害物品除去時間の小さい値を障害物品除去時間算出手段311により選択し、人106Aがアクセス困難な状況を解消するための2.6[s]を、領域2601における障害物品除去時間とする。実際に、「工程vi」において、この状況が発生したならば、人106Aがアクセス困難な状況を解消することで、ロボットアーム102がアクセス困難な状況を解消するよりも、無駄な時間を少なく抑えることができる。
As described above, 2.6 [s] is necessary to eliminate the situation in which the
作業全体を通して、例えば疲労度の観点から、なるべく人106Aが余計な作業を行いたくない場合には、障害物品除去時間を決めるときに、前記人106Aがアクセス困難な状況を解消するため時間に、予め設定した値を障害物品除去時間算出手段311により乗じるように設定しておけばよい。例えば、値を「10」に障害物品除去時間算出手段311に設定しておけば、前記の例では、人106Aがアクセス困難な状況を解消するためには2.6×10=26[s]と障害物品除去時間算出手段311により算出される一方、ロボットアーム102がアクセス困難な状況を解消するためには10.7[s]が必要であることになる。この結果、前記26[s]と10.7[s]とのうちの、より少ない時間である、ロボットアーム102がアクセス困難な状況を解消するための10.7[s]が、障害物品除去時間算出手段311により選択されて、領域2601における障害物品除去時間となる。
If the
同様に、例えば省エネなどの観点から、なるべくロボットアーム102に余計な作業を行わせたくない場合には、障害物品除去時間算出手段311により障害物品除去時間を決めるときに、前記ロボットアーム102がアクセス困難な状況を解消するための時間に、予め設定した値(例えば、「10」)を障害物品除去時間算出手段311により乗じるようにしておけばよい。このようにすれば、例えば前記例では、人106Aがアクセス困難な状況を解消するための時間が2.6[s]であるのに対して、ロボットアーム102がアクセス困難な状況を解消するための時間は10.7[s]×10=100.7[s]となり、障害物品除去時間算出手段311により、人106Aがアクセス困難な状況を解消するための時間2.6[s]が選択されて、領域2601における障害物品除去時間となる。
Similarly, for example, from the viewpoint of energy saving, when it is desired not to cause the
このように、作業手順データをアクセス判定手段310により参照することで、アクセス困難な状況が発生する時点における状況をアクセス判定手段310により推定し、人106A又はロボットアーム102のそれぞれの状況に基づいた障害物品除去時間を障害物品除去時間算出手段311により算出することで、より正確な障害物品除去時間の情報を障害物品除去時間算出手段311により求めることができる。
In this way, by referring to the work procedure data by the
《障害物品除去時間算出例4》
前記マップ管理手段313から領域2602の位置情報が前記アクセス判定手段310に与えられた場合の、アクセス判定手段310の処理を説明する。この領域2602の位置座標は、環境マップデータベース312に予め記録されており、前記マップ管理手段313が、環境マップデータベース312から領域2602の位置座標を取得して、障害物品除去時間算出手段311に与えるようにしている。
<< Example 4 for calculating obstacle removal time >>
The processing of the
図22に示したステップS1601にて、属性データベース315のロボットデータ2302をアクセス判定手段310により参照して、与えられた位置が、ロボットアーム102の可動範囲内であるか否かをアクセス判定手段310により判定する。即ち、ロボットアーム102の本体根元部102bの位置が(100,5)であり、領域2602の位置(110,15)までの距離をアクセス判定手段310により計算して、{(110−100)2+(15−5)2}1/2=14.1[cm]を求める。次いで、この距離14.1[cm]とロボットアーム102のアームサイズである60[cm]とをアクセス判定手段310により比較する。その比較の結果、前記距離14.1[cm]がアームサイズ(アームの長さ)である60[cm]より小さいとアクセス判定手段310により判定することから、与えられた位置である領域2602の位置(110,15)が、ロボットアーム102の可動範囲内であるとアクセス判定手段310により判定される。
In step S1601 shown in FIG. 22, the
次に、ステップS1603にて、アクセス判定手段310により、前記作業手順データベース306を参照して、領域2602に置いた胡椒の瓶2008が他の物品の邪魔になるかを判定する。すると、胡椒の瓶2008が、以降の「工程vii」で使用する醤油入れ2006の邪魔になるとアクセス判定手段310により判定されるので、ステップS1604へ進む。
In step S1603, the
ステップS1604にて、アクセス判定手段310により前記作業手順データベース306を参照して、アクセス困難な状況が発生する可能性のある「工程vii」以前に、邪魔の原因となる胡椒の瓶2008を使用するか否かをアクセス判定手段310により判定すると、いずれの工程においても、胡椒の瓶2008は使用されないので、アクセス困難な状況になるとアクセス判定手段310により判定する。
In
醤油入れ2006がアクセス困難な状況になるとアクセス判定手段310により判定されたので、以下の障害物品除去時間算出手段311による障害物品除去時間算出処理を行う。
When the
「工程vii」で、ロボットアーム102が醤油入れ2006に対してアクセス困難な状況が発生するとアクセス判定手段310により判定されるので、このときに、同じタイミングで行われる人106Aの工程を障害物品除去時間算出手段311により参照する。作業手順データを障害物品除去時間算出手段311により参照すると、「工程vii」と同じタイミングで行われる人106Aの工程としては、作業手順を入れ替え可能な「工程J」又は「工程K」であることがわかる。まず、それぞれの工程に対して障害物品除去時間を障害物品除去時間算出手段311により求める。
In the “process vii”, the
まず、「工程J」において、工程データの作業場所を障害物品除去時間算出手段311により参照すると、人106Aは(40,90)の位置で作業していることがわかる。領域2602に胡椒の瓶2008を置いたとすると、この胡椒の瓶2008を人106Aが取りに行き、胡椒の瓶2008を退避スペース2010へ人106Aが移動させ、また元の位置に人106Aが戻ってくるまでの往復の所要時間を、困難な状況を解消するために要する障害物品除去時間とする。
First, in the “process J”, referring to the work location of the process data by the obstacle article removal time calculation means 311, it can be seen that the
ここでは、胡椒の瓶2008を人106Aが取るために胡椒の瓶2008の正面位置(110,90)まで人106Aが胡椒の瓶2008を取りに行くとすると、人106Aは(40,90)の位置から(110,90)の位置に行き、また、(110,90)の位置から(40,90)の位置に移動することにより、これらの2つの位置の間を往復することになる。属性データベース315の人データ2303を障害物品除去時間算出手段311で参照して、花子106Aの移動速度は60[cm/s]であることを障害物品除去時間算出手段311が取得する。よって、花子106Aが前記2つの位置の間を往復する時間t1は、t1=(前記2つの位置の距離*2)/(花子106Aの移動速度)=((110−40)*2)/60=2.3[s]であることを障害物品除去時間算出手段311により求める。さらに、胡椒の瓶2008を退避スペース2010まで花子106Aが移動する時間を障害物品除去時間算出手段311により求める。領域2602から退避スペース2010までの距離を障害物品除去時間算出手段311により計算する。すなわち、両者の座標(110,90)と(40,90)とから、領域2602から退避スペース2010までの距離は{(110−80)2+(15−15)2}1/2=30[cm]と求まる。障害物品除去時間算出手段311は、人106Aの属性データ2303を参照して、花子106Aの手の移動速度30[cm/s]を取得する。よって、花子106Aの手で、領域2602から退避スペース2010まで胡椒の瓶2008を置く時間t2は、障害物品除去時間算出手段311により、t2=(領域2602から退避スペース2010までの距離)/(花子106Aの手の移動速度)を求めると、t2=30/30=1[s]となる。これらを障害物品除去時間算出手段311により合計して、t1+t2=2.3+1=3.3[s]が障害物品除去時間算出手段311により算出された障害物品除去時間となる。
Here, if the
同様に、「工程K」において、工程データの作業場所を障害物品除去時間算出手段311により参照すると、人106Aは(160,90)の位置で作業していることがわかる。領域2602に胡椒の瓶2008を置いたとすると、この胡椒の瓶2008を人106Aが取りに行き、胡椒の瓶2008を退避スペース2010へ人106Aが移動xp、また元の位置に人106Aが戻ってくるまでの往復の所要時間を、困難な状況を解消するために要する障害物品除去時間とする。
Similarly, when the work location of the process data is referred to by the obstacle article removal time calculation means 311 in “process K”, it can be seen that the
ここでは、胡椒の瓶2008を人106Aが取るために胡椒の瓶2008の正面位置(110,90)まで人106Aが胡椒の瓶2008を取りに行くとすると、人106Aは(160,90)の位置から(110,90)の位置に行き、また、(110,90)の位置から(160,90)の位置に移動することにより、これらの2つの位置の間を往復することになる。属性データベース315の人データ2303を障害物品除去時間算出手段311で参照して、花子106Aの移動速度は60[cm/s]であることを障害物品除去時間算出手段311が取得する。よって、花子106Aが前記2つの位置の間を往復する時間t1は、t1=(前記2つの位置の距離*2)/(花子106Aの移動速度)=((160−110)*2)/60=1.7[s]であることを障害物品除去時間算出手段311により求める。さらに、胡椒の瓶2008を退避スペース2010まで花子106Aが移動する時間を障害物品除去時間算出手段311により求める。領域2602から退避スペース2010までの距離を障害物品除去時間算出手段311により計算する。すなわち、両者の座標(110,15)と(80,15)とから、領域2602から退避スペース2010までの距離は{(110−80)2+(15−15)2}1/2=30[cm]と求まる。障害物品除去時間算出手段311は、人106Aの属性データ2303を参照して、花子106Aの手の移動速度30[cm/s]を取得する。よって、花子106Aの手で、領域2602から退避スペース2010まで胡椒の瓶2008を置く時間t2は、障害物品除去時間算出手段311により、t2=(領域2602から退避スペース2010までの距離)/(花子106Aの手の移動速度)を求めると、t2=30/30=1[s]となる。これらを障害物品除去時間算出手段311により合計して、t1+t2=1.7+1=2.7[s]が障害物品除去時間算出手段311により算出された障害物品除去時間となる。
Here, if the
ここで、「工程J」と「工程K」は作業手順を入れ替え可能な工程であり、工程データを障害物品除去時間算出手段311により参照すると、「工程J」→「工程K」が70%、「工程K」→「工程J」が30%である。つまり、「工程vii」と同じタイミングで行われるのは、「工程J」が70%、「工程K」が30%となることがわかる。 Here, “process J” and “process K” are processes in which work procedures can be interchanged. When the process data is referred to by the obstacle article removal time calculation means 311, “process J” → “process K” is 70%, “Step K” → “Step J” is 30%. That is, it is understood that “Step J” is 70% and “Step K” is 30% that is performed at the same timing as “Step vii”.
障害物品除去時間算出手段311により、この確率に基づいて重み付けした(3.3*70+2.7*30)/100=3.1[s]が、人106Aがアクセス困難な状況を解消するための障害物品除去時間として障害物品除去時間算出手段311により求めることができる。
The obstacle article removal time calculation means 311 weights (3.3 * 70 + 2.7 * 30) /100=3.1 [s] based on this probability, but this eliminates the situation where the
このように、作業が行われる順番の確率を考慮することで、どちらの順番で行われるケースにも対応した障害物品除去時間の期待値を障害物品除去時間算出手段311により得ることができる。すなわち、障害物品除去時間は確率で重み付けをしているため、どちらの順番で行われるかに従って、障害物品除去時間を障害物品除去時間算出手段311により、それぞれで算出できる。なお、ここで、期待値とは、障害物品除去時間を確率で重み付けをした数値を意味する。 Thus, by considering the probability of the order in which the work is performed, the expected value of the obstacle article removal time corresponding to the case in which the work is performed can be obtained by the obstacle article removal time calculation unit 311. That is, since the obstacle article removal time is weighted by probability, the obstacle article removal time can be calculated by the obstacle article removal time calculation unit 311 according to which order is performed. Here, the expected value means a numerical value obtained by weighting the obstruction article removal time with a probability.
一方、アクセス困難な状況の原因となる胡椒の瓶2008は、ロボットアーム102の可動範囲内にあるので、ロボットアーム102自体が胡椒の瓶2008を取り除くことができる。「工程vii」の直前には、アーム102の先端部が本体根元部102bの位置にある状態になっており、アーム先端部を、胡椒の瓶2008の位置まで移動させて胡椒の瓶2008を取りに行き、アーム先端部で胡椒の瓶2008を把持し、アーム先端部で胡椒の瓶2008を退避スペース2010へ移動し、アーム先端部で胡椒の瓶2008を置き、また元の位置までアーム先端部が戻ってくるまでに要する時間を、困難な状況を解消するために要する障害物品除去時間とする。
On the other hand, since the
ロボットアーム102の先端部は、本体根元部102bの位置(100,5)から領域2502の位置(110,15)と退避スペース2010の位置(80,15)とを経由して元の位置(100,5)へ移動することになる。属性データベース315のロボットデータ2302を参照して、アーム102のハンド部の動作速度は25[cm/s]である。よって、ロボットアーム102の本体根元部102bの位置(100,5)から領域2502の位置(110,15)まで算出した前記距離が14.1[cm]であり、領域2502の位置(110,15)から退避スペース2010の位置(80,15)まで算出した前記距離が30[cm]であり、退避スペース2010の位置(80,15)から本体根元部102bの位置(100,5)までの距離は、障害物品除去時間算出手段311により、{(100−80)2+(15−5)2}1/2=22.4[cm]と求められるため、(これらの全ての距離の合計)/(アームのハンド部の動作速度)=(14.1+30+22.4)/25=2.7[s]を障害物品除去時間算出手段311により求める。ロボットアーム102の把持所要時間が、物品を把持するときと置くときに費やされるので、3[s]*2=6[s]。これらを合わせて、2.7[s]+6[s]=8.7[s]が、障害物品除去時間算出手段311により算出された障害物品除去時間となる。
The distal end portion of the
以上のように、人106Aがアクセス困難な状況を解消するためには、作業手順の入れ替えを考慮すると3.1[s]、ロボットアーム102がアクセス困難な状況を解消するためには8.7[s]が必要であることが障害物品除去時間算出手段311により求められ、なるべく少ない障害物品除去時間で作業を進めるためには、障害物品除去時間の小さい値を障害物品除去時間算出手段311により選択し、人106Aがアクセス困難な状況を解消するための3.1[s]を、領域2602における障害物品除去時間とする。
As described above, in order to eliminate the situation in which it is difficult for the
また、「工程K」においては、さらに、中断が不可能な工程であることを障害物品除去時間算出手段311により考慮することもできる。 Further, in the “process K”, the obstacle article removal time calculation unit 311 can also consider that the process cannot be interrupted.
すなわち、前述の通り、「工程K」における障害物品除去時間は2.7[s]と障害物品除去時間算出手段311により算出される。しかし、この時間は人106,106Aが自由に他の作業が行える状態におけるものである。「工程K」のように、作業の途中で中断が不可能な場合、最大で、工程データの所要時間80[s]だけ待たなければならない。よって、「工程K」において、2.7+80=82.7[s]を障害物品除去時間算出手段311により算出された障害物品除去時間とする。
That is, as described above, the obstacle article removal time in “Step K” is calculated to be 2.7 [s] by the obstacle article removal time calculation unit 311. However, this time is when the
このように、作業の途中で中断が不可能な工程を障害物品除去時間算出手段311により考慮することで、人106がアクセス困難な状況を短時間で解消できると想定していたが、作業を中断できずに余計な時間を費やしてしまうことを防ぐことになり、より正確な障害物品除去時間の情報を障害物品除去時間算出手段311により求めることができる。
As described above, it is assumed that the situation in which the
《情報出力装置》
情報出力装置314は、前記環境マップデータベース312を参照して、環境中の障害物品除去時間の状況を出力する装置である。例えば、情報出力装置314の一例として液晶プロジェクタを設置し、出力情報を、実際の場所(例えば、調理台108などの上面)に投影する。また、情報出力装置314の一例としてモニタをキッチン環境内に設置し、出力情報をモニタに表示するようにしても良い。
<Information output device>
The
前記出力情報の内容としては、障害物品除去時間のしきい値を予め設定しておき、障害物品除去時間がしきい値以上の領域と、しきい値未満の領域とで色を変えて、情報出力装置314により出力することが可能である。例えば、障害物品除去時間がしきい値以上の領域を赤色で出力することで、障害物品除去時間が長い場所には物品を置かないように、人に警告することができる。図29Aの2201に例を示す。図29Aにおいて、領域2201Aは、障害物品除去時間がしきい値以上の領域であって、障害物品除去時間が長い場所を意味している。
As the content of the output information, a threshold value of the obstacle article removal time is set in advance, and the color is changed between the area where the obstacle article removal time is equal to or more than the threshold and the area where the obstacle article is less than the threshold value, It can be output by the
また、前記障害物品除去時間算出手段311において、算出した障害物品除去時間だけでなく、アクセス困難な状況の理由、つまり、可動範囲外によるアクセス困難な状況であるか、邪魔な物品によるアクセス困難な状況であるかも併せて、前記出力情報として情報出力装置314は出力することができる。この情報を用いて、例えば、障害物品除去時間がしきい値以上の領域を黄色で出力し、可動範囲外によるアクセス困難な状況となる領域を赤色で出力することで、段階的に情報を表現でき、より細かい状況が判断できるようになる。図29Bの2202に例を示す。図29Bの2202において、右上部2202Uが黄色、下部2202Lが赤色を表している。
Further, in the obstacle article removal time calculation means 311, not only the calculated obstacle article removal time but also the reason for the difficult access situation, that is, the situation where the access is difficult due to out of the movable range, or the access by the disturbing article is difficult. In addition to the situation, the
また、前記検出履歴データベース304を情報出力装置314が参照して、人106の現在位置を情報出力装置314により取得し、さらに前記属性データベース315に記録された人106の手の長さデータを情報出力装置314により参照して、手が届く範囲を求める。前記出力領域のうち、手が届く範囲内の領域のみを情報出力装置314により出力するようにしても良い。図29Cの2203に例を示す。手が届く範囲内の領域は2203Aである。
Further, the
《全体処理フロー》
図30に全体の処理フローを示す。全体の処理の制御は制御手段302が行う。
<Overall processing flow>
FIG. 30 shows the entire processing flow. The
まず、ステップS2401で、前記環境内の人106、ロボットアーム102、及び、物品のセンシングをセンシング装置303で行う。前記センシング装置303により、センシング情報を前記検出履歴データベース304に記録したら、次のステップS2402へ進む。
First, in step S2401, the
次いで、ステップS2402で、前記検出履歴データベース304を参照して、人106により物品が把持されたかどうかを物品把持判定手段305により判定する。前記物品把持判定手段305でこの判定を行い、人106により物品が把持されたと物品把持判定手段305により判定した場合には、ステップS2403へ進み、人106により物品が把持されていないと物品把持判定手段305により判定した場合には、ステップS2401へ進んで、繰り返し、センシング装置303によりセンシングする。
In step S2402, the article gripping
ステップS2403で、前記センシング装置3により検出された前記情報を基に、作業手順データベース306から取得した作業手順の進捗の情報(すなわち、現在の作業がどの工程まで進捗しているかの情報)を前記作業進捗管理手段307により管理する。前記作業進捗管理手段307でこの管理を行い、前記作業手順データベース306の工程データの作業完了項目などの作業手順の進捗の情報を作業進捗管理手段307で更新することで、進捗の情報を作業進捗管理手段307で管理し、その後、次のステップS2404へ進む。
In step S2403, based on the information detected by the
次いで、ステップS2404で、前記ステップS2402で把持されたと判定した物品を置いたときの障害物品除去時間を算出するための場所を前記マップ管理手段313で指定する。前記マップ管理手段313がこの指定を行い、環境マップデータベース312の中の領域を分割して各場所の位置情報を前記マップ管理手段313により順次出力したのち、次のステップS2405へ進む。
In step S2404, the
次いで、ステップS2405で、前記マップ管理手段313により指定された場所における障害物品除去時間を前記障害物品除去時間算出手段311により算出する。前記障害物品除去時間算出手段311がこの算出を行い、得られた結果を前記障害物品除去時間算出手段311から前記マップ管理手段313に出力する。マップ管理手段313は、これ(障害物品除去時間)を前記障害物品除去時間算出手段311から取得し、前記環境マップデータベース312の中の前記ステップS2404で指定された場所に対応付ける。その後、次のステップS2406へ進む。
In step S2405, the obstruction article removal time calculation means 311 calculates the obstruction article removal time at the location designated by the map management means 313. The obstacle article removal time calculation means 311 performs this calculation, and outputs the obtained result from the obstacle article removal time calculation means 311 to the map management means 313. The map management means 313 acquires this (obstacle article removal time) from the obstacle article removal time calculation means 311 and associates it with the location specified in step S2404 in the
次いで、ステップS2406で、前記環境マップデータベース312の中の全ての分割領域において障害物品除去時間の算出が前記障害物品除去時間算出手段311により終了したか否かを判定する。全ての分割領域において障害物品除去時間の算出が終了していなければ、ステップS2404へ進み、繰り返す。全ての分割領域において障害物品除去時間の算出が終了していれば、ステップS2407へ進む。
In step S2406, it is determined whether the obstacle article removal time calculation unit 311 has finished calculating the obstacle article removal time in all the divided regions in the
ステップS2407で、障害物品除去時間算出手段311により求めた障害物品除去時間の情報を情報出力装置314で出力する。例えば、前記環境マップデータベース312を情報出力装置314が参照し、障害物品除去時間がしきい値以上の領域を赤色で情報出力装置314から出力する。その後、ステップS2408へ進む。
In step S <b> 2407, the
次いで、ステップS2408で、環境内の人106、ロボットアーム102、及び、物品のセンシングをセンシング装置303により行う。前記センシング装置303がこのセンシングを行い、センシング情報を前記検出履歴データベース304に記録したら、次のステップS2409へ進む。
In step S2408, the
次いで、ステップS2409で、前記検出履歴データベース304から得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベース306に記録されかつ前記作業進捗管理手段307により管理された前記作業手順を参照し、人106が把持していた物品が置かれたかどうかを作業進捗管理手段307で判定する。人106が把持していた物品が置かれたと作業進捗管理手段307で判定したら、情報出力装置314からの情報提供を終了し、ステップS2410へ進む。人106が把持していた物品が置かれていないと作業進捗管理手段307で判定すれば、ステップS2407へ進み、情報出力装置314からの情報提供を継続する。
Subsequently, in step S2409, the current position information of the article existing in the environment obtained from the
ステップS2410で、作業手順データベース306を作業手順データベース更新手段308により更新する。前記作業手順データベース更新手段308がこの更新を行い、人106が把持していた物品が置かれたときを工程の終了と、作業手順データベース更新手段308により判定し、工程の実行回数及び所要時間を作業手順データベース更新手段308により更新し、ステップS2401へ進み、ステップS2401からの工程を再び繰り返す。
In step S2410, the
これらの一連のステップを物品管理プログラムとしてコンピュータにより実行させることも可能である。一例として、物品管理プログラムは、以下のような構成とすることができる。 These series of steps may be executed by a computer as an article management program. As an example, the article management program can be configured as follows.
すなわち、ロボットアーム102と人106とが協調して複数の作業工程を含む作業を行う環境内に存在する物品の位置情報、前記ロボットアーム102の先端部の位置情報、及び、前記人106の位置情報をセンシング装置3で検出された情報を検出履歴データベース304に記録し(ステップS2401及びS2408参照)、
前記人106と前記ロボットアーム102とが協調して複数の作業工程を含む作業のうちの前記人106と前記ロボットアーム102のそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベース306から取得した作業手順の進捗の情報を、前記センシング装置3により検出された前記情報を基に、作業進捗管理手段307で管理し(ステップS2403参照)、
前記検出履歴データベース304を参照して、前記人106が前記取扱物品を把持したことを物品把持判定手段305で判定し(ステップS2402参照)、
前記検出履歴データベース304から得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベース306に記録されかつ前記作業進捗管理手段307により管理された前記作業手順を参照し、前記人106が前記取扱物品を把持して前記環境内の物品退避場所の領域2010などに置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアーム102がアクセス困難な状況となるか否かをアクセス判定手段310で判定し(ステップS2409参照)、
前記アクセス判定手段310によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人106が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアーム102の本体根元部102bの位置情報と移動速度情報が記録されている属性データベース315に記録された情報を基に、困難解消時間算出部311で算出し(ステップS2404〜S2406参照)、
前記物品把持判定手段305により前記人106が前記取扱物品を把持したと判定されたとき、前記人106に、前記困難解消時間算出手段311により算出された困難解消時間の情報を情報出力装置314で提供する(ステップS2407参照)といった手順をコンピュータに実行させるための物品管理プログラムとして、構成することができる。
That is, the position information of the article existing in the environment where the
The
Referring to the
With reference to the current position information of the article existing in the environment obtained from the
When it is determined by the access determination means 310 that it is difficult to access, it is necessary to remove the handling article that the
When the article gripping
《作用と効果》
以上の処理により、人106が物品を把持したときに、その物品の置き場所について、想定される障害物品除去時間を障害物品除去時間算出手段311により算出し、算出結果に基づいて人に情報提供を情報出力装置314により行うことができる。この結果、この情報に従って、人106が物品の置き場所を選べば良い、という最小限の手間で、以降の作業における無駄な時間の発生を防ぐことができる。
《Action and effect》
By the above processing, when the
なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。 It is to be noted that, by appropriately combining any of the various embodiments, the effects possessed by them can be produced.
本発明にかかる物品管理システム及び物品管理方法及び物品管理プログラムは、人とロボットアームが協調作業を行うシーンにおいて、人が把持した物品に対して、その置き場所について、想定される障害物品除去時間を算出し、算出結果に基づいて情報提供を行うことができるという機能を有する。これにより、家庭における家事支援ロボットアームにおいて、最小限の手間で、以降の作業における無駄な時間の発生を防ぎ、効率的に作業を実行できる物品管理システム等として有用である。また業務用途において、病院内搬送ロボットシステムやセル生産の支援ロボットシステム等の用途にも応用できる。 The article management system, the article management method, and the article management program according to the present invention provide an obstacle removal time that is assumed for a place where an article held by a person is placed in a scene where a person and a robot arm perform cooperative work. And a function of providing information based on the calculation result. Thus, the housework support robot arm at home is useful as an article management system or the like that can prevent unnecessary time from being generated in the subsequent work and can perform the work efficiently with minimal effort. In business use, it can also be applied to uses such as in-hospital transport robot systems and cell production support robot systems.
100 キッチンルーム
101 システムキッチン
102 家事支援ロボットアーム
102a ロボットアームの先端部のハンド部
102b ロボットアームの本体根元部
103 液晶プロジェクタ
104 センサ
105 物品
106 人
107 ガス台
108 調理台
109 シンク
110 電子レンジ
111 食器洗浄器
130 ハンド駆動モータ
131 肘関節駆動モータ
132 肩関節駆動モータ
133 エンコーダ
201 レール
301 時刻取得手段
302 制御手段
303 センシング装置
304 検出履歴データベース
305 物品把持判定手段
306 作業手順データベース
307 作業進捗管理手段
308 作業手順データベース更新手段
310 アクセス判定手段
311 障害物品除去時間算出手段
312 環境マップデータベース
313 マップ管理手段
314 情報出力装置
315 属性データベース
316 記録情報データベース
317 入出力手段
402 カメラ
403 画像処理手段
802 圧力感知素子
803 圧力データ処理手段
902 読み取りアンテナ
904 無線ICタグデータ処理手段
1002 重量検出センサ
1004 重量データ処理手段
1101 人検出履歴情報
1105 物品検出履歴情報
1109 ロボットアーム位置検出履歴情報
1201 作業手順データ
1202 工程データ
2301 物品データ
2302 ロボットデータ
2303 人データ
DESCRIPTION OF
Claims (12)
前記センシング装置により検出された情報を記録する検出履歴データベースと、
前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースと、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とを記録する作業手順データベースと、
前記センシング装置により検出された前記情報を基に、前記作業手順データベースに記録された作業手順の進捗の情報を管理する作業進捗管理手段と、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを判定する物品把持判定手段と、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かを判定するアクセス判定手段と、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記属性データベースに記録された前記ロボットアームの本体根元部の位置情報と移動速度情報を基に、算出する困難解消時間算出部と、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を提供する情報出力装置と、
を備えたことを特徴とする物品管理システム。 Sensing device that detects position information of an article existing in an environment where a robot arm and a person cooperate to perform work including a plurality of work steps, position information of a tip portion of the robot arm, and position information of the person When,
A detection history database that records information detected by the sensing device;
An attribute database in which position information and moving speed information of the base of the main body of the robot arm are recorded;
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step A work procedure database for recording handling articles of
Based on the information detected by the sensing device, work progress management means for managing information on the progress of work procedures recorded in the work procedure database;
Article gripping determination means for referring to the detection history database to determine that the person grips the handling article;
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person Access determination means for determining whether or not the robot arm is difficult to access based on position information of the article evacuation place when it is assumed that the handled article is gripped and placed at the article evacuation place in the environment When,
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation On the basis of the position information and the moving speed information of the base part of the main body of the robot arm recorded in the attribute database,
An information output device that provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means when the article gripping determination means determines that the person has gripped the handling article;
An article management system comprising:
前記アクセス判定手段は、前記属性データベースに記録された前記ロボットアームの本体根元部の位置情報と長さの情報と前記物品退避場所の位置情報とに基づき、前記ロボットアームの前記先端部が前記物品退避場所にアクセス困難な状況となるか否かを判定する、
ことを特徴とする請求項1に記載の物品管理システム。 While pre-recording the length of the robot arm in the attribute database,
The access determination means is configured such that the tip of the robot arm is the article based on the position information and length information of the robot arm main body recorded in the attribute database and the position information of the article retreat location. Determine whether it becomes difficult to access the evacuation location.
The article management system according to claim 1.
前記アクセス判定手段は、前記検出履歴データベースの情報と前記作業手順データベースの情報をそれぞれ参照して、前記取扱物品を置いた場所が、現在の作業の後の工程で他の取扱物品の移動先となるか否かにより、アクセス困難な状況となるか否かを判定する、
ことを特徴とする請求項1又は2に記載の物品管理システム。 In the work procedure database, based on the information detected by the sensing device, record the location information of the destination of the handling article used for each step,
The access determination means refers to the information of the detection history database and the information of the work procedure database, respectively, and the place where the handled article is placed is the destination of the other handled article in a step after the current work. Whether or not it becomes difficult to access depending on whether or not
The article management system according to claim 1 or 2, characterized by the above.
前記人の手の長さ及び前記ロボットアームの長さを前記属性データベースに記録するとともに、
前記困難解消時間算出部は、アクセス困難な状況を解消するために前記取扱物品を移動させるための、前記人及び前記ロボットアームの移動、把持、及び運搬に要する時間から困難解消時間を算出する、
ことを特徴とする請求項1〜3のいずれか1つに記載の物品管理システム。 In the work procedure database, the location information of the work place in each process is recorded,
Recording the length of the person's hand and the length of the robot arm in the attribute database;
The difficulty elimination time calculation unit calculates the difficulty elimination time from the time required to move, grasp and carry the person and the robot arm for moving the handling article in order to eliminate the difficult access situation.
The article management system according to any one of claims 1 to 3.
前記困難解消時間算出部における困難解消時間の算出において、該当工程が中断不可であった場合、工程が終了するまでの所要時間を加算して算出する、
ことを特徴とする請求項4に記載の物品管理システム。 In the work procedure database, record the time required for each process and whether each process can be interrupted,
In the calculation of the difficulty resolution time in the difficulty resolution time calculation unit, if the corresponding process is not interruptable, calculate by adding the time required until the process is completed,
The article management system according to claim 4.
前記困難解消時間算出部における困難解消時間の算出において、前記作業順序の前記確率を用いて重み付けをする、
ことを特徴とする請求項2〜5のいずれか1つに記載の物品管理システム。 In the work procedure database, record the work order and probabilities of a plurality of processes,
In the calculation of the difficulty elimination time in the difficulty elimination time calculation unit, weighting is performed using the probability of the work order.
The article management system according to any one of claims 2 to 5.
前記環境マップデータベース中の前記取扱物品が置かれる領域を複数の場所に分割して、各場所の位置情報を前記困難解消時間算出手段に与え、前記時間算出手段が算出した困難解消時間を取得し、前記環境マップ中の場所に算出した前記困難解消時間を対応付けるマップ管理手段と、
をさらに備えたことを特徴とする請求項1〜6のいずれか1つに記載の物品管理システム。 An environment map database in which a sketch of the environment is recorded;
The area where the handling article is placed in the environment map database is divided into a plurality of places, position information of each place is given to the difficulty solving time calculating means, and the difficulty solving time calculated by the time calculating means is acquired. Map management means for associating the calculated difficulty resolution time with a place in the environment map;
The article management system according to any one of claims 1 to 6, further comprising:
ことを特徴とする請求項7に記載の物品管理システム。 The map management means is capable of adjusting the size of each location when the area where the handling article is placed is divided into a plurality of locations.
The article management system according to claim 7.
ことを特徴とする請求項1〜8のいずれか1つに記載の物品管理システム。 When the article gripping determination unit determines that the person has gripped the handling article, the information output device is configured to move within the movable range of the robot arm based on the length of the robot arm and the position information of the article retreat location. And displaying the information of the difficulty resolution time in distinction between and out of the movable range,
The article management system according to any one of claims 1 to 8.
ことを特徴とする請求項1〜9のいずれか1つに記載の物品管理システム。 When the article gripping determination unit determines that the person has gripped the handling article, the information output device reaches the person's hand according to the length of the person's hand and the position information of the article retreat location. Display the information of the difficulty resolution time only in range,
The article management system according to any one of claims 1 to 9.
前記センシング装置により検出された情報を検出履歴データベースに記録し、
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供する、
ことを特徴とする物品管理方法。 A sensing device detects the position information of an article existing in an environment where a robot arm and a person cooperate to perform work including a plurality of work processes, the position information of the tip of the robot arm, and the position information of the person. And
Record the information detected by the sensing device in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When the article gripping determination unit determines that the person has gripped the handling article, the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation unit.
An article management method characterized by the above.
前記人と前記ロボットアームとが協調して行う複数の作業工程を含む作業のうちの前記人と前記ロボットアームのそれぞれの作業工程の順序と、少なくとも各工程における、前記環境内に存在する前記物品のうちの取扱物品とが記録された作業手順データベースから取得した作業手順の進捗の情報を、前記センシング装置により検出された前記情報を基に、作業進捗管理手段で管理し、
前記検出履歴データベースを参照して、前記人が前記取扱物品を把持したことを物品把持判定手段で判定し、
前記検出履歴データベースから得られる前記環境内に存在する前記物品の現在の位置情報と、前記作業手順データベースに記録されかつ前記作業進捗管理手段により管理された前記作業手順を参照し、前記人が前記取扱物品を把持して前記環境内の物品退避場所に置いたと想定したときに、前記物品退避場所の位置情報を基に前記ロボットアームがアクセス困難な状況となるか否かをアクセス判定手段で判定し、
前記アクセス判定手段によりアクセス困難な状況となると判定された場合に、そのアクセス困難な状況を解消するために、前記人が把持して置いたと想定した前記取扱物品を除去するのに要する困難解消時間を、前記ロボットアームの本体根元部の位置情報と移動速度情報が記録されている属性データベースに記録された情報を基に、困難解消時間算出部で算出し、
前記物品把持判定手段により前記人が前記取扱物品を把持したと判定されたとき、前記人に、前記困難解消時間算出手段により算出された困難解消時間の情報を情報出力装置で提供するといった手順をコンピュータに実行させるための物品管理プログラム。 A sensing device detects the position information of an article existing in an environment where a robot arm and a person cooperate to perform work including a plurality of work processes, the position information of the tip of the robot arm, and the position information of the person. Recorded information in the detection history database,
Of the work including a plurality of work steps performed in cooperation between the person and the robot arm, the order of the work steps of the person and the robot arm, and the article existing in the environment at least in each step Information on the progress of the work procedure acquired from the work procedure database in which the handled articles are recorded, based on the information detected by the sensing device, and managed by the work progress management means,
With reference to the detection history database, it is determined by the article gripping determination means that the person has gripped the handled article,
With reference to the current position information of the article existing in the environment obtained from the detection history database and the work procedure recorded in the work procedure database and managed by the work progress management means, the person When it is assumed that the handling article is gripped and placed at an article evacuation place in the environment, the access determination means determines whether or not the robot arm is difficult to access based on the position information of the article evacuation place. And
When it is determined by the access determination means that it is difficult to access, the difficulty solving time required to remove the handling article assumed to be held by the person in order to eliminate the difficult access situation Is calculated by the difficulty resolution time calculation unit based on the information recorded in the attribute database in which the position information of the main body of the robot arm and the moving speed information are recorded,
When it is determined by the article gripping determination means that the person has gripped the handling article, a procedure is provided in which the information output device provides the person with information on the difficulty resolution time calculated by the difficulty resolution time calculation means. An article management program to be executed by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008157964A JP5100525B2 (en) | 2008-06-17 | 2008-06-17 | Article management system, article management method, and article management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008157964A JP5100525B2 (en) | 2008-06-17 | 2008-06-17 | Article management system, article management method, and article management program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009297880A JP2009297880A (en) | 2009-12-24 |
JP5100525B2 true JP5100525B2 (en) | 2012-12-19 |
Family
ID=41545306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008157964A Expired - Fee Related JP5100525B2 (en) | 2008-06-17 | 2008-06-17 | Article management system, article management method, and article management program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5100525B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5502348B2 (en) * | 2009-03-12 | 2014-05-28 | ファナック株式会社 | Simulation method |
JP6011148B2 (en) * | 2012-08-17 | 2016-10-19 | セイコーエプソン株式会社 | Production system, robot and control device |
KR20240027152A (en) * | 2014-02-20 | 2024-02-29 | 엠비엘 리미티드 | Methods and systems for food preparation in a robotic cooking kitchen |
JP6426547B2 (en) | 2015-07-21 | 2018-11-21 | ファナック株式会社 | Robot simulation system for human-collaborative robot system |
WO2018165038A1 (en) | 2017-03-06 | 2018-09-13 | Miso Robotics, Inc. | Augmented reality-enhanced food preparation system and related methods |
US11167421B2 (en) | 2018-08-10 | 2021-11-09 | Miso Robotics, Inc. | Robotic kitchen assistant including universal utensil gripping assembly |
WO2020066850A1 (en) * | 2018-09-27 | 2020-04-02 | パナソニックIpマネジメント株式会社 | Conveyance system, method for controlling conveyance device, and program |
JP7400726B2 (en) * | 2018-10-03 | 2023-12-19 | ソニーグループ株式会社 | Information processing device, scheduling method and program |
JP7230412B2 (en) * | 2018-10-04 | 2023-03-01 | ソニーグループ株式会社 | Information processing device, information processing method and program |
JP2022002552A (en) * | 2018-10-05 | 2022-01-11 | ソニーグループ株式会社 | Attachment for cooking arm |
JP2022002551A (en) * | 2018-10-05 | 2022-01-11 | ソニーグループ株式会社 | Cooking arm and cooking system |
US20220040844A1 (en) * | 2018-10-09 | 2022-02-10 | Sony Corporation | Information processing apparatus, information processing method and computer program |
CN113759731A (en) * | 2020-06-22 | 2021-12-07 | 北京京东乾石科技有限公司 | Method and device for dispatching mechanical arms |
WO2022236227A1 (en) | 2021-05-01 | 2022-11-10 | Miso Robotics, Inc. | Automated bin system for accepting food items in robotic kitchen workspace and related methods |
CN113673735B (en) * | 2021-10-21 | 2022-02-11 | 深圳市发掘科技有限公司 | Food processing equipment control method and system, storage medium and electronic equipment |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0774971B2 (en) * | 1990-10-31 | 1995-08-09 | 三洋電機株式会社 | Robot work planning device |
DE10007864A1 (en) * | 2000-02-21 | 2001-08-30 | Wittenstein Gmbh & Co Kg | Detecting, determining, locating at least one object and/or space involves transmitting spatial coordinates and/or coordinates of any object in space to robot to orient it |
JP3738254B2 (en) * | 2003-02-19 | 2006-01-25 | 松下電器産業株式会社 | Goods management system |
JP2004326437A (en) * | 2003-04-24 | 2004-11-18 | Matsushita Electric Ind Co Ltd | Article managing system and method |
WO2005015466A1 (en) * | 2003-08-07 | 2005-02-17 | Matsushita Electric Industrial Co., Ltd. | Life assisting system and its control program |
JP2007152443A (en) * | 2005-11-30 | 2007-06-21 | Mitsubishi Heavy Ind Ltd | Clearing-away robot |
-
2008
- 2008-06-17 JP JP2008157964A patent/JP5100525B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009297880A (en) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5100525B2 (en) | Article management system, article management method, and article management program | |
US20210387350A1 (en) | Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential enviornments with artificial intelligence and machine learning | |
US11872702B2 (en) | Robot interaction with human co-workers | |
US11577401B2 (en) | Modular robotic food preparation system and related methods | |
US11345040B2 (en) | Systems and methods for operating a robotic system and executing robotic interactions | |
US20230351740A1 (en) | Robotic kitchen assistant for preparing food items in a commercial kitchen and related methods | |
JP6474533B2 (en) | Robot navigation using semantic mapping | |
JP6802274B2 (en) | Worker identification and performance tracking | |
EP3107429B1 (en) | Methods and systems for food preparation in a robotic cooking kitchen | |
US7187998B2 (en) | Article handling system and method and article management system and method | |
US20170348854A1 (en) | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with containers and electronic minimanipulation libraries | |
WO2021156647A1 (en) | Robotic kitchen hub systems and methods for minimanipulation library | |
CN113613851B (en) | Method and device for estimating tool track | |
US20220118618A1 (en) | Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential enviornments with artificial intelligence and machine learning | |
JP2007216381A (en) | Robot | |
WO2022074448A1 (en) | Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential environments with artificial intelligence and machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120925 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5100525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |