JP2018077560A - Information projection device, information projection method, and information projection program - Google Patents
Information projection device, information projection method, and information projection program Download PDFInfo
- Publication number
- JP2018077560A JP2018077560A JP2016217181A JP2016217181A JP2018077560A JP 2018077560 A JP2018077560 A JP 2018077560A JP 2016217181 A JP2016217181 A JP 2016217181A JP 2016217181 A JP2016217181 A JP 2016217181A JP 2018077560 A JP2018077560 A JP 2018077560A
- Authority
- JP
- Japan
- Prior art keywords
- work
- projection
- information
- area
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Projection Apparatus (AREA)
- General Factory Administration (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、情報投影装置、情報投影方法及び情報投影プログラムに関する。 The present invention relates to an information projection apparatus, an information projection method, and an information projection program.
従来より、部品の取り付け作業等を行う作業者のために、作業領域（例えば、部品の取り付け位置近傍）に、作業手順や作業方法等の作業指示を投影することで、プロジェクション型の拡張現実感を実現する投影システムが知られている。当該投影システムの場合、作業者の近くにディスプレイ等を設置して作業指示を表示する他のシステムのように、作業者が、現実の作業領域とディスプレイとを見比べて確認する必要がないため、作業領域から大きく視点をずらすこともない。このため、作業者は部品の取り付け作業等において高い作業効率を実現できる。 Conventionally, projection-type augmented reality is realized by projecting work instructions such as work procedures and work methods onto a work area (for example, in the vicinity of a part attachment position) for a worker who performs a part installation work or the like. A projection system that realizes the above is known. In the case of the projection system, unlike other systems that display a work instruction by installing a display etc. near the worker, it is not necessary for the worker to check the actual work area against the display, The viewpoint is not greatly shifted from the work area. For this reason, the worker can realize high work efficiency in the parts attaching work and the like.
しかしながら、上記投影システムの場合、取り付け位置がプロジェクタの死角領域に含まれていた場合には、作業領域に作業指示を投影することができず、例えば、プロジェクタと作業領域との間の面（死角の原因となる面）に、作業指示が投影されることになる。このような場合、作業者は、作業指示を確認するために、一旦、作業領域から視点を大きくずらす必要があり、作業効率が低下する。 However, in the case of the above projection system, when the attachment position is included in the blind spot area of the projector, the work instruction cannot be projected onto the work area. For example, the surface (dead angle) between the projector and the work area cannot be projected. The work instruction is projected onto the surface causing the above. In such a case, in order to confirm the work instruction, the worker has to once largely shift the viewpoint from the work area, and work efficiency is reduced.
一つの側面では、作業者の作業効率が低下するのを回避可能な技術を提供することを目的とする。 In one aspect, an object of the present invention is to provide a technique capable of avoiding a reduction in work efficiency of an operator.
一態様によれば、情報投影装置は、
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部とを有することを特徴とする。
According to one aspect, the information projection device comprises:
A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
And a control unit that controls the output device to project the work instruction onto the projection target determined by the determination unit.
作業者の作業効率が低下するのを回避可能な技術を提供することができる。 It is possible to provide a technique capable of avoiding a reduction in work efficiency of the worker.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.
［第１の実施形態］
＜投影システムのシステム構成＞
はじめに、第１の実施形態に係る投影システムのシステム構成について説明する。図１は、投影システムのシステム構成の一例を示す第１の図である。
[First Embodiment]
<System configuration of projection system>
First, the system configuration of the projection system according to the first embodiment will be described. FIG. 1 is a first diagram illustrating an example of a system configuration of a projection system.
図１に示すように、投影システム１００は、出力装置の一例であるプロジェクタ装置１１０と、距離測定装置１２０と、情報投影装置の一例である情報処理装置１３０とを有する。プロジェクタ装置１１０及び距離測定装置１２０と、情報処理装置１３０とは、通信ケーブル１３１、１３２を介して通信可能に接続される。また、プロジェクタ装置１１０及び距離測定装置１２０は、作業台１５０の上方に設置される。
As illustrated in FIG. 1, the
プロジェクタ装置１１０は、作業台１５０の上面を含む所定領域を投影範囲としており、作業対象物１４０内の所定の取り付け位置に取り付け部品を取り付けるための「作業指示」を含む投影画像データを、所定の投影対象に投影する。図１に示すように、プロジェクタ装置１１０は、点１１１を原点とするプロジェクタ３次元座標系（Ｘｐ軸、Ｙｐ軸、Ｚｐ軸）を有している。
The
距離測定装置１２０は、作業台１５０の上面を含む所定領域を測定範囲として測定を行い、距離画像データを生成する。図１に示すように、距離測定装置１２０は、点１２１を原点とする距離測定装置３次元座標系（Ｘｄ軸、Ｙｄ軸、Ｚｄ軸）を有している。
The
情報処理装置１３０は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置１１０が投影する際の投影対象を決定する。情報処理装置１３０は、距離測定装置１２０から送信される距離画像データに基づいて投影対象を決定する。また、情報処理装置１３０は、情報投影プログラムを実行することで、決定した投影対象に投影画像データが投影されるよう、プロジェクタ装置１１０を制御する。
The
作業対象物１４０は、作業者１８０が作業を行う対象となる物品であり、作業者１８０によって内部の所定の取り付け位置に取り付け部品が取り付けられる。第１の実施形態において、作業対象物１４０は、矢印１６０に略直交する所定面が開放されており、作業者１８０は、矢印１６０に沿って作業対象物１４０にアクセスすることで、取り付け部品を内部の所定の取り付け位置に取り付ける取り付け作業を行う。なお、図１に示すように、作業対象物１４０には、点１４１を原点とする対象物３次元座標系（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）が定義されている。
The
作業台１５０は、作業対象物１４０が載置される台である。作業台１５０には、点１５１を原点とする３次元世界座標系（Ｘｗ、Ｙｗ、Ｚｗ）が定義されている。作業者１８０が作業を行う作業空間内の任意の位置は、３次元世界座標系（Ｘｗ、Ｙｗ、Ｚｗ）により表すことができる。
The work table 150 is a table on which the
また、作業台１５０には、所定の指示を入力するための指示ボタン１７０が取り付けられている。第１の実施形態において、指示ボタン１７０は、作業者１８０が、次の作業指示を含む投影画像データの投影指示を、情報処理装置１３０に対して行う際に用いられる。
The work table 150 is provided with an
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１３０のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。
<Hardware configuration of information processing device>
Next, the hardware configuration of the
図２に示すように、情報処理装置１３０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４を有する。また、情報処理装置１３０は、操作装置２０５、Ｉ／Ｆ（Interface）装置２０６、ドライブ装置２０７を有する。なお、情報処理装置１３０の各部は、バス２０８を介して相互に接続されている。
As illustrated in FIG. 2, the
ＣＰＵ２０１は、補助記憶装置２０４にインストールされた各種プログラム（例えば、情報投影プログラム等）を実行するコンピュータである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４に格納された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
The
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０４に格納された各種プログラムをＣＰＵ２０１が実行する際に展開する、作業領域を提供する。
The
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する。
The
操作装置２０５は、情報処理装置１３０の管理者が情報処理装置１３０に対して各種指示を入力するためのデバイスである。
The
Ｉ／Ｆ装置２０６は、プロジェクタ装置１１０及び距離測定装置１２０と、情報処理装置１３０とを通信ケーブル１３１、１３２を介して通信可能に接続する。また、Ｉ／Ｆ装置２０６は、指示ボタン１７０からの指示信号を受信する。
The I /
ドライブ装置２０７は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
The
なお、補助記憶装置２０４に格納される各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０７にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。
The various programs stored in the
＜情報処理装置の機能構成＞
次に、情報投影プログラムが実行されることで実現される情報処理装置１３０の機能構成について説明する。図３は、情報処理装置の機能構成の一例を示す第１の図である。
<Functional configuration of information processing apparatus>
Next, a functional configuration of the
図３に示すように、情報処理装置１３０は、画像データ取得部３１０、手検出部３２０、手先位置推定部３３０、投影変換部３４０、対象物検出部３５０、死角判定部３６０、投影対象決定部３７０、切替部３８０、投影制御部３９０を有する。
As illustrated in FIG. 3, the
画像データ取得部３１０は、所定周期で距離測定装置１２０より距離画像データを取得する。画像データ取得部３１０は、取得した距離画像データを手検出部３２０及び対象物検出部３５０に通知する。
The image
手検出部３２０は、距離画像データより、作業者１８０の手領域（作業者１８０の上腕から手先までの領域）を検出する。図１で示したように、作業者１８０は、矢印１６０に沿って作業対象物１４０にアクセスする。また、第１の実施形態において画像データ取得部３１０により取得される距離画像データは、Ｘｐ軸方向が上下方向に対応し、Ｙｐ軸方向が左右方向に対応する。したがって、手検出部３２０は、距離画像データ内の画像下端から画像上端方向に延びる所定形状の領域を、手領域として検出する。また、手検出部３２０は、検出した手領域の情報（手領域情報（３次元世界座標系））を手先位置推定部３３０に通知する。
The
手先位置推定部３３０は、手領域情報に基づいて、作業者情報記憶部３９３に登録された、当該作業者１８０の作業者情報を参照することで、当該作業者１８０の手先位置（３次元世界座標系）を推定する。手先位置推定部３３０は、推定した手先位置を、投影変換部３４０に通知する。また、手先位置推定部３３０は、手検出部３２０より通知された手領域情報を、投影対象決定部３７０に通知する。
The hand
対象物検出部３５０は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状を算出する。また、作業対象情報記憶部３９１に登録された各作業対象物のうち、切替部３８０から通知された対象物ＩＤに対応する作業対象物１４０の形状を読み出し、距離画像データより抽出した各物体の中から、形状が一致する物体を作業対象物１４０として特定する。また、対象物検出部３５０は、作業対象物１４０として特定した物体の位置及び姿勢を算出し、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。更に、対象物検出部３５０は、距離画像データを死角判定部３６０に通知する。
The target
死角判定部３６０は、作業指示情報記憶部３９４を参照し、切替部３８０から通知された作業ステップに対応する、取り付け部品の取り付け位置を特定する。また、死角判定部３６０は、デバイス情報記憶部３９２を参照し、プロジェクタ装置１１０の設置位置の座標を取得する。そして、死角判定部３６０は、取り付け部品の取り付け位置と、プロジェクタ装置１１０の設置位置との間の物体の有無を、距離画像データに基づいて検証し、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれるか否かを判定する。更に、死角判定部３６０は、判定結果を取り付け位置（３次元世界座標系）とともに投影対象決定部３７０に通知する。
The blind spot determination unit 360 refers to the work instruction
投影対象決定部３７０は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部３７０は、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象として決定する。作業領域とは、取り付け部品が取り付けられる取り付け位置を含む所定の領域を指す。この場合、投影対象決定部３７０は、作業領域を投影対象とする決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、作業領域をプロジェクタ３次元座標系に変換した投影先情報を、投影制御部３９０に通知する。更に、投影対象決定部３７０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
The projection target determining unit 370 determines a projection target on which projection image data including a work instruction is projected. When the projection target determining unit 370 receives a determination result indicating that the attachment position of the attachment component is not included in the blind spot area from the blind spot determining unit 360, the projection target determining unit 370 determines the work area as the projection target. The work area refers to a predetermined area including an attachment position where an attachment component is attached. In this case, the projection target determination unit 370 notifies the
一方、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部３７０は、手領域情報により特定される手領域を投影対象に決定する。この場合、投影対象決定部３７０は、手領域を投影対象とする決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、手領域をプロジェクタ３次元座標系に変換した投影先情報を、投影制御部３９０に通知する。更に、投影対象決定部３７０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
On the other hand, when the determination result that the attachment position of the attachment component is included in the blind spot area is received from the blind spot determination unit 360, the projection target determination unit 370 determines the hand region specified by the hand region information as the projection target. To do. In this case, the projection target determination unit 370 notifies the
投影変換部３４０は、切替部３８０より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部３９０に通知する。なお、投影変換部３４０は、投影対象決定部３７０より、手領域を投影対象とする決定結果が通知されていた場合には、次のように機能する。
The
すなわち、投影変換部３４０は、投影対象決定部３７０より通知された取り付け位置（３次元世界座標系）と、手先位置推定部３３０より通知された手先位置（３次元世界座標系）とに基づき、取り付け位置と手先位置との相対的な位置関係を算出する。また、投影変換部３４０は、切替部３８０より通知された作業指示情報を簡略化したうえで、算出した相対的な位置関係を反映することで投影画像データを生成し、手領域に応じたサイズに調整したうえで投影制御部３９０に通知する。
That is, the
切替部３８０は、指示ボタン１７０から受信した指示信号に基づいて作業ステップを特定し、特定した作業ステップに基づいて、作業指示情報記憶部３９４を参照する。これにより、切替部３８０は、作業者１８０により指示された作業ステップに対応する対象物ＩＤを識別し、対象物検出部３５０に通知する。また、切替部３８０は、作業者１８０により指示された作業ステップを死角判定部３６０に通知する。更に、切替部３８０は、作業者１８０により指示された作業ステップを含む作業指示情報を投影変換部３４０に通知する。
The
投影制御部３９０は、投影変換部３４０より通知された投影画像データを、プロジェクタ装置１１０に送信する。また、投影制御部３９０は、投影対象決定部３７０より通知された投影先情報（プロジェクタ３次元座標系）により特定される投影対象に投影されるよう、プロジェクタ装置１１０を制御する。
＜各種情報記憶部に格納されるテーブル＞
次に、各種情報記憶部（作業対象情報記憶部３９１、デバイス情報記憶部３９２、作業者情報記憶部３９３、作業指示情報記憶部３９４）に格納されるテーブルについて説明する。
<Tables stored in various information storage units>
Next, tables stored in various information storage units (work object
はじめに、作業対象情報記憶部３９１に格納される作業対象物情報テーブルについて説明する。図４は、各種情報記憶部に格納されるテーブルを示す図である。このうち、図４（ａ）は、作業対象情報記憶部３９１に格納される作業対象物情報テーブルの一例を示す図である。
First, the work object information table stored in the work object
図４（ａ）に示すように、作業対象物情報テーブル４１０は情報の項目として、“対象物ＩＤ”、“対象物名称”、“対象物形状”、“形状特徴量”を含む。“対象物ＩＤ”には、作業対象物１４０を識別する識別子が格納される。“対象物名称”には、作業対象物１４０の名称が格納される。“対象物形状”には、作業対象物１４０の形状を示す情報が格納される。“形状特徴量”には、作業対象物１４０の形状を示す情報に基づいて算出された特徴量が格納される。
As shown in FIG. 4A, the work object information table 410 includes “object ID”, “object name”, “object shape”, and “shape feature” as information items. The “object ID” stores an identifier for identifying the
続いて、作業者情報記憶部３９３に格納される作業者情報テーブルについて説明する。図４（ｂ）は、作業者情報記憶部３９３に格納される作業者情報テーブルの一例を示す図である。
Next, the worker information table stored in the worker
図４（ｂ）に示すように、作業者情報テーブル４２０は情報の項目として、“作業者ＩＤ”、“身長”、“手の長さ”、“手の太さ”、“手形状のモデル”を含む。“作業者ＩＤ”には、作業者１８０を識別する識別子が格納される。“身長”、“手の長さ”、“手の太さ”には、作業者ＩＤにより識別される作業者１８０の身長、手の長さ、手の太さが格納される。“手形状のモデル”には、作業者１８０の身長、手の長さ、手の太さにより特定される手形状のモデルが格納される。
As shown in FIG. 4B, the worker information table 420 includes information items such as “worker ID”, “height”, “hand length”, “hand thickness”, and “hand shape model”. "including. In “worker ID”, an identifier for identifying the
続いて、作業指示情報記憶部３９４に格納される作業指示情報テーブルについて説明する。図４（ｃ）は、作業指示情報記憶部３９４に格納される作業指示情報テーブルの一例を示す図である。
Next, the work instruction information table stored in the work instruction
図４（ｃ）に示すように、作業指示情報テーブル４３０は情報の項目として、“対象物ＩＤ”、“作業ステップ”、“取り付け位置”、“取り付け位置名称”、“取り付け位置画像”、“取り付け部品”、“取り付け部品画像”を含む。 As shown in FIG. 4C, the work instruction information table 430 includes information items such as “object ID”, “work step”, “attachment position”, “attachment position name”, “attachment position image”, “ "Mounting part", "Mounting part image".
“対象物ＩＤ”には、作業対象物１４０を識別する識別子が格納される。“作業ステップ”には、作業対象物１４０に対して行われる各作業ステップを示すステップ番号が格納される。
The “object ID” stores an identifier for identifying the
“取り付け位置”には、対応する“作業ステップ”において取り付け部品を取り付ける位置の座標が格納される。“取り付け位置”に格納される座標は、点１４１を原点とする対象物３次元座標系（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）に基づく座標である。なお、対象物検出部３５０が、点１４１の３次元世界座標系の座標を算出するとともに、作業対象物１４０の姿勢を算出することで、死角判定部３６０は、取り付け位置の座標を、他の座標系に基づく座標に変換することができる。
The “attachment position” stores the coordinates of the attachment position of the attachment component in the corresponding “work step”. The coordinates stored in the “attachment position” are coordinates based on an object three-dimensional coordinate system ( Xo axis, Yo axis, Zo axis) having the point 141 as an origin. Note that the
“取り付け位置名称”には、取り付け部品を取り付ける位置の名称が格納される。“取り付け位置画像”には、取り付け部品を取り付ける位置の画像が格納される。 In “attachment position name”, the name of the position where the attachment component is attached is stored. The “attachment position image” stores an image of a position where the attachment component is attached.
“取り付け部品”には、取り付け部品の名称が格納される。“取り付け部品画像”には、取り付け部品の画像が格納される。 In “attachment part”, the name of the attachment part is stored. The “attachment part image” stores an image of the attachment part.
続いて、デバイス情報記憶部３９２に格納されるデバイス情報テーブルについて説明する。図５は、各情報記憶部に格納されるテーブルの一例を示す第２の図である。このうち、図５（ａ）は、デバイス情報記憶部３９２に格納される距離測定装置情報テーブルの一例を示す図である。
Next, a device information table stored in the device
図５（ａ）に示すように、距離測定装置情報テーブル５１０は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。 As shown in FIG. 5A, the distance measuring device information table 510 includes “parameter name”, “content”, and “value” as information items.
“パラメータ名”には、距離測定装置１２０の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
“Parameter name” stores names of various parameters indicating attributes of the
一方、図５（ｂ）は、デバイス情報記憶部３９２に格納されるプロジェクタ装置情報テーブルの一例を示す図である。プロジェクタ装置情報テーブル５２０が有する情報の項目は、距離測定装置情報テーブル５１０が有する情報の項目と同じであるため、ここでは説明を省略する。
On the other hand, FIG. 5B is a diagram illustrating an example of a projector apparatus information table stored in the device
デバイス情報記憶部３９２に格納された距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０、対象物位置姿勢情報を参照することで、情報処理装置１３０は、
・プロジェクタ３次元座標系、距離測定装置３次元座標系、対象物３次元座標系、３次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置３次元座標系の座標との間の座標変換、及び、
・投影画像データ上の座標とプロジェクタ３次元座標系の座標との間の座標変換、
を実現する。
By referring to the distance measuring device information table 510, the projector device information table 520, and the object position and orientation information stored in the device
・ Coordinate conversion between projector 3D coordinate system, distance measuring device 3D coordinate system, object 3D coordinate system, 3D world coordinate system,
-Coordinate conversion between the coordinates on the distance image data and the coordinates of the distance measuring device 3D coordinate system, and
-Coordinate conversion between the coordinates on the projection image data and the coordinates of the projector three-dimensional coordinate system,
Is realized.
＜投影処理の流れ＞
次に、情報投影プログラムが実行されることで実現される情報処理装置１３０の投影処理の流れについて説明する。図６は、投影処理のフローチャートである。投影システム１００が起動され、作業対象物１４０が作業台１５０に載置された状態で、例えば、指示ボタン１７０が操作されることで、図６に示すフローチャートが情報処理装置１３０において実行される。なお、指示ボタン１７０が操作されることで、切替部３８０は、対象物ＩＤを対象物検出部３５０に、作業ステップを死角判定部３６０に、作業指示情報を投影変換部３４０に、それぞれ通知しているものとする。
<Flow of projection processing>
Next, a flow of projection processing of the
ステップＳ６０１において、画像データ取得部３１０は、距離測定装置１２０より送信された距離画像データを取得する。
In step S <b> 601, the image
ステップＳ６０２において、対象物検出部３５０は対象物検出処理を実行し、画像データ取得部３１０にて取得された距離画像データに基づいて、作業対象物１４０を検出し、対象物位置姿勢情報を死角判定部３６０に通知する。
In step S602, the
ステップＳ６０３において、手検出部３２０は手領域検出処理を実行し、画像データ取得部３１０にて取得された距離画像データに基づいて、手領域を検出し、手領域情報を手先位置推定部３３０に通知する。
In step S <b> 603, the
ステップＳ６０４において、手先位置推定部３３０、死角判定部３６０、投影対象決定部３７０、投影変換部３４０は、調整処理を実行することで、投影画像データ及び投影先情報を生成し、投影制御部３９０に通知する。
In step S604, the hand
ステップＳ６０５において、投影制御部３９０は、投影画像データをプロジェクタ装置１１０に送信するとともに、投影先情報に基づいて、プロジェクタ装置１１０による投影画像データの投影対象への投影を制御する。
In step S605, the
以下、上記投影処理のステップＳ６０２（対象物検出処理）、ステップＳ６０３（手領域検出処理）、ステップＳ６０４（調整処理）の詳細について説明する。 The details of step S602 (object detection processing), step S603 (hand region detection processing), and step S604 (adjustment processing) of the projection processing will be described below.
＜対象物検出処理（ステップＳ６０２）の詳細＞
図７は、対象物検出処理の第１のフローチャートである。ステップＳ７０１において、対象物検出部３５０は、作業対象情報記憶部３９１に格納された作業対象物情報テーブル４１０を参照し、切替部３８０より通知された対象物ＩＤに対応する形状特徴量を読み出すことで、作業対象物１４０の形状を識別する。
<Details of Object Detection Process (Step S602)>
FIG. 7 is a first flowchart of the object detection process. In step S <b> 701, the
ステップＳ７０２において、対象物検出部３５０は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状特徴量を算出する。また、対象物検出部３５０は、抽出した各物体の形状特徴量と、作業対象物１４０の形状特徴量とを用いて、特徴点マッチングを行う。これにより、対象物検出部３５０は、抽出した各物体の中から、作業対象物１４０を抽出する。
In step S702, the target
ステップＳ７０３において、対象物検出部３５０は、ステップＳ７０２において抽出された作業対象物１４０の位置及び姿勢を３次元世界座標系により特定する。また、対象物検出部３５０は、特定した作業対象物１４０の位置及び姿勢を示す対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
In step S703, the
＜手領域検出処理（ステップＳ６０２）の詳細＞
図８は、手領域検出処理のフローチャートである。ステップＳ８０１において、手検出部３２０は、背景距離画像データ８２０を補助記憶装置２０４より読み出す。背景距離画像データ８２０とは、作業者１８０が作業を開始する前に距離測定装置１２０により測定された距離画像データである。具体的には、背景距離画像データ８２０とは、作業台１５０上に作業対象物１４０が載置されておらず、かつ、作業者１８０の手が距離測定装置１２０の測定範囲に含まれていない状態で測定され、補助記憶装置２０４に格納された距離画像データを指す。
<Details of Hand Region Detection Processing (Step S602)>
FIG. 8 is a flowchart of the hand region detection process. In step S <b> 801, the
手検出部３２０は、画像データ取得部３１０より通知された距離画像データ８１０と、補助記憶装置２０４より読み出した背景距離画像データ８２０との差分を算出することで、差分画像データ８３０を生成する。
The
ステップＳ８０２において、手検出部３２０は、差分画像データ８３０から、対象物検出部３５０により既に検出されている作業対象物１４０の領域を除去することで、差分画像データ８４０を生成する。
In step S <b> 802, the
ステップＳ８０３において、手検出部３２０は、差分画像データ８４０において、画像下端から画像上端に向かって延びる領域を検出する。図８において、差分画像データ８５０は、画像下端から画像上端に向かって延びる領域を検出した様子を示している。
In step S803, the
ステップＳ８０４において、手検出部３２０は、作業者情報テーブル４２０を参照し、差分画像データ８５０に対して、手形状のモデルをフィッティングすることで、手の形状を特定する。また、手検出部３２０は、特定した手の形状を含む手領域の情報（３次元世界座標系）を、手領域情報として、手先位置推定部３３０に通知する。
In step S <b> 804, the
なお、手形状のモデルをフィッティングできなかった場合、手検出部３２０は、ステップＳ８０３において検出した手領域を、手領域情報として手先位置推定部３３０に通知する。また、手検出部３２０は、手形状のモデルをフィッティングできなかった（手形状が特定できなかった）ことを、手先位置推定部３３０に通知する。手形状のモデルをフィッティングできなかった場合とは、例えば、作業者１８０の手の一部が、距離測定装置１２０から見て作業対象物１４０の陰に隠れてしまっている場合等が挙げられる。
When the hand shape model cannot be fitted, the
＜調整処理（ステップＳ６０４）の詳細＞
図９は、調整処理のフローチャートである。ステップＳ９０１において、死角判定部３６０は、作業指示情報記憶部３９４の作業指示情報テーブル４３０を参照し、切替部３８０より通知された作業ステップに対応する取り付け部品の取り付け位置（対象物３次元座標系）を識別する。
<Details of Adjustment Process (Step S604)>
FIG. 9 is a flowchart of the adjustment process. In step S <b> 901, the blind spot determination unit 360 refers to the work instruction information table 430 of the work instruction
ステップＳ９０２において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て、死角領域に含まれるか否かを判定する。
In step S <b> 902, the blind spot determination unit 360 determines whether or not the attachment position of the attachment component is included in the blind area as viewed from the
ステップＳ９０３において、死角判定部３６０は、死角領域に含まれるか否かの判定結果（ステップＳ９０２の判定結果）に基づいて、投影画像データが、作業領域に投影可能か否かを判定する。ステップＳ９０３において、投影画像データが、作業領域に投影可能でないと判定した場合（ステップＳ９０３においてＮｏ）、ステップＳ９０４に進む。 In step S903, the blind spot determination unit 360 determines whether the projection image data can be projected on the work area based on the determination result of whether or not the blind spot area is included (the determination result of step S902). If it is determined in step S903 that the projection image data cannot be projected onto the work area (No in step S903), the process proceeds to step S904.
ステップＳ９０４において、投影対象決定部３７０は、手領域を投影対象に決定し、決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、死角領域判定処理（ステップＳ９０２）において算出された取り付け位置（３次元世界座標系）を、投影変換部３４０に通知する。更に、投影対象決定部３７０は、手領域情報（プロジェクタ３次元座標系）を生成し、投影先情報として投影制御部３９０に通知する。
In step S904, the projection target determining unit 370 determines the hand region as a projection target, and notifies the
ステップＳ９０５において、手先位置推定部３３０は手先位置推定処理を行い、手先位置（３次元世界座標系）を算出する。
In step S905, the hand
ステップＳ９０６において、投影変換部３４０は、投影対象決定部３７０より通知された取り付け部品の取り付け位置（３次元世界座標系）を取得する。また、投影変換部３４０は、手先位置推定部３３０により推定された手先位置（３次元世界座標系）と、取り付け位置（３次元世界座標系）とに基づいて、手先位置から取り付け位置までの距離及び方向を算出する。これにより、投影変換部３４０は、手先位置と取り付け位置との相対的な位置関係を示す相対位置情報を生成する。相対位置情報は、ここでは、手先位置を、どの方向にどのくらい移動させたらよいかを案内する情報である。
In step S <b> 906, the
ステップＳ９０７において、投影変換部３４０は、切替部３８０より通知された作業指示情報のうち、取り付け位置名称、取り付け位置画像、取り付け部品名、取り付け部品画像を取得し、簡略化した作業指示を生成する。
In step S907, the
ステップＳ９０８において、投影変換部３４０は、相対位置情報と簡略化した作業指示とを含む投影画像データを生成する。
In step S908, the
ステップＳ９０９において、投影変換部３４０は、生成した投影画像データを、投影対象のサイズ（手領域のサイズ）に応じたサイズに調整し、投影制御部３９０に通知する。
In step S909, the
一方、ステップＳ９０３において、投影画像データが、作業領域に投影可能であると判定した場合（ステップＳ９０３においてＹｅｓ）、ステップＳ９１０に進む。 On the other hand, if it is determined in step S903 that the projection image data can be projected onto the work area (Yes in step S903), the process proceeds to step S910.
ステップＳ９１０において、投影対象決定部３７０は、作業領域を投影対象に決定し、決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、作業領域（プロジェクタ３次元座標系）を生成し、投影先情報として投影制御部３９０に通知する。
In step S910, the projection target determining unit 370 determines the work area as a projection target and notifies the
ステップＳ９１１において、投影変換部３４０は、切替部３８０より通知された作業指示情報を取得する。また、投影変換部３４０は、取得した作業指示情報を含む投影画像データを生成し、投影制御部３９０に通知する。
In step S <b> 911, the
＜死角領域判定処理（ステップＳ９０２）の詳細＞
続いて、調整処理（図９）に含まれる各工程のうち、死角領域判定処理（ステップＳ９０２）の詳細について説明する。
<Details of Blind Spot Area Determination Process (Step S902)>
Next, details of the blind spot area determination process (step S902) among the processes included in the adjustment process (FIG. 9) will be described.
図１０は、死角領域判定処理のフローチャートである。なお、図１０に示す死角領域判定処理（ステップＳ９０２）を実行するにあたり、図９のステップＳ９０１では、死角判定部３６０が、作業対象物１４０内の取り付け位置（対象物３次元座標系）として、（Ｘｏ１，Ｙｏ１，Ｚｏ１）を取得しているものとする。
FIG. 10 is a flowchart of the blind spot area determination process. In executing the blind spot area determination process (step S902) shown in FIG. 10, in step S901 of FIG. 9, the blind spot determination unit 360 is set as an attachment position (target object three-dimensional coordinate system) in the
ステップＳ１００１において、死角判定部３６０は、作業対象物１４０内の取り付け位置（対象物３次元座標系）の座標（Ｘｏ１，Ｙｏ１，Ｚｏ１）を、点１１１を原点とするプロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換する。
In step S <b> 1001, the blind spot determination unit 360 uses the coordinates (X o1 , Y o1 , Z o1 ) of the attachment position (object three-dimensional coordinate system) in the
変換に際しては、まず、対象物検出部３５０より通知された対象物位置姿勢情報（３次元世界座標系）を用いて、作業対象物１４０内の取り付け位置（対象物３次元座標系）の座標（Ｘｏ１，Ｙｏ１，Ｚｏ１）を３次元世界座標系の座標に変換する。その後、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照することで、取り付け位置（３次元世界座標系）の座標を、プロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換する。
In the conversion, first, using the object position / posture information (three-dimensional world coordinate system) notified from the
更に、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照することで、プロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換した取り付け位置を、投影画像データの座標（ｘｐ１，ｙｐ１）に変換する。 Furthermore, the blind spot determination unit 360 refers to the projector device information table 520 to convert the attachment position converted into the coordinates (X p1 , Y p1 , Z p1 ) of the projector three-dimensional coordinate system into the coordinates (x p1 , y p1 ).
ステップＳ１００２において、死角判定部３６０は、プロジェクタ３次元座標系において、取り付け位置を、Ｚｐ軸のマイナス方向に移動させた（プロジェクタ装置１１０方向に移動させた）場合の座標Ｚｐ２を算出する。 In step S1002, the blind spot determination unit 360 calculates a coordinate Z p2 when the attachment position is moved in the negative direction of the Z p axis (moved in the direction of the projector device 110) in the projector three-dimensional coordinate system.
ステップＳ１００３において、死角判定部３６０は、座標Ｚｐ２が０より大きいか否かを判定する。ステップＳ１００３において、座標Ｚｐ２が０より大きいと判定した場合（ステップＳ１００３においてＹｅｓ）、ステップＳ１００４に進む。 In step S1003, the blind spot determination unit 360 determines whether the coordinate Zp2 is greater than zero. If it is determined in step S1003 that the coordinate Zp2 is greater than 0 (Yes in step S1003), the process proceeds to step S1004.
ステップＳ１００４において、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照する。これにより、死角判定部３６０は、投影画像データの座標が（ｘｐ１，ｙｐ１）であって、Ｚｐ軸の座標がＺｐ２となる、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を取得する。 In step S1004, the blind spot determination unit 360 refers to the projector apparatus information table 520. Thus, the blind spot determining section 360, a coordinate of the projection image data (x p1, y p1), the coordinates of the Z p axis is Z p2, projector three-dimensional coordinate system of coordinates (X p2, Y p2 , Z p2 ).
ステップＳ１００５において、死角判定部３６０は、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を、点１２１を原点とする距離測定装置３次元座標系の座標（Ｘｄ２，Ｙｄ２，Ｚｄ２）に変換する。
In step S1005, the blind spot determination unit 360 uses the coordinates (X p2 , Y p2 , Z p2 ) of the projector three-dimensional coordinate system and the coordinates (X d2 , Y d2 ) of the distance measuring device three-dimensional coordinate system with the
変換に際しては、まず、プロジェクタ装置情報テーブル５２０を参照することで、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を、３次元世界座標系の座標に変換する。その後、死角判定部３６０は、距離測定装置情報テーブル５１０を参照することで、３次元世界座標系の座標を、距離測定装置３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）に変換する。 In the conversion, first, by referring to the projector device information table 520, the coordinates ( Xp2 , Yp2 , Zp2 ) of the projector three-dimensional coordinate system are converted into the coordinates of the three-dimensional world coordinate system. Thereafter, the blind spot determination unit 360 converts the coordinates of the three-dimensional world coordinate system into the coordinates (X p2 , Y p2 , Z p2 ) of the distance measurement device three-dimensional coordinate system by referring to the distance measurement device information table 510. To do.
更に、死角判定部３６０は、距離測定装置情報テーブル５１０を参照することで、距離測定装置３次元座標系の座標（Ｘｄ２，Ｙｄ２，Ｚｄ２）を、距離画像データの座標（ｘｄ２，ｙｄ２）に変換する。 Further, the blind spot determination unit 360 refers to the distance measuring device information table 510 to convert the coordinates (X d2 , Y d2 , Z d2 ) of the distance measuring device three-dimensional coordinate system into the coordinates (x d2 , y d2 ).
ステップＳ１００６において、死角判定部３６０は、画像データ取得部３１０が取得した現在の距離画像データ上の座標（ｘｄ２，ｙｄ２）における距離データＺｄ３を取得する。
In step S1006, the blind spot determination unit 360 acquires the distance data Z d3 at the coordinates (x d2 , y d2 ) on the current distance image data acquired by the image
ステップＳ１００７において、死角判定部３６０は、距離データＺｄ３が座標Ｚｄ２と等しいか否かを判定する。ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しいと判定した場合（ステップＳ１００７においてＹｅｓ）、ステップＳ１００９に進む。 In step S1007, the blind spot determination unit 360 determines whether or not the distance data Z d3 is equal to the coordinate Z d2 . If it is determined in step S1007 that the distance data Z d3 is equal to the coordinate Z d2 (Yes in step S1007), the process proceeds to step S1009.
ステップＳ１００９において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれると判定する。
In step S <b> 1009, the blind spot determination unit 360 determines that the attachment position of the attachment component is included in the blind area as viewed from the
一方、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しくないと判定した場合（ステップＳ１００７においてＮｏ）、ステップＳ１００８に進む。 On the other hand, when it is determined in step S1007 that the distance data Z d3 is not equal to the coordinate Z d2 (No in step S1007), the process proceeds to step S1008.
ステップＳ１００８において、死角判定部３６０は、取り付け部品の取り付け位置を、Ｚｐ軸のマイナス方向に移動させた（プロジェクタ装置１１０方向に移動させた）場合の座標Ｚｐ２を算出する。死角判定部３６０は、その後、ステップＳ１００３に戻り、Ｚｐ２が０になるまで、ステップＳ１００３からステップＳ１００８の処理を繰り返す。
In step S1008, the blind spot determining section 360, the mounting position of the mounting parts, and calculates the coordinates Z p2 of when moving in the negative direction of Z p axis (moved to the
ステップＳ１００３において、Ｚｐ２が０になったと判定した場合（ステップＳ１００３においてＮｏ）、ステップＳ１０１０に進む。 In step S1003, when it is determined that Z p2 becomes 0 (No in step S1003), the process proceeds to step S1010.
ステップＳ１０１０において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれないと判定する。
In step S <b> 1010, the blind spot determination unit 360 determines that the attachment position of the attachment component is not included in the blind area as viewed from the
このように、死角判定部３６０は、取り付け位置をプロジェクタ装置１１０に近づけていった場合に算出される、距離測定装置３次元座標系のＺｄ軸の座標が、距離画像データの対応する位置のデータから導出されるＺｄ軸の座標と一致するかを検証する。そして、一致する場合に、死角判定部３６０は、取り付け位置が死角領域に含まれると判定する。
In this way, the blind spot determination unit 360 calculates the coordinate of the Zd axis of the distance measuring device three-dimensional coordinate system calculated when the attachment position is close to the
図１１は、死角領域判定処理の具体例を示す図である。図１１に示すように、取り付け部品の取り付け位置１１００と、点１１１とを結ぶ直線１１１０上に、物体が存在する場合、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２（物体の位置のＺｄ座標）と等しいと判定される。この場合、取り付け部品の取り付け位置１１００は、プロジェクタ装置１１０から見て死角領域に含まれると判定される。
FIG. 11 is a diagram illustrating a specific example of the blind spot area determination process. As shown in FIG. 11, when an object exists on a straight line 1110 connecting the
一方、取り付け部品の取り付け位置１１００と、点１１１とを結ぶ直線１１１０上に、物体が存在しない場合、ＺＰ２が０になるまで、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しいと判定されることはない。この場合、取り付け部品の取り付け位置１１００は、プロジェクタ装置１１０から見て死角領域に含まれないと判定される。
On the other hand, if there is no object on the straight line 1110 connecting the
＜手先位置推定処理（ステップＳ９０４）の詳細＞
次に、調整処理（図９）に含まれる各工程のうち、手先位置推定処理（ステップＳ９０４）の詳細について説明する。
<Details of Hand Position Estimation Processing (Step S904)>
Next, details of the hand position estimation process (step S904) among the processes included in the adjustment process (FIG. 9) will be described.
図１２は、手先位置推定処理のフローチャートである。ステップＳ１２０１において、手先位置推定部３３０は、手検出部３２０において手形状が特定されたか否かを判定する。
FIG. 12 is a flowchart of the hand position estimation process. In step S1201, the hand
手形状が特定されている場合には（ステップＳ１２０１においてＹｅｓ）、特定された手形状に基づいて手先位置が特定できるため、ステップＳ１２０６に進む。 If the hand shape is specified (Yes in step S1201), the hand position can be specified based on the specified hand shape, and the process advances to step S1206.
ステップＳ１２０６において、手先位置推定部３３０は、手検出部３２０より通知された手領域情報により特定される手領域の先端位置を、手先位置（３次元世界座標系）として特定する。
In step S1206, the hand
一方、手検出部３２０において手形状が特定されていなかった場合には（ステップＳ１２０１においてＮｏ）、ステップＳ１２０２に進む。上述したように、手形状が特定できなかった場合とは、作業者１８０の手の一部が、距離測定装置１２０から見て作業対象物１４０の陰に隠れてしまっている場合である。したがって、ステップＳ１２０２において、手先位置推定部３３０は、作業者１８０の手先が作業対象物１４０によって隠れていると判定する。図１２（ｂ）の距離画像データ１２１０は、手先が作業対象物１４０によって隠れている様子を示している。
On the other hand, when the hand shape is not specified in the hand detection unit 320 (No in step S1201), the process proceeds to step S1202. As described above, the case where the hand shape cannot be specified is a case where a part of the hand of the
ステップＳ１２０３において、手先位置推定部３３０は、手検出部３２０により抽出された手領域に基づいて、手の向きを特定する。
In step S <b> 1203, the hand
ステップＳ１２０４において、手先位置推定部３３０は、特定した手の向きのもとで、手領域の輪郭の凹凸から、肘の位置を推定する。
In step S <b> 1204, the hand
ステップＳ１２０５において、手先位置推定部３３０は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置（３次元世界座標系）を推定する。図１２（ｃ）の距離画像データ１２２０は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置を推定した様子を示している。
In step S1205, the hand
＜投影画像データの投影例＞
続いて、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれると判定された場合の、投影画像データの投影例について説明する。
<Projection example of projection image data>
Subsequently, an example of projection of projection image data when it is determined that the attachment position of the attachment component is included in the blind spot area when viewed from the
図１３は、投影画像データの投影例を示す図である。図１３に示すように、作業者１８０の手１３００には、取り付け位置名称１３０４、取り付け位置画像１３０１、取り付け部品名１３０６、取り付け部品画像１３０３が投影される。このように、投影対象が作業者１８０の手領域の場合、作業指示情報テーブル４３０に格納された作業指示情報の一部（簡略化した作業指示）を、手領域のサイズに調整して投影する。これにより、作業者１８０は、取り付ける部品と取り付ける位置とを容易に把握することができる。なお、簡略化した作業指示とは、作業指示情報の一部を抜粋した作業指示のほか、作業指示情報の内容を模式化した作業指示等が含まれるものとする。
FIG. 13 is a diagram illustrating an example of projection of projection image data. As illustrated in FIG. 13, an
また、作業者１８０の手１３００には、取り付け部品画像１３０３から取り付け位置画像１３０１に向かう矢印１３０２が投影される。これにより、作業者１８０は、取り付け部品の取り付け位置に対する取り付け方向を容易に把握することができる。
Further, an
更に、作業者１８０の手１３００には、相対位置情報１３０５が投影される。これにより、作業者１８０は、取り付け作業を行うために、手先位置をどの方向にどのくらいの距離移動させればよいかを容易に把握することができる。
Further,
＜作業者が作業指示を確認する場合の動作例＞
続いて、作業者１８０が作業指示を確認する場合の動作例について図１４及び図１５を用いて説明する。図１４及び図１５は、作業者が作業指示を確認する様子を示した第１及び第２の図である。
<Example of operation when worker confirms work instructions>
Next, an operation example when the
このうち、図１４は、比較対象として、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合に、作業対象物１４０の上面（死角の原因となる面）に、作業指示を含む投影画像データを投影した様子を示している。
Among these, FIG. 14 shows, as a comparison object, on the upper surface of the work object 140 (the surface that causes the blind spot) when the attachment position of the attachment component is included in the blind spot region as viewed from the
図１４に示すように、作業対象物１４０の上面に作業指示を含む投影画像データを投影した場合、作業対象物１４０に対して作業を行っている状態（図１４（ａ）のように、屈んでいる状態）から、作業指示を確認するために、直立する必要がある（図１４（ｂ））。
As shown in FIG. 14, when projection image data including a work instruction is projected on the upper surface of the
このように、プロジェクタ装置１１０と取り付け位置との間の領域に投影画像データを投影した場合、作業者１８０は、作業指示を確認するために、作業領域から一旦視点を大きくずらす必要があるため、取り付け作業時の作業者１８０の作業効率が低下する。
Thus, when projecting image data is projected onto the area between the
一方、図１５は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合に、作業者１８０の手領域に、作業指示を含む投影画像データを投影した様子を示している。
On the other hand, FIG. 15 shows a state in which projection image data including a work instruction is projected onto the hand region of the
図１５に示すように、作業者１８０の手領域に作業指示を含む投影画像データを投影した場合、作業対象物１４０に対して作業を行っている状態から、作業指示を確認するために、直立する必要がない。つまり、作業者１８０は、屈んだ状態のまま作業指示を確認することができる。
As shown in FIG. 15, when projection image data including a work instruction is projected onto the hand area of the
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である手領域に投影画像データを投影した場合、作業指示を確認するための作業者１８０の視点の移動距離は、図１４の場合と比較して少なくて済む。この結果、取り付け作業時に作業者１８０の作業効率が低下するのを回避することができる。
As described above, when the projection image data is projected onto the hand area that is the area between the worker position and the attachment position during the attachment work, the movement distance of the viewpoint of the
以上の説明から明らかなように、第１の実施形態における投影システム１００では、作業領域に作業指示を投影できない場合に、作業指示を含む投影画像データを、作業者の位置を作業領域との間であって、投影可能な領域である作業者の手領域に投影する。
As is clear from the above description, in the
これにより、作業領域に作業指示を投影することができない場合でも、作業指示を確認する際の作業者の視点の移動を少なくすることが可能となり、作業時に作業者の作業効率が低下するのを回避可能な技術を提供することができる。 As a result, even when the work instruction cannot be projected onto the work area, it is possible to reduce the movement of the worker's viewpoint when confirming the work instruction, which reduces the work efficiency of the worker during work. An avoidable technique can be provided.
［第２の実施形態］
上記第１の実施形態では、作業領域に作業指示を投影することができない場合に、作業者の手領域に作業指示を含む投影画像データを投影する場合について説明した。しかしながら、作業領域に作業指示を投影することができない場合の代替の投影対象は、作業者の手領域に限定されない。作業者の位置と作業領域との間の領域であれば、作業領域からの視点移動が少なくて済むことから、手領域以外の他の領域であってもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
[Second Embodiment]
In the first embodiment, the case where the projection image data including the work instruction is projected onto the worker's hand area when the work instruction cannot be projected onto the work area has been described. However, the alternative projection target when the work instruction cannot be projected onto the work area is not limited to the operator's hand area. Any region between the worker's position and the work region may be a region other than the hand region because the viewpoint movement from the work region is small. Hereinafter, the second embodiment will be described focusing on differences from the first embodiment.
＜投影システムの適用例＞
はじめに、第２の実施形態における投影システム１００の適用例について説明する。図１６は、第２の実施形態における投影システムの適用例を示す図である。
<Application example of projection system>
First, an application example of the
図１６（ａ）に示すように、第２の実施形態における投影システム１６００は、作業台１５０上に、作業対象物１４０に加えて、他の物体１６０１〜１６０３が置かれている環境において適用されるものとする。
As shown in FIG. 16A, the projection system 1600 according to the second embodiment is applied in an environment where
なお、図１６（ｂ）は、作業対象物１４０と他の物体１６０１〜１６０３との位置関係を、作業台１５０の上方から見た様子を示している。
FIG. 16B shows a state in which the positional relationship between the
＜情報処理装置の機能構成＞
次に、第２の実施形態における投影システム１００の情報処理装置１３０の機能構成について説明する。図１７は、情報処理装置の機能構成の一例を示す第２の図である。
<Functional configuration of information processing apparatus>
Next, a functional configuration of the
図３に示した機能構成との相違点は、手検出部３２０、手先位置推定部３３０を有していない点、投影先候補検出部１７１０を有している点である。また、図３に示した機能構成との相違点は、投影対象決定部１７２０及び投影変換部１７３０の機能が、図３の投影対象決定部３７０、投影変換部３４０とは異なっている点である。
The difference from the functional configuration shown in FIG. 3 is that the
投影先候補検出部１７１０は、作業指示を含む投影画像データを投影する投影先候補を検出する。投影先候補検出部１７１０は、距離画像データより、複数の物体を検出し、検出した複数の物体の中から、プロジェクタ装置１１０から見て死角領域に含まれない物体を投影先候補として抽出し、投影先候補情報として、投影対象決定部１７２０に通知する。
The projection destination
投影対象決定部１７２０は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部１７２０は、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象に決定する。この場合、投影対象決定部１７２０は、作業領域を投影対象とする決定結果を投影変換部１７３０に通知する。また、投影対象決定部１７２０は、作業領域をプロジェクタ３次元座標系に変換した投影先情報を投影制御部３９０に通知する。
The projection target determination unit 1720 determines a projection target on which projection image data including a work instruction is projected. When the projection target determination unit 1720 receives a determination result from the blind spot determination unit 360 that the attachment position of the attachment component is not included in the blind spot area, the projection target determination unit 1720 determines the work area as the projection target. In this case, the projection target determination unit 1720 notifies the projection conversion unit 1730 of the determination result for setting the work area as the projection target. Further, the projection target determining unit 1720 notifies the
一方、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部１７２０は、投影先候補検出部１７１０により通知された投影先候補情報の中から、１の投影先候補を投影対象に決定する。投影対象決定部１７２０は、１の投影先候補を投影対象に決定した決定結果を投影変換部１７３０に通知する。また、投影対象決定部１７２０は、死角判定部３６０により算出された取り付け位置（３次元世界座標系）を投影変換部１７３０に通知する。更に、投影対象決定部１７２０は、１の投影先候補を３次元世界座標系に変換した投影先情報を投影変換部１７３０に通知するとともに、１の投影先候補をプロジェクタ３次元座標系に変換した投影先情報を投影制御部３９０に通知する。
On the other hand, when the determination result that the attachment position of the attachment component is included in the blind spot area is received from the blind spot determination unit 360, the projection target determination unit 1720 notifies the projection destination candidate information notified by the projection destination
投影変換部１７３０は、切替部３８０より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部３９０に通知する。
The projection conversion unit 1730 generates projection image data based on the work instruction information notified from the
なお、投影変換部１７３０は、投影対象決定部３７０より、１の投影先候補を投影対象とする決定結果が通知されていた場合には、投影画像データを生成するにあたり、切替部３８０より通知された作業指示情報を簡略化する。また、投影変換部１７３０は、投影先情報（３次元世界座標系）と取り付け位置（３次元世界座標系）との相対的な位置関係を示す相対位置情報を生成する。更に、投影変換部１７３０は、簡略化した作業指示に、相対位置情報を付加した投影画像データを生成し、投影対象に応じてサイズを調整したうえで、投影画像データを投影制御部３９０に通知する。
Note that the projection conversion unit 1730 is notified by the
＜調整処理（ステップＳ６０４）の詳細＞
次に、第２の実施形態における投影処理について説明する。なお、第２の実施形態における投影処理は、上記第１の実施形態において説明した投影処理（図６）と概ね同じであり、相違点は、手領域検出処理（ステップＳ６０３）が実行されない点、調整処理（ステップＳ６０４）の処理内容が異なる点である。そこで、以下では、調整処理（ステップＳ６０４）の処理内容について、図９との相違点を中心説明する。
<Details of Adjustment Process (Step S604)>
Next, the projection processing in the second embodiment will be described. Note that the projection processing in the second embodiment is substantially the same as the projection processing described in the first embodiment (FIG. 6), and the difference is that the hand region detection processing (step S603) is not executed. The processing content of the adjustment processing (step S604) is different. Therefore, hereinafter, the contents of the adjustment process (step S604) will be described with a focus on differences from FIG.
図１８は、調整処理の第２のフローチャートである。図１８に示す各工程のうち、図９との相違点は、ステップＳ１８０１の投影位置決定処理と、ステップＳ１８０２の相対位置算出処理である。そこで、以下では、投影位置決定処理（ステップＳ１８０１）と変換処理（ステップＳ１８０２）について、詳細を説明する。 FIG. 18 is a second flowchart of the adjustment process. 18 differs from FIG. 9 in the projection position determination process in step S1801 and the relative position calculation process in step S1802. Therefore, in the following, the details of the projection position determination process (step S1801) and the conversion process (step S1802) will be described.
図１９は、投影位置決定処理のフローチャートである。ステップＳ１９０１において、投影先候補検出部１７１０は、距離画像データより、複数の物体を検出し、プロジェクタ装置１１０から見て死角領域に含まれない物体を、投影先候補として検出し、投影先候補情報として投影対象決定部１７２０に通知する。
FIG. 19 is a flowchart of the projection position determination process. In step S1901, the projection destination
ステップＳ１９０２において、投影対象決定部１７２０は、取り付け部品の取り付け位置と、作業者１８０の目の位置とを結ぶ３次元線分を算出する。作業者１８０の目の位置は、例えば、作業対象物１４０が置かれた作業台１５０上の点１５１に対して予め定められた固定の位置とする。ただし、点１５１に対して、作業者１８０ごとに異なる固定の位置を定めておいてもよい。
In step S1902, the projection target determination unit 1720 calculates a three-dimensional line segment that connects the attachment position of the attachment component and the eye position of the
ステップＳ１９０３において、投影対象決定部１７２０は、投影先候補検出部１７１０より通知された投影先候補情報に基づいて、各投影先候補の上面位置を特定する。
In step S1903, the projection target determination unit 1720 identifies the upper surface position of each projection destination candidate based on the projection destination candidate information notified from the projection destination
ステップＳ１９０４において、投影対象決定部１７２０は、各投影先候補の上面位置から、３次元線分までの距離を算出する。 In step S1904, the projection target determining unit 1720 calculates the distance from the upper surface position of each projection destination candidate to the three-dimensional line segment.
ステップＳ１９０５において、投影対象決定部１７２０は、各投影先候補の上面位置から、３次元線分までの距離のうち、最も距離が短い１の投影先候補を、投影対象に決定する。投影対象決定部１７２０は、決定した投影対象の上面位置（３次元世界座標系）を示す投影先情報を投影変換部３４０に通知するとともに、決定した投影対象の上面位置（プロジェクタ３次元座標系）を投影制御部３９０に通知する。
In step S1905, the projection target determining unit 1720 determines, as a projection target, one projection destination candidate having the shortest distance from the top surface position of each projection destination candidate to the three-dimensional line segment. The projection target determining unit 1720 notifies the
また、投影対象決定部１７２０は、１の投影先候補を投影対象とする決定結果を投影変換部３４０に通知する。更に、投影対象決定部１７２０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
In addition, the projection target determination unit 1720 notifies the
図２０は、相対位置算出処理及び生成した投影画像データを示す図である。このうち、図２０（ａ）は、相対位置算出処理のフローチャートである。ステップＳ２００１において、投影変換部１７３０は、投影対象の上面位置から取り付け部品の取り付け位置までの距離及び方向を算出する。ステップＳ２００２において、投影変換部３４０は、相対位置情報を生成する。
FIG. 20 is a diagram illustrating the relative position calculation process and the generated projection image data. Among these, FIG. 20A is a flowchart of the relative position calculation process. In step S2001, the projection conversion unit 1730 calculates the distance and direction from the upper surface position of the projection target to the attachment position of the attachment component. In step S2002, the
図２０（ｂ）は、生成された相対位置情報が反映された投影画像データの一例を示す図である。図２０（ｂ）に示すように、投影画像データ２０１０には、簡略化した作業指示として、取り付け位置名称１３０４、取り付け位置画像１３０１、取り付け部品名１３０６、取り付け部品画像１３０３が含まれる。また、投影画像データ２０１０には、相対位置情報（投影対象の上面位置から取り付け位置までの距離及び方向）２０１１が含まれる。図２０（ｂ）に示すように、相対位置情報２０１１には、投影対象の上面位置から見た場合の取り付け位置までの、奥行き方向の距離、上下方向の距離、左右方向の距離が含まれる。
FIG. 20B is a diagram illustrating an example of projection image data in which the generated relative position information is reflected. As shown in FIG. 20B, the
＜作業者が作業指示を確認する場合の動作例＞
続いて、作業者１８０が作業指示を確認する場合の動作例について図２１を用いて説明する。図２１は、作業者が作業指示を確認する様子を示した第３の図である。図２１に示すように、取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合、死角領域に含まれない物体であって、作業者１８０の視点の移動の少ない位置の物体１６０３の上面に、作業指示を含む投影画像データが投影される。
<Example of operation when worker confirms work instructions>
Next, an operation example when the
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である物体１６０３の上面に投影画像データを投影した場合、作業指示を確認するための作業者の視点の移動が少なくて済む。この結果、取り付け作業時の作業者の作業効率が低下するのを回避可能な技術を提供することができる。
As described above, when the projection image data is projected on the upper surface of the
［第３の実施形態］
上記第２の実施形態では、投影画像データ２０１０に、相対位置情報として、投影対象の上面位置から取り付け位置までの距離及び方向を含めるものとして説明した。これに対して、第３の実施形態では、相対位置情報として、手先位置から取り付け位置までの距離及び方向を含めるものとして説明する。
[Third Embodiment]
In the second embodiment, the
図２２は、情報処理装置の機能構成の一例を示す第３の図である。図１７に示した機能構成との相違点は、手検出部３２０、手先位置推定部３３０、投影変換部３４０を含む点である。ただし、手検出部３２０、手先位置推定部３３０、投影変換部３４０の各部の詳細は、図３を用いて説明済みであるため、ここでは説明を省略する。
FIG. 22 is a third diagram illustrating an example of a functional configuration of the information processing apparatus. The difference from the functional configuration shown in FIG. 17 is that a
図２３は、投影画像データの一例を示す図である。図２３に示すように、投影画像データ２３１０には、相対位置情報として、推定した手先位置から取り付け位置までの距離及び方向２３１１が含まれる。図２３の例は、現在の手先位置から約３ｃｍ右方向に、取り付け位置があることを示している。
FIG. 23 is a diagram illustrating an example of projection image data. As shown in FIG. 23, the
このように、物体１６０３の上面に投影画像データを投影する場合についても、上記第１の実施形態と同様に、相対位置情報として、現在の手先位置から取り付け位置までの距離及び方向を含める。これにより、作業者は、取り付け作業を行うために、手先位置をどの方向にどれくらいの距離移動させればよいかを、物体１６０３の上面を見て把握することができる。
As described above, when projecting image data is projected onto the upper surface of the
なお、第３の実施形態では、投影対象決定部１７２０の機能が、上記第２の実施形態における投影対象決定部１７２０と同じであるものとしたが、上記第２の実施形態における投影対象決定部１７２０とは異なっていてもよい。 In the third embodiment, the function of the projection target determining unit 1720 is the same as that of the projection target determining unit 1720 in the second embodiment, but the projection target determining unit in the second embodiment is described above. 1720 may be different.
例えば、投影対象決定部１７２０は、死角判定部３６０より、死角領域に含まれる旨の判定結果を受信した場合、投影先候補情報または手領域情報の中から、投影対象を決定してもよい。これにより、他の物体１６０１〜１６０３及び手領域のうち、最も作業者の視点の移動の少ない領域を、投影対象として決定することが可能になる。
For example, the projection target determining unit 1720 may determine the projection target from the projection destination candidate information or the hand region information when receiving a determination result indicating that it is included in the blind spot region from the blind spot determining unit 360. As a result, it is possible to determine, as the projection target, an area with the smallest movement of the worker's viewpoint among the
［第４の実施形態］
上記第１乃至第３の実施形態では、投影システム１００に、プロジェクタ装置１１０と距離測定装置１２０と情報処理装置１３０とが含まれるものとして説明した。これに対して、第４の実施形態では、更に、投影システムに撮影装置が含まれるものとして説明する。
[Fourth Embodiment]
In the first to third embodiments, it has been described that the
図２４は、投影システムのシステム構成の一例を示す第２の図である。図２４に示すように、投影システム２４００は、プロジェクタ装置１１０、距離測定装置１２０、情報処理装置１３０に加え、撮影装置２４１０を有する。撮影装置２４１０は、通信ケーブル２４０１を介して、情報処理装置１３０に通信可能に接続される。また、撮影装置２４１０は、作業台１５０の上方に設置される。
FIG. 24 is a second diagram illustrating an example of the system configuration of the projection system. As shown in FIG. 24, the
撮影装置２４１０は、作業台１５０の上面を含む所定領域を撮影範囲として撮影を行うことで、ＲＧＢ画像データを生成し、情報処理装置１３０に送信する。図２４に示すように、撮影装置２４１０は、点２４１１を原点とする撮影装置３次元座標系（Ｘｃ軸、Ｙｃ軸、Ｚｃ軸）を有している。
The
情報処理装置１３０は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置１１０が投影する際の投影対象を決定する。第４の実施形態において情報処理装置１３０は、投影対象を決定するにあたり、距離測定装置１２０から送信される距離画像データと、撮影装置２４１０から送信されるＲＧＢ画像データとを用いる。
The
＜情報処理装置の機能構成＞
次に、情報処理装置１３０の機能構成について説明する。図２５は、情報処理装置の機能構成の一例を示す第４の図である。図３との相違点は、画像データ取得部３１０が、距離測定装置１２０から送信された距離画像データに加え、撮影装置２４１０から送信されたＲＧＢ画像データを受信する点である。また、図３との相違点は、対象物検出部２５１０の機能が、対象物検出部３５０とは異なっている点である。
<Functional configuration of information processing apparatus>
Next, the functional configuration of the
第４の実施形態における対象物検出部２５１０は、画像データ取得部３１０よりＲＧＢ画像データを受信し、ＲＧＢ画像データより作業対象物１４０を含む画像領域を検出する。また、対象物検出部２５１０は、検出した画像領域に基づいて、作業対象物１４０の位置及び姿勢を示す対象物位置姿勢情報（３次元座標系）を算出し、死角判定部３６０に通知する。更に、対象物検出部２５１０は、画像データ取得部３１０より距離画像データを受信し、死角判定部３６０に通知する。
The
＜デバイス情報記憶部に格納されるテーブル＞
次に、デバイス情報記憶部３９２に格納されるテーブルについて説明する。第４の実施形態において、デバイス情報記憶部３９２には、距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０に加え、撮影装置情報テーブルが格納される。
<Table stored in device information storage unit>
Next, a table stored in the device
図２６は、各情報記憶部に格納されるテーブルの一例を示す第３の図である。具体的には、図２６は、撮影装置情報テーブルの一例を示す図である。 FIG. 26 is a third diagram illustrating an example of a table stored in each information storage unit. Specifically, FIG. 26 is a diagram illustrating an example of an imaging device information table.
図２６に示すように、撮影装置情報テーブル２６００は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。 As shown in FIG. 26, the photographing apparatus information table 2600 includes “parameter name”, “content”, and “value” as information items.
“パラメータ名”には、撮影装置２４１０の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
In “Parameter Name”, names of various parameters indicating attributes of the
デバイス情報記憶部３９２に格納された距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０、撮影装置情報テーブル２６００、対象物位置姿勢情報を参照することで、情報処理装置１３０は、
・プロジェクタ３次元座標系、距離測定装置３次元座標系、撮影装置３次元座標系、対象物３次元座標系、３次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置３次元座標系の座標との間の座標変換、
・ＲＧＢ画像データ上の座標と撮影装置３次元座標系の座標との間の座標変換、及び
・投影画像データ上の座標とプロジェクタ３次元座標系の座標との間の座標変換、
を実現する。
By referring to the distance measuring device information table 510, the projector device information table 520, the imaging device information table 2600, and the object position / posture information stored in the device
・ Coordinate conversion between projector 3D coordinate system, distance measuring device 3D coordinate system, imaging device 3D coordinate system, object 3D coordinate system, 3D world coordinate system,
-Coordinate conversion between the coordinates on the distance image data and the coordinates of the distance measuring device 3D coordinate system,
Coordinate conversion between coordinates on the RGB image data and coordinates of the imaging device 3D coordinate system, and coordinate conversion between coordinates on the projection image data and coordinates of the projector 3D coordinate system,
Is realized.
＜対象物検出処理（ステップＳ６０３）の詳細＞
続いて、対象物検出処理（ステップＳ６０３）の詳細について説明する。第４の実施形態において、対象物検出処理（ステップＳ６０３）は、撮影装置２４１０より送信されたＲＧＢ画像データを用いる。図２７は、対象物検出処理の第２のフローチャートである。
<Details of Object Detection Process (Step S603)>
Next, details of the object detection process (step S603) will be described. In the fourth embodiment, the object detection process (step S603) uses RGB image data transmitted from the
このうち、図２７（ａ）は、作業対象物１４０にマーカが貼り付けられている場合の対象物検出処理のフローチャートである。ステップＳ２７０１において、対象物検出部２５１０は、ＲＧＢ画像データにおいて、２次元マーカを検出する。
Among these, FIG. 27A is a flowchart of the object detection process when a marker is pasted on the
ステップＳ２７０２において、対象物検出部２５１０は、検出した２次元マーカの、ＲＧＢ画像データ内での位置、向きから、作業対象物１４０の位置及び姿勢を特定する。
In step S2702, the
ステップＳ２７０３において、対象物検出部２５１０は、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
In step S2703, the
図２７（ｂ）は、作業対象物１４０が特定の模様を有している場合の対象物検出処理のフローチャートである。ステップＳ２７１１において、対象物検出部２５１０は、検出すべき作業対象物１４０の模様を識別する。検出すべき作業対象物１４０の模様は、例えば、作業対象物情報テーブル４１０に予め登録されているものとする。
FIG. 27B is a flowchart of the object detection process when the
ステップＳ２７１２において、対象物検出部２５１０は、ＲＧＢ画像データの各画像領域との間で特徴点マッチングを行う。また、ステップＳ２７１３において、対象物検出部２５１０は、検出すべき対象物の模様が含まれる画像領域を抽出する。
In step S2712, the
ステップＳ２７１３において、対象物検出部２５１０は、抽出した画像領域の位置及び模様の向きから、作業対象物１４０の位置及び姿勢を特定し、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
In step S2713, the
このように、投影システム１００に撮影装置２４１０を含めることで、上記第１乃至第３の実施形態とは異なる方法により、作業対象物１４０を検出することができる。
Thus, by including the
なお、第４の実施形態では、ＲＧＢ画像データを、対象物検出処理に用いる場合について説明したが、ＲＧＢ画像データの適用は、対象物検出処理に限定されない。例えば、上記第２の実施形態の投影位置決定処理（図１９）のステップＳ１９０２において、作業者の目の位置を特定する際に用いてもよい。 In the fourth embodiment, the case where the RGB image data is used for the object detection process has been described. However, the application of the RGB image data is not limited to the object detection process. For example, in step S1902 of the projection position determination process (FIG. 19) of the second embodiment, it may be used when specifying the position of the operator's eyes.
［その他の実施形態］
上記第１、第３及び第４の実施形態では、作業領域が死角領域に含まれるか否かによらず、手検出部３２０が距離画像データに基づいて手領域を検出した。しかしながら、手検出部３２０による手領域の検出は、作業領域が死角領域に含まれると判定された場合に、実行するようにしてもよい。
[Other Embodiments]
In the first, third, and fourth embodiments, the
また、上記第１乃至第４の実施形態では、プロジェクタ装置１１０、距離測定装置１２０（及び撮影装置２４１０）を、作業台１５０の上方に設置する場合について説明したが、設置位置はこれに限定されない。例えば、プロジェクタ装置１１０は、死角領域を最小にするように、作業者１８０の後方に設置してもよい。
In the first to fourth embodiments, the
また、上記第１乃至第４の実施形態では、次の作業指示を含む投影画像データの投影指示を、作業台１５０に取り付けられた指示ボタン１７０を介して行うものとして説明した。しかしながら、指示ボタン１７０を利用する代わりに、例えば、投影画像データに指示ボタンの画像を含めて作業台１５０に投影してもよい。この場合、指示ボタンの画像が投影されている位置を、作業者１８０が手指で押圧する動作を行ったことを、距離画像データを介して切替部３８０が識別することで、投影指示が入力されたと判定する。これにより、作業台１５０に指示ボタン１７０を取り付ける必要がなくなる。
In the first to fourth embodiments described above, the projection instruction of the projection image data including the next work instruction is performed via the
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。
（付記２）
前記作業者の手の領域を検出する検出部を更に有し、
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする付記１に記載の情報投影装置。
（付記３）
前記決定部が前記作業者の手の領域を前記投影対象に決定した場合、前記作業指示を、簡略化した指示に変換する変換部を更に有し、
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする付記２に記載の情報投影装置。
（付記４）
前記作業者の手先の位置を推定する推定部を更に有し、
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記２または３に記載の情報投影装置。
（付記５）
前記決定部は、前記作業領域の位置と、前記作業者の目の位置とを結ぶ３次元線分からの距離に基づいて、前記投影対象を決定することを特徴とする付記１に記載の情報投影装置。
（付記６）
前記制御部は、前記投影対象の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記５に記載の情報投影装置。
（付記７）
前記決定部は、前記判定部が前記作業指示を投影できると判定した場合、前記作業領域に、前記作業指示を投影することを特徴とする付記１乃至付記６のいずれかの付記に記載の情報投影装置。
（付記８）
前記作業指示を切り替える切替部を更に有し、
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする付記１乃至付記７のいずれかの付記に記載の情報投影装置。
（付記９）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。
（付記１０）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。
In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
An information projection apparatus comprising: a control unit configured to control an output device to project the work instruction onto the projection target determined by the determination unit.
(Appendix 2)
A detection unit for detecting an area of the operator's hand;
The information projection apparatus according to
(Appendix 3)
When the determination unit determines an area of the operator's hand as the projection target, the conversion unit further converts the work instruction into a simplified instruction,
The information projection apparatus according to appendix 2, wherein the control unit controls the output apparatus to project the simplified instruction onto an area of the hand of the worker.
(Appendix 4)
An estimation unit for estimating the position of the hand of the worker;
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the hand of the worker and the position of the work area. The information projection apparatus according to Supplementary Note 2 or 3.
(Appendix 5)
The information projection according to
(Appendix 6)
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the projection target and the position of the work area. The information projection device according to appendix 5.
(Appendix 7)
The information according to any one of
(Appendix 8)
A switching unit for switching the work instructions;
The said control part performs control which projects the said work instruction switched by the said switch part on the said projection target with respect to the said output object with respect to any one of the
(Appendix 9)
Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection method in which processing is executed by a computer.
(Appendix 10)
Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection program for causing a computer to execute processing.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.
１００ ：投影システム
１１０ ：プロジェクタ装置
１２０ ：距離測定装置
１３０ ：情報処理装置
１４０ ：作業対象物
１５０ ：作業台
１７０ ：指示ボタン
３１０ ：画像データ取得部
３２０ ：手検出部
３３０ ：手先位置推定部
３４０ ：投影変換部
３５０ ：対象物検出部
３６０ ：死角判定部
３７０ ：投影対象決定部
３８０ ：切替部
３９０ ：投影制御部
１１００ ：取り付け位置
１７１０ ：投影先候補検出部
１７２０ ：投影対象決定部
１７３０ ：投影変換部
２０１０ ：投影画像データ
２３１０ ：投影画像データ
２４１０ ：撮影装置
２５１０ ：対象物検出部
100: Projection system 110: Projector device 120: Distance measuring device 130: Information processing device 140: Work object 150: Work table 170: Instruction button 310: Image data acquisition unit 320: Hand detection unit 330: Hand position estimation unit 340: Projection conversion unit 350: Object detection unit 360: Blind spot determination unit 370: Projection target determination unit 380: Switching unit 390: Projection control unit 1100: Attachment position 1710: Projection destination candidate detection unit 1720: Projection target determination unit 1730: Projection conversion Unit 2010: Projection image data 2310: Projection image data 2410: Imaging device 2510: Object detection unit
Claims (10)
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。 A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
An information projection apparatus comprising: a control unit configured to control an output device to project the work instruction onto the projection target determined by the determination unit.
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする請求項１に記載の情報投影装置。 A detection unit for detecting an area of the operator's hand;
The information projection apparatus according to claim 1, wherein the determination unit determines an area of the operator's hand as the projection target.
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項２に記載の情報投影装置。 When the determination unit determines an area of the operator's hand as the projection target, the conversion unit further converts the work instruction into a simplified instruction,
The information projection apparatus according to claim 2, wherein the control unit controls the output device to project the simplified instruction onto an area of the hand of the worker.
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項２または３に記載の情報投影装置。 An estimation unit for estimating the position of the hand of the worker;
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the hand of the worker and the position of the work area. The information projection apparatus according to claim 2 or 3.
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする請求項１乃至７のいずれか１項に記載の情報投影装置。 A switching unit for switching the work instructions;
The said control part performs control which projects the said work instruction switched by the said switching part on the said projection object with respect to the said output device, The any one of Claim 1 thru | or 7 characterized by the above-mentioned. Information projection device.
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。 Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection method in which processing is executed by a computer.
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。 Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection program for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016217181A JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016217181A JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018077560A true JP2018077560A (en) | 2018-05-17 |
| JP6812755B2 JP6812755B2 (en) | 2021-01-13 |
Family
ID=62149261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016217181A Active JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6812755B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020020887A (en) * | 2018-07-30 | 2020-02-06 | 日本電気通信システム株式会社 | Information display device, method for displaying information, and program |
| WO2020240918A1 (en) * | 2019-05-28 | 2020-12-03 | 三菱電機株式会社 | Work supporting system, work supporting method and program |
| WO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | パナソニックＩｐマネジメント株式会社 | Projection system and projection method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
| JP2015197486A (en) * | 2014-03-31 | 2015-11-09 | 大日本印刷株式会社 | Terminal device |
-
2016
- 2016-11-07 JP JP2016217181A patent/JP6812755B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
| JP2015197486A (en) * | 2014-03-31 | 2015-11-09 | 大日本印刷株式会社 | Terminal device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020020887A (en) * | 2018-07-30 | 2020-02-06 | 日本電気通信システム株式会社 | Information display device, method for displaying information, and program |
| JP7239138B2 (en) | 2018-07-30 | 2023-03-14 | 日本電気通信システム株式会社 | INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY METHOD AND PROGRAM |
| WO2020240918A1 (en) * | 2019-05-28 | 2020-12-03 | 三菱電機株式会社 | Work supporting system, work supporting method and program |
| JPWO2020240918A1 (en) * | 2019-05-28 | 2021-11-18 | 三菱電機株式会社 | Work support system, work support method and program |
| WO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | パナソニックＩｐマネジメント株式会社 | Projection system and projection method |
| JPWO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | ||
| JP7262022B2 (en) | 2019-08-28 | 2023-04-21 | パナソニックＩｐマネジメント株式会社 | Projection system and projection method |
| US11812203B2 (en) | 2019-08-28 | 2023-11-07 | Panasonic Intellectual Property Management Co., Ltd. | Projection system and projection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6812755B2 (en) | 2021-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6642968B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6107081B2 (en) | Image processing apparatus, image processing method, and program | |
| EP2825841B1 (en) | Method, device and computer programme for extracting information about a staircase | |
| JP6007497B2 (en) | Image projection apparatus, image projection control apparatus, and program | |
| JP7017689B2 (en) | Information processing equipment, information processing system and information processing method | |
| JP6807268B2 (en) | Image recognition engine linkage device and program | |
| JP2019132664A (en) | Vehicle position estimating device, vehicle position estimating method, and vehicle position estimating program | |
| JP2018077560A (en) | Information projection device, information projection method, and information projection program | |
| JP5205366B2 (en) | Movable area extraction apparatus, movable area extraction system, movable area extraction method, and program | |
| JP2016091457A (en) | Input device, fingertip-position detection method, and computer program for fingertip-position detection | |
| JP2013003970A (en) | Object coordinate system conversion device, object coordinate system conversion method and object coordinate system conversion program | |
| Fransen et al. | Using vision, acoustics, and natural language for disambiguation | |
| JP2018205950A (en) | Environment map generation apparatus for estimating self vehicle position, self vehicle position estimation device, environment map generation program for estimating self vehicle position, and self vehicle position estimation program | |
| WO2016084142A1 (en) | Work assistance system and work assistance method | |
| JP2019159389A (en) | Information processing device, information processing method, and recording medium | |
| JP5168134B2 (en) | ENVIRONMENTAL MAP GENERATION PROGRAM, ENVIRONMENTAL MAP GENERATION METHOD, AND MOBILE ROBOT | |
| JP2011112507A (en) | Apparatus and method for three-dimensional position measurement | |
| CN109579745A (en) | Novel house Area computing method based on augmented reality and cell phone software | |
| JP5530391B2 (en) | Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program | |
| KR101792701B1 (en) | Apparatus and method for inspecting drawing | |
| JP5620741B2 (en) | Information processing apparatus, information processing method, and program | |
| KR20230013850A (en) | Method and device for providing global map using a single image | |
| KR101559586B1 (en) | Apparatus and method for guiding information using augmented reality | |
| WO2021024665A1 (en) | Information processing system, information processing device, and information processing method | |
| NL2021702B1 (en) | Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6812755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |