JP2018077560A - Information projection device, information projection method, and information projection program - Google Patents
Information projection device, information projection method, and information projection program Download PDFInfo
- Publication number
- JP2018077560A JP2018077560A JP2016217181A JP2016217181A JP2018077560A JP 2018077560 A JP2018077560 A JP 2018077560A JP 2016217181 A JP2016217181 A JP 2016217181A JP 2016217181 A JP2016217181 A JP 2016217181A JP 2018077560 A JP2018077560 A JP 2018077560A
- Authority
- JP
- Japan
- Prior art keywords
- work
- projection
- information
- area
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Projection Apparatus (AREA)
- General Factory Administration (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、情報投影装置、情報投影方法及び情報投影プログラムに関する。 The present invention relates to an information projection apparatus, an information projection method, and an information projection program.
従来より、部品の取り付け作業等を行う作業者のために、作業領域(例えば、部品の取り付け位置近傍)に、作業手順や作業方法等の作業指示を投影することで、プロジェクション型の拡張現実感を実現する投影システムが知られている。当該投影システムの場合、作業者の近くにディスプレイ等を設置して作業指示を表示する他のシステムのように、作業者が、現実の作業領域とディスプレイとを見比べて確認する必要がないため、作業領域から大きく視点をずらすこともない。このため、作業者は部品の取り付け作業等において高い作業効率を実現できる。 Conventionally, projection-type augmented reality is realized by projecting work instructions such as work procedures and work methods onto a work area (for example, in the vicinity of a part attachment position) for a worker who performs a part installation work or the like. A projection system that realizes the above is known. In the case of the projection system, unlike other systems that display a work instruction by installing a display etc. near the worker, it is not necessary for the worker to check the actual work area against the display, The viewpoint is not greatly shifted from the work area. For this reason, the worker can realize high work efficiency in the parts attaching work and the like.
しかしながら、上記投影システムの場合、取り付け位置がプロジェクタの死角領域に含まれていた場合には、作業領域に作業指示を投影することができず、例えば、プロジェクタと作業領域との間の面(死角の原因となる面)に、作業指示が投影されることになる。このような場合、作業者は、作業指示を確認するために、一旦、作業領域から視点を大きくずらす必要があり、作業効率が低下する。 However, in the case of the above projection system, when the attachment position is included in the blind spot area of the projector, the work instruction cannot be projected onto the work area. For example, the surface (dead angle) between the projector and the work area cannot be projected. The work instruction is projected onto the surface causing the above. In such a case, in order to confirm the work instruction, the worker has to once largely shift the viewpoint from the work area, and work efficiency is reduced.
一つの側面では、作業者の作業効率が低下するのを回避可能な技術を提供することを目的とする。 In one aspect, an object of the present invention is to provide a technique capable of avoiding a reduction in work efficiency of an operator.
一態様によれば、情報投影装置は、
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部とを有することを特徴とする。
According to one aspect, the information projection device comprises:
A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
And a control unit that controls the output device to project the work instruction onto the projection target determined by the determination unit.
作業者の作業効率が低下するのを回避可能な技術を提供することができる。 It is possible to provide a technique capable of avoiding a reduction in work efficiency of the worker.
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。 Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.
[第1の実施形態]
<投影システムのシステム構成>
はじめに、第1の実施形態に係る投影システムのシステム構成について説明する。図1は、投影システムのシステム構成の一例を示す第1の図である。
[First Embodiment]
<System configuration of projection system>
First, the system configuration of the projection system according to the first embodiment will be described. FIG. 1 is a first diagram illustrating an example of a system configuration of a projection system.
図1に示すように、投影システム100は、出力装置の一例であるプロジェクタ装置110と、距離測定装置120と、情報投影装置の一例である情報処理装置130とを有する。プロジェクタ装置110及び距離測定装置120と、情報処理装置130とは、通信ケーブル131、132を介して通信可能に接続される。また、プロジェクタ装置110及び距離測定装置120は、作業台150の上方に設置される。
As illustrated in FIG. 1, the
プロジェクタ装置110は、作業台150の上面を含む所定領域を投影範囲としており、作業対象物140内の所定の取り付け位置に取り付け部品を取り付けるための「作業指示」を含む投影画像データを、所定の投影対象に投影する。図1に示すように、プロジェクタ装置110は、点111を原点とするプロジェクタ3次元座標系(Xp軸、Yp軸、Zp軸)を有している。
The
距離測定装置120は、作業台150の上面を含む所定領域を測定範囲として測定を行い、距離画像データを生成する。図1に示すように、距離測定装置120は、点121を原点とする距離測定装置3次元座標系(Xd軸、Yd軸、Zd軸)を有している。
The
情報処理装置130は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置110が投影する際の投影対象を決定する。情報処理装置130は、距離測定装置120から送信される距離画像データに基づいて投影対象を決定する。また、情報処理装置130は、情報投影プログラムを実行することで、決定した投影対象に投影画像データが投影されるよう、プロジェクタ装置110を制御する。
The
作業対象物140は、作業者180が作業を行う対象となる物品であり、作業者180によって内部の所定の取り付け位置に取り付け部品が取り付けられる。第1の実施形態において、作業対象物140は、矢印160に略直交する所定面が開放されており、作業者180は、矢印160に沿って作業対象物140にアクセスすることで、取り付け部品を内部の所定の取り付け位置に取り付ける取り付け作業を行う。なお、図1に示すように、作業対象物140には、点141を原点とする対象物3次元座標系(Xo軸、Yo軸、Zo軸)が定義されている。
The
作業台150は、作業対象物140が載置される台である。作業台150には、点151を原点とする3次元世界座標系(Xw、Yw、Zw)が定義されている。作業者180が作業を行う作業空間内の任意の位置は、3次元世界座標系(Xw、Yw、Zw)により表すことができる。
The work table 150 is a table on which the
また、作業台150には、所定の指示を入力するための指示ボタン170が取り付けられている。第1の実施形態において、指示ボタン170は、作業者180が、次の作業指示を含む投影画像データの投影指示を、情報処理装置130に対して行う際に用いられる。
The work table 150 is provided with an
<情報処理装置のハードウェア構成>
次に、情報処理装置130のハードウェア構成について説明する。図2は、情報処理装置のハードウェア構成の一例を示す図である。
<Hardware configuration of information processing device>
Next, the hardware configuration of the
図2に示すように、情報処理装置130は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、補助記憶装置204を有する。また、情報処理装置130は、操作装置205、I/F(Interface)装置206、ドライブ装置207を有する。なお、情報処理装置130の各部は、バス208を介して相互に接続されている。
As illustrated in FIG. 2, the
CPU201は、補助記憶装置204にインストールされた各種プログラム(例えば、情報投影プログラム等)を実行するコンピュータである。ROM202は、不揮発性メモリである。ROM202は、補助記憶装置204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ROM202はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
The
RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリであり、主記憶装置として機能する。RAM203は、補助記憶装置204に格納された各種プログラムをCPU201が実行する際に展開する、作業領域を提供する。
The
補助記憶装置204は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する。
The
操作装置205は、情報処理装置130の管理者が情報処理装置130に対して各種指示を入力するためのデバイスである。
The
I/F装置206は、プロジェクタ装置110及び距離測定装置120と、情報処理装置130とを通信ケーブル131、132を介して通信可能に接続する。また、I/F装置206は、指示ボタン170からの指示信号を受信する。
The I /
ドライブ装置207は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
The
なお、補助記憶装置204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ装置207にセットされ、該記録媒体210に記録された各種プログラムがドライブ装置207により読み出されることでインストールされる。
The various programs stored in the
<情報処理装置の機能構成>
次に、情報投影プログラムが実行されることで実現される情報処理装置130の機能構成について説明する。図3は、情報処理装置の機能構成の一例を示す第1の図である。
<Functional configuration of information processing apparatus>
Next, a functional configuration of the
図3に示すように、情報処理装置130は、画像データ取得部310、手検出部320、手先位置推定部330、投影変換部340、対象物検出部350、死角判定部360、投影対象決定部370、切替部380、投影制御部390を有する。
As illustrated in FIG. 3, the
画像データ取得部310は、所定周期で距離測定装置120より距離画像データを取得する。画像データ取得部310は、取得した距離画像データを手検出部320及び対象物検出部350に通知する。
The image
手検出部320は、距離画像データより、作業者180の手領域(作業者180の上腕から手先までの領域)を検出する。図1で示したように、作業者180は、矢印160に沿って作業対象物140にアクセスする。また、第1の実施形態において画像データ取得部310により取得される距離画像データは、Xp軸方向が上下方向に対応し、Yp軸方向が左右方向に対応する。したがって、手検出部320は、距離画像データ内の画像下端から画像上端方向に延びる所定形状の領域を、手領域として検出する。また、手検出部320は、検出した手領域の情報(手領域情報(3次元世界座標系))を手先位置推定部330に通知する。
The
手先位置推定部330は、手領域情報に基づいて、作業者情報記憶部393に登録された、当該作業者180の作業者情報を参照することで、当該作業者180の手先位置(3次元世界座標系)を推定する。手先位置推定部330は、推定した手先位置を、投影変換部340に通知する。また、手先位置推定部330は、手検出部320より通知された手領域情報を、投影対象決定部370に通知する。
The hand
対象物検出部350は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状を算出する。また、作業対象情報記憶部391に登録された各作業対象物のうち、切替部380から通知された対象物IDに対応する作業対象物140の形状を読み出し、距離画像データより抽出した各物体の中から、形状が一致する物体を作業対象物140として特定する。また、対象物検出部350は、作業対象物140として特定した物体の位置及び姿勢を算出し、対象物位置姿勢情報(3次元世界座標系)を死角判定部360に通知する。更に、対象物検出部350は、距離画像データを死角判定部360に通知する。
The target
死角判定部360は、作業指示情報記憶部394を参照し、切替部380から通知された作業ステップに対応する、取り付け部品の取り付け位置を特定する。また、死角判定部360は、デバイス情報記憶部392を参照し、プロジェクタ装置110の設置位置の座標を取得する。そして、死角判定部360は、取り付け部品の取り付け位置と、プロジェクタ装置110の設置位置との間の物体の有無を、距離画像データに基づいて検証し、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれるか否かを判定する。更に、死角判定部360は、判定結果を取り付け位置(3次元世界座標系)とともに投影対象決定部370に通知する。
The blind spot determination unit 360 refers to the work instruction
投影対象決定部370は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部370は、死角判定部360より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象として決定する。作業領域とは、取り付け部品が取り付けられる取り付け位置を含む所定の領域を指す。この場合、投影対象決定部370は、作業領域を投影対象とする決定結果を投影変換部340に通知する。また、投影対象決定部370は、作業領域をプロジェクタ3次元座標系に変換した投影先情報を、投影制御部390に通知する。更に、投影対象決定部370は、取り付け位置(3次元世界座標系)を投影変換部340に通知する。
The projection target determining unit 370 determines a projection target on which projection image data including a work instruction is projected. When the projection target determining unit 370 receives a determination result indicating that the attachment position of the attachment component is not included in the blind spot area from the blind spot determining unit 360, the projection target determining unit 370 determines the work area as the projection target. The work area refers to a predetermined area including an attachment position where an attachment component is attached. In this case, the projection target determination unit 370 notifies the
一方、死角判定部360より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部370は、手領域情報により特定される手領域を投影対象に決定する。この場合、投影対象決定部370は、手領域を投影対象とする決定結果を投影変換部340に通知する。また、投影対象決定部370は、手領域をプロジェクタ3次元座標系に変換した投影先情報を、投影制御部390に通知する。更に、投影対象決定部370は、取り付け位置(3次元世界座標系)を投影変換部340に通知する。
On the other hand, when the determination result that the attachment position of the attachment component is included in the blind spot area is received from the blind spot determination unit 360, the projection target determination unit 370 determines the hand region specified by the hand region information as the projection target. To do. In this case, the projection target determination unit 370 notifies the
投影変換部340は、切替部380より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部390に通知する。なお、投影変換部340は、投影対象決定部370より、手領域を投影対象とする決定結果が通知されていた場合には、次のように機能する。
The
すなわち、投影変換部340は、投影対象決定部370より通知された取り付け位置(3次元世界座標系)と、手先位置推定部330より通知された手先位置(3次元世界座標系)とに基づき、取り付け位置と手先位置との相対的な位置関係を算出する。また、投影変換部340は、切替部380より通知された作業指示情報を簡略化したうえで、算出した相対的な位置関係を反映することで投影画像データを生成し、手領域に応じたサイズに調整したうえで投影制御部390に通知する。
That is, the
切替部380は、指示ボタン170から受信した指示信号に基づいて作業ステップを特定し、特定した作業ステップに基づいて、作業指示情報記憶部394を参照する。これにより、切替部380は、作業者180により指示された作業ステップに対応する対象物IDを識別し、対象物検出部350に通知する。また、切替部380は、作業者180により指示された作業ステップを死角判定部360に通知する。更に、切替部380は、作業者180により指示された作業ステップを含む作業指示情報を投影変換部340に通知する。
The
投影制御部390は、投影変換部340より通知された投影画像データを、プロジェクタ装置110に送信する。また、投影制御部390は、投影対象決定部370より通知された投影先情報(プロジェクタ3次元座標系)により特定される投影対象に投影されるよう、プロジェクタ装置110を制御する。
<各種情報記憶部に格納されるテーブル>
次に、各種情報記憶部(作業対象情報記憶部391、デバイス情報記憶部392、作業者情報記憶部393、作業指示情報記憶部394)に格納されるテーブルについて説明する。
<Tables stored in various information storage units>
Next, tables stored in various information storage units (work object
はじめに、作業対象情報記憶部391に格納される作業対象物情報テーブルについて説明する。図4は、各種情報記憶部に格納されるテーブルを示す図である。このうち、図4(a)は、作業対象情報記憶部391に格納される作業対象物情報テーブルの一例を示す図である。
First, the work object information table stored in the work object
図4(a)に示すように、作業対象物情報テーブル410は情報の項目として、“対象物ID”、“対象物名称”、“対象物形状”、“形状特徴量”を含む。“対象物ID”には、作業対象物140を識別する識別子が格納される。“対象物名称”には、作業対象物140の名称が格納される。“対象物形状”には、作業対象物140の形状を示す情報が格納される。“形状特徴量”には、作業対象物140の形状を示す情報に基づいて算出された特徴量が格納される。
As shown in FIG. 4A, the work object information table 410 includes “object ID”, “object name”, “object shape”, and “shape feature” as information items. The “object ID” stores an identifier for identifying the
続いて、作業者情報記憶部393に格納される作業者情報テーブルについて説明する。図4(b)は、作業者情報記憶部393に格納される作業者情報テーブルの一例を示す図である。
Next, the worker information table stored in the worker
図4(b)に示すように、作業者情報テーブル420は情報の項目として、“作業者ID”、“身長”、“手の長さ”、“手の太さ”、“手形状のモデル”を含む。“作業者ID”には、作業者180を識別する識別子が格納される。“身長”、“手の長さ”、“手の太さ”には、作業者IDにより識別される作業者180の身長、手の長さ、手の太さが格納される。“手形状のモデル”には、作業者180の身長、手の長さ、手の太さにより特定される手形状のモデルが格納される。
As shown in FIG. 4B, the worker information table 420 includes information items such as “worker ID”, “height”, “hand length”, “hand thickness”, and “hand shape model”. "including. In “worker ID”, an identifier for identifying the
続いて、作業指示情報記憶部394に格納される作業指示情報テーブルについて説明する。図4(c)は、作業指示情報記憶部394に格納される作業指示情報テーブルの一例を示す図である。
Next, the work instruction information table stored in the work instruction
図4(c)に示すように、作業指示情報テーブル430は情報の項目として、“対象物ID”、“作業ステップ”、“取り付け位置”、“取り付け位置名称”、“取り付け位置画像”、“取り付け部品”、“取り付け部品画像”を含む。 As shown in FIG. 4C, the work instruction information table 430 includes information items such as “object ID”, “work step”, “attachment position”, “attachment position name”, “attachment position image”, “ "Mounting part", "Mounting part image".
“対象物ID”には、作業対象物140を識別する識別子が格納される。“作業ステップ”には、作業対象物140に対して行われる各作業ステップを示すステップ番号が格納される。
The “object ID” stores an identifier for identifying the
“取り付け位置”には、対応する“作業ステップ”において取り付け部品を取り付ける位置の座標が格納される。“取り付け位置”に格納される座標は、点141を原点とする対象物3次元座標系(Xo軸、Yo軸、Zo軸)に基づく座標である。なお、対象物検出部350が、点141の3次元世界座標系の座標を算出するとともに、作業対象物140の姿勢を算出することで、死角判定部360は、取り付け位置の座標を、他の座標系に基づく座標に変換することができる。
The “attachment position” stores the coordinates of the attachment position of the attachment component in the corresponding “work step”. The coordinates stored in the “attachment position” are coordinates based on an object three-dimensional coordinate system ( Xo axis, Yo axis, Zo axis) having the point 141 as an origin. Note that the
“取り付け位置名称”には、取り付け部品を取り付ける位置の名称が格納される。“取り付け位置画像”には、取り付け部品を取り付ける位置の画像が格納される。 In “attachment position name”, the name of the position where the attachment component is attached is stored. The “attachment position image” stores an image of a position where the attachment component is attached.
“取り付け部品”には、取り付け部品の名称が格納される。“取り付け部品画像”には、取り付け部品の画像が格納される。 In “attachment part”, the name of the attachment part is stored. The “attachment part image” stores an image of the attachment part.
続いて、デバイス情報記憶部392に格納されるデバイス情報テーブルについて説明する。図5は、各情報記憶部に格納されるテーブルの一例を示す第2の図である。このうち、図5(a)は、デバイス情報記憶部392に格納される距離測定装置情報テーブルの一例を示す図である。
Next, a device information table stored in the device
図5(a)に示すように、距離測定装置情報テーブル510は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。 As shown in FIG. 5A, the distance measuring device information table 510 includes “parameter name”, “content”, and “value” as information items.
“パラメータ名”には、距離測定装置120の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
“Parameter name” stores names of various parameters indicating attributes of the
一方、図5(b)は、デバイス情報記憶部392に格納されるプロジェクタ装置情報テーブルの一例を示す図である。プロジェクタ装置情報テーブル520が有する情報の項目は、距離測定装置情報テーブル510が有する情報の項目と同じであるため、ここでは説明を省略する。
On the other hand, FIG. 5B is a diagram illustrating an example of a projector apparatus information table stored in the device
デバイス情報記憶部392に格納された距離測定装置情報テーブル510、プロジェクタ装置情報テーブル520、対象物位置姿勢情報を参照することで、情報処理装置130は、
・プロジェクタ3次元座標系、距離測定装置3次元座標系、対象物3次元座標系、3次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置3次元座標系の座標との間の座標変換、及び、
・投影画像データ上の座標とプロジェクタ3次元座標系の座標との間の座標変換、
を実現する。
By referring to the distance measuring device information table 510, the projector device information table 520, and the object position and orientation information stored in the device
・ Coordinate conversion between projector 3D coordinate system, distance measuring device 3D coordinate system, object 3D coordinate system, 3D world coordinate system,
-Coordinate conversion between the coordinates on the distance image data and the coordinates of the distance measuring device 3D coordinate system, and
-Coordinate conversion between the coordinates on the projection image data and the coordinates of the projector three-dimensional coordinate system,
Is realized.
<投影処理の流れ>
次に、情報投影プログラムが実行されることで実現される情報処理装置130の投影処理の流れについて説明する。図6は、投影処理のフローチャートである。投影システム100が起動され、作業対象物140が作業台150に載置された状態で、例えば、指示ボタン170が操作されることで、図6に示すフローチャートが情報処理装置130において実行される。なお、指示ボタン170が操作されることで、切替部380は、対象物IDを対象物検出部350に、作業ステップを死角判定部360に、作業指示情報を投影変換部340に、それぞれ通知しているものとする。
<Flow of projection processing>
Next, a flow of projection processing of the
ステップS601において、画像データ取得部310は、距離測定装置120より送信された距離画像データを取得する。
In step S <b> 601, the image
ステップS602において、対象物検出部350は対象物検出処理を実行し、画像データ取得部310にて取得された距離画像データに基づいて、作業対象物140を検出し、対象物位置姿勢情報を死角判定部360に通知する。
In step S602, the
ステップS603において、手検出部320は手領域検出処理を実行し、画像データ取得部310にて取得された距離画像データに基づいて、手領域を検出し、手領域情報を手先位置推定部330に通知する。
In step S <b> 603, the
ステップS604において、手先位置推定部330、死角判定部360、投影対象決定部370、投影変換部340は、調整処理を実行することで、投影画像データ及び投影先情報を生成し、投影制御部390に通知する。
In step S604, the hand
ステップS605において、投影制御部390は、投影画像データをプロジェクタ装置110に送信するとともに、投影先情報に基づいて、プロジェクタ装置110による投影画像データの投影対象への投影を制御する。
In step S605, the
以下、上記投影処理のステップS602(対象物検出処理)、ステップS603(手領域検出処理)、ステップS604(調整処理)の詳細について説明する。 The details of step S602 (object detection processing), step S603 (hand region detection processing), and step S604 (adjustment processing) of the projection processing will be described below.
<対象物検出処理(ステップS602)の詳細>
図7は、対象物検出処理の第1のフローチャートである。ステップS701において、対象物検出部350は、作業対象情報記憶部391に格納された作業対象物情報テーブル410を参照し、切替部380より通知された対象物IDに対応する形状特徴量を読み出すことで、作業対象物140の形状を識別する。
<Details of Object Detection Process (Step S602)>
FIG. 7 is a first flowchart of the object detection process. In step S <b> 701, the
ステップS702において、対象物検出部350は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状特徴量を算出する。また、対象物検出部350は、抽出した各物体の形状特徴量と、作業対象物140の形状特徴量とを用いて、特徴点マッチングを行う。これにより、対象物検出部350は、抽出した各物体の中から、作業対象物140を抽出する。
In step S702, the target
ステップS703において、対象物検出部350は、ステップS702において抽出された作業対象物140の位置及び姿勢を3次元世界座標系により特定する。また、対象物検出部350は、特定した作業対象物140の位置及び姿勢を示す対象物位置姿勢情報(3次元世界座標系)を死角判定部360に通知する。
In step S703, the
<手領域検出処理(ステップS602)の詳細>
図8は、手領域検出処理のフローチャートである。ステップS801において、手検出部320は、背景距離画像データ820を補助記憶装置204より読み出す。背景距離画像データ820とは、作業者180が作業を開始する前に距離測定装置120により測定された距離画像データである。具体的には、背景距離画像データ820とは、作業台150上に作業対象物140が載置されておらず、かつ、作業者180の手が距離測定装置120の測定範囲に含まれていない状態で測定され、補助記憶装置204に格納された距離画像データを指す。
<Details of Hand Region Detection Processing (Step S602)>
FIG. 8 is a flowchart of the hand region detection process. In step S <b> 801, the
手検出部320は、画像データ取得部310より通知された距離画像データ810と、補助記憶装置204より読み出した背景距離画像データ820との差分を算出することで、差分画像データ830を生成する。
The
ステップS802において、手検出部320は、差分画像データ830から、対象物検出部350により既に検出されている作業対象物140の領域を除去することで、差分画像データ840を生成する。
In step S <b> 802, the
ステップS803において、手検出部320は、差分画像データ840において、画像下端から画像上端に向かって延びる領域を検出する。図8において、差分画像データ850は、画像下端から画像上端に向かって延びる領域を検出した様子を示している。
In step S803, the
ステップS804において、手検出部320は、作業者情報テーブル420を参照し、差分画像データ850に対して、手形状のモデルをフィッティングすることで、手の形状を特定する。また、手検出部320は、特定した手の形状を含む手領域の情報(3次元世界座標系)を、手領域情報として、手先位置推定部330に通知する。
In step S <b> 804, the
なお、手形状のモデルをフィッティングできなかった場合、手検出部320は、ステップS803において検出した手領域を、手領域情報として手先位置推定部330に通知する。また、手検出部320は、手形状のモデルをフィッティングできなかった(手形状が特定できなかった)ことを、手先位置推定部330に通知する。手形状のモデルをフィッティングできなかった場合とは、例えば、作業者180の手の一部が、距離測定装置120から見て作業対象物140の陰に隠れてしまっている場合等が挙げられる。
When the hand shape model cannot be fitted, the
<調整処理(ステップS604)の詳細>
図9は、調整処理のフローチャートである。ステップS901において、死角判定部360は、作業指示情報記憶部394の作業指示情報テーブル430を参照し、切替部380より通知された作業ステップに対応する取り付け部品の取り付け位置(対象物3次元座標系)を識別する。
<Details of Adjustment Process (Step S604)>
FIG. 9 is a flowchart of the adjustment process. In step S <b> 901, the blind spot determination unit 360 refers to the work instruction information table 430 of the work instruction
ステップS902において、死角判定部360は、取り付け部品の取り付け位置が、プロジェクタ装置110から見て、死角領域に含まれるか否かを判定する。
In step S <b> 902, the blind spot determination unit 360 determines whether or not the attachment position of the attachment component is included in the blind area as viewed from the
ステップS903において、死角判定部360は、死角領域に含まれるか否かの判定結果(ステップS902の判定結果)に基づいて、投影画像データが、作業領域に投影可能か否かを判定する。ステップS903において、投影画像データが、作業領域に投影可能でないと判定した場合(ステップS903においてNo)、ステップS904に進む。 In step S903, the blind spot determination unit 360 determines whether the projection image data can be projected on the work area based on the determination result of whether or not the blind spot area is included (the determination result of step S902). If it is determined in step S903 that the projection image data cannot be projected onto the work area (No in step S903), the process proceeds to step S904.
ステップS904において、投影対象決定部370は、手領域を投影対象に決定し、決定結果を投影変換部340に通知する。また、投影対象決定部370は、死角領域判定処理(ステップS902)において算出された取り付け位置(3次元世界座標系)を、投影変換部340に通知する。更に、投影対象決定部370は、手領域情報(プロジェクタ3次元座標系)を生成し、投影先情報として投影制御部390に通知する。
In step S904, the projection target determining unit 370 determines the hand region as a projection target, and notifies the
ステップS905において、手先位置推定部330は手先位置推定処理を行い、手先位置(3次元世界座標系)を算出する。
In step S905, the hand
ステップS906において、投影変換部340は、投影対象決定部370より通知された取り付け部品の取り付け位置(3次元世界座標系)を取得する。また、投影変換部340は、手先位置推定部330により推定された手先位置(3次元世界座標系)と、取り付け位置(3次元世界座標系)とに基づいて、手先位置から取り付け位置までの距離及び方向を算出する。これにより、投影変換部340は、手先位置と取り付け位置との相対的な位置関係を示す相対位置情報を生成する。相対位置情報は、ここでは、手先位置を、どの方向にどのくらい移動させたらよいかを案内する情報である。
In step S <b> 906, the
ステップS907において、投影変換部340は、切替部380より通知された作業指示情報のうち、取り付け位置名称、取り付け位置画像、取り付け部品名、取り付け部品画像を取得し、簡略化した作業指示を生成する。
In step S907, the
ステップS908において、投影変換部340は、相対位置情報と簡略化した作業指示とを含む投影画像データを生成する。
In step S908, the
ステップS909において、投影変換部340は、生成した投影画像データを、投影対象のサイズ(手領域のサイズ)に応じたサイズに調整し、投影制御部390に通知する。
In step S909, the
一方、ステップS903において、投影画像データが、作業領域に投影可能であると判定した場合(ステップS903においてYes)、ステップS910に進む。 On the other hand, if it is determined in step S903 that the projection image data can be projected onto the work area (Yes in step S903), the process proceeds to step S910.
ステップS910において、投影対象決定部370は、作業領域を投影対象に決定し、決定結果を投影変換部340に通知する。また、投影対象決定部370は、作業領域(プロジェクタ3次元座標系)を生成し、投影先情報として投影制御部390に通知する。
In step S910, the projection target determining unit 370 determines the work area as a projection target and notifies the
ステップS911において、投影変換部340は、切替部380より通知された作業指示情報を取得する。また、投影変換部340は、取得した作業指示情報を含む投影画像データを生成し、投影制御部390に通知する。
In step S <b> 911, the
<死角領域判定処理(ステップS902)の詳細>
続いて、調整処理(図9)に含まれる各工程のうち、死角領域判定処理(ステップS902)の詳細について説明する。
<Details of Blind Spot Area Determination Process (Step S902)>
Next, details of the blind spot area determination process (step S902) among the processes included in the adjustment process (FIG. 9) will be described.
図10は、死角領域判定処理のフローチャートである。なお、図10に示す死角領域判定処理(ステップS902)を実行するにあたり、図9のステップS901では、死角判定部360が、作業対象物140内の取り付け位置(対象物3次元座標系)として、(Xo1,Yo1,Zo1)を取得しているものとする。
FIG. 10 is a flowchart of the blind spot area determination process. In executing the blind spot area determination process (step S902) shown in FIG. 10, in step S901 of FIG. 9, the blind spot determination unit 360 is set as an attachment position (target object three-dimensional coordinate system) in the
ステップS1001において、死角判定部360は、作業対象物140内の取り付け位置(対象物3次元座標系)の座標(Xo1,Yo1,Zo1)を、点111を原点とするプロジェクタ3次元座標系の座標(Xp1,Yp1,Zp1)に変換する。
In step S <b> 1001, the blind spot determination unit 360 uses the coordinates (X o1 , Y o1 , Z o1 ) of the attachment position (object three-dimensional coordinate system) in the
変換に際しては、まず、対象物検出部350より通知された対象物位置姿勢情報(3次元世界座標系)を用いて、作業対象物140内の取り付け位置(対象物3次元座標系)の座標(Xo1,Yo1,Zo1)を3次元世界座標系の座標に変換する。その後、死角判定部360は、プロジェクタ装置情報テーブル520を参照することで、取り付け位置(3次元世界座標系)の座標を、プロジェクタ3次元座標系の座標(Xp1,Yp1,Zp1)に変換する。
In the conversion, first, using the object position / posture information (three-dimensional world coordinate system) notified from the
更に、死角判定部360は、プロジェクタ装置情報テーブル520を参照することで、プロジェクタ3次元座標系の座標(Xp1,Yp1,Zp1)に変換した取り付け位置を、投影画像データの座標(xp1,yp1)に変換する。 Furthermore, the blind spot determination unit 360 refers to the projector device information table 520 to convert the attachment position converted into the coordinates (X p1 , Y p1 , Z p1 ) of the projector three-dimensional coordinate system into the coordinates (x p1 , y p1 ).
ステップS1002において、死角判定部360は、プロジェクタ3次元座標系において、取り付け位置を、Zp軸のマイナス方向に移動させた(プロジェクタ装置110方向に移動させた)場合の座標Zp2を算出する。 In step S1002, the blind spot determination unit 360 calculates a coordinate Z p2 when the attachment position is moved in the negative direction of the Z p axis (moved in the direction of the projector device 110) in the projector three-dimensional coordinate system.
ステップS1003において、死角判定部360は、座標Zp2が0より大きいか否かを判定する。ステップS1003において、座標Zp2が0より大きいと判定した場合(ステップS1003においてYes)、ステップS1004に進む。 In step S1003, the blind spot determination unit 360 determines whether the coordinate Zp2 is greater than zero. If it is determined in step S1003 that the coordinate Zp2 is greater than 0 (Yes in step S1003), the process proceeds to step S1004.
ステップS1004において、死角判定部360は、プロジェクタ装置情報テーブル520を参照する。これにより、死角判定部360は、投影画像データの座標が(xp1,yp1)であって、Zp軸の座標がZp2となる、プロジェクタ3次元座標系の座標(Xp2,Yp2,Zp2)を取得する。 In step S1004, the blind spot determination unit 360 refers to the projector apparatus information table 520. Thus, the blind spot determining section 360, a coordinate of the projection image data (x p1, y p1), the coordinates of the Z p axis is Z p2, projector three-dimensional coordinate system of coordinates (X p2, Y p2 , Z p2 ).
ステップS1005において、死角判定部360は、プロジェクタ3次元座標系の座標(Xp2,Yp2,Zp2)を、点121を原点とする距離測定装置3次元座標系の座標(Xd2,Yd2,Zd2)に変換する。
In step S1005, the blind spot determination unit 360 uses the coordinates (X p2 , Y p2 , Z p2 ) of the projector three-dimensional coordinate system and the coordinates (X d2 , Y d2 ) of the distance measuring device three-dimensional coordinate system with the
変換に際しては、まず、プロジェクタ装置情報テーブル520を参照することで、プロジェクタ3次元座標系の座標(Xp2,Yp2,Zp2)を、3次元世界座標系の座標に変換する。その後、死角判定部360は、距離測定装置情報テーブル510を参照することで、3次元世界座標系の座標を、距離測定装置3次元座標系の座標(Xp2,Yp2,Zp2)に変換する。 In the conversion, first, by referring to the projector device information table 520, the coordinates ( Xp2 , Yp2 , Zp2 ) of the projector three-dimensional coordinate system are converted into the coordinates of the three-dimensional world coordinate system. Thereafter, the blind spot determination unit 360 converts the coordinates of the three-dimensional world coordinate system into the coordinates (X p2 , Y p2 , Z p2 ) of the distance measurement device three-dimensional coordinate system by referring to the distance measurement device information table 510. To do.
更に、死角判定部360は、距離測定装置情報テーブル510を参照することで、距離測定装置3次元座標系の座標(Xd2,Yd2,Zd2)を、距離画像データの座標(xd2,yd2)に変換する。 Further, the blind spot determination unit 360 refers to the distance measuring device information table 510 to convert the coordinates (X d2 , Y d2 , Z d2 ) of the distance measuring device three-dimensional coordinate system into the coordinates (x d2 , y d2 ).
ステップS1006において、死角判定部360は、画像データ取得部310が取得した現在の距離画像データ上の座標(xd2,yd2)における距離データZd3を取得する。
In step S1006, the blind spot determination unit 360 acquires the distance data Z d3 at the coordinates (x d2 , y d2 ) on the current distance image data acquired by the image
ステップS1007において、死角判定部360は、距離データZd3が座標Zd2と等しいか否かを判定する。ステップS1007において、距離データZd3が座標Zd2と等しいと判定した場合(ステップS1007においてYes)、ステップS1009に進む。 In step S1007, the blind spot determination unit 360 determines whether or not the distance data Z d3 is equal to the coordinate Z d2 . If it is determined in step S1007 that the distance data Z d3 is equal to the coordinate Z d2 (Yes in step S1007), the process proceeds to step S1009.
ステップS1009において、死角判定部360は、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれると判定する。
In step S <b> 1009, the blind spot determination unit 360 determines that the attachment position of the attachment component is included in the blind area as viewed from the
一方、ステップS1007において、距離データZd3が座標Zd2と等しくないと判定した場合(ステップS1007においてNo)、ステップS1008に進む。 On the other hand, when it is determined in step S1007 that the distance data Z d3 is not equal to the coordinate Z d2 (No in step S1007), the process proceeds to step S1008.
ステップS1008において、死角判定部360は、取り付け部品の取り付け位置を、Zp軸のマイナス方向に移動させた(プロジェクタ装置110方向に移動させた)場合の座標Zp2を算出する。死角判定部360は、その後、ステップS1003に戻り、Zp2が0になるまで、ステップS1003からステップS1008の処理を繰り返す。
In step S1008, the blind spot determining section 360, the mounting position of the mounting parts, and calculates the coordinates Z p2 of when moving in the negative direction of Z p axis (moved to the
ステップS1003において、Zp2が0になったと判定した場合(ステップS1003においてNo)、ステップS1010に進む。 In step S1003, when it is determined that Z p2 becomes 0 (No in step S1003), the process proceeds to step S1010.
ステップS1010において、死角判定部360は、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれないと判定する。
In step S <b> 1010, the blind spot determination unit 360 determines that the attachment position of the attachment component is not included in the blind area as viewed from the
このように、死角判定部360は、取り付け位置をプロジェクタ装置110に近づけていった場合に算出される、距離測定装置3次元座標系のZd軸の座標が、距離画像データの対応する位置のデータから導出されるZd軸の座標と一致するかを検証する。そして、一致する場合に、死角判定部360は、取り付け位置が死角領域に含まれると判定する。
In this way, the blind spot determination unit 360 calculates the coordinate of the Zd axis of the distance measuring device three-dimensional coordinate system calculated when the attachment position is close to the
図11は、死角領域判定処理の具体例を示す図である。図11に示すように、取り付け部品の取り付け位置1100と、点111とを結ぶ直線1110上に、物体が存在する場合、ステップS1007において、距離データZd3が座標Zd2(物体の位置のZd座標)と等しいと判定される。この場合、取り付け部品の取り付け位置1100は、プロジェクタ装置110から見て死角領域に含まれると判定される。
FIG. 11 is a diagram illustrating a specific example of the blind spot area determination process. As shown in FIG. 11, when an object exists on a straight line 1110 connecting the
一方、取り付け部品の取り付け位置1100と、点111とを結ぶ直線1110上に、物体が存在しない場合、ZP2が0になるまで、ステップS1007において、距離データZd3が座標Zd2と等しいと判定されることはない。この場合、取り付け部品の取り付け位置1100は、プロジェクタ装置110から見て死角領域に含まれないと判定される。
On the other hand, if there is no object on the straight line 1110 connecting the
<手先位置推定処理(ステップS904)の詳細>
次に、調整処理(図9)に含まれる各工程のうち、手先位置推定処理(ステップS904)の詳細について説明する。
<Details of Hand Position Estimation Processing (Step S904)>
Next, details of the hand position estimation process (step S904) among the processes included in the adjustment process (FIG. 9) will be described.
図12は、手先位置推定処理のフローチャートである。ステップS1201において、手先位置推定部330は、手検出部320において手形状が特定されたか否かを判定する。
FIG. 12 is a flowchart of the hand position estimation process. In step S1201, the hand
手形状が特定されている場合には(ステップS1201においてYes)、特定された手形状に基づいて手先位置が特定できるため、ステップS1206に進む。 If the hand shape is specified (Yes in step S1201), the hand position can be specified based on the specified hand shape, and the process advances to step S1206.
ステップS1206において、手先位置推定部330は、手検出部320より通知された手領域情報により特定される手領域の先端位置を、手先位置(3次元世界座標系)として特定する。
In step S1206, the hand
一方、手検出部320において手形状が特定されていなかった場合には(ステップS1201においてNo)、ステップS1202に進む。上述したように、手形状が特定できなかった場合とは、作業者180の手の一部が、距離測定装置120から見て作業対象物140の陰に隠れてしまっている場合である。したがって、ステップS1202において、手先位置推定部330は、作業者180の手先が作業対象物140によって隠れていると判定する。図12(b)の距離画像データ1210は、手先が作業対象物140によって隠れている様子を示している。
On the other hand, when the hand shape is not specified in the hand detection unit 320 (No in step S1201), the process proceeds to step S1202. As described above, the case where the hand shape cannot be specified is a case where a part of the hand of the
ステップS1203において、手先位置推定部330は、手検出部320により抽出された手領域に基づいて、手の向きを特定する。
In step S <b> 1203, the hand
ステップS1204において、手先位置推定部330は、特定した手の向きのもとで、手領域の輪郭の凹凸から、肘の位置を推定する。
In step S <b> 1204, the hand
ステップS1205において、手先位置推定部330は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置(3次元世界座標系)を推定する。図12(c)の距離画像データ1220は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置を推定した様子を示している。
In step S1205, the hand
<投影画像データの投影例>
続いて、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれると判定された場合の、投影画像データの投影例について説明する。
<Projection example of projection image data>
Subsequently, an example of projection of projection image data when it is determined that the attachment position of the attachment component is included in the blind spot area when viewed from the
図13は、投影画像データの投影例を示す図である。図13に示すように、作業者180の手1300には、取り付け位置名称1304、取り付け位置画像1301、取り付け部品名1306、取り付け部品画像1303が投影される。このように、投影対象が作業者180の手領域の場合、作業指示情報テーブル430に格納された作業指示情報の一部(簡略化した作業指示)を、手領域のサイズに調整して投影する。これにより、作業者180は、取り付ける部品と取り付ける位置とを容易に把握することができる。なお、簡略化した作業指示とは、作業指示情報の一部を抜粋した作業指示のほか、作業指示情報の内容を模式化した作業指示等が含まれるものとする。
FIG. 13 is a diagram illustrating an example of projection of projection image data. As illustrated in FIG. 13, an
また、作業者180の手1300には、取り付け部品画像1303から取り付け位置画像1301に向かう矢印1302が投影される。これにより、作業者180は、取り付け部品の取り付け位置に対する取り付け方向を容易に把握することができる。
Further, an
更に、作業者180の手1300には、相対位置情報1305が投影される。これにより、作業者180は、取り付け作業を行うために、手先位置をどの方向にどのくらいの距離移動させればよいかを容易に把握することができる。
Further,
<作業者が作業指示を確認する場合の動作例>
続いて、作業者180が作業指示を確認する場合の動作例について図14及び図15を用いて説明する。図14及び図15は、作業者が作業指示を確認する様子を示した第1及び第2の図である。
<Example of operation when worker confirms work instructions>
Next, an operation example when the
このうち、図14は、比較対象として、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれている場合に、作業対象物140の上面(死角の原因となる面)に、作業指示を含む投影画像データを投影した様子を示している。
Among these, FIG. 14 shows, as a comparison object, on the upper surface of the work object 140 (the surface that causes the blind spot) when the attachment position of the attachment component is included in the blind spot region as viewed from the
図14に示すように、作業対象物140の上面に作業指示を含む投影画像データを投影した場合、作業対象物140に対して作業を行っている状態(図14(a)のように、屈んでいる状態)から、作業指示を確認するために、直立する必要がある(図14(b))。
As shown in FIG. 14, when projection image data including a work instruction is projected on the upper surface of the
このように、プロジェクタ装置110と取り付け位置との間の領域に投影画像データを投影した場合、作業者180は、作業指示を確認するために、作業領域から一旦視点を大きくずらす必要があるため、取り付け作業時の作業者180の作業効率が低下する。
Thus, when projecting image data is projected onto the area between the
一方、図15は、取り付け部品の取り付け位置が、プロジェクタ装置110から見て死角領域に含まれている場合に、作業者180の手領域に、作業指示を含む投影画像データを投影した様子を示している。
On the other hand, FIG. 15 shows a state in which projection image data including a work instruction is projected onto the hand region of the
図15に示すように、作業者180の手領域に作業指示を含む投影画像データを投影した場合、作業対象物140に対して作業を行っている状態から、作業指示を確認するために、直立する必要がない。つまり、作業者180は、屈んだ状態のまま作業指示を確認することができる。
As shown in FIG. 15, when projection image data including a work instruction is projected onto the hand area of the
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である手領域に投影画像データを投影した場合、作業指示を確認するための作業者180の視点の移動距離は、図14の場合と比較して少なくて済む。この結果、取り付け作業時に作業者180の作業効率が低下するのを回避することができる。
As described above, when the projection image data is projected onto the hand area that is the area between the worker position and the attachment position during the attachment work, the movement distance of the viewpoint of the
以上の説明から明らかなように、第1の実施形態における投影システム100では、作業領域に作業指示を投影できない場合に、作業指示を含む投影画像データを、作業者の位置を作業領域との間であって、投影可能な領域である作業者の手領域に投影する。
As is clear from the above description, in the
これにより、作業領域に作業指示を投影することができない場合でも、作業指示を確認する際の作業者の視点の移動を少なくすることが可能となり、作業時に作業者の作業効率が低下するのを回避可能な技術を提供することができる。 As a result, even when the work instruction cannot be projected onto the work area, it is possible to reduce the movement of the worker's viewpoint when confirming the work instruction, which reduces the work efficiency of the worker during work. An avoidable technique can be provided.
[第2の実施形態]
上記第1の実施形態では、作業領域に作業指示を投影することができない場合に、作業者の手領域に作業指示を含む投影画像データを投影する場合について説明した。しかしながら、作業領域に作業指示を投影することができない場合の代替の投影対象は、作業者の手領域に限定されない。作業者の位置と作業領域との間の領域であれば、作業領域からの視点移動が少なくて済むことから、手領域以外の他の領域であってもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
[Second Embodiment]
In the first embodiment, the case where the projection image data including the work instruction is projected onto the worker's hand area when the work instruction cannot be projected onto the work area has been described. However, the alternative projection target when the work instruction cannot be projected onto the work area is not limited to the operator's hand area. Any region between the worker's position and the work region may be a region other than the hand region because the viewpoint movement from the work region is small. Hereinafter, the second embodiment will be described focusing on differences from the first embodiment.
<投影システムの適用例>
はじめに、第2の実施形態における投影システム100の適用例について説明する。図16は、第2の実施形態における投影システムの適用例を示す図である。
<Application example of projection system>
First, an application example of the
図16(a)に示すように、第2の実施形態における投影システム1600は、作業台150上に、作業対象物140に加えて、他の物体1601〜1603が置かれている環境において適用されるものとする。
As shown in FIG. 16A, the projection system 1600 according to the second embodiment is applied in an environment where
なお、図16(b)は、作業対象物140と他の物体1601〜1603との位置関係を、作業台150の上方から見た様子を示している。
FIG. 16B shows a state in which the positional relationship between the
<情報処理装置の機能構成>
次に、第2の実施形態における投影システム100の情報処理装置130の機能構成について説明する。図17は、情報処理装置の機能構成の一例を示す第2の図である。
<Functional configuration of information processing apparatus>
Next, a functional configuration of the
図3に示した機能構成との相違点は、手検出部320、手先位置推定部330を有していない点、投影先候補検出部1710を有している点である。また、図3に示した機能構成との相違点は、投影対象決定部1720及び投影変換部1730の機能が、図3の投影対象決定部370、投影変換部340とは異なっている点である。
The difference from the functional configuration shown in FIG. 3 is that the
投影先候補検出部1710は、作業指示を含む投影画像データを投影する投影先候補を検出する。投影先候補検出部1710は、距離画像データより、複数の物体を検出し、検出した複数の物体の中から、プロジェクタ装置110から見て死角領域に含まれない物体を投影先候補として抽出し、投影先候補情報として、投影対象決定部1720に通知する。
The projection destination
投影対象決定部1720は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部1720は、死角判定部360より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象に決定する。この場合、投影対象決定部1720は、作業領域を投影対象とする決定結果を投影変換部1730に通知する。また、投影対象決定部1720は、作業領域をプロジェクタ3次元座標系に変換した投影先情報を投影制御部390に通知する。
The projection target determination unit 1720 determines a projection target on which projection image data including a work instruction is projected. When the projection target determination unit 1720 receives a determination result from the blind spot determination unit 360 that the attachment position of the attachment component is not included in the blind spot area, the projection target determination unit 1720 determines the work area as the projection target. In this case, the projection target determination unit 1720 notifies the projection conversion unit 1730 of the determination result for setting the work area as the projection target. Further, the projection target determining unit 1720 notifies the
一方、死角判定部360より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部1720は、投影先候補検出部1710により通知された投影先候補情報の中から、1の投影先候補を投影対象に決定する。投影対象決定部1720は、1の投影先候補を投影対象に決定した決定結果を投影変換部1730に通知する。また、投影対象決定部1720は、死角判定部360により算出された取り付け位置(3次元世界座標系)を投影変換部1730に通知する。更に、投影対象決定部1720は、1の投影先候補を3次元世界座標系に変換した投影先情報を投影変換部1730に通知するとともに、1の投影先候補をプロジェクタ3次元座標系に変換した投影先情報を投影制御部390に通知する。
On the other hand, when the determination result that the attachment position of the attachment component is included in the blind spot area is received from the blind spot determination unit 360, the projection target determination unit 1720 notifies the projection destination candidate information notified by the projection destination
投影変換部1730は、切替部380より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部390に通知する。
The projection conversion unit 1730 generates projection image data based on the work instruction information notified from the
なお、投影変換部1730は、投影対象決定部370より、1の投影先候補を投影対象とする決定結果が通知されていた場合には、投影画像データを生成するにあたり、切替部380より通知された作業指示情報を簡略化する。また、投影変換部1730は、投影先情報(3次元世界座標系)と取り付け位置(3次元世界座標系)との相対的な位置関係を示す相対位置情報を生成する。更に、投影変換部1730は、簡略化した作業指示に、相対位置情報を付加した投影画像データを生成し、投影対象に応じてサイズを調整したうえで、投影画像データを投影制御部390に通知する。
Note that the projection conversion unit 1730 is notified by the
<調整処理(ステップS604)の詳細>
次に、第2の実施形態における投影処理について説明する。なお、第2の実施形態における投影処理は、上記第1の実施形態において説明した投影処理(図6)と概ね同じであり、相違点は、手領域検出処理(ステップS603)が実行されない点、調整処理(ステップS604)の処理内容が異なる点である。そこで、以下では、調整処理(ステップS604)の処理内容について、図9との相違点を中心説明する。
<Details of Adjustment Process (Step S604)>
Next, the projection processing in the second embodiment will be described. Note that the projection processing in the second embodiment is substantially the same as the projection processing described in the first embodiment (FIG. 6), and the difference is that the hand region detection processing (step S603) is not executed. The processing content of the adjustment processing (step S604) is different. Therefore, hereinafter, the contents of the adjustment process (step S604) will be described with a focus on differences from FIG.
図18は、調整処理の第2のフローチャートである。図18に示す各工程のうち、図9との相違点は、ステップS1801の投影位置決定処理と、ステップS1802の相対位置算出処理である。そこで、以下では、投影位置決定処理(ステップS1801)と変換処理(ステップS1802)について、詳細を説明する。 FIG. 18 is a second flowchart of the adjustment process. 18 differs from FIG. 9 in the projection position determination process in step S1801 and the relative position calculation process in step S1802. Therefore, in the following, the details of the projection position determination process (step S1801) and the conversion process (step S1802) will be described.
図19は、投影位置決定処理のフローチャートである。ステップS1901において、投影先候補検出部1710は、距離画像データより、複数の物体を検出し、プロジェクタ装置110から見て死角領域に含まれない物体を、投影先候補として検出し、投影先候補情報として投影対象決定部1720に通知する。
FIG. 19 is a flowchart of the projection position determination process. In step S1901, the projection destination
ステップS1902において、投影対象決定部1720は、取り付け部品の取り付け位置と、作業者180の目の位置とを結ぶ3次元線分を算出する。作業者180の目の位置は、例えば、作業対象物140が置かれた作業台150上の点151に対して予め定められた固定の位置とする。ただし、点151に対して、作業者180ごとに異なる固定の位置を定めておいてもよい。
In step S1902, the projection target determination unit 1720 calculates a three-dimensional line segment that connects the attachment position of the attachment component and the eye position of the
ステップS1903において、投影対象決定部1720は、投影先候補検出部1710より通知された投影先候補情報に基づいて、各投影先候補の上面位置を特定する。
In step S1903, the projection target determination unit 1720 identifies the upper surface position of each projection destination candidate based on the projection destination candidate information notified from the projection destination
ステップS1904において、投影対象決定部1720は、各投影先候補の上面位置から、3次元線分までの距離を算出する。 In step S1904, the projection target determining unit 1720 calculates the distance from the upper surface position of each projection destination candidate to the three-dimensional line segment.
ステップS1905において、投影対象決定部1720は、各投影先候補の上面位置から、3次元線分までの距離のうち、最も距離が短い1の投影先候補を、投影対象に決定する。投影対象決定部1720は、決定した投影対象の上面位置(3次元世界座標系)を示す投影先情報を投影変換部340に通知するとともに、決定した投影対象の上面位置(プロジェクタ3次元座標系)を投影制御部390に通知する。
In step S1905, the projection target determining unit 1720 determines, as a projection target, one projection destination candidate having the shortest distance from the top surface position of each projection destination candidate to the three-dimensional line segment. The projection target determining unit 1720 notifies the
また、投影対象決定部1720は、1の投影先候補を投影対象とする決定結果を投影変換部340に通知する。更に、投影対象決定部1720は、取り付け位置(3次元世界座標系)を投影変換部340に通知する。
In addition, the projection target determination unit 1720 notifies the
図20は、相対位置算出処理及び生成した投影画像データを示す図である。このうち、図20(a)は、相対位置算出処理のフローチャートである。ステップS2001において、投影変換部1730は、投影対象の上面位置から取り付け部品の取り付け位置までの距離及び方向を算出する。ステップS2002において、投影変換部340は、相対位置情報を生成する。
FIG. 20 is a diagram illustrating the relative position calculation process and the generated projection image data. Among these, FIG. 20A is a flowchart of the relative position calculation process. In step S2001, the projection conversion unit 1730 calculates the distance and direction from the upper surface position of the projection target to the attachment position of the attachment component. In step S2002, the
図20(b)は、生成された相対位置情報が反映された投影画像データの一例を示す図である。図20(b)に示すように、投影画像データ2010には、簡略化した作業指示として、取り付け位置名称1304、取り付け位置画像1301、取り付け部品名1306、取り付け部品画像1303が含まれる。また、投影画像データ2010には、相対位置情報(投影対象の上面位置から取り付け位置までの距離及び方向)2011が含まれる。図20(b)に示すように、相対位置情報2011には、投影対象の上面位置から見た場合の取り付け位置までの、奥行き方向の距離、上下方向の距離、左右方向の距離が含まれる。
FIG. 20B is a diagram illustrating an example of projection image data in which the generated relative position information is reflected. As shown in FIG. 20B, the
<作業者が作業指示を確認する場合の動作例>
続いて、作業者180が作業指示を確認する場合の動作例について図21を用いて説明する。図21は、作業者が作業指示を確認する様子を示した第3の図である。図21に示すように、取り付け位置が、プロジェクタ装置110から見て死角領域に含まれている場合、死角領域に含まれない物体であって、作業者180の視点の移動の少ない位置の物体1603の上面に、作業指示を含む投影画像データが投影される。
<Example of operation when worker confirms work instructions>
Next, an operation example when the
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である物体1603の上面に投影画像データを投影した場合、作業指示を確認するための作業者の視点の移動が少なくて済む。この結果、取り付け作業時の作業者の作業効率が低下するのを回避可能な技術を提供することができる。
As described above, when the projection image data is projected on the upper surface of the
[第3の実施形態]
上記第2の実施形態では、投影画像データ2010に、相対位置情報として、投影対象の上面位置から取り付け位置までの距離及び方向を含めるものとして説明した。これに対して、第3の実施形態では、相対位置情報として、手先位置から取り付け位置までの距離及び方向を含めるものとして説明する。
[Third Embodiment]
In the second embodiment, the
図22は、情報処理装置の機能構成の一例を示す第3の図である。図17に示した機能構成との相違点は、手検出部320、手先位置推定部330、投影変換部340を含む点である。ただし、手検出部320、手先位置推定部330、投影変換部340の各部の詳細は、図3を用いて説明済みであるため、ここでは説明を省略する。
FIG. 22 is a third diagram illustrating an example of a functional configuration of the information processing apparatus. The difference from the functional configuration shown in FIG. 17 is that a
図23は、投影画像データの一例を示す図である。図23に示すように、投影画像データ2310には、相対位置情報として、推定した手先位置から取り付け位置までの距離及び方向2311が含まれる。図23の例は、現在の手先位置から約3cm右方向に、取り付け位置があることを示している。
FIG. 23 is a diagram illustrating an example of projection image data. As shown in FIG. 23, the
このように、物体1603の上面に投影画像データを投影する場合についても、上記第1の実施形態と同様に、相対位置情報として、現在の手先位置から取り付け位置までの距離及び方向を含める。これにより、作業者は、取り付け作業を行うために、手先位置をどの方向にどれくらいの距離移動させればよいかを、物体1603の上面を見て把握することができる。
As described above, when projecting image data is projected onto the upper surface of the
なお、第3の実施形態では、投影対象決定部1720の機能が、上記第2の実施形態における投影対象決定部1720と同じであるものとしたが、上記第2の実施形態における投影対象決定部1720とは異なっていてもよい。 In the third embodiment, the function of the projection target determining unit 1720 is the same as that of the projection target determining unit 1720 in the second embodiment, but the projection target determining unit in the second embodiment is described above. 1720 may be different.
例えば、投影対象決定部1720は、死角判定部360より、死角領域に含まれる旨の判定結果を受信した場合、投影先候補情報または手領域情報の中から、投影対象を決定してもよい。これにより、他の物体1601〜1603及び手領域のうち、最も作業者の視点の移動の少ない領域を、投影対象として決定することが可能になる。
For example, the projection target determining unit 1720 may determine the projection target from the projection destination candidate information or the hand region information when receiving a determination result indicating that it is included in the blind spot region from the blind spot determining unit 360. As a result, it is possible to determine, as the projection target, an area with the smallest movement of the worker's viewpoint among the
[第4の実施形態]
上記第1乃至第3の実施形態では、投影システム100に、プロジェクタ装置110と距離測定装置120と情報処理装置130とが含まれるものとして説明した。これに対して、第4の実施形態では、更に、投影システムに撮影装置が含まれるものとして説明する。
[Fourth Embodiment]
In the first to third embodiments, it has been described that the
図24は、投影システムのシステム構成の一例を示す第2の図である。図24に示すように、投影システム2400は、プロジェクタ装置110、距離測定装置120、情報処理装置130に加え、撮影装置2410を有する。撮影装置2410は、通信ケーブル2401を介して、情報処理装置130に通信可能に接続される。また、撮影装置2410は、作業台150の上方に設置される。
FIG. 24 is a second diagram illustrating an example of the system configuration of the projection system. As shown in FIG. 24, the
撮影装置2410は、作業台150の上面を含む所定領域を撮影範囲として撮影を行うことで、RGB画像データを生成し、情報処理装置130に送信する。図24に示すように、撮影装置2410は、点2411を原点とする撮影装置3次元座標系(Xc軸、Yc軸、Zc軸)を有している。
The
情報処理装置130は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置110が投影する際の投影対象を決定する。第4の実施形態において情報処理装置130は、投影対象を決定するにあたり、距離測定装置120から送信される距離画像データと、撮影装置2410から送信されるRGB画像データとを用いる。
The
<情報処理装置の機能構成>
次に、情報処理装置130の機能構成について説明する。図25は、情報処理装置の機能構成の一例を示す第4の図である。図3との相違点は、画像データ取得部310が、距離測定装置120から送信された距離画像データに加え、撮影装置2410から送信されたRGB画像データを受信する点である。また、図3との相違点は、対象物検出部2510の機能が、対象物検出部350とは異なっている点である。
<Functional configuration of information processing apparatus>
Next, the functional configuration of the
第4の実施形態における対象物検出部2510は、画像データ取得部310よりRGB画像データを受信し、RGB画像データより作業対象物140を含む画像領域を検出する。また、対象物検出部2510は、検出した画像領域に基づいて、作業対象物140の位置及び姿勢を示す対象物位置姿勢情報(3次元座標系)を算出し、死角判定部360に通知する。更に、対象物検出部2510は、画像データ取得部310より距離画像データを受信し、死角判定部360に通知する。
The
<デバイス情報記憶部に格納されるテーブル>
次に、デバイス情報記憶部392に格納されるテーブルについて説明する。第4の実施形態において、デバイス情報記憶部392には、距離測定装置情報テーブル510、プロジェクタ装置情報テーブル520に加え、撮影装置情報テーブルが格納される。
<Table stored in device information storage unit>
Next, a table stored in the device
図26は、各情報記憶部に格納されるテーブルの一例を示す第3の図である。具体的には、図26は、撮影装置情報テーブルの一例を示す図である。 FIG. 26 is a third diagram illustrating an example of a table stored in each information storage unit. Specifically, FIG. 26 is a diagram illustrating an example of an imaging device information table.
図26に示すように、撮影装置情報テーブル2600は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。 As shown in FIG. 26, the photographing apparatus information table 2600 includes “parameter name”, “content”, and “value” as information items.
“パラメータ名”には、撮影装置2410の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
In “Parameter Name”, names of various parameters indicating attributes of the
デバイス情報記憶部392に格納された距離測定装置情報テーブル510、プロジェクタ装置情報テーブル520、撮影装置情報テーブル2600、対象物位置姿勢情報を参照することで、情報処理装置130は、
・プロジェクタ3次元座標系、距離測定装置3次元座標系、撮影装置3次元座標系、対象物3次元座標系、3次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置3次元座標系の座標との間の座標変換、
・RGB画像データ上の座標と撮影装置3次元座標系の座標との間の座標変換、及び
・投影画像データ上の座標とプロジェクタ3次元座標系の座標との間の座標変換、
を実現する。
By referring to the distance measuring device information table 510, the projector device information table 520, the imaging device information table 2600, and the object position / posture information stored in the device
・ Coordinate conversion between projector 3D coordinate system, distance measuring device 3D coordinate system, imaging device 3D coordinate system, object 3D coordinate system, 3D world coordinate system,
-Coordinate conversion between the coordinates on the distance image data and the coordinates of the distance measuring device 3D coordinate system,
Coordinate conversion between coordinates on the RGB image data and coordinates of the imaging device 3D coordinate system, and coordinate conversion between coordinates on the projection image data and coordinates of the projector 3D coordinate system,
Is realized.
<対象物検出処理(ステップS603)の詳細>
続いて、対象物検出処理(ステップS603)の詳細について説明する。第4の実施形態において、対象物検出処理(ステップS603)は、撮影装置2410より送信されたRGB画像データを用いる。図27は、対象物検出処理の第2のフローチャートである。
<Details of Object Detection Process (Step S603)>
Next, details of the object detection process (step S603) will be described. In the fourth embodiment, the object detection process (step S603) uses RGB image data transmitted from the
このうち、図27(a)は、作業対象物140にマーカが貼り付けられている場合の対象物検出処理のフローチャートである。ステップS2701において、対象物検出部2510は、RGB画像データにおいて、2次元マーカを検出する。
Among these, FIG. 27A is a flowchart of the object detection process when a marker is pasted on the
ステップS2702において、対象物検出部2510は、検出した2次元マーカの、RGB画像データ内での位置、向きから、作業対象物140の位置及び姿勢を特定する。
In step S2702, the
ステップS2703において、対象物検出部2510は、対象物位置姿勢情報(3次元世界座標系)を死角判定部360に通知する。
In step S2703, the
図27(b)は、作業対象物140が特定の模様を有している場合の対象物検出処理のフローチャートである。ステップS2711において、対象物検出部2510は、検出すべき作業対象物140の模様を識別する。検出すべき作業対象物140の模様は、例えば、作業対象物情報テーブル410に予め登録されているものとする。
FIG. 27B is a flowchart of the object detection process when the
ステップS2712において、対象物検出部2510は、RGB画像データの各画像領域との間で特徴点マッチングを行う。また、ステップS2713において、対象物検出部2510は、検出すべき対象物の模様が含まれる画像領域を抽出する。
In step S2712, the
ステップS2713において、対象物検出部2510は、抽出した画像領域の位置及び模様の向きから、作業対象物140の位置及び姿勢を特定し、対象物位置姿勢情報(3次元世界座標系)を死角判定部360に通知する。
In step S2713, the
このように、投影システム100に撮影装置2410を含めることで、上記第1乃至第3の実施形態とは異なる方法により、作業対象物140を検出することができる。
Thus, by including the
なお、第4の実施形態では、RGB画像データを、対象物検出処理に用いる場合について説明したが、RGB画像データの適用は、対象物検出処理に限定されない。例えば、上記第2の実施形態の投影位置決定処理(図19)のステップS1902において、作業者の目の位置を特定する際に用いてもよい。 In the fourth embodiment, the case where the RGB image data is used for the object detection process has been described. However, the application of the RGB image data is not limited to the object detection process. For example, in step S1902 of the projection position determination process (FIG. 19) of the second embodiment, it may be used when specifying the position of the operator's eyes.
[その他の実施形態]
上記第1、第3及び第4の実施形態では、作業領域が死角領域に含まれるか否かによらず、手検出部320が距離画像データに基づいて手領域を検出した。しかしながら、手検出部320による手領域の検出は、作業領域が死角領域に含まれると判定された場合に、実行するようにしてもよい。
[Other Embodiments]
In the first, third, and fourth embodiments, the
また、上記第1乃至第4の実施形態では、プロジェクタ装置110、距離測定装置120(及び撮影装置2410)を、作業台150の上方に設置する場合について説明したが、設置位置はこれに限定されない。例えば、プロジェクタ装置110は、死角領域を最小にするように、作業者180の後方に設置してもよい。
In the first to fourth embodiments, the
また、上記第1乃至第4の実施形態では、次の作業指示を含む投影画像データの投影指示を、作業台150に取り付けられた指示ボタン170を介して行うものとして説明した。しかしながら、指示ボタン170を利用する代わりに、例えば、投影画像データに指示ボタンの画像を含めて作業台150に投影してもよい。この場合、指示ボタンの画像が投影されている位置を、作業者180が手指で押圧する動作を行ったことを、距離画像データを介して切替部380が識別することで、投影指示が入力されたと判定する。これにより、作業台150に指示ボタン170を取り付ける必要がなくなる。
In the first to fourth embodiments described above, the projection instruction of the projection image data including the next work instruction is performed via the
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。
(付記2)
前記作業者の手の領域を検出する検出部を更に有し、
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする付記1に記載の情報投影装置。
(付記3)
前記決定部が前記作業者の手の領域を前記投影対象に決定した場合、前記作業指示を、簡略化した指示に変換する変換部を更に有し、
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする付記2に記載の情報投影装置。
(付記4)
前記作業者の手先の位置を推定する推定部を更に有し、
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記2または3に記載の情報投影装置。
(付記5)
前記決定部は、前記作業領域の位置と、前記作業者の目の位置とを結ぶ3次元線分からの距離に基づいて、前記投影対象を決定することを特徴とする付記1に記載の情報投影装置。
(付記6)
前記制御部は、前記投影対象の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記5に記載の情報投影装置。
(付記7)
前記決定部は、前記判定部が前記作業指示を投影できると判定した場合、前記作業領域に、前記作業指示を投影することを特徴とする付記1乃至付記6のいずれかの付記に記載の情報投影装置。
(付記8)
前記作業指示を切り替える切替部を更に有し、
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする付記1乃至付記7のいずれかの付記に記載の情報投影装置。
(付記9)
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。
(付記10)
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。
In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
An information projection apparatus comprising: a control unit configured to control an output device to project the work instruction onto the projection target determined by the determination unit.
(Appendix 2)
A detection unit for detecting an area of the operator's hand;
The information projection apparatus according to
(Appendix 3)
When the determination unit determines an area of the operator's hand as the projection target, the conversion unit further converts the work instruction into a simplified instruction,
The information projection apparatus according to appendix 2, wherein the control unit controls the output apparatus to project the simplified instruction onto an area of the hand of the worker.
(Appendix 4)
An estimation unit for estimating the position of the hand of the worker;
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the hand of the worker and the position of the work area. The information projection apparatus according to Supplementary Note 2 or 3.
(Appendix 5)
The information projection according to
(Appendix 6)
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the projection target and the position of the work area. The information projection device according to appendix 5.
(Appendix 7)
The information according to any one of
(Appendix 8)
A switching unit for switching the work instructions;
The said control part performs control which projects the said work instruction switched by the said switch part on the said projection target with respect to the said output object with respect to any one of the
(Appendix 9)
Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection method in which processing is executed by a computer.
(Appendix 10)
Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection program for causing a computer to execute processing.
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.
100 :投影システム
110 :プロジェクタ装置
120 :距離測定装置
130 :情報処理装置
140 :作業対象物
150 :作業台
170 :指示ボタン
310 :画像データ取得部
320 :手検出部
330 :手先位置推定部
340 :投影変換部
350 :対象物検出部
360 :死角判定部
370 :投影対象決定部
380 :切替部
390 :投影制御部
1100 :取り付け位置
1710 :投影先候補検出部
1720 :投影対象決定部
1730 :投影変換部
2010 :投影画像データ
2310 :投影画像データ
2410 :撮影装置
2510 :対象物検出部
100: Projection system 110: Projector device 120: Distance measuring device 130: Information processing device 140: Work object 150: Work table 170: Instruction button 310: Image data acquisition unit 320: Hand detection unit 330: Hand position estimation unit 340: Projection conversion unit 350: Object detection unit 360: Blind spot determination unit 370: Projection target determination unit 380: Switching unit 390: Projection control unit 1100: Attachment position 1710: Projection destination candidate detection unit 1720: Projection target determination unit 1730: Projection conversion Unit 2010: Projection image data 2310: Projection image data 2410: Imaging device 2510: Object detection unit
Claims (10)
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。 A determination unit that determines whether or not a work instruction can be projected on a work area where the worker performs work;
When the determination unit determines that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, and the area where the work instruction can be projected is determined as a projection target. A decision unit to
An information projection apparatus comprising: a control unit configured to control an output device to project the work instruction onto the projection target determined by the determination unit.
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする請求項1に記載の情報投影装置。 A detection unit for detecting an area of the operator's hand;
The information projection apparatus according to claim 1, wherein the determination unit determines an area of the operator's hand as the projection target.
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項2に記載の情報投影装置。 When the determination unit determines an area of the operator's hand as the projection target, the conversion unit further converts the work instruction into a simplified instruction,
The information projection apparatus according to claim 2, wherein the control unit controls the output device to project the simplified instruction onto an area of the hand of the worker.
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項2または3に記載の情報投影装置。 An estimation unit for estimating the position of the hand of the worker;
The control unit controls the output device to project the work instruction including information indicating a relative positional relationship between the position of the hand of the worker and the position of the work area. The information projection apparatus according to claim 2 or 3.
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする請求項1乃至7のいずれか1項に記載の情報投影装置。 A switching unit for switching the work instructions;
The said control part performs control which projects the said work instruction switched by the said switching part on the said projection object with respect to the said output device, The any one of Claim 1 thru | or 7 characterized by the above-mentioned. Information projection device.
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。 Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection method in which processing is executed by a computer.
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。 Determine whether a work instruction can be projected onto the work area where the worker works,
When it is determined that the work instruction cannot be projected, an area between the worker's position at the time of work and the work area, where the work instruction can be projected is determined as a projection target;
Control the output device to project the work instruction onto the determined projection target,
An information projection program for causing a computer to execute processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016217181A JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016217181A JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018077560A true JP2018077560A (en) | 2018-05-17 |
JP6812755B2 JP6812755B2 (en) | 2021-01-13 |
Family
ID=62149261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016217181A Active JP6812755B2 (en) | 2016-11-07 | 2016-11-07 | Information projection device, information projection method and information projection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6812755B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020020887A (en) * | 2018-07-30 | 2020-02-06 | 日本電気通信システム株式会社 | Information display device, method for displaying information, and program |
WO2020240918A1 (en) * | 2019-05-28 | 2020-12-03 | 三菱電機株式会社 | Work supporting system, work supporting method and program |
WO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | パナソニックIpマネジメント株式会社 | Projection system and projection method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
JP2015197486A (en) * | 2014-03-31 | 2015-11-09 | 大日本印刷株式会社 | Terminal device |
-
2016
- 2016-11-07 JP JP2016217181A patent/JP6812755B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015100052A (en) * | 2013-11-20 | 2015-05-28 | シャープ株式会社 | Video projection device |
JP2015197486A (en) * | 2014-03-31 | 2015-11-09 | 大日本印刷株式会社 | Terminal device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020020887A (en) * | 2018-07-30 | 2020-02-06 | 日本電気通信システム株式会社 | Information display device, method for displaying information, and program |
JP7239138B2 (en) | 2018-07-30 | 2023-03-14 | 日本電気通信システム株式会社 | INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY METHOD AND PROGRAM |
WO2020240918A1 (en) * | 2019-05-28 | 2020-12-03 | 三菱電機株式会社 | Work supporting system, work supporting method and program |
JPWO2020240918A1 (en) * | 2019-05-28 | 2021-11-18 | 三菱電機株式会社 | Work support system, work support method and program |
WO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | パナソニックIpマネジメント株式会社 | Projection system and projection method |
JPWO2021039425A1 (en) * | 2019-08-28 | 2021-03-04 | ||
JP7262022B2 (en) | 2019-08-28 | 2023-04-21 | パナソニックIpマネジメント株式会社 | Projection system and projection method |
US11812203B2 (en) | 2019-08-28 | 2023-11-07 | Panasonic Intellectual Property Management Co., Ltd. | Projection system and projection method |
Also Published As
Publication number | Publication date |
---|---|
JP6812755B2 (en) | 2021-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6642968B2 (en) | Information processing apparatus, information processing method, and program | |
JP6107081B2 (en) | Image processing apparatus, image processing method, and program | |
EP2825841B1 (en) | Method, device and computer programme for extracting information about a staircase | |
JP6007497B2 (en) | Image projection apparatus, image projection control apparatus, and program | |
JP7017689B2 (en) | Information processing equipment, information processing system and information processing method | |
JP6807268B2 (en) | Image recognition engine linkage device and program | |
JP2019132664A (en) | Vehicle position estimating device, vehicle position estimating method, and vehicle position estimating program | |
JP2018077560A (en) | Information projection device, information projection method, and information projection program | |
JP5205366B2 (en) | Movable area extraction apparatus, movable area extraction system, movable area extraction method, and program | |
JP2016091457A (en) | Input device, fingertip-position detection method, and computer program for fingertip-position detection | |
JP2013003970A (en) | Object coordinate system conversion device, object coordinate system conversion method and object coordinate system conversion program | |
Fransen et al. | Using vision, acoustics, and natural language for disambiguation | |
JP2018205950A (en) | Environment map generation apparatus for estimating self vehicle position, self vehicle position estimation device, environment map generation program for estimating self vehicle position, and self vehicle position estimation program | |
WO2016084142A1 (en) | Work assistance system and work assistance method | |
JP2019159389A (en) | Information processing device, information processing method, and recording medium | |
JP5168134B2 (en) | ENVIRONMENTAL MAP GENERATION PROGRAM, ENVIRONMENTAL MAP GENERATION METHOD, AND MOBILE ROBOT | |
JP2011112507A (en) | Apparatus and method for three-dimensional position measurement | |
CN109579745A (en) | Novel house Area computing method based on augmented reality and cell phone software | |
JP5530391B2 (en) | Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program | |
KR101792701B1 (en) | Apparatus and method for inspecting drawing | |
JP5620741B2 (en) | Information processing apparatus, information processing method, and program | |
KR20230013850A (en) | Method and device for providing global map using a single image | |
KR101559586B1 (en) | Apparatus and method for guiding information using augmented reality | |
WO2021024665A1 (en) | Information processing system, information processing device, and information processing method | |
NL2021702B1 (en) | Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6812755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |