JP6803794B2

JP6803794B2 - 画像処理装置及び製造システム

Info

Publication number: JP6803794B2
Application number: JP2017078601A
Authority: JP
Inventors: 知史土屋
Original assignee: 株式会社Ｅｃａｄソリューションズ
Priority date: 2017-04-12
Filing date: 2017-04-12
Publication date: 2020-12-23
Anticipated expiration: 2037-04-12
Also published as: JP2018180868A

Description

本発明は画像処理装置及び製造システムに関し、特に、制御盤、受配電盤、ワイヤーハーネスなどの電気設計を行うためのＣＡＤ(Computer-Aided Design)とともに用いる画像処理装置及び製造システムに関する。

制御盤、受配電盤、ワイヤーハーネス等（以下、「制御盤等」と総称する）の電気設計を行うためのＣＡＤ（以下、「電気設計用ＣＡＤ」と称する）が知られている（例えば、非特許文献１を参照）。この種の電気設計用ＣＡＤでは、必要な部品を一覧できる部品表や部品の配置図等も作成され、制御盤等の組み立てを行う作業員は、これらを参照しながら組み立て作業を実施する。

また、近年、いわゆる拡張現実の技術が人気を博している（例えば、特許文献１を参照）。この技術では、現実空間の中に仮想画像が重畳されるので、ユーザは、実際には存在しない物体を現実空間の中で体験できることになる。特許文献１には、ユーザが仮想空間における仮想物体の大きさや長さ等を修正することが開示されている。

特開２０１４−１０９８０２号公報

「ＥＣＡＤ（登録商標）ＤＣＸ」カタログ、株式会社ワコム、２０１７年１月

ところで、電気設計用ＣＡＤで作成した部品表や配線図などの図面は非常に専門的なものであり、また複雑であることから、これらの図面に基づいて制御盤等の組み立て作業を行うには熟練の技が必要とされていた。

したがって、本発明の目的の一つは、電気設計用ＣＡＤで設計する制御盤等の組み立て作業負担を低減させる技術を用いた画像処理装置及び製造システムを提供することにある。

本発明による画像処理装置は、撮像部及び表示部に通信可能に接続された画像処理装置であって、現実空間に配置された部品取付先を撮像してなる第１の撮像画像を前記撮像部から取得するとともに、電気設計用ＣＡＤで作成した図面に含まれる第１の部品の仮想画像を取得し、前記第１の撮像画像と前記図面とを位置合わせし、前記図面内における前記第１の部品の位置に対応する前記第１の撮像画像上の位置に前記仮想画像を重畳してなる重畳画像を前記表示部に表示させる制御部を備える画像処理装置である。

本発明によれば、電気設計用ＣＡＤで作成した図面に含まれる部品の仮想画像を現実空間内に表示することができるので、熟練の作業員でなくとも、制御盤等の組み立て作業を実施できるようになる。

上記画像処理装置において、前記制御部は、前記第１の部品が前記部品取付先に取り付けられた後に前記部品取付先を撮像してなる第２の撮像画像を前記撮像部から取得し、前記制御部は、前記第２の撮像画像内における前記第１の部品の位置を認識する認識部と、前記認識部により認識された位置に基づいて、前記図面上における前記第１の部品の配置を修正する修正部とを有することとしてもよい。これによれば、作業員が制御盤上において実際に部品を配置した位置が図面上での位置と異なる場合に、実際の配置に基づいて図面を修正することが可能になる。

上記画像処理装置において、前記制御部は、前記第１の部品を撮像してなる第３の撮像画像を前記撮像部から取得し、前記認識部は、前記第３の撮像画像内にある前記第１の部品を認識し、前記制御部は、前記第１の部品により示される部品の種類が前記第１の部品の種類として前記図面内に予め定義される種類と一致するか否かを判定し、前記修正部は、前記判定の結果が否定的であった場合に、前記図面上における前記第１の部品の情報を修正することとしてもよい。これによれば、作業員が制御盤上において実際に配置する（又は配置した）部品の種類が図面上に定義される部品の種類と異なる場合に、実際に配置する（又は配置した）部品の種類に基づいて図面を修正することが可能になる。

上記画像処理装置において、前記図面は、複数の部品の組み立て順を示す情報を含み、前記制御部は、前記組み立て順に従う順序で前記複数の部品のそれぞれを前記第１の部品として選択し、その選択の都度、前記第１の撮像画像を前記撮像部から取得するとともに、電気設計用ＣＡＤで作成した図面に含まれる前記第１の部品の仮想画像を取得し、前記第１の撮像画像と前記図面とを位置合わせし、前記図面内における前記第１の部品の位置に対応する前記第１の撮像画像上の位置に前記仮想画像を重畳してなる重畳画像を前記表示部に表示させる処理を実行することとしてもよい。これによれば、作業員は、画像処理装置の指示に従うだけで、特に順序を気にしなくても正しい順序で遺漏なく、すべての部品を取り付けることが可能になる。

また、本発明による製造システムは、前記撮像部及び前記表示部を有するウエアラブル端末と、本発明による画像処理装置とを備える製造システムである。

本発明によれば、電気設計用ＣＡＤで作成した図面に含まれる部品の仮想画像を現実空間内に表示することができるので、熟練の作業員でなくとも、部品の配置を間違えることなく制御盤等の組み立て作業を実施できるようになる。

また、作業員が制御盤上において実際に部品を配置した位置が図面上での位置と異なる場合に、実際の配置に基づいて図面を修正することが可能になる。

さらに、作業員が制御盤上において実際に配置する（又は配置した）部品の種類が図面上に定義される部品の種類と異なる場合に、実際に配置する（又は配置した）部品の種類に基づいて図面を修正することが可能になる。

さらに、作業員は、画像処理装置の指示に従うだけで、特に順序を気にしなくても正しい順序で遺漏なく、すべての部品を取り付けることが可能になる。

本発明の実施の形態による制御盤１を示す図である。本発明の実施の形態による電気設計用ＣＡＤによって作成される図面データの構成を示す図である。本発明の実施の形態による作業員端末及びヘッドマウントディスプレイの機能ブロックを示す図である。図３に示した制御部の処理を示すフロー図である。図４に示した作業内容指示処理の詳細を示すフロー図である。（ａ）は、図４のステップＳ４で取得される画像の例を示す図であり、（ｂ）は、図５のステップＳ２３でディスプレイ２２に表示される画像の一例を示す図であり、（ｃ）は、図４のステップＳ１３で取得される画像の例を示す図である。図４に示した部品判別処理の詳細を示すフロー図である。図７のステップＳ３０で人口知能に学習させる複数枚の画像の一例を示す図である。図４に示した型式置換処理の詳細を示すフロー図である。図４に示した取付位置確認処理の詳細を示すフロー図である。図４に示した部品配置変更処理の詳細を示すフロー図である。

以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。以下では、制御盤及び電気設計用ＣＡＤの概要についてまず初めに説明し、その後、本実施の形態による画像処理装置について詳しく説明する。

図１は、制御盤１を示す図である。同図に示すように、制御盤１は、１以上の開口部２ａを有するシャーシ２と、開口部２ａ内に配置される複数の部品３と、シャーシ２の下方に配置された端子台４と、複数の部品３のそれぞれと端子台４とを接続する複数の配線５とを有して構成される。各部品３は、相互に又は端子台４を介して外部と電気的に接続される。

制御盤１への複数の部品３の取り付けは、制御盤１の組み立て工場又は制御盤１の使用現場にて、作業員により実施される。作業員は、電気設計用ＣＡＤによって作成された図面データを参照しながら、この取り付け作業を実施する。

図２は、電気設計用ＣＡＤによって作成される図面データの構成を示す図である。図面データは、制御盤１などの部品取付先の種類ごとに作成されるもので、図面データごとに異なる図面ＩＤと対応付けて、後述する図面データベース１２ａ（図３を参照）内に予め記憶される。

図２に示すように、図面データには、部品表、配置図、回路図など複数種類の図面が含まれる。このうち部品表は制御盤１に取り付けるべきすべての部品（図１に示した部品３及び配線５を含む。以下同様）の一覧を示すもので、図２に示すように、部品ＩＤ、部品名、種類（型式、型番、ＳＫＵなど。以下の説明では、型式とする）、制御盤１への取付順（複数の部品の組み立て順）などの情報を含む。また、配置図は、各部品を設置すべき制御盤１内の場所を示す図であり、図２に示すように、制御盤１を模した線図上に各部品の線図を重畳表示したものとなっている。

このような図面データを参照しながら作業員が行う部品の取り付け作業は、具体的には次のような流れで実施される。すなわち、作業員はまず初めに部品表を参照し、次に取り付けるべき部品を決定する。そして、部品取付先（制御盤１）の近傍に配置される部品庫から決定した部品を取り出す。次に作業員は、配置図を参照し、配置図に示される部品配置に従って、取り出した部品を制御盤１に取り付ける。これにより、多数の部品を所定の順序で所定の場所に取り付けていくことが可能になる。

ただし、実際の作業は非常に複雑なものであるため、特に作業員が熟練していない場合などに、部品の配置や取り付け順序の間違いといったミスが発生するおそれがある。また、現場の都合で作業員が意図的に図面通りに作業をしない場合（すなわち、部品表に定義される部品と異なる部品を使う場合や、配置図どおりの場所に配置しない場合など）があり、そのような場合には、現物と図面の間に不一致が発生してしまうことになる。本実施の形態による画像処理装置は、このような部品取付先への部品の取付作業にかかる諸課題を解決するものである。

以上、制御盤及び電気設計用ＣＡＤの概要について説明した。次に、本実施の形態による画像処理装置について説明する。

図３は、本実施の形態による画像処理装置である作業員端末１０と、作業員の頭部に取り付けて用いるヘッドマウントディスプレイ２０とを示す図である。

作業員端末１０は、作業員が上述した部品表や配置図を確認するために用意されるもので、典型的にはデスクトップ型コンピュータであるが、ノート型のコンピュータやタブレット端末などを作業員端末１０として用いてもよいし、高機能なヘッドマウントディスプレイ２０を用いる場合には、ヘッドマウントディスプレイ２０に作業員端末１０の機能を実装することとしてもよい。

作業員端末１０は、機能的には、図３に示すように、制御部１１と、記憶部１２と、通信部１３と、入力部１４と、出力部１５とを有して構成される。

制御部１１は、作業員端末１０の中央処理装置である。また、記憶部１２は、ＤＲＡＭ(Dynamic Random Access Memory)などを含んで構成される主記憶装置と、ハードディスクなどを含んで構成される補助記憶装置とによって構成される。制御部１１は、記憶部１２内に記憶されるプログラムを読み出して実行することにより、以下で説明する各処理を実行するよう構成される。

制御部１１は、機能的に、認識部１１ａと、修正部１１ｂとを含んで構成される。認識部１１ａは、撮像画像内にある部品、及び、撮像画像内におけるその部品の位置を認識する機能を有し、修正部１１ｂは、図面と取り付け作業の結果との間に不一致が生じた場合に、取り付け作業の結果に合わせて図面を修正する機能を有する。これらの機能部の詳細を含む制御部１１の詳細については、後ほどまとめて説明する。

記憶部１２には、図面データベース１２ａと、画像データベース１２ｂとが構築される。図面データベース１２ａは、図２を参照して説明した図面データ（電気設計用ＣＡＤによって作成された図面データ）を記憶するデータベースである。画像データベース１２ｂは、図面データ内において定義される各部品を角度や照明等を変えて撮影してなる複数枚の画像と、図面データ内において定義される各部品の仮想画像（部品を線図により表現したもの）と、完成状態（すべての部品の取り付けが終了した状態）の制御盤１を角度や照明等を変えて撮影してなる複数枚の画像とを記憶するデータベースである。これらのデータベースに記憶される情報は、制御部１１が行う後述の処理によって利用される。

通信部１３は、例えば有線ＬＡＮ、無線ＬＡＮ、ブルートゥース（登録商標）などの通信機能を有しており、外部のコンピュータと相互に通信可能に構成される。制御部１１は、この通信部１３を介して、図示しない外部コンピュータと通信を行う。

入力部１４は、キーボードやマウスなどの入力手段によって構成される。また、出力部１５は、ディスプレイやスピーカなどの出力手段によって構成される。制御部１１は、この入力部１４及び出力部１５を介して、作業員による操作を受け付け、又は、作業員に対して情報の提示を行う。

ヘッドマウントディスプレイ２０は、人間に装着して用いるウェアラブル端末の一種であり、図３に示すように、カメラ２１（撮像部）、ディスプレイ２２（表示部）、及び位置センサ等の各種センサ（不図示）を有して構成される。ヘッドマウントディスプレイとして知られているウェアラブル端末には各種のものがあるが、本実施の形態によるヘッドマウントディスプレイ２０としては、そのいずれの装置をも使用することができる。例えば、カメラ２１を通じてディスプレイ２２に外部の様子を映し出すことによって外部の視界を得るビデオ透過型のものを使用してもよいし、ディスプレイ２２を半透明とすることにより外部を直接見ることができる光学透過型のものを使用してもよい。また、ヘッドマウントディスプレイ２０に代え、スマートウオッチなど他の種類のウェアラブル端末を用いることとしてもよい。いずれにしても、本実施の形態によるカメラ２１及びディスプレイ２２は、作業員端末１０の制御部１１による制御を受けて動作するように構成される。

以下、本実施の形態による制御部１１の機能について、詳細に説明する。

初めに、本実施の形態による制御部１１が行う処理は、大きく分けて、作業内容指示処理（後述する図６を参照）、部品判別処理（同図７を参照）、型式置換処理（同図８を参照）、取付位置確認処理（同図９を参照）、及び、部品配置変更処理（同図１０を参照）の５つの処理と、これらの処理の実行順を制御するための全体処理（同図４を参照）とに分けられる。

作業内容指示処理は、現実空間に配置された制御盤１（部品取付先）を撮像してなる第１の撮像画像をカメラ２１から取得するとともに、取付対象である部品の仮想画像を画像データベース１２ｂから取得し、第１の撮像画像と図面との間でマーカーベース又は自然特徴ベースの位置合わせをし、図面内における上記部品の位置対応する上記第１の撮像画像の位置に仮想画像を重畳してなる重畳画像をディスプレイ２２に表示させる処理である。位置合わせに用いる対象物は、取付対象の部品の取り付け前後において第１の撮像画像に現れるものであれば何でもよく、例えば、図１に示したシャーシ２の一部や、取付対象の部品の前に取り付けられる他の部品であってよいし、撮像画像から任意の特徴点を抽出し対象物としてもよい。制御部１１がこの作業内容指示処理を実行することにより、作業員は、取付対象の部品の配置を容易に知ることが可能になる。

部品判別処理は、取付対象として作業員が選択した部品を撮影してなる第３の撮像画像内にある当該部品を認識部１１ａによって認識し、認識した部品の型式が図面内に定義されるその部品の型式と一致するか否かを判定する処理である。また、型式置換処理は、この判定の結果が否定的であった場合に、図面上における当該部品の型式を修正部１１ｂにより修正する処理である。制御部１１がこれらの処理を実行することにより、作業員が制御盤上において実際に配置する（又は配置した）部品の型式が図面上に定義される当該部品の型式と異なる場合に、実際に配置する（又は配置した）部品の型式に基づいて図面を修正することが可能になる。

取付位置確認処理は、部品の取付後に制御盤１を撮影してなる第２の撮像画像内におけるその部品の位置を認識部１１ａによって認識し、認識された位置が図面通りであるか否かを確認する処理である。また、部品配置変更処理は、確認の結果、図面通りに配置されていないと判定された場合に、認識された位置に基づいて、図面上における当該部品の位置を修正部１１ｂにより修正する処理である。制御部１１がこれらの処理を実行することにより、作業員が制御盤１上において実際に部品を配置した位置が図面上での位置と異なる場合に、実際の配置に基づいて図面を修正することが可能になる。

次に、図３とともに制御部１１の処理フローを参照しながら、制御部１１が行う上記各処理について、より詳しく説明する。

図４、図５、図７〜図１０は、制御部１１の処理フローを示す図である。初めに図４を参照すると、制御部１１はまず、作業員による図面ＩＤの選択を受け付ける（ステップＳ１）。そして、受け付けた図面ＩＤに基づいて図面データベース１２ａから図面データを読み込み（ステップＳ２）、部品表内に記載される取付順が１番である部品を注目部品（第１の部品）として選択する（ステップＳ３）。

続いて制御部１１は、カメラ２１から制御盤１の画像（第１の撮像画像）を取得する（ステップＳ４）。制御部１１はその後、作業内容指示処理を実行する（ステップＳ５）。

図５は、ステップＳ５で実行される作業内容指示処理の詳細を示している。同図に示すように、作業内容指示処理を開始した制御部１１はまず、ステップＳ４でカメラ２１から取得した第１の撮像画像内に含まれる対象物を認識する（ステップＳ２０）。次いで制御部１１は、画像データベース１２ｂから注目部品の仮想画像を取得し（ステップＳ２１）、ステップＳ２０で認識した対象物及び図面データに基づき、仮想画像の表示位置を決定する（ステップＳ２２）。すなわち、第１の撮像画像内における対象物の位置と、図面内における対象物及び注目部品の相対位置とに基づき、仮想画像の表示位置を決定する。そして、決定の結果に基づき、第１の撮像画像に注目部品の仮想画像を重畳してなる重畳画像をディスプレイ２２に表示する（ステップＳ２３）。

図６（ａ）は、図４のステップＳ４で取得される第１の撮像画像の一例である画像Ｐ１を示す図であり、図６（ｂ）は、図５のステップＳ２３でディスプレイ２２に表示される重畳画像の一例である画像Ｐ２の一例を示す図である。画像Ｐ１に示した領域Ａは、注目部品を取り付ける位置を示している。制御部１１は、シャーシ２や取付済みの部品３ａを対象物として、注目部品の仮想画像を表示すべき領域Ａを決定する。そしてこの領域Ａ内に、画像Ｐ２のように注目部品の仮想画像Ｖを表示する。

このように、制御部１１が作業内容指示処理を実行することにより、電気設計用ＣＡＤで作成した図面に含まれる部品の仮想画像を現実空間内に表示することができるので、熟練の作業員でなくとも、部品の配置を間違えることなく制御盤１の組み立て作業を実施できるようになる。なお、仮想画像Ｖを表示する際、部品名や型式についても、ディスプレイ２２内に表示することが好ましい。こうすることで作業員は、部品庫から注目部品を容易に取り出すことが可能になる。

図４に戻り、作業内容指示処理を終了した制御部１１は、次いで、再度カメラ２１から画像（第３の撮像画像）を取得する（ステップＳ６）。この画像取得は、作業員が、部品庫から取り出した注目部品をカメラ２１の前に掲げた状態で実行される。したがって、第３の撮像画像は注目部品を撮像してなる画像となる。制御部１１はその後、部品判別処理を実行する（ステップＳ７）。

図７は、ステップＳ７で実行される部品判別処理の詳細を示している。同図に破線で示すステップＳ３０は、事前処理として予め実行される処理である。具体的に説明すると、制御部１１は、利用可能性のあるすべての部品について、角度や照明等を変えて撮影した複数枚の画像を画像データベース１２ｂから読み出し、人工知能（ＡＩ）を用いて学習させておく（ステップＳ３０）。

図８は、ステップＳ３０で人工知能を用いて学習させる複数枚の画像の一例を示す図である。同図には、オムロン（登録商標）のリレーＧ２Ｒシリーズに含まれるパワーリレー（型式：Ｇ２Ｒ−１−Ｓ）について、５つの角度で撮影してなる５枚の画像を示している。この例のように、制御部１１は、１つ１つの部品について複数枚の画像を画像データベース１２ｂから読み出し、それらの型式とともに人工知能（ＡＩ）を用いて学習させる。

ステップＳ３１以降の処理は、図４に示したステップＳ６に引き続いて実行される。具体的に説明すると、制御部１１はまず、ステップＳ６でカメラ２１から取得した第３の撮像画像内にある注目部品及びその型式を認識部１１ａにより認識する（ステップＳ３１）。注目部品の認識は例えば画像認識によって行い、型式の認識は例えば文字認識によって行う。次に制御部１１は、ステップＳ３０で学習させた人工知能を用いて、認識した注目部品と外観上の一致度が高い１以上の部品を抽出し（ステップＳ３２）、抽出した１以上の部品それぞれの型式と、ステップＳ３１で認識した型式とを比較する（ステップＳ３３）。その結果、ステップＳ３２で抽出した部品の中に型式が一致したものがあったか否かを判定し（ステップＳ３４）、あった場合には、一致した部品の情報を返して部品判別処理を終了する。一方、なかった場合には、該当部品なしを示す情報を返して部品判別処理を終了する。

図４に戻り、部品判別処理を終了した制御部１１は、部品判別処理から返された結果に基づき、該当部品の有無を判定する（ステップＳ８）。その結果、該当部品なしと判定した場合には、例えばディスプレイ２２上などにおいて警告を発報し、ステップＳ６に戻る。この警告は、例えば「提示された部品を認識できません」といった内容のものとなる。一方、該当部品ありと判定した場合の制御部１１は、部品判別処理から返された部品と、注目部品とが同一種類のものであるか否かを判定する（ステップＳ１０）。この判定は、例えば、部品判別処理から返された部品の型式と、部品表に記載される注目部品の型式とを比較することによって行えばよい。ステップＳ１０の判定の結果、同一種類でないと判定した場合には、型式置換処理を呼び出す（ステップＳ１１）。この型式置換処理は、マルチタスクで並行実施されるものである。型式置換処理を呼び出した後には、ステップＳ１２に処理を移す。一方、ステップＳ１０で同一種類であると判定した場合の制御部１１は、型式置換処理を呼び出すことなく、ステップＳ１２に処理を移す。

図９は、ステップＳ１１で呼び出される型式置換処理の詳細を示している。同図に示すように、制御部１１はまず、注目部品と同一型式の部品すべてに同一の処理を適用するか否かを作業員に選択させる（ステップＳ４０）。そして、作業員の上長による承認を受け付け（ステップＳ４１）、承認されたか否かを判定する（ステップＳ４２）。ステップＳ４１，Ｓ４２の処理は、例えば通信部１３を介して上長のパソコン（図示せず）上に承認ボタン及び不承認ボタンを表示し、そのいずれが押下されたかに応じて行うようにすることが好適である。

ステップＳ４２で否認されたと判定した場合の制御部１１は、例えばディスプレイ２２上などにおいて警告を発報し（ステップＳ４３）、型式置換処理を終了する。この警告は、例えば「型式の置換が上長によって否認されました」といった内容のものとなる。一方、ステップＳ４２で承認されたと判定した場合の制御部１１は、ステップＳ４０の選択結果が適用であったか否かを判定する（ステップＳ４４）。

ステップＳ４４で不適用であったと判定した場合の制御部１１は、部品表内において注目部品に対応付けられる型式を、部品判別処理で返された情報に含まれる型式により置換し（ステップＳ４５）、型式置換処理を終了する。こうして部品表が修正されると、電気設計用ＣＡＤの機能により、他の図面にも自動的に修正内容が反映されることになる（ステップＳ４６）。例えば、配置図内に含まれる部品の線図が、型式に応じた線図により更新される。

一方、ステップＳ４４で適用であったと判定した場合の制御部１１は、部品表内において注目部品及び注目部品と同一型式の全部品に対応付けられる型式を、部品判別処理で返された情報に含まれる型式により置換し（ステップＳ４７）、型式置換処理を終了する。その後には、ステップＳ４６と同様、他の図面に自動的に修正内容が反映される（ステップＳ４８）。

このように、制御部１１が部品判別処理及び型式置換処理をさらに実行することにより、作業員が制御盤１上において実際に配置する（又は配置した）部品の種類が図面上に定義される部品の種類と異なる場合に、実際に配置する（又は配置した）部品の種類に基づいて図面を修正することが可能になる。

図４に戻り、ステップＳ１２において制御部１１は、注目部品の取り付け完了を待機する（ステップＳ１２）。取り付け完了の判定は、例えば入力部１４における作業員の操作に応じて行うことが好適である。注目部品の取り付けが完了した場合、制御部１１は、カメラ２１から制御盤１の画像（第２の撮像画像）を取得し（ステップＳ１３）、取付位置確認処理を実行する（ステップＳ１４）。

図６（ｃ）は、図４のステップＳ１３で取得される第２の撮像画像の一例である画像Ｐ３を示す図である。同図に示すように、典型的な画像Ｐ３においては、仮想画像Ｖと同じ位置に注目部品３ｂが表示されることになる。しかしながら、場合によっては、作業員が仮想画像Ｖによって指示された位置と異なる位置に注目部品を配置する場合がある。取付位置確認処理及び部品配置変更処理は、そのような場合に、実際の配置に合わせて図面を修正するための処理である。

図１０は、ステップＳ１４で実行される取付位置確認処理の詳細を示している。同図に破線で示すステップＳ５０は、事前処理として予め実行される処理である。具体的に説明すると、制御部１１は、角度や照明等を変えて撮影した複数枚の完成画像を画像データベース１２ｂから読み出し、人工知能（ＡＩ）を用いて学習させておく（ステップＳ５０）。なお、ここでいう完成画像とは、すべての部品を取り付けた状態における制御盤１の全体画像である。

ステップＳ５１以降の処理は、図４に示したステップＳ１３に引き続いて実行される。具体的に説明すると、制御部１１はまず、ステップＳ５０で学習させた学習結果を用いて、ステップＳ１３でカメラ２１から取得した第２の撮像画像の注目部品の近傍（図面上）における完成画像との近似度を算出する（ステップＳ５１）。つまり、実際の画像と予め用意された完成画像とで注目部品が配置されるはずの領域の様子を比較し、その近似の度合いを算出する。

次に制御部１１は、算出された近似度が所定値以上であるか否かを判定する（ステップＳ５２）。そして、所定値以上であると判定した場合、図面通りの配置を示す情報を返し、取付位置確認処理を終了する。一方、所定値以上でないと判定した場合の制御部１１は、画像データベース１２ｂから注目部品の画像を取得し（ステップＳ５３）、取得した注目部品の画像に基づき、第２の撮像画像内で注目部品を探索する（ステップＳ５４）。そして、探索の結果に基づき、注目部品が実際に配置された位置の座標を取得し（ステップＳ５５）、取得した座標を示す情報を返して取付位置確認処理を終了する。

図４に戻り、次に制御部１１は、取付位置確認処理から返された情報に基づき、注目部品が図面通りに配置されたか否かを判定する（ステップＳ１５）。その判定の結果、図面通りに配置されなかったと判定した場合には、部品配置変更処理を呼び出す（ステップＳ１６）。この部品配置変更処理は、マルチタスクで並行実施されるものである。部品配置変更処理を呼び出した後には、ステップＳ１７に処理を移す。一方、ステップＳ１５で図面通りに配置されたと判定した場合の制御部１１は、部品配置変更処理を呼び出すことなく、ステップＳ１７に処理を移す。

図１１は、ステップＳ１６で呼び出される部品配置変更処理の詳細を示している。同図に示すように、制御部１１はまず、作業員の上長による承認を受け付け（ステップＳ６０）、承認されたか否かを判定する（ステップＳ６１）。ステップＳ６０，Ｓ６１の処理は、図９に示したステップＳ４１，Ｓ４２の処理と同様、例えば通信部１３を介して上長のパソコン（図示せず）上に承認ボタン及び不承認ボタンを表示し、そのいずれが押下されたかに応じて行うようにすることが好適である。

ステップＳ６１で否認されたと判定した場合の制御部１１は、例えばディスプレイ２２上などにおいて警告を発報し（ステップＳ６２）、部品配置変更処理を終了する。この警告は、例えば「部品配置の変更が上長によって否認されました」といった内容のものとなる。一方、ステップＳ６１で承認されたと判定した場合の制御部１１は、配置図における注目部品の位置を、取付位置確認処理で返された座標により修正する（ステップＳ６３）。このように、制御部１１が取付位置確認処理及び部品配置変更処理をさらに実行することにより、作業員が制御盤１上において実際に部品を配置した位置が図面上での位置と異なる場合に、実際の配置に基づいて図面を修正することが可能になる。

図４に戻り、ステップＳ１７では、制御部１１は、部品表内に定義されるすべての部品について、取り付けが終了したか否かを判定する。その結果、終了していないと判定した場合には、ステップＳ３に戻って、部品表内に記載される取付順で次に取り付けるべき部品を新たな注目部品（第１の部品）として選択し、ステップＳ４以降の処理を繰り返す。このように、制御部１１が部品表に定義される取付順に従う順序で複数の部品のそれぞれを注目部品として選択していくことにより、作業員は、作業員端末１０の指示に従うだけで、特に順序を気にしなくても正しい順序で遺漏なく、すべての部品を取り付けることが可能になる。一方、ステップＳ１７で終了したと判定した場合の制御部１１は、全体処理を終了する。

以上説明したように、本実施の形態によれば、電気設計用ＣＡＤで作成した図面に含まれる部品の仮想画像を現実空間内に表示することができるので、熟練の作業員でなくとも、部品の配置を間違えることなく制御盤等の組み立て作業を実施できるようになる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば、上記実施の形態では、部品取付先として制御盤を例示したが、受配電盤やワイヤーハーネスなどを部品取付先とする場合にも、本発明は好適に適用可能である。

１制御盤
２シャーシ
２ａ開口部
３部品
４端子台
５配線
１０作業員端末
１１制御部
１１ａ認識部
１１ｂ修正部
１２記憶部
１２ａ図面データベース
１２ｂ画像データベース
１３通信部
１４入力部
１５出力部
２０ヘッドマウントディスプレイ
２１カメラ
２２ディスプレイ
Ｐ１〜Ｐ３画像
Ｖ仮想画像

Claims

撮像部及び表示部に通信可能に接続された画像処理装置であって、
現実空間に配置された部品取付先を撮像してなる第１の撮像画像を前記撮像部から取得するとともに、
電気設計用ＣＡＤで作成した図面に含まれる第１の部品の仮想画像を取得し、
前記第１の撮像画像と前記図面とを位置合わせし、前記図面内における前記第１の部品の位置に対応する前記第１の撮像画像上の位置に前記仮想画像を重畳してなる重畳画像を前記表示部に表示させる制御部
を備える画像処理装置。
前記制御部は、前記第１の部品が前記部品取付先に取り付けられた後に前記部品取付先を撮像してなる第２の撮像画像を前記撮像部から取得し、
前記制御部は、
前記第２の撮像画像内における前記第１の部品の位置を認識する認識部と、
前記認識部により認識された位置に基づいて、前記図面上における前記第１の部品の配置を修正する修正部とを有する
請求項１に記載の画像処理装置。
前記修正部は、ユーザの指示に応じて、前記図面上における前記第１の部品の配置の修正を行う
請求項２に記載の画像処理装置。
前記制御部は、前記第１の部品を撮像してなる第３の撮像画像を前記撮像部から取得し、
前記認識部は、前記第３の撮像画像内にある前記第１の部品を認識し、
前記制御部は、前記第１の部品により示される部品の種類が前記第１の部品の種類として前記図面内に予め定義される種類と一致するか否かを判定し、
前記修正部は、前記判定の結果が否定的であった場合に、前記図面上における前記第１の部品の情報を修正する
請求項２又は３に記載の画像処理装置。
前記修正部は、ユーザの指示に応じて、前記図面上における前記第１の部品の情報の修正を行う
請求項４に記載の画像処理装置。
前記図面は、複数の部品の組み立て順を示す情報を含み、
前記制御部は、
前記組み立て順に従う順序で前記複数の部品のそれぞれを前記第１の部品として選択し、その選択の都度、
前記第１の撮像画像を前記撮像部から取得するとともに、
電気設計用ＣＡＤで作成した図面に含まれる前記第１の部品の仮想画像を取得し、
前記第１の撮像画像と前記図面とを位置合わせし、前記図面内における前記第１の部品の位置に対応する前記第１の撮像画像上の位置に前記仮想画像を重畳してなる重畳画像を前記表示部に表示させる
処理を実行する
請求項１乃至５のいずれか一項に記載の画像処理装置。
前記部品取付先は、制御盤である
請求項１乃至６のいずれか一項に記載の画像処理装置。
前記部品取付先は、ワイヤーハーネスである
請求項１乃至６のいずれか一項に記載の画像処理装置。
前記撮像部及び前記表示部を有するウエアラブル端末と、
請求項１乃至８のいずれか一項に記載の画像処理装置と
を備える製造システム。