JP6696384B2

JP6696384B2 - 検査装置

Info

Publication number: JP6696384B2
Application number: JP2016190099A
Authority: JP
Inventors: 潤堀口; 耕平中村; 博行岩月; 勝宏宮垣; 加藤　慎司; 慎司加藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2020-05-20
Anticipated expiration: 2036-09-28
Also published as: JP2018054435A; US20190222810A1; WO2018062239A1

Description

本開示は、作業員の目視確認作業に用いられる検査装置に関する。

作業員にウェアラブルカメラを装着させ、ウェアラブルカメラの撮像画像を利用して検査作業を支援する検査装置が知られている。

検査作業のうち、計器類などの目視確認作業において、作業員に装着されるウェアラブルカメラを利用して、目視確認中の画像を作業記録として自動的に記録し、これにより作業負担を減らしたいというニーズがある。関連する技術として、例えば特許文献１には、音響等のトリガを検出したときに画像を記録するウェアラブルカメラの撮影手法が記載されている。

特開２００４−３５６９７０号公報

しかしながら、特許文献１に記載の従来手法は、自動撮影のタイミングを押さえることができる可能性はあるものの、音響を発するなどの撮影のトリガとして何らかの特別な動作を行う必要がある。

本開示は、目視確認作業におけるウェアラブルカメラの自動撮影を簡易に行うことができる検査装置を提供することを目的とする。

本開示は、作業員（Ｈ）の目視確認作業に用いられる検査装置（１Ａ）であって、前記目視確認作業のトリガを検出するトリガ検出部（５１Ａ）と、前記トリガ検出部により前記目視確認作業のトリガが検出されたときに、前記作業員に装着されるウェアラブルカメラ（２０）に撮影を行わせるカメラ制御部（５２）と、を備える。前記トリガ検出部は、前記ウェアラブルカメラにより撮影された画面（Ｄ）に含まれる情報に基づき前記トリガを検出し、前記カメラ制御部は、前記トリガ検出部により検出されたトリガに基づいて、前記ウェアラブルカメラの画面で前記目視確認作業の対象である撮影物（Ｐ）に焦点を合わせて撮影を行わせる。前記トリガ検出部は、前記ウェアラブルカメラの画面内で、レーザセンサ（６１）の光点（６１Ａ）が静止する状態が所定時間保持されたことをトリガとして用いる。

この構成により、トリガ検出部が目視確認作業のトリガを検出したときに、トリガ検出に応じてカメラ制御部によりウェアラブルカメラに撮影を行わせることができる。このため、目視確認作業の作業員がカメラ撮影のために特別な操作をしなくても、従来の目視確認作業に伴う動作を行うだけで自動的に画像データを記録できる。これにより、目視確認作業におけるウェアラブルカメラの自動撮影を簡易に行うことができる。

本開示によれば、目視確認作業におけるウェアラブルカメラの自動撮影を簡易に行うことができる検査装置を提供することができる。

図１は、第１実施形態に係る検査装置の概略構成と、検査装置が適用される検査作業の一例とを模式的に示す図である。図２は、第１実施形態に係る検査装置の構成を示すブロック図である。図３は、第１実施形態に係る検査装置のうち目視確認作業の自動記録に関する機能を示す図である。図４は、目視確認作業の自動記録処理のフローチャートである。図５は、第２実施形態に係る検査装置のうち目視確認作業の自動記録に関する機能を示す図である。図６は、第３実施形態に係る検査装置における目視確認作業のトリガ検出手法を説明するための図である。図７は、第４実施形態に係る検査装置における目視確認作業のトリガ検出手法を説明するための図である。

以下、添付図面を参照しながら本実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

［第１実施形態］
図１〜図４を参照して第１実施形態を説明する。まず図１及び図２を参照して、第１実施形態に係る検査装置１が適用される検査作業の一例と、検査装置１の概略構成について説明する。

第１実施形態に係る検査装置１は、熱交換器等の製品の製造工程において、製造中間段階のワーク３や完成後の製品などの被検査物が良品であるか否かを判定するための検査作業に用いられる。このような検査作業としては、例えば図１に示される構成が挙げられる。

検査作業の作業員Ｈは、搬送コンベア２で順次搬送されるワーク３が良品であるか否かを検査する。搬送コンベア２は、ワーク３と看板４からなる組の複数を載置され、各組が作業員Ｈの前方に順次配置されるようにこれらの複数の組を搬送する。看板４は、ワーク３ごとにこの近傍に配置されるもので、ワーク３の種類を示すコードが表示されている。

作業員Ｈは、上記の検査作業を、本実施形態の検査装置１を利用して実施することができる。図１及び図２に示されるように、検査装置１は、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０、及び、タブレット４０を具備する。

コードリーダ１０は、図２に示されるように、コードリーダ部１１、照明部１２、レーザポインタ部１３、及び無線部１４を備える。

コードリーダ部１１は、光を照射する光源を備え、この光源からレンズ１０ａを通して光を出射してから看板４で反射されてレンズ１０ａを通して受光される反射光によってコードを読み込むための周知の光学式コードリードである。ここで、本実施形態の看板４は、コードが表示されている表示板である。コードは、ワーク３の種類を示す識別指標である。コードとしては、ＱＲコード（登録商標）やバーコードなどの各種のコードが含まれる。

照明部１２は、レンズ１０ａを通してワーク３およびその周辺を照明する。

レーザポインタ部１３は、レンズ１０ａを通してレーザ光線をポインタとして照射する。レーザポインタ部１３は、これにより、コードリーダ部１１がコードを読み込む被読込領域を、作業員Ｈが認識することを補助する。本実施形態では、レーザポインタ部１３によりレーザ光線が照射される領域が、コードリーダ部１１の被読込領域に一致するように設定されている。

無線部１４は、アンテナや無線回路等から構成されて、タブレット４０の無線部４１との間で無線通信する。

ウェアラブルカメラ２０は、身体等に装着しハンズフリーで撮影する事を目的とした小型カメラである。ウェアラブルカメラ２０は、図２に示されるように、カメラ部２１及び無線部２２を備える。カメラ部２１は、レンズ２０ａを介して受光される光によって被撮影対象としてのワーク３を撮影する。無線部２２は、アンテナや無線回路等から構成されて、タブレット４０の無線部４２との間で無線通信する。

バッテリ３０は、ハーネス等３１を介してコードリーダ１０やカメラ２０に直流電力を供給する二次電池である。

本実施形態では、コードリーダ１０、ウェアラブルカメラ２０、バッテリ３０は、図１に示されるように、作業員Ｈが被る帽子５に装着されている。また、コードリーダ１０及びウェアラブルカメラ２０は、コードリーダ１０のレンズ１０ａと、ウェアラブルカメラ２０のレンズ２０ａとが作業員Ｈの前方に向いて配置されるように、作業員Ｈの帽子５上に設置されている。

タブレット４０は、作業員Ｈが携帯可能に構成されている携帯端末である。タブレット４０は、図２に示されるように、無線部４１，４２、アンプ４３、スピーカ４４、タッチパネル４５、及び制御装置５０を備える。

無線部４１，４２は、アンテナや無線回路等から構成される。無線部４１は、コードリーダ１０の無線部１４との間で無線通信する。無線部４２は、ウェアラブルカメラ２０の無線部２２との間で無線通信する。本実施形態において、各無線部間の無線通信には、各種の近距離無線通信が用いられる。近距離無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ−Ｆｉ（登録商標）を用いることができる。

アンプ４３は、制御装置５０から出力されるアナログ信号を電圧増幅して増幅信号を出力する。スピーカ４４は、アンプ４３から出力される増幅信号を音に変換して出力する。タッチパネル４５は、透明のキー入力操作部と表示パネルとを組み合わせた表示ディスプレイ装置である。

制御装置５０は、上記の検査作業に係る検査装置１の各部の動作を制御する装置である。制御装置５０は、物理的には、ＣＰＵ、メモリ、デジタル−アナログ変換回路などから構成されるマイクロコンピュータである。制御装置５０は、予めメモリに記憶されているコンピュータプログラムにしたがって、検査処理を実行する。検査処理は、コードリーダ１０から取得するコード、及びウェアラブルカメラ２０により取得された撮影画像に基づいて、ワーク３が良品であるか否かを判定する判定処理である。

メモリには、複数種の基準画像が予め記憶されている。基準画像は、静止画、あるいは動画から成るもので、ワーク３が良品であるか否かを判別するために用いられる。１つの基準画像には、良品であるワーク３を示す良品画像と、不良品であるワーク３を示す不良品画像とが含まれる。デジタル−アナログ変換回路は、ＣＰＵの指令に基づいて音声を示すアナログ信号を出力する。

本実施形態では、タブレット４０は、例えば作業員Ｈのポケットに収納されるなど、作業員Ｈにより携帯されているか、または、作業員Ｈの近傍に載置されている。

このように構成される検査装置１を利用することにより、作業員Ｈが実施するワーク３の検査処理の標準的な作業（以下「標準作業」という）は、例えば以下のような手順になる。

まず、作業員Ｈは、頭を看板４側に向け、帽子５に装着されているコードリーダ１０に看板４からコードを読み取らせる。次いで、頭をワーク３に向け、同じく帽子５に装着されているウェアラブルカメラ２０にワーク３を撮影させ、撮影画像を取得させる。つまり、コードリーダ１０が看板４からコードを読み込むことをトリガとして、ウェアラブルカメラ２０によってワーク３の撮影画像を取得することになる。タブレット４０は、無線通信を介してコードリーダ１０からコードを受信し、ウェアラブルカメラ２０から撮影画像を受信する。

タブレット４０内の制御装置５０は、上述のとおりメモリに予め記憶された複数種の基準画像のうちから、受信したコードに対応する基準画像を選択する。制御装置５０は、ワーク３の撮影画像をこの基準画像と照合させることで、ワーク３が良品であるか否かを判定する。また、制御装置５０は、タブレット４０のスピーカ４４やタッチパネル４５を介して、音情報や視覚情報によってワーク３の良否判定結果を作業員Ｈに報知する。

作業員Ｈは、タブレット４０から出力された判定結果の情報に基づき、次の作業に移行する。例えば、ワーク３が良品と判定された場合には、搬送コンベア２上の次のワーク３の検査を行う。

以上のように構成される検査装置１は、ウェアラブル装置として、作業員Ｈの両手が自由になるように、作業員Ｈに携帯されている。検査装置１は、上記構成により、作業員Ｈの両手を使う操作を要せずに被検査物の検査作業を自動的に実施することを可能とし、作業員Ｈの検査作業を支援して作業員Ｈの負担を軽減させることができる。また、作業員Ｈは検査作業中にハンズフリーの状態であるので、作業員Ｈはワーク３の検査作業を行いながら、検査以外の他の作業（例えばネジ締めなど）も行うことができ、作業効率を向上できる。

ところで、上記の検査作業の一種として、計器類の保守点検など作業員Ｈが対象物を目視により確認する目視確認作業がある。この目視確認作業において、作業員Ｈに装着されるウェアラブルカメラ２０を利用して、目視確認の対象物（以下「撮影物Ｐ」という）を含む画像を作業記録として自動的に記録し、これにより作業員Ｈの作業負担を減らしたいというニーズがある。そこで本実施形態では、上述した検査装置１を利用して、目視確認作業に関するトリガが検出されたとき、作業員Ｈに装着されるウェアラブルカメラ２０に自動的に撮影を行わせる構成をとっている。特に本実施形態では、図３に示されるように、ウェアラブルカメラ２０の画面Ｄ内に作業員Ｈの指先６０を検出することを、目視確認作業のトリガとして採用している。なお、図３では、ウェアラブルカメラ２０により撮影される画面Ｄの枠を、撮影物Ｐ及び指先６０の周囲に点線で仮想的に図示している。

図３に示されるように、このような目視確認作業の自動記録に関する機能として、検査装置１の制御装置５０は、トリガ検出部５１と、カメラ制御部５２と、撮影データ記録部５３とを備える。

トリガ検出部５１は、目視確認作業に関するトリガを検出する。より詳細には、トリガ検出部５１は、ウェアラブルカメラ２０により撮影された画面Ｄに含まれる情報に基づきトリガを検出する。特に第１実施形態では、トリガ検出部５１は、ウェアラブルカメラ２０の画面Ｄ内で作業員Ｈの指先６０を検出することをトリガとして用いる。

カメラ制御部５２は、ウェアラブルカメラ２０の動作を制御する。ここでは、カメラ制御部５２は、トリガ検出部５１により目視確認作業のトリガ（指先６０）が検出されたときに、ウェアラブルカメラ２０に撮影を行わせる。また、カメラ制御部５２は、トリガ検出部５１により検出されたトリガに基づいて、ウェアラブルカメラ２０の画像Ｄ内で目視確認作業の対象である撮影物Ｐに焦点を合わせて撮影を行わせる。

撮影データ記録部５３は、ウェアラブルカメラ２０により撮影された目視確認作業の撮影データを記録する。撮影データは、例えば目視確認作業の対象である撮影物Ｐを含む静止画や、目視確認作業中の動画データなど、任意の形態とすることができる。

図４を参照して、目視確認作業の自動記録処理の手順について説明する。図４に示すフローチャートの処理は、検査装置１の制御装置５０により、例えば所定周期ごとに実行される。

ステップＳ１では、トリガ検出部５１により、ウェアラブルカメラ２０の画面Ｄが取得される。ウェアラブルカメラ２０は、検査装置１の作動中、少なくとも目視確認作業の実施中には、恒常的に撮影画像をタブレット４０に出力する。トリガ検出部５１は、このように入力される撮影画像から、任意の条件で画面Ｄを取得する。ステップＳ１の処理が完了するとステップＳ２に移動する。

ステップＳ２では、トリガ検出部５１により、ステップＳ１にて取得した画面Ｄの内でトリガを検出したか否かが判定される。トリガ検出部５１は、ウェアラブルカメラ２０の画面Ｄ内で、作業員Ｈの指先６０を検出することをトリガとして用いる。通常、目視確認作業では、作業員Ｈは目視確認時に目視確認の対象物（撮影物Ｐ）の方を向き、指差確認を行う。つまり、一般的に、目視確認の際には撮影物Ｐの近傍に作業員Ｈの指先６０が位置することになる。本実施形態では、このような目視確認作業における必須の動作を利用して、画面Ｄ内の指先６０の有無によってトリガの検出／非検出を判定する。ステップＳ２の判定の結果、画面Ｄ内にトリガとしての作業員Ｈの指先６０を検出した場合（ステップＳ２のＹＥＳ）には、トリガ検出部５１は、トリガを検出した旨の判定結果をカメラ制御部５２に出力し、ステップＳ３に進む。そうでない場合（ステップＳ２のＮＯ）には、ステップＳ１に戻り、トリガを検出するまでステップＳ１，Ｓ２を繰り返す。

ステップＳ３では、ステップＳ２にて画面Ｄ内でトリガを検出したと判定されたのに応じて、カメラ制御部５２により、撮影物Ｐに焦点合わせが行われる。カメラ制御部５２は、例えば、トリガである指先６０を基準として、ウェアラブルカメラ２０の焦点位置をこの指先６０よりも奥にある撮影物Ｐに当てるようにする。これにより、被写体の手前側に位置する指先６０に焦点が合ってしまうことを防ぐことができる。ステップＳ３の処理が完了するとステップＳ４に移動する。

ステップＳ４では、カメラ制御部５２により、ウェアラブルカメラ２０の撮影が実行される。カメラ制御部５２は、ウェアラブルカメラ２０により撮影されたイレギュラー作業の撮影データを撮影データ記録部５３に記録する。なお、このとき、カメラ制御部５２は、撮影物Ｐの大きさに合わせて撮影範囲を制御してもよい。ステップＳ４の処理が完了するとステップＳ１に戻り、一連の処理を繰り返す。

次に、第１実施形態に係る検査装置１の効果について説明する。第１実施形態の検査装置１は、制御装置５０のトリガ検出部５１が目視確認作業のトリガ（指先６０）を検出したときに、トリガ検出に応じてカメラ制御部５２によりウェアラブルカメラ２０に撮影を行わせることができる。このため、目視確認作業の作業員Ｈがカメラ撮影のために特別な操作をしなくても、従来の目視確認作業に伴う動作を行うだけで自動的に画像データを記録できる。これにより、目視確認作業におけるウェアラブルカメラ２０の自動撮影を簡易に行うことができる。

また、第１実施形態の検査装置１では、トリガ検出部５１は、ウェアラブルカメラ２０により撮影された画面Ｄに含まれる情報（指先６０）に基づきトリガを検出する。カメラ制御部５２は、トリガ検出部５１により検出されたトリガに基づいて、ウェアラブルカメラ２０の画面Ｄで目視確認作業の対象である撮影物Ｐに焦点を合わせて撮影を行わせる。

従来、カメラと撮影物の距離が固定されるような通常の検査では、タイミングさえ合えば焦点の合った高品質な撮影は可能である。しかし、目視確認中のウェアラブルカメラ２０を用いた撮影では、ウェアラブルカメラ２０と撮影物Ｐとの距離や角度が、作業の都度変わってしまうため、高品質な撮影のためには焦点の調整がその都度必要となる。これに対して、第１形態の検査装置１は、上記構成により、目視確認作業の度にカメラ２０と撮影物Ｐとの距離や角度が変わっても、画面Ｄ内のトリガ（指先６０）に基づいて焦点を自動的に合わせて撮影するので、撮影物の距離や角度が都度変わる目視確認作業におけるウェアラブルカメラ２０の撮影であっても、作業員Ｈが特に焦点調整のための特別な操作を行うことなく、簡易かつ高品質な撮影が可能となる。

また、第１実施形態の検査装置１では、トリガ検出部５１は、ウェアラブルカメラ２０の画面Ｄ内で作業員Ｈの指先６０を検出することをトリガとして用いる。これにより、作業員Ｈが従来より目視確認作業中に行う指差確認の動作を利用してトリガを検出するので、作業員Ｈに何ら負担を感じさせることなく目視確認中の自動撮影を行うことができる。

［第２実施形態］
図５を参照して第２実施形態を説明する。第２実施形態に係る検査装置１Ａは、目視確認作業のトリガとして用いる情報が第１実施形態の検査装置１と異なる。

図５に示されるように、第２実施形態の検査装置１Ａは、レーザセンサ６１を備える。レーザセンサ６１は、レーザ光線が照射された対象物との距離を計測できる。第２実施形態の検査装置１Ａでは、制御装置５０Ａのトリガ検出部５１Ａは、ウェアラブルカメラ２０の画面Ｄ内で、レーザセンサ６１の光点６１Ａが静止する状態が所定時間保持されたことをトリガとして用いる。第２実施形態の構成の場合、図４のステップＳ２では、上記のトリガ検出部５１Ａの処理によって、画面Ｄの内でトリガを検出したか否かが判定される。

この構成によっても、目視確認の対象物（撮影物Ｐ）を所定時間目視するという、従来より目視確認作業中に作業員Ｈが行う動作を利用してトリガを検出するので、作業員Ｈに何ら負担を感じさせることなく目視確認中の自動撮影を行うことができる。

［第３実施形態］
図６を参照して第３実施形態を説明する。第３実施形態に係る検査装置１Ｂは、目視確認作業のトリガとして用いる情報が第１実施形態の検査装置１と異なる。

図６に示されるように、第３実施形態の検査装置１Ｂにおいて、トリガ検出部５１Ｂは、目視確認作業の対象の撮影物Ｐに関するテンプレート画像６２を有し、テンプレート画像６２に基づきウェアラブルカメラ２０の画面Ｄ内で撮影物Ｐを検出することをトリガとして用いる。第３実施形態の構成の場合、図４のステップＳ２では、上記のトリガ検出部５１Ｂの処理によって、画面Ｄの内でトリガを検出したか否かが判定される。

この構成によっても、目視確認の対象物（撮影物Ｐ）を目視するという、従来より目視確認作業中に作業員Ｈが行う動作を利用してトリガを検出するので、作業員Ｈに何ら負担を感じさせることなく目視確認中の自動撮影を行うことができる。

［第４実施形態］
図７を参照して第４実施形態を説明する。第４実施形態に係る検査装置１Ｃは、目視確認作業のトリガとして用いる情報が第１実施形態の検査装置１と異なる。

図７に示されるように、第４実施形態の検査装置１Ｃにおいて、トリガ検出部５１Ｃは、ウェアラブルカメラ２０の画面Ｄ内で、目視確認作業の対象の撮影物Ｐに取り付けられたマーカ６３を検出することをトリガとして用いる。第４実施形態の構成の場合、図４のステップＳ２では、上記のトリガ検出部５１Ｃの処理によって、画面Ｄの内でトリガを検出したか否かが判定される。

以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。

図１及び図２を参照して説明した、実施形態に係る検査装置１，１Ａ，１Ｂ，１Ｃが適用される検査作業の内容や、検査装置１，１Ａ，１Ｂ，１Ｃの具体的な構成は、あくまで一例であって図１及び図２に示されるものに限定されない。例えば、上記実施形態では、良否判定の被検査物は製造中間段階の生成物であるワーク３であったが、完成後の製品も含めることができる。

上記実施形態では、実施形態に係るイレギュラー作業検出部５１，５１Ａ，５１Ｂ，５１Ｃ、カメラ制御部５２、及び撮影データ記録部５３がタブレット４０に搭載され、検査作業の作業者Ｈに携帯される構成を例示したが、これらの構成要素の少なくとも一部を作業員Ｈの作業領域から離れた別の場所に備える構成としてもよい。このような構成としては、例えば、遠隔位置に設置されるコンピュータ装置にこれらの構成要素が搭載される構成が挙げられる。

また、上記実施形態では、ウェアラブルカメラ２０が作業員Ｈの頭部に設置される構成を例示したが、ウェアラブルカメラ２０の設置位置は頭部に限らず、作業員Ｈの腕部、手部、体幹部など、作業員Ｈの体の任意の部位に装着してもよい。

１，１Ａ，１Ｂ，１Ｃ：検査装置
２０：ウェアラブルカメラ
５１，５１Ａ，５１Ｂ，５１Ｃ：トリガ検出部
５２：カメラ制御部
６０：指先
６１：レーザセンサ
６１Ａ：光点
６２：テンプレート画像
６３：マーカ
Ｈ：作業員

Claims

作業員（Ｈ）の目視確認作業に用いられる検査装置（１Ａ）であって、
前記目視確認作業のトリガを検出するトリガ検出部（５１Ａ）と、
前記トリガ検出部により前記目視確認作業のトリガが検出されたときに、前記作業員に装着されるウェアラブルカメラ（２０）に撮影を行わせるカメラ制御部（５２）と、
を備え、
前記トリガ検出部は、前記ウェアラブルカメラにより撮影された画面（Ｄ）に含まれる情報に基づき前記トリガを検出し、
前記カメラ制御部は、前記トリガ検出部により検出されたトリガに基づいて、前記ウェアラブルカメラの画面で前記目視確認作業の対象である撮影物（Ｐ）に焦点を合わせて撮影を行わせ、
前記トリガ検出部は、前記ウェアラブルカメラの画面内で、レーザセンサ（６１）の光点（６１Ａ）が静止する状態が所定時間保持されたことをトリガとして用いる、検査装置。