JP5854553B2 - 目視検査支援装置及び目視検査支援装置の制御方法 - Google Patents
目視検査支援装置及び目視検査支援装置の制御方法 Download PDFInfo
- Publication number
- JP5854553B2 JP5854553B2 JP2011229058A JP2011229058A JP5854553B2 JP 5854553 B2 JP5854553 B2 JP 5854553B2 JP 2011229058 A JP2011229058 A JP 2011229058A JP 2011229058 A JP2011229058 A JP 2011229058A JP 5854553 B2 JP5854553 B2 JP 5854553B2
- Authority
- JP
- Japan
- Prior art keywords
- visual
- region
- image
- visual inspection
- support device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Supply And Installment Of Electrical Components (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
目視検査は、検査者が検査対象物を直接手に取って外観を確かめることにより行われる場合もあるし、例えば、ウェハやICチップ、電子基板などの微細加工品に対する目視検査に対しては、拡大鏡や顕微鏡を用いて検査対象物の拡大像を目視することにより行われる場合や、あるいは検査対象物をカメラで撮影した撮影画像をモニタに出力して、その撮影画像を目視することにより行われる場合もある。
また検査対象物の撮影画像をモニタに出力して目視検査を行う場合には、スケール等の様々な情報をモニタ上にオーバーレイして表示し、目視検査を支援することも行われている。
しかしながら、検査者の体調や疲労の度合いなどによっては、目視検査の最中に、どこまで目視したのかわからなくなり、何度か同じ箇所を見直すこともある。また不良箇所の見落としや見逃しが発生することもある。
このため、目視検査の作業効率を向上させることを可能にする技術が求められている。
本発明の実施形態に係る目視検査支援装置1000の概要について、図1及び図2を参照しながら説明する。
次に、本実施形態に係る目視検査支援装置1000の詳細な構成について、図3〜図9を参照しながら説明する。
図3に示すように、目視検査支援装置1000は、モニタ107、視線計測部111、撮影部104、位置情報出力部310、画像処理部200を備えて構成される。
なお説明の都合上、モニタ107と、画像処理部200の構成要素である画像合成部211と、を画像表示部210としても説明する。また同様に、視線計測部111と、画像処理部200の構成要素である注視点特定部221と、を注視点算出部220としても説明する。
撮影部104は、ステージ102に載置された検査対象物101を撮影する光学系装置を有して構成される。撮影部104は、検査対象物101の撮影画像410を画像処理部200に出力する。また撮影部104は、検査対象物101を撮影する際の拡大縮小率を示す倍率情報も画像処理部200に出力するようにしても良い。
モニタ107は、画像処理部200から出力される表示画像400を表示する装置である。モニタ107には、図4に示すように、(i,j)の2値によりモニタ107上の位置が特定可能な2次元座標が事前に定められており、表示画像400を構成する各画素は、この座標により特定される位置に表示される。
視線計測部111は、モニタ107を目視する検査者の視線を所定時間ごと(例えば16.7ミリ秒ごとまたは60Hzの周期)に検出し、視線の向きを示す視線情報を出力する。
位置情報出力部310は、ステージ102の位置を示す位置情報を画像処理部200に出力する。例えば位置情報出力部310は、ステージ102の位置を移動させるためにステップモータに与えられたパルスの数を、ステージの位置を示す位置情報として画像処理部200に出力する。
本実施形態に係る画像処理部200は、注視点特定部221と、注視点分布テーブル280と、目視領域特定部260と、目視領域画像生成部230と、画像合成部211と、指定領域情報記憶部270と、指定領域画像生成部240と、検査終了通知部290と、視線調整部250と、所定部位認識部300と、の各機能を有して構成される。
視線調整部250は、モニタ107を目視する検査者の実際の視線の向きと、視線計測部111が出力する視線情報と、の対応関係を検出する。
注視点特定部221は、視線計測部111から出力された視線情報を取得し、上記オフセット情報によって検査者ごとの個人差を補正した上で、検査者のモニタ107上における注視点の位置を求める。
注視点分布テーブル280は、上記注視点特定部221が算出した、検査者の注視点の位置を記憶するテーブルである。注視点分布テーブル280の一例を図5に示す。
注視点位置欄には、注視点特定部221によって算出された注視点の位置を示す情報が記載される。注視点の位置は、モニタ107上の位置を表す(i,j)の座標値により特定される。
またNo欄には、注視点位置欄に注視点の位置を示す情報が記録された順序を示す情報が記録される。
目視領域特定部260は、注視点分布テーブル280に記録されている各注視点の位置の分布に基づいて、検査者が目視検査を行った領域を目視領域として特定する。
目視領域特定部260は、様々な方法により目視領域を特定することが可能である。
図6(A)は、円の中心位置と半径とにより目視領域を特定する場合の目視領域情報を示す。No欄は、複数の目視領域が特定された場合に、それらの目視領域を識別するための識別情報である。
図6(B)は、i軸方向の一辺の長さと、j軸方向の一辺の長さとにより方形の目視領域を特定する場合の目視領域情報を示す。
図6(C)は、多角形の頂点で囲まれる領域を目視領域とする場合の目視領域情報を示す。
図6(D)は、順序が連続する複数の注視点を結ぶ所定幅の線分を目視領域とする場合の目視領域情報を示す。
目視領域画像生成部230は、目視領域特定部260から目視領域情報を取得すると、この目視領域情報に基づいて目視領域を視覚的に表す目視領域画像420を生成する。
画像合成部211は、目視領域画像生成部230から目視領域画像420を取得し、撮影部104から検査対象物101の撮影画像410を取得し、これらの画像を重ね合わせた表示画像400をモニタ107に出力する。
所定部位認識部300は、撮影部104から出力される撮影画像410を取得し、撮影画像410内に映し出されている検査対象物101の画像から、所定部位を画像認識する。この所定部位は、例えば、検査対象物101の形状が長方形である場合には、その四隅の位置とすることができる。あるいは、検査対象物101上に特定形状の目印やパターンを印刷しておくようにし、この目印やパターンを所定部位として認識するようにすることもできる。
所定部位認識部300は、認識した所定部位の撮影画像410内における位置を示す位置情報を出力する。
指定領域情報記憶部270は、検査者が目視検査を行うべき領域が、指定領域として事前に定められている場合に、その指定領域を示す指定領域情報を記憶する。指定領域情報記憶部270の一例を図8に示す。
指定領域画像生成部240は、指定領域情報記憶部270から指定領域情報を取得し、この指定領域情報に基づいて指定領域を視覚的に表す指定領域画像430を生成する。
画像合成部211は、撮影部104から取得した撮影画像410を構成する各画素がモニタ107上のどの位置に表示されるかを示す(i,j)の座標値と、指定領域画像生成部240から取得した指定領域画像430がモニタ107上のどの位置に表示されるかを示す(i,j)の座標値と、を合わせることにより、これらの画像を重ね合わせる。
図9に示す例では、撮影画像410の全面に亘り、升目状に複数の長方形の指定領域が指定されており、そのうち、図9に示す表示画像400において左上付近の指定領域が目視領域として特定されたことが示されている。
検査終了通知部290は、指定領域情報記憶部270から指定領域情報を取得し、目視領域特定部260から目視領域情報を取得し、目視領域特定部260が、全ての指定領域を目視領域として特定したか否かを検知する。
そして検査終了通知部290は、目視領域特定部260が、全ての指定領域を目視領域として特定したことを検知した場合に、検査対象物101に対する目視検査が終了した旨の情報を出力する。
この通知は、例えば、図示しないチャイムやブザー等からの音声出力により行ってもよいし、モニタ107にその旨のメッセージを表示するようにしてもよいし、モニタ107を点滅させる等としても良い。
次に、本実施形態に係る目視検査支援装置1000の処理の流れについて、図10〜図11のフローチャートを参照しながら説明する。
検査者が目視すべき指定領域が事前に設定されていない場合のフローチャートを図10に示す。
続いて目視検査支援装置1000は、モニタ107の表示画像400を目視している検査者が目視した領域である目視領域を特定する(S1030)。
具体的には、注視点特定部221が、視線計測部111により計測された検査者の視線情報に基づいてモニタ107上の注視点を求め、注視点分布テーブル280に記録していく。そして目視領域特定部260が、注視点の分布に基づいて目視領域を特定する。
そして目視検査支援装置1000は、目視領域画像生成部230が生成した目視領域画像420と、撮影画像410とを重ね合わせて、表示画像400としてモニタ107に出力する(S1040)。
目視検査が終了した場合には、検査者は次の検査対象物101をステージ102に載置して、目視検査支援装置1000が、S1000からの処理を繰り返し行う(S1060)。
次に、検査者が目視すべき指定領域が事前に設定されている場合のフローチャートを図11に示す。
そして目視検査支援装置1000は、指定領域画像生成部240が生成した指定領域画像430を撮影画像410と重ね合わせて、表示画像400としてモニタ107に出力する(S2030)。
続いて目視検査支援装置1000は、モニタ107の表示画像400を目視している検査者が目視した領域である目視領域を特定する(S2040)。
そして目視検査支援装置1000は、目視領域画像生成部230が生成した目視領域画像420と、撮影画像410と、指定領域画像430と、を重ね合わせて、表示画像400としてモニタ107に出力する(S2050)。
目視検査が終了した場合には、検査者は次の検査対象物101をステージ102に載置して、目視検査支援装置1000が、S2000からの処理を繰り返し行う(S2070)。
例えば、検査者は検査対象物101に対して観察あるいは検査していない領域を容易に知ることができるので、観察や検査が効率よくすすめることができ、疲労も軽減することができる。
102 ステージ
103 照明
104 撮影部
107 モニタ
108 筐体
109 挿入取出口
110 観察窓
111 視線計測部
200 画像処理部
210 画像表示部
211 画像合成部
212 画像メモリ
220 注視点算出部
221 注視点特定部
230 目視領域画像生成部
240 指定領域画像生成部
250 視線調整部
260 目視領域特定部
270 指定領域情報記憶部
280 注視点分布テーブル
290 検査終了通知部
300 所定部位認識部
310 位置情報出力部
400 表示画像
410 撮影画像
420 目視領域画像
430 指定領域画像
1000 目視検査支援装置
Claims (11)
- 検査対象物の撮影画像を目視する検査者の目視検査を支援する目視検査支援装置であって、
前記検査者の視線を検出し、視線の向きのオフセットを調整する視線調整部と、
前記検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出する注視点算出部と、
前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定する目視領域特定部と、
前記目視領域を示す画像を生成する目視領域画像生成部と、
前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する画像表示部と、
を備えることを特徴とする目視検査支援装置。 - 請求項1に記載の目視検査支援装置であって、
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 - 請求項1または2に記載の目視検査支援装置であって、
前記目視領域特定部は、所定時間内に特定された前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 - 請求項2または3に記載の目視検査支援装置であって、
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を新たに検出する毎に、前記領域を前記目視領域として新たに特定し、
前記目視領域画像生成部は、新たに前記目視領域が特定される毎に、前記目視領域を示す画像を更新する
ことを特徴とする目視検査支援装置。 - 請求項1に記載の目視検査支援装置であって、
前記検査者が目視検査をすべき領域として事前に定められた指定領域を示す情報を記憶する指定領域情報記憶部と、
前記指定領域を示す情報に基づいて、前記指定領域を示す画像を生成する指定領域画像生成部と、
を備え、
前記画像表示部は、前記指定領域を示す画像を、前記撮影画像に重ね合わせて表示し、
前記目視領域特定部は、前記指定領域内の前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
する
ことを特徴とする目視検査支援装置。 - 請求項5に記載の目視検査支援装置であって、
前記目視領域特定部は、前記指定領域内において、所定時間以内に特定された前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 - 請求項5または6に記載の目視検査支援装置であって、
前記検査者が目視検査をすべき領域として、複数の前記指定領域が事前に定められており、
前記目視領域特定部が前記各指定領域を前記目視領域として特定するための前記所定値は、前記指定領域毎にそれぞれ定められている
ことを特徴とする目視検査支援装置。 - 請求項5〜7のいずれかに記載の目視検査支援装置であって、
全ての前記指定領域が前記目視領域として特定された場合に、前記検査対象物に対する目視検査が終了した旨の情報を出力する検査終了通知部と、
を備えることを特徴とする目視検査支援装置。 - 請求項1〜8のいずれかに記載の目視検査支援装置であって、
前記検査対象物の所定部位を前記撮影画像から認識し、前記所定部位の前記撮影画像内の位置を示す位置情報を出力する所定部位認識部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。 - 請求項1〜8のいずれかに記載の目視検査支援装置であって、
位置を調整可能に設置され、前記検査対象物を載置するための載置台と、
前記載置台に載置された前記検査対象物を撮影し、前記撮影画像を出力する撮影部と、
前記載置台の位置を示す位置情報を出力する位置情報出力部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報出力部から出力された前記載置台の位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。 - 検査対象物の撮影画像を目視する検査者の目視検査を支援する目視検査支援装置の制御方法であって、
前記目視検査支援装置が、前記検査者の視線を検出し、視線の向きのオフセットを調整し、
前記目視検査支援装置が、前記検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出し、
前記目視検査支援装置が、前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定し、
前記目視検査支援装置が、前記目視領域を示す画像を生成し、
前記目視検査支援装置が、前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する
ことを特徴とする目視検査支援装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229058A JP5854553B2 (ja) | 2011-10-18 | 2011-10-18 | 目視検査支援装置及び目視検査支援装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229058A JP5854553B2 (ja) | 2011-10-18 | 2011-10-18 | 目視検査支援装置及び目視検査支援装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013088291A JP2013088291A (ja) | 2013-05-13 |
JP5854553B2 true JP5854553B2 (ja) | 2016-02-09 |
Family
ID=48532339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011229058A Expired - Fee Related JP5854553B2 (ja) | 2011-10-18 | 2011-10-18 | 目視検査支援装置及び目視検査支援装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5854553B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015155843A1 (ja) * | 2014-04-08 | 2015-10-15 | 富士通株式会社 | 目視検査支援装置、目視検査支援方法及び目視検査支援プログラム |
WO2016117016A1 (ja) * | 2015-01-20 | 2016-07-28 | 富士機械製造株式会社 | 検査支援装置 |
JP6584264B2 (ja) * | 2015-10-05 | 2019-10-02 | 宏次 牛窪 | 刀剣観察システム、記憶媒体、及び、売買システム |
CN105677026B (zh) * | 2015-12-31 | 2020-01-31 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
WO2018055754A1 (ja) * | 2016-09-26 | 2018-03-29 | 富士機械製造株式会社 | 部品実装機の機外作業エリア監視システム |
JPWO2019044264A1 (ja) * | 2017-08-30 | 2020-08-13 | Agc株式会社 | 視線分析システム、視線分析方法及びトレーニング方法 |
CN117635605B (zh) * | 2024-01-23 | 2024-06-18 | 宁德时代新能源科技股份有限公司 | 电池目检确认方法、装置、电子设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3579218B2 (ja) * | 1997-07-04 | 2004-10-20 | 三洋電機株式会社 | 情報表示装置及び情報収集装置 |
JP2002058644A (ja) * | 2000-08-21 | 2002-02-26 | Canon Inc | 視線検出装置、光学装置及びカメラ |
JP2006271528A (ja) * | 2005-03-28 | 2006-10-12 | Toshiba Corp | 画像診断支援システム及び画像診断支援プログラム |
JP4668059B2 (ja) * | 2005-12-26 | 2011-04-13 | 株式会社デジタル | 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体 |
JP4970901B2 (ja) * | 2006-10-30 | 2012-07-11 | 株式会社メガトレード | 目視検査装置、および、当該目視検査装置のレビュー機を動作させるためのコンピュータープログラム |
JP5537008B2 (ja) * | 2007-11-29 | 2014-07-02 | 株式会社東芝 | 外観検査装置 |
JP5161685B2 (ja) * | 2008-07-25 | 2013-03-13 | 株式会社豊田中央研究所 | 視線計測装置及びプログラム |
-
2011
- 2011-10-18 JP JP2011229058A patent/JP5854553B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013088291A (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5854553B2 (ja) | 目視検査支援装置及び目視検査支援装置の制御方法 | |
JP6323183B2 (ja) | 画像処理装置および画像処理方法 | |
CN107545592A (zh) | 动态摄像机校准 | |
JP4751689B2 (ja) | 眼球表面解析システム | |
JP2007155357A (ja) | 直径計測方法又は直径計測装置 | |
US10402996B2 (en) | Distance measuring device for human body features and method thereof | |
JP2013022028A (ja) | 循環系診断システム | |
JP2006334044A (ja) | 眼科測定装置 | |
JP2011050430A (ja) | 眼底画像処理装置 | |
JP2009178174A (ja) | 眼科測定装置 | |
JP6023865B2 (ja) | 内視鏡装置、内視鏡装置の制御方法、およびプログラム | |
JP2002000567A (ja) | 瞳孔中心位置計測方法及び視点位置検出方法 | |
JP3735132B2 (ja) | 眼科装置 | |
JP2007198761A (ja) | 欠陥検出方法および装置 | |
JPH08313217A (ja) | 非接触画像計測システム | |
JP2019144154A (ja) | 三次元計測装置 | |
WO2019044264A1 (ja) | 視線分析システム、視線分析方法及びトレーニング方法 | |
JP6546329B1 (ja) | 視線ベクトル検出装置、視機能検査装置、視機能訓練装置及び方法 | |
JP6030423B2 (ja) | 眼底撮影装置 | |
JP6885762B2 (ja) | レンズメータ | |
JP6159446B2 (ja) | 眼底撮影装置 | |
CN114615922A (zh) | 眼科装置及其控制方法 | |
JP2010219645A (ja) | 撮影補助装置、プログラムおよび撮影システム | |
JP6766646B2 (ja) | 視機能検査装置、視機能検査方法、及びコンピュータプログラム | |
JP2018100829A (ja) | 対象物の表面を観察または検査するための装置及び方法。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140627 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5854553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |