JP2013088291A - Visual inspection support device and method for controlling visual inspection support device - Google Patents
Visual inspection support device and method for controlling visual inspection support device Download PDFInfo
- Publication number
- JP2013088291A JP2013088291A JP2011229058A JP2011229058A JP2013088291A JP 2013088291 A JP2013088291 A JP 2013088291A JP 2011229058 A JP2011229058 A JP 2011229058A JP 2011229058 A JP2011229058 A JP 2011229058A JP 2013088291 A JP2013088291 A JP 2013088291A
- Authority
- JP
- Japan
- Prior art keywords
- visual
- region
- image
- visual inspection
- support device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Supply And Installment Of Electrical Components (AREA)
Abstract
Description
本発明は、目視検査支援装置及び目視検査支援装置の制御方法に関する。 The present invention relates to a visual inspection support device and a control method for a visual inspection support device.
機械加工品や電子製品等を生産する工場などでは、生産品の出荷前や次工程に進む前などに、傷や汚れの付着や部品欠落等が生じた不良品を排除するために、目視検査が行われている。
目視検査は、検査者が検査対象物を直接手に取って外観を確かめることにより行われる場合もあるし、例えば、ウェハやＩＣチップ、電子基板などの微細加工品に対する目視検査に対しては、拡大鏡や顕微鏡を用いて検査対象物の拡大像を目視することにより行われる場合や、あるいは検査対象物をカメラで撮影した撮影画像をモニタに出力して、その撮影画像を目視することにより行われる場合もある。
また検査対象物の撮影画像をモニタに出力して目視検査を行う場合には、スケール等の様々な情報をモニタ上にオーバーレイして表示し、目視検査を支援することも行われている。
In factories that produce machined products and electronic products, etc., in order to eliminate defective products that have scratches, dirt, missing parts, etc. before shipping the product and proceeding to the next process, etc. Has been done.
The visual inspection may be performed by the inspector directly holding the inspection object and confirming the appearance. For example, for the visual inspection of a finely processed product such as a wafer, an IC chip, or an electronic substrate, This can be done by observing a magnified image of the inspection object using a magnifying glass or microscope, or by outputting a photographic image obtained by photographing the inspection object with a camera and viewing the photographic image. It may be called.
Further, when visual inspection is performed by outputting a captured image of an inspection object to a monitor, various information such as a scale is overlaid on the monitor and displayed to assist visual inspection.
このような目視検査を支援する技術としては、例えば特許文献１に示すように、様々な技術が開発されている。 As a technique for supporting such visual inspection, for example, as shown in Patent Document 1, various techniques have been developed.
目視検査を行う検査者は、次々に生産されてくる検査対象物に対する目視検査を滞りなくしかも正確に行わなければならない。
しかしながら、検査者の体調や疲労の度合いなどによっては、目視検査の最中に、どこまで目視したのかわからなくなり、何度か同じ箇所を見直すこともある。また不良箇所の見落としや見逃しが発生することもある。
このため、目視検査の作業効率を向上させることを可能にする技術が求められている。
An inspector who conducts a visual inspection must perform a visual inspection of inspection objects that are produced one after another without delay.
However, depending on the physical condition of the inspector and the degree of fatigue, it may be difficult to know how far the eye has been viewed during the visual inspection, and the same part may be reviewed several times. In addition, oversight or oversight of defective parts may occur.
For this reason, the technique which makes it possible to improve the work efficiency of visual inspection is calculated | required.
本発明はこのような課題を鑑みてなされたものであり、目視検査の作業効率を向上させることが可能な目視検査支援装置及び目視検査支援装置の制御方法を提供することを一つの目的とする。 The present invention has been made in view of such problems, and an object thereof is to provide a visual inspection support device and a control method for the visual inspection support device that can improve the work efficiency of visual inspection. .
本発明は、検査対象物に対する目視検査を支援する目視検査支援装置であって、前記検査対象物の撮影画像を目視する検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出する注視点算出部と、前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定する目視領域特定部と、前記目視領域を示す画像を生成する目視領域画像生成部と、前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する画像表示部と、を備えることを特徴とする。 The present invention is a visual inspection support device that supports visual inspection of an inspection object, and detects the line of sight of an inspector who visually observes the captured image of the inspection object. A gazing point calculation unit that calculates a position of a gazing point, a visual region identification unit that identifies a region where the inspector has performed a visual inspection based on a distribution of the gazing point on the captured image, and the A visual region image generating unit that generates an image indicating a visual region; an image display unit that displays the image indicating the visual region and the captured image of the inspection object in a superimposed manner; To do.
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。 In addition, the problems disclosed by the present application and the solutions thereof will be clarified by the description in the column of the embodiment for carrying out the invention and the description of the drawings.
本発明によれば、目視検査の作業効率を向上させることができる。 According to the present invention, the visual inspection work efficiency can be improved.
＝＝目視検査支援装置の概要＝＝
本発明の実施形態に係る目視検査支援装置１０００の概要について、図１及び図２を参照しながら説明する。
== Overview of visual inspection support device ==
The outline | summary of the visual inspection assistance apparatus 1000 which concerns on embodiment of this invention is demonstrated referring FIG.1 and FIG.2.
本実施形態に係る目視検査支援装置１０００は、筐体１０８の中に、モニタ１０７、ステージ（載置台）１０２、視線計測部１１１、撮影部１０４、照明１０３、位置情報出力部３１０、画像処理部２００を収容して構成される。 The visual inspection support apparatus 1000 according to the present embodiment includes a monitor 107, a stage (mounting table) 102, a line-of-sight measurement unit 111, an imaging unit 104, an illumination 103, a position information output unit 310, and an image processing unit in a housing 108. 200 is configured.
また筐体１０８には、ステージ１０２に載置される検査対象物１０１を出し入れするための挿入取出口１０９、及び検査対象物１０１に対する目視検査を行う検査者がモニタ１０７に表示された検査対象物１０１の撮影画像４１０（図７）を目視するための観察窓１１０が設けられている。 The casing 108 has an insertion port 109 for taking in and out the inspection object 101 placed on the stage 102, and an inspection object displayed on the monitor 107 by an inspector who performs a visual inspection on the inspection object 101. An observation window 110 for viewing the photographed image 410 (FIG. 7) 101 is provided.
撮影部１０４は、ステージ１０２に載置された検査対象物１０１を撮影する装置である。撮影部１０４は、例えばＣＣＤ（Charge Coupled Device）カメラ等の光学系装置により構成することができる。撮影部１０４は、検査対象物１０１を撮影し、撮影画像４１０を画像処理部２００に出力する。また撮影部１０４は、検査対象物１０１を所定の倍率で拡大あるいは縮小して撮影することも可能である。この場合、撮影部１０４は、倍率を示す情報も画像処理部２００に出力するようにしても良い。 The imaging unit 104 is an apparatus that images the inspection object 101 placed on the stage 102. The imaging unit 104 can be configured by an optical system device such as a CCD (Charge Coupled Device) camera. The imaging unit 104 images the inspection object 101 and outputs a captured image 410 to the image processing unit 200. The photographing unit 104 can also photograph the inspection object 101 by enlarging or reducing it at a predetermined magnification. In this case, the photographing unit 104 may also output information indicating the magnification to the image processing unit 200.
照明１０３は、ステージ１０２に載置された検査対象物１０１を照らす装置である。照明１０３は、例えば可視光の蛍光灯やＬＥＤ等により構成される。 The illumination 103 is a device that illuminates the inspection object 101 placed on the stage 102. The illumination 103 is composed of, for example, a visible fluorescent lamp or an LED.
視線計測部１１１は、モニタ１０７を目視する検査者の視線を検出する装置である。視線計測部１１１は、例えば、赤外線カメラと赤外線光源とを備えて構成することができる。この場合、視線計測部１１１は、モニタ１０７を目視する検査者の目に向けて、赤外線光源から赤外線のビームを照射する。そして視線計測部１１１は、所定時間毎に検査者の目を赤外線カメラで撮影し、検査者の目に映る赤外線ビームのスポットの位置と、検査者の瞳孔の中心位置と、の関係から、検査者の視線の向きを計測し、この視線の向きを示す情報を視線情報として画像処理部２００に出力する。 The line-of-sight measurement unit 111 is a device that detects the line of sight of an inspector who looks at the monitor 107. The line-of-sight measurement unit 111 can be configured to include, for example, an infrared camera and an infrared light source. In this case, the line-of-sight measurement unit 111 irradiates an infrared beam from an infrared light source toward the eye of the inspector viewing the monitor 107. Then, the line-of-sight measurement unit 111 takes an image of the inspector's eyes with an infrared camera every predetermined time, and examines the relationship between the position of the spot of the infrared beam reflected in the inspector's eyes and the center position of the inspector's pupil. The direction of the person's line of sight is measured, and information indicating the direction of the line of sight is output to the image processing unit 200 as line of sight information.
画像処理部２００は、撮影部１０４から出力された検査対象物１０１の撮影画像４１０を取得し、モニタ１０７に表示すると共に、視線計測部１１１から所定時間毎に出力される視線情報に基づいて、モニタ１０７に表示された撮影画像４１０上の注視点の分布を求め、この注視点の分布に基づいて、検査者が目視検査を行った領域を表す画像を生成し、撮影部１０４から取得した検査対象物１０１の撮影画像４１０に重ね合わせて表示画像４００としてモニタ１０７に出力する。 The image processing unit 200 acquires the captured image 410 of the inspection object 101 output from the imaging unit 104, displays the acquired image on the monitor 107, and based on the line-of-sight information output from the line-of-sight measurement unit 111 at predetermined time intervals. An inspection obtained from the imaging unit 104 by obtaining a distribution of the gazing point on the photographed image 410 displayed on the monitor 107, generating an image representing an area where the inspector has performed a visual inspection based on the distribution of the gazing point. The image is superimposed on the captured image 410 of the object 101 and output to the monitor 107 as a display image 400.
モニタ１０７は、筐体１０８の観察窓１１０を通じて、外部から目視可能な位置に設置されている。検査対象物１０１の目視検査を行う検査者は、モニタ１０７に表示された表示画像４００を、観察窓１１０を通じて目視することにより、検査対象物１０１に対する目視検査を行う。 The monitor 107 is installed at a position where it can be seen from the outside through the observation window 110 of the housing 108. An inspector who performs a visual inspection of the inspection object 101 visually inspects the inspection object 101 by viewing the display image 400 displayed on the monitor 107 through the observation window 110.
ステージ１０２は、検査対象物１０１に合わせて位置を調整することができるように構成されている。ステージ１０２の位置調整は、図示しない例えばステップモータを回転させることにより行うことができる。 The stage 102 is configured so that the position can be adjusted according to the inspection object 101. The position of the stage 102 can be adjusted, for example, by rotating a step motor (not shown).
位置情報出力部３１０は、ステージ１０２の位置を示す位置情報を画像処理部２００に出力する。例えば、位置情報出力部３１０は、上記ステップモータを回転させるためのパルス数を、ステージの位置を示す位置情報として画像処理部２００に出力する。 The position information output unit 310 outputs position information indicating the position of the stage 102 to the image processing unit 200. For example, the position information output unit 310 outputs the number of pulses for rotating the step motor to the image processing unit 200 as position information indicating the position of the stage.
画像処理部２００は、この位置情報に基づいて、モニタ１０７に表示されている検査対象物１０１のモニタ１０７上での位置の変化量を求め、この変化量に合わせて上記目視検査を行った領域を表す画像の位置を移動させることにより、これらの画像を重ね合わせて表示する。 Based on this position information, the image processing unit 200 obtains a change amount of the position of the inspection object 101 displayed on the monitor 107 on the monitor 107, and performs the visual inspection according to the change amount. These images are superimposed and displayed by moving the position of the image representing.
＝＝目視検査支援装置の詳細説明＝＝
次に、本実施形態に係る目視検査支援装置１０００の詳細な構成について、図３〜図９を参照しながら説明する。
図３に示すように、目視検査支援装置１０００は、モニタ１０７、視線計測部１１１、撮影部１０４、位置情報出力部３１０、画像処理部２００を備えて構成される。
なお説明の都合上、モニタ１０７と、画像処理部２００の構成要素である画像合成部２１１と、を画像表示部２１０としても説明する。また同様に、視線計測部１１１と、画像処理部２００の構成要素である注視点特定部２２１と、を注視点算出部２２０としても説明する。
== Detailed explanation of visual inspection support device ==
Next, a detailed configuration of the visual inspection support device 1000 according to the present embodiment will be described with reference to FIGS.
As shown in FIG. 3, the visual inspection support apparatus 1000 includes a monitor 107, a line-of-sight measurement unit 111, an imaging unit 104, a position information output unit 310, and an image processing unit 200.
For convenience of explanation, the monitor 107 and the image composition unit 211 that is a component of the image processing unit 200 are also described as the image display unit 210. Similarly, the line-of-sight measurement unit 111 and the gaze point specifying unit 221 that is a component of the image processing unit 200 are also described as the gaze point calculation unit 220.
＜撮影部＞
撮影部１０４は、ステージ１０２に載置された検査対象物１０１を撮影する光学系装置を有して構成される。撮影部１０４は、検査対象物１０１の撮影画像４１０を画像処理部２００に出力する。また撮影部１０４は、検査対象物１０１を撮影する際の拡大縮小率を示す倍率情報も画像処理部２００に出力するようにしても良い。
<Shooting Department>
The imaging unit 104 includes an optical system device that images the inspection object 101 placed on the stage 102. The imaging unit 104 outputs the captured image 410 of the inspection object 101 to the image processing unit 200. The imaging unit 104 may also output magnification information indicating an enlargement / reduction ratio when imaging the inspection object 101 to the image processing unit 200.
＜モニタ＞
モニタ１０７は、画像処理部２００から出力される表示画像４００を表示する装置である。モニタ１０７には、図４に示すように、(i,j)の２値によりモニタ１０７上の位置が特定可能な２次元座標が事前に定められており、表示画像４００を構成する各画素は、この座標により特定される位置に表示される。
<Monitor>
The monitor 107 is a device that displays the display image 400 output from the image processing unit 200. As shown in FIG. 4, two-dimensional coordinates that can specify the position on the monitor 107 are determined in advance in the monitor 107 by binary values (i, j), and each pixel constituting the display image 400 is , Displayed at a position specified by the coordinates.
図４に示す例では、モニタ１０７の表示範囲は、座標(0,0)から座標(1747,1239)で示される長方形の範囲であり、そして検査対象物１０１の左下角部の画素が、座標(20,20)の位置に表示されていることが例示されている。 In the example shown in FIG. 4, the display range of the monitor 107 is a rectangular range indicated by coordinates (0,0) to coordinates (1747,1239), and the pixel in the lower left corner of the inspection object 101 is represented by coordinates. It is illustrated that it is displayed at the position (20, 20).
＜視線計測部＞
視線計測部１１１は、モニタ１０７を目視する検査者の視線を所定時間ごと（例えば１６．７ミリ秒ごとまたは６０Ｈｚの周期）に検出し、視線の向きを示す視線情報を出力する。
<Gaze measurement unit>
The line-of-sight measurement unit 111 detects the line of sight of the inspector who looks at the monitor 107 every predetermined time (for example, every 16.7 milliseconds or a period of 60 Hz), and outputs line-of-sight information indicating the direction of the line of sight.
上述したように視線計測部１１１は、一例として、所定時間毎に検査者の目を赤外線カメラで撮影し、検査者の目に映る赤外線ビームのスポットの位置と、検査者の瞳孔の中心位置と、の関係から、検査者の視線の向きを計測し、この視線の向きを示す情報を視線情報として画像処理部２００に出力する。 As described above, the line-of-sight measurement unit 111, as an example, takes an image of the inspector's eyes with an infrared camera every predetermined time, and the position of the spot of the infrared beam reflected in the inspector's eyes, and the center position of the inspector's pupil From the relationship, the direction of the examiner's line of sight is measured, and information indicating the direction of the line of sight is output to the image processing unit 200 as line of sight information.
＜位置情報出力部＞
位置情報出力部３１０は、ステージ１０２の位置を示す位置情報を画像処理部２００に出力する。例えば位置情報出力部３１０は、ステージ１０２の位置を移動させるためにステップモータに与えられたパルスの数を、ステージの位置を示す位置情報として画像処理部２００に出力する。
<Position information output unit>
The position information output unit 310 outputs position information indicating the position of the stage 102 to the image processing unit 200. For example, the position information output unit 310 outputs the number of pulses given to the step motor to move the position of the stage 102 to the image processing unit 200 as position information indicating the position of the stage.
＜画像処理部＞
本実施形態に係る画像処理部２００は、注視点特定部２２１と、注視点分布テーブル２８０と、目視領域特定部２６０と、目視領域画像生成部２３０と、画像合成部２１１と、指定領域情報記憶部２７０と、指定領域画像生成部２４０と、検査終了通知部２９０と、視線調整部２５０と、所定部位認識部３００と、の各機能を有して構成される。
<Image processing unit>
The image processing unit 200 according to the present embodiment includes a gazing point identification unit 221, a gazing point distribution table 280, a viewing area identification unit 260, a viewing area image generation unit 230, an image composition unit 211, and a designated area information storage. Unit 270, designated region image generation unit 240, examination end notification unit 290, line-of-sight adjustment unit 250, and predetermined part recognition unit 300.
画像処理部２００は、例えばＣＰＵ（Central Processing Unit）やメモリを備えて構成され、ＣＰＵがメモリに記憶されている各種プログラムを実行することにより、本実施形態に係る上記各機能が実現される。もちろん、画像処理部２００の少なくとも一部の機能は、ハードウェア回路により実現することもできる。 The image processing unit 200 includes a CPU (Central Processing Unit) and a memory, for example, and the functions according to the present embodiment are realized by the CPU executing various programs stored in the memory. Of course, at least a part of the functions of the image processing unit 200 can also be realized by a hardware circuit.
（視線調整部）
視線調整部２５０は、モニタ１０７を目視する検査者の実際の視線の向きと、視線計測部１１１が出力する視線情報と、の対応関係を検出する。
(Gaze adjustment part)
The line-of-sight adjustment unit 250 detects the correspondence between the direction of the actual line of sight of the inspector viewing the monitor 107 and the line-of-sight information output by the line-of-sight measurement unit 111.
このために、まず視線調整部２５０は、検査者の視線の向きと視線情報との対応関係を取得するためのテスト画像を、画像合成部２１１を通じてモニタ１０７に表示する。テスト画像には、例えば、検査者に注視してもらうための所定の目印が所定位置に点灯あるいは点滅して表示されている。 For this purpose, first, the line-of-sight adjustment unit 250 displays a test image for obtaining the correspondence between the direction of the line of sight of the examiner and the line-of-sight information on the monitor 107 through the image composition unit 211. In the test image, for example, a predetermined mark for observing by the examiner is displayed by lighting or blinking at a predetermined position.
そして視線計測部１１１が、このテスト画像に表示されている目印を注視している検査者の視線を検出し、視線の向きを示す視線情報を出力すると、視線調整部２５０は、その視線情報を取得する。このようにして視線調整部２５０は視線の向きと視線情報との対応関係を取得する。そして視線調整部２５０は、この視線情報と、事前に設定された標準値と、の差分をオフセット情報として注視点特定部２２１に出力する。 When the line-of-sight measurement unit 111 detects the line of sight of the examiner who is gazing at the mark displayed in the test image and outputs line-of-sight information indicating the direction of the line of sight, the line-of-sight adjustment unit 250 displays the line-of-sight information. get. In this way, the line-of-sight adjustment unit 250 acquires the correspondence between the direction of the line of sight and the line-of-sight information. Then, the line-of-sight adjustment unit 250 outputs the difference between the line-of-sight information and a preset standard value to the gazing point identification unit 221 as offset information.
このように、事前に検査者にテスト画像を目視させ、そのときの検査者の視線情報を計測し、標準値との差分をオフセット情報として求めることにより、視線計測部１１１から得られる視線情報を各検査者の個人差に応じて補正することができ、視線の検出精度を高めることができる。 In this way, the gaze information obtained from the gaze measuring unit 111 is obtained by causing the inspector to visually check the test image in advance, measuring the gaze information of the inspector at that time, and obtaining the difference from the standard value as offset information. Corrections can be made according to individual differences among examiners, and the detection accuracy of the line of sight can be increased.
なおこのオフセット情報の算出は、少なくとも、検査者がこの目視検査支援装置１０００を初めて使用する際に１回行えばよい。 The offset information may be calculated at least once when the inspector uses the visual inspection support apparatus 1000 for the first time.
（注視点特定部）
注視点特定部２２１は、視線計測部１１１から出力された視線情報を取得し、上記オフセット情報によって検査者ごとの個人差を補正した上で、検査者のモニタ１０７上における注視点の位置を求める。
(Gaze Point Identification Department)
The gaze point identifying unit 221 obtains the gaze information output from the gaze measurement unit 111, corrects individual differences for each examiner using the offset information, and obtains the position of the gaze point on the inspector's monitor 107. .
注視点の位置は、上記補正後の視線情報と、モニタ１０７と検査者の目との間の距離や角度等の位置関係を示す情報とから、算出することができる。モニタ１０７と検査者の目との位置関係を示す情報は、事前に設定値として記憶しておくようにすることもできるし、上記視線調整部２５０が検査者の視線の向きを調整する際に、合わせて計測しておくようにしても良い。 The position of the gazing point can be calculated from the corrected line-of-sight information and information indicating the positional relationship such as the distance and angle between the monitor 107 and the examiner's eyes. Information indicating the positional relationship between the monitor 107 and the eyes of the examiner can be stored in advance as a set value, or when the line-of-sight adjustment unit 250 adjusts the direction of the line of sight of the examiner. , You may make it measure together.
注視点特定部２２１は、視線計測部１１１から所定時間毎に視線情報を取得する毎に、モニタ１０７における注視点の位置を算出し、注視点分布テーブル２８０に記録する。 The gaze point identifying unit 221 calculates the position of the gaze point on the monitor 107 and records it in the gaze point distribution table 280 every time gaze information is acquired from the gaze measurement unit 111 every predetermined time.
（注視点分布テーブル）
注視点分布テーブル２８０は、上記注視点特定部２２１が算出した、検査者の注視点の位置を記憶するテーブルである。注視点分布テーブル２８０の一例を図５に示す。
(Gazepoint distribution table)
The gaze point distribution table 280 is a table that stores the position of the gaze point of the inspector calculated by the gaze point specifying unit 221. An example of the gaze point distribution table 280 is shown in FIG.
図５に示すように、注視点分布テーブル２８０は、Ｎｏ欄と、注視点位置欄とを含む。
注視点位置欄には、注視点特定部２２１によって算出された注視点の位置を示す情報が記載される。注視点の位置は、モニタ１０７上の位置を表す(i,j)の座標値により特定される。
またＮｏ欄には、注視点位置欄に注視点の位置を示す情報が記録された順序を示す情報が記録される。
As shown in FIG. 5, the gaze point distribution table 280 includes a No column and a gaze point position column.
In the gazing point position column, information indicating the position of the gazing point calculated by the gazing point specifying unit 221 is described. The position of the gazing point is specified by the coordinate value (i, j) representing the position on the monitor 107.
In the No column, information indicating the order in which information indicating the position of the gazing point is recorded in the gazing point position column is recorded.
このように所定時間毎に注視点分布テーブル２８０に記録される注視点の位置情報を、順序情報と共に記憶しておくことにより、検査者がモニタ１０７上を目視した際の移動経路を特定することもできる。 Thus, by storing the position information of the gazing point recorded in the gazing point distribution table 280 every predetermined time together with the order information, the movement path when the inspector looks at the monitor 107 is specified. You can also.
なお、Ｎｏ欄に記録される値は、視線計測部１１１が視線情報を計測した時刻としてもよいし、あるいは注視点特定部２２１が注視点を算出した時刻としてもよいし、あるいは、注視点分布テーブル２８０に注視点が記録された時刻を示す情報としても良い。 Note that the value recorded in the No column may be the time when the line-of-sight measuring unit 111 measures the line-of-sight information, or the time when the gaze point identifying unit 221 calculates the point of gaze, or the gaze point distribution. The table 280 may be information indicating the time when the gazing point is recorded.
（目視領域特定部）
目視領域特定部２６０は、注視点分布テーブル２８０に記録されている各注視点の位置の分布に基づいて、検査者が目視検査を行った領域を目視領域として特定する。
目視領域特定部２６０は、様々な方法により目視領域を特定することが可能である。
(Visual area identification part)
Based on the distribution of the positions of the respective gazing points recorded in the gazing point distribution table 280, the viewing area specifying unit 260 specifies the area where the inspector has performed the visual inspection as the viewing area.
The viewing area specifying unit 260 can specify the viewing area by various methods.
例えば、目視領域特定部２６０は、注視点分布テーブル２８０から、順序が連続する注視点を最初に２個取り出し、それらの注視点同士の距離が所定値以下に収まる場合に、それらの注視点間を直線でつないだ際に形成される線分に沿った所定幅の領域を目視領域として特定すると共に、以下、順次一つずつ連続する注視点を取り出し、連続する注視点の距離が所定値以下に収まっている間、目視領域を順次拡大していくようにして、目視領域を特定していくことができる。 For example, the visual field identification unit 260 first extracts two gazing points in order from the gazing point distribution table 280, and when the distance between the gazing points falls within a predetermined value or less, between the gazing points. A region of a predetermined width along the line segment formed when the lines are connected as a viewing region is specified as a viewing region, and subsequently, one continuous gaze point is taken out one by one, and the distance between successive gaze points is less than a predetermined value The viewing area can be specified by sequentially enlarging the viewing area while it is within the range.
あるいはまた、例えば、目視領域特定部２６０は、注視点の分布密度が所定値以上である領域を目視領域として特定することができる。この場合、目視領域特定部２６０は、例えば、モニタ１０７上における注視点の密度が相対的に高い微小な領域をまず特定し、この微小領域内の注視点の密度が上記所定値以上である場合には、この微小領域を核にして、徐々に領域を周囲に広げながら、注視点の密度が所定値を下回らない最大の領域を求める。そして目視領域特定部２６０はこの領域を目視領域として定める。 Alternatively, for example, the viewing area specifying unit 260 can specify an area where the distribution density of the gazing point is equal to or greater than a predetermined value as the viewing area. In this case, for example, the visual region identification unit 260 first identifies a minute region where the density of the gazing point on the monitor 107 is relatively high, and the density of the gazing point in the minute region is equal to or higher than the predetermined value. In this case, the maximum area where the density of the gazing point does not fall below a predetermined value is obtained while gradually expanding the area around the minute area. The viewing area specifying unit 260 determines this area as the viewing area.
あるいは目視領域特定部２６０は、例えば、モニタ１０７上における注視点の密度が相対的に高い微小領域をまず特定し、この微小領域内の注視点の密度が上記所定値以上である場合には、この微小領域を含む所定形状及び所定面積の領域を仮定し、この所定領域内の注視点の密度が上記所定値以上である場合に、この所定領域を目視領域として定める。この場合、目視領域特定部２６０は、上記所定領域として例えば所定半径の円内の領域とすることもできるし、所定サイズの方形領域とすることもできる。あるいは、任意形状の領域としても良い。 Alternatively, for example, the visual region specifying unit 260 first specifies a micro region where the density of the gazing point on the monitor 107 is relatively high, and when the density of the gazing point in the micro region is equal to or higher than the predetermined value, A region having a predetermined shape and a predetermined area including the minute region is assumed, and when the density of the gazing point in the predetermined region is equal to or higher than the predetermined value, the predetermined region is determined as a viewing region. In this case, the visual region specifying unit 260 may be, for example, a region within a circle having a predetermined radius as the predetermined region, or may be a rectangular region having a predetermined size. Or it is good also as a field of arbitrary shape.
また、目視領域特定部２６０は、所定時間内に特定された注視点の分布密度が所定値以上である領域を目視領域として特定するようにすることもできる。例えば、目視領域特定部２６０は、まず、直近に特定された所定個数（例えば５個）の注視点を抽出し、これらの注視点のうち任意の２個の注視点間の距離の最大値が所定値よりも小さい場合に、これら所定個数の注視点を内包する最小の領域（微小領域）を求め、この微小領域内の注視点（すなわち上記所定個数の注視点）の密度が所定値以上である場合には、この微小領域を含む所定形状及び所定面積の領域を仮定し、その後上記所定時間以上連続して、新たに特定される全ての注視点が、この所定領域内で特定された場合に、この所定領域を目視領域として定める。 In addition, the visual region specifying unit 260 can also specify, as the visual region, a region in which the distribution density of the gazing point specified within a predetermined time is a predetermined value or more. For example, the visual field identification unit 260 first extracts a predetermined number (for example, five) of gazing points specified most recently, and the maximum value of the distance between any two of the gazing points is determined. When it is smaller than a predetermined value, a minimum area (minute area) including the predetermined number of gazing points is obtained, and the density of the gazing points in the minute area (that is, the predetermined number of gazing points) is not less than a predetermined value. In some cases, assuming a region with a predetermined shape and a predetermined area including this minute region, and then continuously specifying all the points of interest that are newly specified within the predetermined region for the predetermined time or longer. In addition, this predetermined area is defined as a viewing area.
あるいは、目視領域特定部２６０は、例えば、直近に特定された所定個数（例えば５個）の注視点をまず抽出し、これらの注視点のうち任意の２個の注視点間の距離の最大値が所定値よりも小さい場合に時間計測を開始し、計測開始後例えば３秒以内に特定された全ての注視点を内包する最小の領域の面積を求め、この領域内の注視点の密度が所定値以上である場合に、この領域を目視領域として特定する。 Alternatively, for example, the visual field identification unit 260 first extracts a predetermined number (for example, five) of gaze points that are identified most recently, and the maximum value of the distance between any two gaze points of these gaze points Time measurement is started when the value is smaller than a predetermined value, and the area of the smallest region including all the gazing points specified within 3 seconds after the measurement is started, for example, and the density of the gazing points in this region is predetermined. If the value is equal to or greater than the value, this region is specified as the viewing region.
このように、所定時間内に特定された注視点の分布密度が所定値以上の領域を目視領域として定めるようにすることにより、検査者が、モニタ１０７上のある領域を集中的に目視した場合に、注視点が所定時間以上滞留した領域を目視領域として特定することができる。 In this way, when an inspector focuses on a certain area on the monitor 107 by defining an area in which the distribution density of the gazing point specified within a predetermined time is a predetermined value or more as a viewing area In addition, an area where the gazing point stays for a predetermined time or more can be specified as a viewing area.
一方、所定時間以内か否かによらず、注視点の分布密度が所定値以上となる領域を目視領域として定めるようにした場合には、例えば検査者がモニタ１０７の全体を満遍なく目視した場合であっても、最終的に一定量以上の視線が注がれた領域を目視領域として特定することができる。 On the other hand, when an area in which the distribution density of the gazing point is equal to or greater than a predetermined value is determined as a viewing area regardless of whether or not it is within a predetermined time, for example, when the inspector has viewed the entire monitor 107 evenly. Even if it exists, the area | region where the visual line of the fixed amount or more was finally poured can be specified as a visual observation area | region.
目視領域特定部２６０は、このようにして目視領域を特定すると、目視領域を示す目視領域情報を出力する。目視領域情報を図６に例示する。
図６（Ａ）は、円の中心位置と半径とにより目視領域を特定する場合の目視領域情報を示す。Ｎｏ欄は、複数の目視領域が特定された場合に、それらの目視領域を識別するための識別情報である。
図６（Ｂ）は、i軸方向の一辺の長さと、j軸方向の一辺の長さとにより方形の目視領域を特定する場合の目視領域情報を示す。
図６（Ｃ）は、多角形の頂点で囲まれる領域を目視領域とする場合の目視領域情報を示す。
図６（Ｄ）は、順序が連続する複数の注視点を結ぶ所定幅の線分を目視領域とする場合の目視領域情報を示す。
When the visual region is specified in this way, the visual region specifying unit 260 outputs visual region information indicating the visual region. The viewing area information is illustrated in FIG.
FIG. 6A shows viewing area information when the viewing area is specified by the center position and radius of the circle. The No column is identification information for identifying the viewing areas when a plurality of viewing areas are specified.
FIG. 6B shows viewing area information when a rectangular viewing area is specified by the length of one side in the i-axis direction and the length of one side in the j-axis direction.
FIG. 6C shows viewing area information when the area surrounded by the vertices of the polygon is the viewing area.
FIG. 6D shows viewing area information when a line segment having a predetermined width connecting a plurality of gazing points in the order is set as the viewing area.
また詳細は後述するが、指定領域情報記憶部２７０に指定領域情報が記憶されている場合には、この指定領域情報により特定される指定領域内の注視点の分布に基づいて、目視領域を判定することもできる。 Although details will be described later, when the designated area information is stored in the designated area information storage unit 270, the visual area is determined based on the distribution of the gazing points in the designated area specified by the designated area information. You can also
なお、注視点特定部２２１は、視線計測部１１１から新たな視線情報を取得する毎に、その視線情報に基づいて新たな注視点を算出し、注視点分布テーブル２８０に記録している。 Note that every time new gaze information is acquired from the gaze measurement unit 111, the gaze point specification unit 221 calculates a new gaze point based on the gaze information and records the gaze point distribution table 280.
そのため目視領域特定部２６０は、所定時間毎に繰り返し注視点分布テーブル２８０の内容を取得し、例えば、注視点の分布密度が所定値以上である領域を新たに検出する毎に、この領域を新たな目視領域として特定し、そして、新たな目視領域を表す目視領域情報を出力する。 Therefore, the visual region specifying unit 260 repeatedly acquires the content of the gazing point distribution table 280 every predetermined time, and for example, every time a region where the distribution density of the gazing point is equal to or higher than a predetermined value is newly detected, this region is updated. The visual region information is specified as a new visual region, and visual region information representing a new visual region is output.
（目視領域画像生成部）
目視領域画像生成部２３０は、目視領域特定部２６０から目視領域情報を取得すると、この目視領域情報に基づいて目視領域を視覚的に表す目視領域画像４２０を生成する。
(Visual region image generation unit)
When the visual region image generating unit 230 acquires the visual region information from the visual region specifying unit 260, the visual region image generating unit 230 generates a visual region image 420 that visually represents the visual region based on the visual region information.
また目視領域画像生成部２３０は、目視領域特定部２６０によって新たな目視領域が特定され、新たな目視領域情報を取得すると、上記生成した目視領域画像４２０を更新して、新たな目視領域を追加していくようにする。 In addition, when a new visual area is specified by the visual area specifying unit 260 and new visual area information is acquired, the visual area image generation unit 230 updates the generated visual area image 420 and adds a new visual area. Try to do.
（画像合成部）
画像合成部２１１は、目視領域画像生成部２３０から目視領域画像４２０を取得し、撮影部１０４から検査対象物１０１の撮影画像４１０を取得し、これらの画像を重ね合わせた表示画像４００をモニタ１０７に出力する。
(Image composition part)
The image composition unit 211 acquires the visual region image 420 from the visual region image generation unit 230, acquires the captured image 410 of the inspection object 101 from the imaging unit 104, and monitors the display image 400 obtained by superimposing these images on the monitor 107. Output to.
画像合成部２１１は、撮影部１０４から撮影画像４１０を取得した際に、この撮影画像４１０を構成する各画素がモニタ１０７上のどの位置に表示されるかを(i,j)の座標値で特定する一方で、目視領域画像生成部２３０から取得した目視領域画像４２０についても、モニタ１０７上のどの位置に表示されるかを(i,j)の座標値で特定することにより、これらの画像を重ね合わせる。 When the image composition unit 211 acquires the captured image 410 from the image capturing unit 104, the position on the monitor 107 where each pixel constituting the captured image 410 is displayed is represented by the coordinate value (i, j). On the other hand, for the visual region image 420 acquired from the visual region image generation unit 230, the position on the monitor 107 to be displayed is specified by the coordinate value of (i, j). Are superimposed.
検査対象物１０１の撮影画像４１０に目視領域画像４２０を重ね合わせた表示画像４００がモニタ１０７に表示されている様子を、図７に示す。図７に示す例では、目視領域は所定半径の円により特定されている。 FIG. 7 shows a state in which the display image 400 obtained by superimposing the viewing area image 420 on the captured image 410 of the inspection object 101 is displayed on the monitor 107. In the example shown in FIG. 7, the viewing area is specified by a circle having a predetermined radius.
なお、検査対象物１０１を載置したステージ１０２の位置が移動した場合には、撮影画像４１０に映し出されている検査対象物１０１のモニタ１０７上での表示位置が移動するため、目視領域画像４２０内の目視領域の表示位置とずれるが、その場合、画像合成部２１１は、位置情報出力部３１０から出力される位置情報に基づいて、検査対象物１０１のモニタ１０７上での表示位置の変化量を算出し、その変化量に合わせて目視領域画像４２０の表示位置をモニタ１０７上で移動させるようにする。 Note that when the position of the stage 102 on which the inspection object 101 is placed moves, the display position of the inspection object 101 displayed on the captured image 410 on the monitor 107 moves. In this case, the image composition unit 211 changes the display position of the inspection object 101 on the monitor 107 based on the position information output from the position information output unit 310. And the display position of the viewing area image 420 is moved on the monitor 107 in accordance with the amount of change.
このようにして、画像合成部２１１は、撮影画像４１０と目視領域画像４２０とを重ね合わせて表示する際に、位置情報出力部３１０から出力されたステージ１０２の位置情報に基づいて、撮影画像４１０に重ね合わせる目視領域画像４２０の位置を定める。 In this way, the image composition unit 211, based on the position information of the stage 102 output from the position information output unit 310, displays the captured image 410 when the captured image 410 and the visual region image 420 are superimposed and displayed. The position of the viewing area image 420 to be superimposed on is determined.
これにより、検査対象物１０１を移動させた場合であっても、モニタ１０７に表示される目視領域画像も検査対象物１０１に追従して移動するので、検査者が、どこまで目視したか、どこを目視していないかを、正確に表示することができる。 As a result, even when the inspection object 101 is moved, the visual region image displayed on the monitor 107 also moves following the inspection object 101. Whether it is not visually observed can be accurately displayed.
あるいは、画像合成部２１１は、後述する所定部位認識部３００から出力される検査対象物１０１の所定部位の撮影画像４１０内の位置情報の変化量に合わせて、目視領域画像４２０の表示位置をモニタ１０７上で移動させるようにする。 Alternatively, the image composition unit 211 monitors the display position of the visual region image 420 according to the amount of change in the position information in the captured image 410 of the predetermined part of the inspection target 101 output from the predetermined part recognition unit 300 described later. It is made to move on 107.
このようにして、画像合成部２１１は、撮影画像４１０と目視領域画像４２０とを重ね合わせて表示する際に、上記所定部位の撮影画像４１０内の位置情報に基づいて、撮影画像４１０に重ね合わせる目視領域画像４２０の位置を定める。 In this way, the image composition unit 211 superimposes the photographed image 410 and the visual region image 420 on the photographed image 410 based on the positional information in the photographed image 410 of the predetermined part when displaying the photographed image 410 and the visual region image 420 in a superimposed manner. The position of the viewing area image 420 is determined.
このようにしても、検査対象物１０１を移動させた場合であっても、モニタ１０７に表示される目視領域画像も検査対象物１０１に追従して移動するので、検査者が、どこまで目視したか、どこを目視していないかを、正確に表示することができる。 Even in this case, even when the inspection object 101 is moved, the visual region image displayed on the monitor 107 also moves following the inspection object 101. It is possible to accurately display where the user is not viewing.
（所定部位認識部）
所定部位認識部３００は、撮影部１０４から出力される撮影画像４１０を取得し、撮影画像４１０内に映し出されている検査対象物１０１の画像から、所定部位を画像認識する。この所定部位は、例えば、検査対象物１０１の形状が長方形である場合には、その四隅の位置とすることができる。あるいは、検査対象物１０１上に特定形状の目印やパターンを印刷しておくようにし、この目印やパターンを所定部位として認識するようにすることもできる。
所定部位認識部３００は、認識した所定部位の撮影画像４１０内における位置を示す位置情報を出力する。
(Predetermined part recognition part)
The predetermined part recognizing unit 300 acquires the photographed image 410 output from the photographing unit 104, and recognizes the predetermined part from the image of the inspection target object 101 displayed in the photographed image 410. For example, when the shape of the inspection object 101 is a rectangle, the predetermined portion can be set to the positions of the four corners. Alternatively, a mark or pattern having a specific shape may be printed on the inspection object 101, and the mark or pattern may be recognized as a predetermined part.
The predetermined part recognition unit 300 outputs position information indicating the position of the recognized predetermined part in the captured image 410.
（指定領域情報記憶部）
指定領域情報記憶部２７０は、検査者が目視検査を行うべき領域が、指定領域として事前に定められている場合に、その指定領域を示す指定領域情報を記憶する。指定領域情報記憶部２７０の一例を図８に示す。
(Designated area information storage unit)
The designated area information storage unit 270 stores designated area information indicating the designated area when the area to be inspected by the inspector is predetermined as the designated area. An example of the designated area information storage unit 270 is shown in FIG.
図８に示す例では、モニタ１０７に表示される表示画像４００において、i方向の幅及びj方向の幅によって特定される方形領域が指定領域として定められていることが示されている。 In the example shown in FIG. 8, in the display image 400 displayed on the monitor 107, it is shown that a rectangular area specified by the width in the i direction and the width in the j direction is defined as the designated area.
また目視判定密度欄には、指定領域に対して検査者が目視を行ったか否かを目視領域特定部２６０が判定するための判定条件が、指定領域毎に記載されている。図８に示す例では、指定領域内の注視点の数が目視判定密度欄に記載されている値以上になった場合、すなわち指定領域内の注視点の分布密度が所定値以上になった場合に、その指定領域に対する目視が行われたと判定される。 Further, in the visual determination density column, a determination condition for the visual region specifying unit 260 to determine whether or not the inspector has visually observed the designated region is described for each designated region. In the example shown in FIG. 8, when the number of gazing points in the designated area is equal to or greater than the value described in the visual determination density column, that is, when the distribution density of gazing points in the designated area is equal to or greater than a predetermined value. Then, it is determined that the designated area has been visually observed.
（指定領域画像生成部）
指定領域画像生成部２４０は、指定領域情報記憶部２７０から指定領域情報を取得し、この指定領域情報に基づいて指定領域を視覚的に表す指定領域画像４３０を生成する。
(Designated area image generator)
The designated area image generation unit 240 acquires the designated area information from the designated area information storage unit 270, and generates a designated area image 430 that visually represents the designated area based on the designated area information.
そして、画像合成部２１１は、指定領域画像生成部２４０から指定領域画像４３０を取得し、撮影部１０４から取得した検査対象物１０１の撮影画像４１０に重ね合わせた表示画像４００をモニタ１０７に出力する。
画像合成部２１１は、撮影部１０４から取得した撮影画像４１０を構成する各画素がモニタ１０７上のどの位置に表示されるかを示す(i,j)の座標値と、指定領域画像生成部２４０から取得した指定領域画像４３０がモニタ１０７上のどの位置に表示されるかを示す(i,j)の座標値と、を合わせることにより、これらの画像を重ね合わせる。
Then, the image composition unit 211 acquires the specified region image 430 from the specified region image generation unit 240 and outputs the display image 400 superimposed on the captured image 410 of the inspection object 101 acquired from the imaging unit 104 to the monitor 107. .
The image composition unit 211 includes (i, j) coordinate values indicating where on the monitor 107 each pixel constituting the captured image 410 acquired from the image capturing unit 104 is displayed, and a designated region image generation unit 240. Are combined with the coordinate value of (i, j) indicating where on the monitor 107 the designated area image 430 acquired from the above is displayed.
検査対象物１０１の撮影画像４１０に、指定領域画像４３０及び目視領域画像４２０を重ね合わせた表示画像４００がモニタ１０７に表示されている様子を図９に示す。
図９に示す例では、撮影画像４１０の全面に亘り、升目状に複数の長方形の指定領域が指定されており、そのうち、図９に示す表示画像４００において左上付近の指定領域が目視領域として特定されたことが示されている。
FIG. 9 shows a state where the display image 400 in which the designated area image 430 and the viewing area image 420 are superimposed on the captured image 410 of the inspection object 101 is displayed on the monitor 107.
In the example shown in FIG. 9, a plurality of rectangular designated areas are designated in a checkered pattern over the entire surface of the captured image 410, and among them, the designated area near the upper left in the display image 400 shown in FIG. 9 is specified as a viewing area. It has been shown.
（検査終了通知部）
検査終了通知部２９０は、指定領域情報記憶部２７０から指定領域情報を取得し、目視領域特定部２６０から目視領域情報を取得し、目視領域特定部２６０が、全ての指定領域を目視領域として特定したか否かを検知する。
そして検査終了通知部２９０は、目視領域特定部２６０が、全ての指定領域を目視領域として特定したことを検知した場合に、検査対象物１０１に対する目視検査が終了した旨の情報を出力する。
この通知は、例えば、図示しないチャイムやブザー等からの音声出力により行ってもよいし、モニタ１０７にその旨のメッセージを表示するようにしてもよいし、モニタ１０７を点滅させる等としても良い。
(Examination end notification section)
The inspection end notification unit 290 acquires specified region information from the specified region information storage unit 270, acquires viewing region information from the viewing region specifying unit 260, and the viewing region specifying unit 260 specifies all specified regions as viewing regions. Detect whether or not.
Then, the inspection end notification unit 290 outputs information indicating that the visual inspection for the inspection object 101 has ended when the visual region specifying unit 260 detects that all the designated regions have been specified as the visual regions.
This notification may be performed by, for example, voice output from a chime or buzzer (not shown), a message to that effect may be displayed on the monitor 107, or the monitor 107 may be blinked.
＝＝目視検査支援装置の処理の流れ＝＝
次に、本実施形態に係る目視検査支援装置１０００の処理の流れについて、図１０〜図１１のフローチャートを参照しながら説明する。
== Flow of processing of visual inspection support device ==
Next, the processing flow of the visual inspection support apparatus 1000 according to the present embodiment will be described with reference to the flowcharts of FIGS.
＜指定領域が指定されていない場合＞
検査者が目視すべき指定領域が事前に設定されていない場合のフローチャートを図１０に示す。
<When the specified area is not specified>
FIG. 10 shows a flowchart in the case where the designated area to be viewed by the inspector is not set in advance.
まず、目視検査支援装置１０００は、モニタ１０７の表示画像４００を初期化する（S1000）。表示画像４００の初期化は、具体的には、例えば画像メモリ２１２をクリアすることにより行う。またこのとき、目視検査支援装置１０００は、注視点分布テーブル２８０の内容も初期化する。この初期化処理は、例えば図示しないスイッチを検査者が操作して、目視検査支援装置１０００に初期化の指示入力を行うことにより行うようにすることができる。 First, the visual inspection support apparatus 1000 initializes the display image 400 of the monitor 107 (S1000). Specifically, the display image 400 is initialized by, for example, clearing the image memory 212. At this time, the visual inspection support apparatus 1000 also initializes the content of the gaze point distribution table 280. This initialization process can be performed by, for example, operating a switch (not shown) and inputting an instruction for initialization to the visual inspection support apparatus 1000.
次に目視検査支援装置１０００は、撮影部１０４から撮影画像４１０を取得し（S1010）、表示画像４００をモニタ１０７に出力する（S1020）。
続いて目視検査支援装置１０００は、モニタ１０７の表示画像４００を目視している検査者が目視した領域である目視領域を特定する（S1030）。
具体的には、注視点特定部２２１が、視線計測部１１１により計測された検査者の視線情報に基づいてモニタ１０７上の注視点を求め、注視点分布テーブル２８０に記録していく。そして目視領域特定部２６０が、注視点の分布に基づいて目視領域を特定する。
そして目視検査支援装置１０００は、目視領域画像生成部２３０が生成した目視領域画像４２０と、撮影画像４１０とを重ね合わせて、表示画像４００としてモニタ１０７に出力する（S1040）。
Next, the visual inspection support device 1000 acquires the captured image 410 from the imaging unit 104 (S1010), and outputs the display image 400 to the monitor 107 (S1020).
Subsequently, the visual inspection support apparatus 1000 specifies a visual area that is an area viewed by an inspector who is viewing the display image 400 of the monitor 107 (S1030).
Specifically, the gaze point identification unit 221 obtains a gaze point on the monitor 107 based on the gaze information of the examiner measured by the gaze measurement unit 111 and records it in the gaze point distribution table 280. Then, the viewing area specifying unit 260 specifies the viewing area based on the distribution of the gazing points.
Then, the visual inspection support apparatus 1000 superimposes the visual region image 420 generated by the visual region image generation unit 230 and the captured image 410 and outputs the superimposed image as the display image 400 to the monitor 107 (S1040).
以上の処理を、検査対象物１０１に対する目視検査が終了するまで繰り返す（S1050）。この場合、目視検査が終了したか否かの判定は、モニタ１０７に表示されている目視領域画像４２０を見ながら、検査者自らが行う。
目視検査が終了した場合には、検査者は次の検査対象物１０１をステージ１０２に載置して、目視検査支援装置１０００が、S1000からの処理を繰り返し行う（S1060）。
The above processing is repeated until the visual inspection for the inspection object 101 is completed (S1050). In this case, whether or not the visual inspection is completed is determined by the inspector himself / herself while viewing the visual region image 420 displayed on the monitor 107.
When the visual inspection is completed, the inspector places the next inspection object 101 on the stage 102, and the visual inspection support apparatus 1000 repeats the processing from S1000 (S1060).
＜指定領域が指定されている場合＞
次に、検査者が目視すべき指定領域が事前に設定されている場合のフローチャートを図１１に示す。
<When specified area is specified>
Next, FIG. 11 shows a flowchart in the case where a designated area to be viewed by the inspector is set in advance.
まず、目視検査支援装置１０００は、モニタ１０７の表示画像４００を初期化する（S2000）。表示画像４００の初期化は、具体的には、例えば画像メモリ２１２をクリアすることにより行う。またこのとき、目視検査支援装置１０００は、注視点分布テーブル２８０の内容も初期化する。この初期化処理は、例えば図示しないスイッチを検査者が操作して、目視検査支援装置１０００に初期化の指示入力を行うことにより行うようにすることができる。 First, the visual inspection support apparatus 1000 initializes the display image 400 of the monitor 107 (S2000). Specifically, the display image 400 is initialized by, for example, clearing the image memory 212. At this time, the visual inspection support apparatus 1000 also initializes the content of the gaze point distribution table 280. This initialization process can be performed by, for example, operating a switch (not shown) and inputting an instruction for initialization to the visual inspection support apparatus 1000.
次に目視検査支援装置１０００は、撮影部１０４から撮影画像４１０を取得し（S2010）、表示画像４００をモニタ１０７に出力する（S2020）。
そして目視検査支援装置１０００は、指定領域画像生成部２４０が生成した指定領域画像４３０を撮影画像４１０と重ね合わせて、表示画像４００としてモニタ１０７に出力する（S2030）。
続いて目視検査支援装置１０００は、モニタ１０７の表示画像４００を目視している検査者が目視した領域である目視領域を特定する（S2040）。
Next, the visual inspection support device 1000 acquires the captured image 410 from the imaging unit 104 (S2010), and outputs the display image 400 to the monitor 107 (S2020).
Then, the visual inspection support apparatus 1000 superimposes the designated area image 430 generated by the designated area image generation unit 240 on the captured image 410 and outputs it as the display image 400 to the monitor 107 (S2030).
Subsequently, the visual inspection support apparatus 1000 specifies a visual area that is an area viewed by an inspector who is viewing the display image 400 of the monitor 107 (S2040).
具体的には、注視点特定部２２１が、視線計測部１１１により計測された検査者の視線情報に基づいてモニタ１０７上の注視点を求め、注視点分布テーブル２８０に記録していく。そして目視領域特定部２６０が、注視点の分布に基づいて目視領域を特定する。このとき、目視領域特定部２６０は、各指定領域内の注視点の分布に基づいて、指定領域毎に目視が行われたか否かを判定することにより、目視領域を特定する。
そして目視検査支援装置１０００は、目視領域画像生成部２３０が生成した目視領域画像４２０と、撮影画像４１０と、指定領域画像４３０と、を重ね合わせて、表示画像４００としてモニタ１０７に出力する（S2050）。
Specifically, the gaze point identification unit 221 obtains a gaze point on the monitor 107 based on the gaze information of the examiner measured by the gaze measurement unit 111 and records it in the gaze point distribution table 280. Then, the viewing area specifying unit 260 specifies the viewing area based on the distribution of the gazing points. At this time, the visual region specifying unit 260 specifies the visual region by determining whether or not visual observation is performed for each designated region based on the distribution of the gazing points in each designated region.
Then, the visual inspection support apparatus 1000 superimposes the visual region image 420 generated by the visual region image generation unit 230, the captured image 410, and the designated region image 430, and outputs the result to the monitor 107 as a display image 400 (S2050). ).
以上の処理を、検査対象物１０１に対する目視検査が終了するまで繰り返す（S2060）。目視検査が終了したか否かの判定は、検査終了通知部２９０が、指定領域情報と、目視領域情報と、に基づいて、全ての指定領域が目視領域として特定されたか否かを判定することにより行う。
目視検査が終了した場合には、検査者は次の検査対象物１０１をステージ１０２に載置して、目視検査支援装置１０００が、S2000からの処理を繰り返し行う（S2070）。
The above process is repeated until the visual inspection for the inspection object 101 is completed (S2060). Whether or not the visual inspection has been completed is determined by the inspection completion notification unit 290 determining whether or not all the designated areas have been identified as the visual areas based on the designated area information and the visual area information. To do.
When the visual inspection is completed, the inspector places the next inspection object 101 on the stage 102, and the visual inspection support apparatus 1000 repeats the processing from S2000 (S2070).
以上のように、本実施形態に係る目視検査支援装置１０００によれば、目視検査の作業効率を向上させることができる。 As described above, according to the visual inspection support apparatus 1000 according to the present embodiment, the work efficiency of visual inspection can be improved.
検査者は、モニタ１０７を通じて検査対象物１０１の目視検査を行う際に、自分が既に目視した領域を確認することが可能となる。これにより、目視検査の作業効率を向上させることができる。
例えば、検査者は検査対象物１０１に対して観察あるいは検査していない領域を容易に知ることができるので、観察や検査が効率よくすすめることができ、疲労も軽減することができる。
When the inspector performs the visual inspection of the inspection object 101 through the monitor 107, the inspector can check the area that he has already viewed. Thereby, the work efficiency of visual inspection can be improved.
For example, since the inspector can easily know the region that is not observed or inspected with respect to the inspection object 101, observation and inspection can be promoted efficiently, and fatigue can be reduced.
また、観察画面上に視線があった領域を表示できるようにしたので、どこが観察あるいは検査していないか、容易に知ることができ、また、どのあたりにどの程度視線があったかなども計測、そして表示できるようにしたので、観察や検査を効率よくすすめることができ、疲労も軽減することができる。さらには信頼性の向上も可能である。 In addition, since the area where the line of sight was displayed can be displayed on the observation screen, it is easy to know where the line of sight was not observed or inspected, and how much the line of sight was measured. Since it can be displayed, observation and inspection can be promoted efficiently, and fatigue can be reduced. Furthermore, the reliability can be improved.
さらに、視線の動きや観察および検査の順番なども確認しながらすすめることができ、見逃しや繰り返し何度もみなおすことがなくなり、観察や検査が効率よくすすめることが可能となり、観察や検査のための時間も短縮できる。さらには信頼性の向上また生産性の向上も可能である。 In addition, it is possible to proceed while confirming the movement of the line of sight and the order of observation and inspection, so there is no need to overlook and repeat many times, and observation and inspection can be promoted efficiently. Time can be shortened. Furthermore, it is possible to improve reliability and productivity.
なお、撮影部１０４及びステージ１０２、位置情報出力部３１０は、筐体１０８の内部に収容される構成を説明したが、筐体１０８の外部にあっても良い。この場合、ステージ１０２や撮影部１０４、位置情報出力部１０４が遠隔地にあって、撮影部１０４が撮影した撮影画像を、通信回線を通じて目視検査支援装置１０００が受信し、モニタ１０７に表示するようにしても良い。このような場合、検査者による目視検査は、場所を選ばずに行うことができるので目視検査の作業効率を向上させることができる。 Note that although the imaging unit 104, the stage 102, and the position information output unit 310 have been described as being housed inside the housing 108, they may be located outside the housing 108. In this case, the stage 102, the photographing unit 104, and the position information output unit 104 are in a remote location, and the visual inspection support apparatus 1000 receives the photographed image photographed by the photographing unit 104 through the communication line and displays it on the monitor 107. Anyway. In such a case, the visual inspection by the inspector can be performed without selecting a place, so that the work efficiency of the visual inspection can be improved.
また、検査対象物１０１は、挿入取出口１０９から検査者によって出し入れされる構成を説明したが、たとえば検査対象物１０１がベルトコンベア上を搬送されてきて、撮影部１０４により撮影される位置で停止するような構成でもよい。このような場合、検査者は、検査対象物１０１の出し入れを行わずに済むので、目視検査に集中して作業を行うことが可能となり、目視検査の作業効率を向上させることができる。 In addition, the configuration in which the inspection object 101 is taken in and out by the inspector from the insertion / extraction port 109 has been described. For example, the inspection object 101 is transported on the belt conveyor and stopped at a position where it is imaged by the imaging unit 104. Such a configuration may be used. In such a case, since the inspector does not have to put in and out the inspection object 101, it is possible to concentrate on the visual inspection and work, and the work efficiency of the visual inspection can be improved.
また、上記実施形態では、目視領域画像４２０は、検査者が目視検査を行っている間に表示され、目視領域特定部２６０が新たな目視領域を特定する毎に新たな目視領域が追加されていく構成を説明したが、例えば、検査者が、図示しないスイッチを操作して、目視領域画像４２０を表示させる指示入力を行った場合にだけ、目視領域画像４２０をモニタ１０７に重ねて表示させるようにすることもできる。このような場合、目視検査の工程において、検査者が目視し忘れた領域がないかのチェックを最後に行う際に、目視領域画像４２０を利用することが可能となる。これにより、たとえば目視検査中に目視領域画像４２０を見ないほうが作業を行いやすいと考える検査者に対しても、作業効率を向上させることが可能となる。 In the above embodiment, the visual region image 420 is displayed while the inspector performs the visual inspection, and a new visual region is added each time the visual region specifying unit 260 specifies a new visual region. However, for example, only when the inspector operates a switch (not shown) and inputs an instruction to display the visual region image 420, the visual region image 420 is displayed on the monitor 107 in an overlapping manner. It can also be. In such a case, it is possible to use the visual region image 420 when performing a final check in the visual inspection process for the region that the inspector has forgotten to visually observe. Thereby, for example, it is possible to improve work efficiency even for an inspector who does not look at the visual region image 420 during the visual inspection.
また検査者は、例えば検査対象物１０１の中の一部の微細な部位に対して目視検査を行いたい場合に、撮影部１０４の倍率を変える指示入力を行い、モニタ１０７に拡大像を表示させるようにすることもできる。この場合、倍率を示す情報を、撮影部１０４から画像合成部２１１に入力するようにすることで、モニタ１０７に表示される撮影画像４００の表示倍率に合わせて、目視領域画像及び指定領域画像の表示倍率を変更して、これらの画像を重ね合わせて表示することができる。 In addition, for example, when an inspector wants to perform a visual inspection on a part of a minute part in the inspection object 101, the inspector inputs an instruction to change the magnification of the imaging unit 104 and displays an enlarged image on the monitor 107. It can also be done. In this case, by inputting information indicating the magnification from the photographing unit 104 to the image composition unit 211, the visual region image and the designated region image are matched with the display magnification of the photographed image 400 displayed on the monitor 107. By changing the display magnification, these images can be superimposed and displayed.
また、撮影部１０４は、可視光により検査対象物１０１を撮影する場合について説明したが、紫外線、赤外線、Ｘ線等の可視光以外の波長の領域で検査対象物１０１を撮影するものであっても良い。 Further, although the imaging unit 104 has been described for imaging the inspection object 101 with visible light, the imaging unit 104 images the inspection object 101 in a region of a wavelength other than visible light such as ultraviolet rays, infrared rays, and X-rays. Also good.
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲を上記実施形態のみに限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。 The preferred embodiments of the present invention have been described above, but these are examples for explaining the present invention, and the scope of the present invention is not limited to the above-described embodiments. The present invention can be implemented in various other forms.
１０１ 検査対象物
１０２ ステージ
１０３ 照明
１０４ 撮影部
１０７ モニタ
１０８ 筐体
１０９ 挿入取出口
１１０ 観察窓
１１１ 視線計測部
２００ 画像処理部
２１０ 画像表示部
２１１ 画像合成部
２１２ 画像メモリ
２２０ 注視点算出部
２２１ 注視点特定部
２３０ 目視領域画像生成部
２４０ 指定領域画像生成部
２５０ 視線調整部
２６０ 目視領域特定部
２７０ 指定領域情報記憶部
２８０ 注視点分布テーブル
２９０ 検査終了通知部
３００ 所定部位認識部
３１０ 位置情報出力部
４００ 表示画像
４１０ 撮影画像
４２０ 目視領域画像
４３０ 指定領域画像
１０００ 目視検査支援装置
DESCRIPTION OF SYMBOLS 101 Inspection object 102 Stage 103 Illumination 104 Image pick-up part 107 Monitor 108 Case 109 Insertion exit 110 Observation window 111 Eye-gaze measurement part 200 Image processing part 210 Image display part 211 Image composition part 212 Image memory 220 Gaze point calculation part 221 Identification unit 230 Visual region image generation unit 240 Designated region image generation unit 250 Line of sight adjustment unit 260 Visual region identification unit 270 Designated region information storage unit 280 Gaze point distribution table 290 Examination end notification unit 300 Predetermined part recognition unit 310 Position information output unit 400 Display image 410 Captured image 420 Visual area image 430 Designated area image 1000 Visual inspection support device
Claims (11)
前記検査対象物の撮影画像を目視する検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出する注視点算出部と、
前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定する目視領域特定部と、
前記目視領域を示す画像を生成する目視領域画像生成部と、
前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する画像表示部と、
を備えることを特徴とする目視検査支援装置。 A visual inspection support device for supporting visual inspection of an inspection object,
A gazing point calculation unit that calculates the position of the gazing point on the photographed image of the inspector by detecting the line of sight of the inspector viewing the photographed image of the inspection object;
Based on the distribution of the gazing point on the photographed image, a visual region identifying unit that identifies a region in which the inspector has performed a visual inspection as a visual region;
A viewing area image generating unit for generating an image indicating the viewing area;
An image display unit for displaying the image showing the visual field and the captured image of the inspection object in an overlapping manner;
A visual inspection support device comprising:
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 The visual inspection support device according to claim 1,
The visual inspection support device, wherein the visual region specifying unit specifies, as the visual region, a region where a distribution density of the gazing point is a predetermined value or more.
前記目視領域特定部は、所定時間内に特定された前記注視点の分布密度が所定値以上である領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 The visual inspection support device according to claim 1 or 2,
The visual inspection support device, wherein the visual region specifying unit specifies, as the visual region, a region where the distribution density of the gazing point specified within a predetermined time is a predetermined value or more.
前記目視領域特定部は、前記注視点の分布密度が所定値以上である領域を新たに検出する毎に、前記領域を前記目視領域として新たに特定し、
前記目視領域画像生成部は、新たに前記目視領域が特定される毎に、前記目視領域を示す画像を更新する
ことを特徴とする目視検査支援装置。 A visual inspection support device according to claim 2 or 3,
The visual region specifying unit newly specifies the region as the visual region each time a new region where the distribution density of the gazing point is a predetermined value or more is detected,
The visual inspection support device updates the image indicating the visual area every time the visual area is newly specified.
前記検査者が目視検査をすべき領域として事前に定められた指定領域を示す情報を記憶する指定領域情報記憶部と、
前記指定領域を示す情報に基づいて、前記指定領域を示す画像を生成する指定領域画像生成部と、
を備え、
前記画像表示部は、前記指定領域を示す画像を、前記撮影画像に重ね合わせて表示し、
前記目視領域特定部は、前記指定領域内の前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
する
ことを特徴とする目視検査支援装置。 The visual inspection support device according to claim 1,
A designated area information storage unit for storing information indicating a designated area predetermined as an area for the inspector to perform visual inspection;
Based on information indicating the designated area, a designated area image generating unit that generates an image indicating the designated area;
With
The image display unit displays an image indicating the designated area in a superimposed manner on the captured image,
The visual inspection support device, wherein the visual region identification unit identifies the designated region as the visual region when a distribution density of the gazing point in the designated region is a predetermined value or more.
前記目視領域特定部は、前記指定領域内において、所定時間以内に特定された前記注視点の分布密度が所定値以上である場合に、前記指定領域を前記目視領域として特定する
ことを特徴とする目視検査支援装置。 The visual inspection support device according to claim 5,
The visual region identification unit identifies the designated region as the visual region when a distribution density of the gazing point identified within a predetermined time is equal to or greater than a predetermined value in the designated region. Visual inspection support device.
前記検査者が目視検査をすべき領域として、複数の前記指定領域が事前に定められており、
前記目視領域特定部が前記各指定領域を前記目視領域として特定するための前記所定値は、前記指定領域毎にそれぞれ定められている
ことを特徴とする目視検査支援装置。 The visual inspection support device according to claim 5 or 6,
As the area to be inspected by the inspector, a plurality of the designated areas are determined in advance,
The visual inspection support apparatus, wherein the predetermined value for the visual region specifying unit to specify each designated region as the visual region is determined for each designated region.
全ての前記指定領域が前記目視領域として特定された場合に、前記検査対象物に対する目視検査が終了した旨の情報を出力する検査終了通知部と、
を備えることを特徴とする目視検査支援装置。 A visual inspection support device according to any one of claims 5 to 7,
When all the designated areas are specified as the visual areas, an inspection completion notification section that outputs information indicating that the visual inspection for the inspection object has been completed;
A visual inspection support device comprising:
前記検査対象物の所定部位を前記撮影画像から認識し、前記所定部位の前記撮影画像内の位置を示す位置情報を出力する所定部位認識部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。 A visual inspection support device according to any one of claims 1 to 8,
A predetermined part recognizing unit that recognizes a predetermined part of the inspection object from the captured image and outputs position information indicating a position of the predetermined part in the captured image;
With
The image display unit determines a position of an image indicating the viewing area to be superimposed on the captured image based on the position information when the captured image and an image indicating the viewing area are superimposed and displayed. Visual inspection support device characterized by the above.
位置を調整可能に設置され、前記検査対象物を載置するための載置台と、
前記載置台に載置された前記検査対象物を撮影し、前記撮影画像を出力する撮影部と、
前記載置台の位置を示す位置情報を出力する位置情報出力部と、
を備え、
前記画像表示部は、前記撮影画像と前記目視領域を示す画像とを重ね合わせて表示する際に、前記位置情報出力部から出力された前記載置台の位置情報に基づいて、前記撮影画像に重ね合わせる前記目視領域を示す画像の位置を定める
ことを特徴とする目視検査支援装置。 A visual inspection support device according to any one of claims 1 to 8,
A mounting table, the position of which is adjustable, and a mounting table for mounting the inspection object;
An imaging unit that images the inspection object placed on the mounting table and outputs the captured image;
A position information output unit that outputs position information indicating the position of the mounting table;
With
The image display unit superimposes the photographed image on the photographed image based on the position information of the mounting table output from the position information output unit when displaying the photographed image and the image indicating the viewing region in a superimposed manner. A visual inspection support device characterized by determining a position of an image showing the visual region to be matched.
前記目視検査支援装置が、前記検査対象物の撮影画像目視する検査者の視線を検出することにより、前記検査者の前記撮影画像上における注視点の位置を算出し、
前記目視検査支援装置が、前記撮影画像上における前記注視点の分布に基づいて、前記検査者が目視検査を行った領域を目視領域として特定し、
前記目視検査支援装置が、前記目視領域を示す画像を生成し、
前記目視検査支援装置が、前記目視領域を示す画像と、前記検査対象物の前記撮影画像と、を重ね合わせて表示する
ことを特徴とする目視検査支援装置の制御方法。 A control method of a visual inspection support device for supporting visual inspection of an inspection object,
The visual inspection support device calculates the position of the gazing point on the captured image of the inspector by detecting the line of sight of the inspector viewing the captured image of the inspection object,
The visual inspection support device identifies, as a visual region, a region where the inspector has performed a visual inspection based on the distribution of the gazing point on the captured image,
The visual inspection support device generates an image indicating the visual area,
The method for controlling a visual inspection support device, wherein the visual inspection support device displays an image indicating the visual region and the captured image of the inspection object in a superimposed manner.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011229058A JP5854553B2 (en) | 2011-10-18 | 2011-10-18 | Visual inspection support device and control method of visual inspection support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011229058A JP5854553B2 (en) | 2011-10-18 | 2011-10-18 | Visual inspection support device and control method of visual inspection support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013088291A true JP2013088291A (en) | 2013-05-13 |
| JP5854553B2 JP5854553B2 (en) | 2016-02-09 |
Family
ID=48532339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011229058A Expired - Fee Related JP5854553B2 (en) | 2011-10-18 | 2011-10-18 | Visual inspection support device and control method of visual inspection support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5854553B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015155843A1 (en) * | 2014-04-08 | 2015-10-15 | 富士通株式会社 | Visual inspection support device, visual inspection support method and visual inspection support program |
| WO2016117016A1 (en) * | 2015-01-20 | 2016-07-28 | 富士機械製造株式会社 | Inspection support device |
| JP2017072407A (en) * | 2015-10-05 | 2017-04-13 | 宏次 牛窪 | Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system |
| US20170192503A1 (en) * | 2015-12-31 | 2017-07-06 | Lenovo (Beijing) Limited | Electronic Device and Method for Displaying Focal Region via Display Unit for Control |
| WO2019044264A1 (en) * | 2017-08-30 | 2019-03-07 | Ａｇｃ株式会社 | Gaze analysis system, gaze analysis method, and training method |
| JPWO2018055754A1 (en) * | 2016-09-26 | 2019-07-04 | 株式会社Ｆｕｊｉ | Out-of-machine work area monitoring system for component mounting machine |
| CN117635605A (en) * | 2024-01-23 | 2024-03-01 | 宁德时代新能源科技股份有限公司 | Battery visual inspection confirmation method and device, electronic equipment and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1124603A (en) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | Information display device and information collecting device |
| JP2002058644A (en) * | 2000-08-21 | 2002-02-26 | Canon Inc | Visual line detector, optical device, and camera |
| JP2006271528A (en) * | 2005-03-28 | 2006-10-12 | Toshiba Corp | Diagnostic imaging support system and diagnostic imaging support program |
| JP2007178129A (en) * | 2005-12-26 | 2007-07-12 | Digital Electronics Corp | Visual examination support apparatus, visual examination support program and recording medium having program recorded thereon |
| JP2008111687A (en) * | 2006-10-30 | 2008-05-15 | Mega Trade:Kk | Visual inspection system and computer program for operating reviewing machine of visual inspection system |
| JP2009150866A (en) * | 2007-11-29 | 2009-07-09 | Toshiba Corp | Appearance inspection apparatus, appearance inspection system, and appearance inspection method |
| JP2010029262A (en) * | 2008-07-25 | 2010-02-12 | Toyota Central R&D Labs Inc | Sight line measuring apparatus and program |
-
2011
- 2011-10-18 JP JP2011229058A patent/JP5854553B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1124603A (en) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | Information display device and information collecting device |
| JP2002058644A (en) * | 2000-08-21 | 2002-02-26 | Canon Inc | Visual line detector, optical device, and camera |
| JP2006271528A (en) * | 2005-03-28 | 2006-10-12 | Toshiba Corp | Diagnostic imaging support system and diagnostic imaging support program |
| JP2007178129A (en) * | 2005-12-26 | 2007-07-12 | Digital Electronics Corp | Visual examination support apparatus, visual examination support program and recording medium having program recorded thereon |
| JP2008111687A (en) * | 2006-10-30 | 2008-05-15 | Mega Trade:Kk | Visual inspection system and computer program for operating reviewing machine of visual inspection system |
| JP2009150866A (en) * | 2007-11-29 | 2009-07-09 | Toshiba Corp | Appearance inspection apparatus, appearance inspection system, and appearance inspection method |
| JP2010029262A (en) * | 2008-07-25 | 2010-02-12 | Toyota Central R&D Labs Inc | Sight line measuring apparatus and program |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015155843A1 (en) * | 2014-04-08 | 2015-10-15 | 富士通株式会社 | Visual inspection support device, visual inspection support method and visual inspection support program |
| US20170004616A1 (en) * | 2014-04-08 | 2017-01-05 | Fujitsu Limited | Visual inspection support apparatus, visual inspection support method and program |
| JPWO2015155843A1 (en) * | 2014-04-08 | 2017-04-13 | 富士通株式会社 | Visual inspection support device, visual inspection support method, and visual inspection support program |
| WO2016117016A1 (en) * | 2015-01-20 | 2016-07-28 | 富士機械製造株式会社 | Inspection support device |
| JP2017072407A (en) * | 2015-10-05 | 2017-04-13 | 宏次 牛窪 | Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system |
| US20170192503A1 (en) * | 2015-12-31 | 2017-07-06 | Lenovo (Beijing) Limited | Electronic Device and Method for Displaying Focal Region via Display Unit for Control |
| JPWO2018055754A1 (en) * | 2016-09-26 | 2019-07-04 | 株式会社Ｆｕｊｉ | Out-of-machine work area monitoring system for component mounting machine |
| EP3518643A4 (en) * | 2016-09-26 | 2019-10-02 | Fuji Corporation | System for monitoring outside work area of component mounting machine |
| WO2019044264A1 (en) * | 2017-08-30 | 2019-03-07 | Ａｇｃ株式会社 | Gaze analysis system, gaze analysis method, and training method |
| CN117635605A (en) * | 2024-01-23 | 2024-03-01 | 宁德时代新能源科技股份有限公司 | Battery visual inspection confirmation method and device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5854553B2 (en) | 2016-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5854553B2 (en) | Visual inspection support device and control method of visual inspection support device | |
| JP6323183B2 (en) | Image processing apparatus and image processing method | |
| CN107545592A (en) | Dynamic camera is calibrated | |
| JP4751689B2 (en) | Eye surface analysis system | |
| CN109429060A (en) | Interpupillary distance measurement method, wearable eye equipment and storage medium | |
| US10402996B2 (en) | Distance measuring device for human body features and method thereof | |
| JP6747172B2 (en) | Diagnosis support device, diagnosis support method, and computer program | |
| JP5038925B2 (en) | Ophthalmic measuring device | |
| JP5014593B2 (en) | Ophthalmic measuring device | |
| JP2013022028A (en) | Circulatory system diagnostic system | |
| JP2002000567A (en) | Method of measuring pupil center position and method of detecting view point position | |
| JP6023865B2 (en) | Endoscope apparatus, control method of endoscope apparatus, and program | |
| JP3735132B2 (en) | Ophthalmic equipment | |
| JPH08313217A (en) | Noncontact image measuring system | |
| WO2019044264A1 (en) | Gaze analysis system, gaze analysis method, and training method | |
| JP2019144154A (en) | Three-dimensional measuring device | |
| JP6546329B1 (en) | Eye gaze vector detection device, visual function inspection device, visual function training device and method | |
| JP6030423B2 (en) | Fundus photographing device | |
| JP7027958B2 (en) | Evaluation device, evaluation method, and evaluation program | |
| JP6159446B2 (en) | Fundus photographing device | |
| JP6885762B2 (en) | Lens meter | |
| JP2010219645A (en) | Auxiliary photographing device, program, and photographing system | |
| CN114615922A (en) | Ophthalmologic apparatus and control method therefor | |
| JP2018100829A (en) | Apparatus and method for observing or inspecting surface of object | |
| JP6159445B2 (en) | Fundus photographing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140627 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5854553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |