JP4053443B2 - Optical system design equipment - Google Patents

Optical system design equipment Download PDF

Info

Publication number
JP4053443B2
JP4053443B2 JP2003054611A JP2003054611A JP4053443B2 JP 4053443 B2 JP4053443 B2 JP 4053443B2 JP 2003054611 A JP2003054611 A JP 2003054611A JP 2003054611 A JP2003054611 A JP 2003054611A JP 4053443 B2 JP4053443 B2 JP 4053443B2
Authority
JP
Japan
Prior art keywords
design
image processing
input
optical system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003054611A
Other languages
Japanese (ja)
Other versions
JP2004265133A (en
Inventor
浩俊 前田
正美 大澤
堅治 梅津
大志 楠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moritex Corp
Sharp Corp
Original Assignee
Moritex Corp
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moritex Corp, Sharp Corp filed Critical Moritex Corp
Priority to JP2003054611A priority Critical patent/JP4053443B2/en
Publication of JP2004265133A publication Critical patent/JP2004265133A/en
Application granted granted Critical
Publication of JP4053443B2 publication Critical patent/JP4053443B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置に用いられる光学系のシステム設計装置に関する。
【0002】
【従来の技術】
従来、工場の生産ラインでは、製品や部品等を対象に個体識別、検査、位置計測などを行う場合、たとえばカメラなどの撮像手段を用いて前記製品や部品等の被写体の画像を入力し、入力された画像を処理することによって、前述の個体識別、検査、位置計測などの目的を達成する画像処理装置が用いられている。
【0003】
個体識別、検査、位置計測などのために必要とされる画像処理対象物品である被写体(以後、ワークと呼ぶ)の画像を入力することに関係する光学系機器は、照明装置や照明電源などの照明系の機器と、カメラ、レンズ、接写リングなどの撮像系の機器とを含む。
【0004】
撮像系機器であるカメラの機種選定は、カメラメーカや画像処理装置メーカのカタログを参照して行い、レンズや接写リングの機種選定は、光学図表を参照して行なわれていた。また照明系機器である照明装置や照明電源の機種選定は、照明メーカや画像処理装置メーカが発行するカタログや仕様書、またそれらに記載されている撮像事例を参照して行なわれていた。
【0005】
しかしながら、前述のようにカタログや仕様書、撮像事例、光学図表を用いた光学系の機種選定をユーザが行う場合、光学系に関する専門知識やノウハウが必要不可欠であり、ユーザが、専門知識やノウハウを有していないと、適切な機種選定は困難であり、選定するとしても長時間を有するというのが実情である。光学系のうちでも特に照明系については高度な知識やノウハウが必要とされ、カタログや仕様書に記載されている照明の原理、仕様、外寸図などの情報のみから、ユーザが、適切な照明装置・照明電源をイメージし選択することは難しい。またライティングイメージの参考になるような撮像事例の記載も少ないことが、ユーザの照明系機種選定を困難にする要因となっている。
【0006】
また、光を照射する照明系と、光の照射されたワークを撮影する撮像系とでは、全く技術体系が異なるため両方に最適な機種を選定することが難しく、撮像系と照明系とに対する包括的な知識を有することなく、撮像系と照明系とを別々に選定すると、たとえばレンズは遠距離焦点であるにも関らず照明は近距離しか対応できない組合せや、逆にレンズは近距離焦点であるにも関らず照明は遠距離しか対応できない組合せなどのように、サイズ的に実使用できない機種選定の組合せの生じることもあった。
【0007】
このように、従来、ユーザが有する光学系の知識やノウハウに基づいて機種選定を行なってシステム設計しているので、ユーザが個々に有する光学系の知識やノウハウに応じて、設計結果、すなわち光学系機器の機種やその配置条件がばらつき、個人差や偏りの生じるのが常態であった。
【0008】
装置設計を自動化する従来技術には、たとえば設計者が作成したい装置に関する目的を入れるだけで、その後はシステム(コンピュータ)と対話的にパラメータを設定すること無く自動的に各機能が設定されるものがある(特許文献1参照)。この従来技術では、機能設計の際、設計者の有する知識(ノウハウ)に基づいて設計するのではないため、設計者の有する知識の習熟度に関係なく、その目的にあった機能を自動的に生成し最適化することができるとされる。しかしながら、特許文献1に開示される技術は、処理回路の判別するべき目的を与えることによって、該目的に応じた情報を検出するためのセンサとそのセンサから出力される信号の判別基準を自動で作成することに関するものであり、知識とノウハウの技術分野が異なる画像処理装置に用いられる光学系に関してシステム設計を自動化する技術については、全く開示されておらずまた示唆されてもいない。
【0009】
【特許文献1】
特開平6−52250号公報
【0010】
【発明が解決しようとする課題】
本発明の目的は、光学系に関する知識およびノウハウ等を必要とせずに何人も容易にシステム設計することができ、設計結果に個人差や偏りを排することのできる光学系のシステム設計装置を提供することである。
【0011】
【課題を解決するための手段】
本発明は、画像処理装置に用いられる光学系のシステム設計装置であって、画像処理装置によって画像処理をする目的毎に、画像処理される対象物品であるワークの撮像事例と、その撮像事例に付帯する光学系の設計情報および推奨照明に関する詳細仕様とを予めストアする記憶手段と、表示手段と、入力手段と、設計手段とを備え、
前記表示手段は、システム設計装置に予め準備された画像処理の目的を選択メニュー画面として表示し、
前記入力手段は、ユーザによって、これから設計しようとする画像処理装置による画像処理の目的に該当または類似するものを、前記画像処理の目的の中から前記入力手段を用いて選択入力することが可能な入力手段であって、
前記表示手段は、前記選択入力された画像処理装置による画像処理の目的の入力情報に応答して、前記記憶手段に予め準備された撮像事例を選択メニュー画面として表示し、
前記入力手段は、ユーザによって、これから設計しようとする画像処理装置の被写体の画像に該当または類似するものを、前記撮像事例の中から前記入力手段を用いて選択入力することが可能な入力手段であって、
前記設計手段は、前記選択入力された被写体の画像に該当または類似するものの入力情報に応答して、前記記憶手段に前記ワークの撮像事例に付帯して予めストアされている光学系の設計情報および推奨照明に関する詳細仕様を選択し
前記表示手段に、前記選択された設計情報および推奨照明に関する詳細仕様を表示することを特徴とする光学系のシステム設計装置である。
【0012】
本発明に従えば、画像処理の目的毎に数多くのワークの撮像事例が準備され、画像処理装置に用いられる光学系のシステムを構成する機器および機器の相対的な配置条件に関する設計情報が、ワークの撮像事例に付帯する情報として予めストアされる。ユーザが、画像処理する目的およびワークの撮像事例から該当または類似するものを選択入力することによって、予めストアされている光学系の設計情報のうちから、入力された撮像事例に対応する機器および機器の配置条件に関する設計情報が選択され、光学系のシステムが自動的に設計される。
【0013】
このように、光学的な専門知識やノウハウを必要とすることなく、ユーザが具体的なイメージによって選択入力の可能なワークの撮像事例を入力するだけで、光学系機器の適切な機種選定が行なわれてシステム設計されるので、設計結果に個人差や偏りを排することが可能になるとともに、システム設計に要する時間を短縮することができる。さらに、システムを設計するべく選択された設計情報が表示されるので、ユーザは、表示された設計情報に従って光学系の機器を準備し配置することによって、ワークの画像処理に適切な画像を取込むことの可能なシステムを容易に構築することができる。
【0014】
また本発明は、前記設計情報には、カメラ機種、レンズ機種および照明装置と、それらの相対的な位置関係である配置条件とが含まれることを特徴とする。
【0015】
また本発明は、前記設計情報には、前記照明装置の使用に係る関連情報が、さらに含まれることを特徴とする。
【0016】
本発明に従えば、システムを設計するべく選択されて表示される設計情報には、少なくともカメラ機種、レンズ機種および照明装置と、それらの相対的な位置関係である配置条件とが含まれ、好ましくは照明装置の使用に係る関連情報が含まれる。このように、システム設計結果には、光学系機器の機種とともに配置条件も含んで表示されるので、ユーザは、システム設計結果を容易に実際の光学系システムとして実現することができる。さらに照明装置の使用に係る関連情報、たとえば照明装置によるワークに対する照明方法のノウハウなどが表示されることによって、ユーザは、該表示を参考にして画像処理に適切な画像を効率的に取込むことが可能になるので、適切な照明条件を求めるために多大な労力と時間とが費されることを防止できる。
【0018】
本発明に従えば、光学的な専門知識やノウハウを必要とすることなく、ユーザが入力手段によって画像処理の目的とワークの撮像事例とを入力するだけで、ワークの撮像事例に付帯して記憶手段に予めストアされている光学系のシステムを構成する機器および機器の配置条件に関する設計情報が選択されてシステム設計されるので、システム設計結果に個人差や偏りを排することが可能であり、またシステム設計に要する時間を短縮することのできる光学系のシステム設計装置が実現される。さらにシステムを設計するべく選択された設計情報が表示手段に表示されるので、ユーザは、システム設計装置によって得られる設計結果に従って容易にシステムを構築することができる。
【0019】
【発明の実施の形態】
図1は、本発明の実施の一形態である光学系のシステム設計装置1の構成を簡略化して示すブロック図である。
【0020】
光学系のシステム設計装置1(以後、システム設計装置と略称する)は、画像処理装置によって画像処理をする目的毎に、画像処理される対象物品であるワークの撮像事例と、その撮像事例に付帯する光学系の設計情報および推奨照明に関する詳細仕様とを予めストアする記憶手段2と、画像処理装置によって画像処理する目的およびワークの撮像事例から該当または類似するものを選択入力する入力手段3と、ワークの撮像事例に付帯して予めストアされている光学系の設計情報および推奨照明に関する詳細仕様を、入力情報に応答して選択することによって、適切な光学系のシステムを設計する設計手段4と、システムを設計するべく選択された設計情報および推奨照明に関する詳細仕様を表示する表示手段5とを含む。本実施の形態のシステム設計装置1は、たとえばパーソナルコンピュータによって実現することができる。
【0021】
記憶手段2は、ハードディスクドライブ装置(略称HDD)であってもよく、また前述の設計情報等が予めストアされた記録媒体であるたとえばコンパクトディスク−レコーダブル(略称CD−R)とその読取装置とから構成されてもよい。なお記憶手段2は、内蔵装置に限定されることなく、たとえば設計情報等のストアされた光磁気ディスク(略称MO)とその読取装置とからなる外付け装置で構成されてもよい。
【0022】
記憶手段2に予めストアされる光学系の設計情報は、以下のようにして求められる。まず画像処理をする目的、換言すれば用途毎に、当該用途で画像処理されると考えられるワークを準備する。カメラ、レンズ、接写リングなどの撮像系機器と、照明装置や照明電源などの照明系機器との各種組合せ、ならびに各機器の相対的な配置条件、すなわちカメラとワークとの設置距離であるワークディスタンス(WD)や照明装置とワークとの設置距離であるライトワークディスタンス(LWD)を種々に変更して、前述のワークを撮像する。多数の撮像事例のうちから、画像処理の用途にとって適切な画像の得られた機種の組合せと配置条件とである設計情報が選定され、ワークの撮像事例に付帯する情報として記憶手段2にストアされる。なお前述の適切な画像が、ワークの撮像事例として、画像処理用途毎に設けられるワークの撮像事例の選択メニューに用いられる。
【0023】
表示手段5は、液晶ディスプレイ(略称LCD)で構成される。なお表示手段は、LCDに限定されるものではなく、たとえば陰極線管などその他のものであってもよい。入力手段3は、本実施の形態ではLCD5の画面上に設けられるタッチパネルとタッチペンとによって構成される。LCD5画面に、画像処理用途やワークの撮像事例などを選択肢とするメニュー画面を表示し、これらの表示に対応するタッチパネル上の予め定められる位置に、タッチペンを触れることによって所望の情報を入力する。なお入力手段には、タッチパネルとタッチペンとに代えて、たとえばマウスなどが用いられてもよい。
【0024】
設計手段4は、中央処理装置(略称CPU)を備える処理回路である。設計手段4は、入力手段3によって入力される情報に応答し、記憶手段2に予めストアされている設計情報および推奨照明の詳細仕様のうちから、入力されたワークの撮像事例に対応する光学系の設計情報および推奨照明の詳細仕様を選択することによって、光学系のシステムを設計する。次いで設計手段4は、表示手段であるLCD5に対して、選択された設計情報および推奨照明の詳細仕様であるシステム設計結果を表示するように指示する表示制御信号を出力する。
【0025】
図2は、図1に示すシステム設計装置1を用いた光学系のシステム設計方法を説明するフローチャートである。以下図2のフローチャートを参照して光学系のシステム設計方法について説明する。
【0026】
ステップs0のスタートでは、システム設計装置1が動作可能な状態であり、LCD5には図3に示すスタート画面P1が表示される。ステップs1では、画像処理装置ならびに画像処理装置に備えられることになる光学系を用いて画像処理を行う目的(用途)に関する情報が、入力される。まずユーザが、LCD5に表示される画面P1上に形成される「光学系エキスパート」11の位置を、入力手段3であるタッチペンで入力することによって、LCD5の表示が図4に示す用途選択を行うためのイメージ画像選択メニュー画面P2に転換される。なお図2のフローチャートでは、タッチペンによる画面転換の入力動作の記載を省略している。
【0027】
イメージ画像選択メニュー画面P2上には、画像処理用途として、「キズ関連検査」12、「欠け関連検査」13、「異物・汚れ関連検査」14、「有無関連検査」15、「寸法計測関連検査」16、「マーク・文字・記号関連検査」17の6つが準備される。ユーザは、所望の用途を選択して入力手段3によって入力する。本実施の形態では、用途として「マーク・文字・記号関連検査」17を選択して入力し、マーク・文字・記号関連検査の場合についての光学系のシステム設計について例示する。なお、用途は、イメージ画像選択メニュー画面P2に示される6つに限定されるものではなく、画像処理装置の用いられる状況に応じて、さらなる多様な用途が準備されてもよい。
【0028】
ステップs2では、対象ワークの撮像事例を入力する。先のステップs1において「マーク・文字・記号関連検査」17を入力することによって、画面は、マーク・文字記号関連検査用途に対応して予め準備されるワークの撮像事例である文字・マーク・記号関連イメージ画像の選択メニュー画面P3に転換される。文字・マーク・記号関連イメージ画像は、前述のように各種光学機器の組合せおよび種々の配置条件において、ワークを撮影した画像の中から、画像処理用途に適すると判定された画像を、ワークの撮像事例として予め採択し記憶手段2にストアされているものである。このようなワークの撮像事例が、用途の入力情報である「マーク・文字・記号関連検査」17に応じて、選択メニュー画面P3に表示される。
【0029】
本実施の形態では、用途「マーク・文字・記号関連検査」17に対応するワークの撮像事例として、「ボタン電池の刻印文字を暗部に強調したい場合」18、「ボタン電池の刻印文字を明部に強調したい場合」19、「ゴルフボールの凹凸表面の影響を受けずに文字のみ強調したい場合」20、「透明樹脂上の刻印文字を強調したい場合」21、「ベアリング上の刻印文字を強調したい場合」22、「アルミ袋のような照明の写り込みがあるワーク上の文字を強調したい場合」23の6つが表示され、6つのワークの撮像事例のうち「ボタン電池の刻印文字を暗部に強調したい場合」18を選択入力する。
【0030】
ステップs3では、ワークの撮像事例の入力に応答し、光学系の設計情報が出力表示される。図6は、光学系の設計情報出力表示画面P4を例示する図である。ワークの撮像事例の入力に応答し、設計手段4は、前記ワークの撮像事例に付帯して記憶手段2に予めストアされている光学系の設計情報であるカメラ機種、レンズ機種、照明装置、WDおよびLDWが、出力表示される。なお適切な撮像事例を得る際に、接写リングが用いられた場合には、設計情報として接写リング機種も出力される。
【0031】
光学系の設計情報は、光学機器の機種名および配置条件が出力表示されるにとどまらず、各機器の具体的な配置を示す画像情報であるイメージ画像24をも含んで出力表示されるので、ユーザは、イメージ画像を参照することによって、誤ることなく容易に光学系のシステムを構築することができる。
【0032】
ステップs4では、照明装置の使用に係る関連情報25が出力される。照明装置の使用に係る関連情報25の出力は、先のステップs3と同時に実行され、ステップs3における光学系の設計情報とともに同画面P4に表示される。ここで照明装置の使用に係る関連情報25とは、該照明装置を用いることによって、画像処理用途に応じたワークの適切な撮影画像が得られる原理、該照明装置を用いてワークを照射する際の技術的注意点などをいう。
【0033】
前述したように光学系の中でも照明系については、システム設計ばかりでなく、その実使用にも高度の知識とノウハウが必要とされるけれども、照明装置の使用に係る関連情報25が設計情報として出力表示されることによって、ユーザは、関連情報25に含まれる知識とノウハウとを利用して画像処理に適切な画像を効率的に取込むことが可能になる。したがって、ユーザは、適切な照明条件を求めるために試行錯誤を繰返して多大な労力と時間とを費すことがなくなる。
【0034】
ステップs5では、照明装置および照明電源の詳細設計情報が出力される。先の画面P4に形成される「推奨照明形式」26部分をタッチペンにて位置入力することによって、照明装置および照明電源の表示画面P5に画面転換される。図7は、照明装置および照明電源の表示画面P5を例示する図である。本ステップでは、照明装置である「擬似同軸照明:形Z−MCEPW−82」とそれに適切に用いられる照明電源の候補が出力される。照明電源の出力情報は、個々の照明装置に付帯するデータとして記憶手段2に予めストアされているものが、読出されて表示される。図7に示す画面P5においては、照明装置の外観画像27、外形寸法図28および仕様29が表示されるとともに、前述の照明電源の候補一覧30が表示される。
【0035】
ステップs6では、システム設置イメージ図が出力表示される。システム設置イメージ図に表示される内容は、前述の各設計情報と重複するので図示を省略するけれども、設計手段4によって選択された設計情報である推奨カメラ、推奨レンズ、推奨接写リング、推奨LWD、推奨WD、照明装置の機種および照明電源の一覧リストとともに、前述の図6の画面P4において示す照明系と撮像系との配置イメージ画像24とを合わせてシステム設置イメージ図として出力表示する。このシステム設置イメージ図の出力表示をもって一連の光学系のシステム設計動作が終了する。
【0036】
システム設置イメージ図における一覧リストには、前述の設計情報以外に、画像センサカメラコントローラやモニタなども、予め記憶手段2にストアされたデータの中から設計手段4が選択出力して表示できるようにしてもよい。
【0037】
このように本発明のシステム設計方法および装置は、光学的な専門知識やノウハウに該当する部分が、画像処理用途と該用途で画像処理されるワークに対する膨大な量の撮像事例を解析し、適切な光学系の設計情報をデータソースとして利用可能な形に集約することによって初めて実現されたものである。このことによって、ユーザは、光学的な専門知識やノウハウを必要とすることなく、ユーザが具体的なイメージによって選択入力の可能なワークの撮像事例を入力するだけで、光学系機器の適切な機種選定が行なわれてシステム設計される。またシステム設計に際して、固有の専門知識やノウハウが用いられないので、設計結果に個人差や偏りの生じることが防止され、さらにカタログや仕様書などを参照する必要がなくなるので、システム設計に要する時間が短縮される。
【0038】
【発明の効果】
本発明によれば、画像処理の目的毎に数多くのワークの撮像事例が準備され、画像処理装置に用いられる光学系のシステムを構成する機器および機器の相対的な配置条件に関する設計情報が、ワークの撮像事例に付帯する情報として予めストアされる。ユーザが、画像処理する目的およびワークの撮像事例から該当または類似するものを選択入力することによって、予めストアされている光学系の設計情報のうちから、入力された撮像事例に対応する機器および機器の配置条件に関する設計情報が選択され、光学系のシステムが自動的に設計される。
【0039】
このように、光学的な専門知識やノウハウを必要とすることなく、ユーザが具体的なイメージによって選択入力の可能なワークの撮像事例を入力するだけで、光学系機器の適切な機種選定が行なわれてシステム設計されるので、設計結果に個人差や偏りを排することが可能になるとともに、システム設計に要する時間を短縮することができる。さらに、システムを設計するべく選択された設計情報が表示されるので、ユーザは、表示された設計情報に従って光学系の機器を準備し配置することによって、ワークの画像処理に適切な画像を取込むことの可能なシステムを容易に構築することができる。
【0040】
また本発明によれば、システムを設計するべく選択されて表示される設計情報には、少なくともカメラ機種、レンズ機種および照明装置と、それらの相対的な位置関係である配置条件とが含まれ、好ましくは照明装置の使用に係る関連情報が含まれる。このように、システム設計結果には、光学系機器の機種とともに配置条件も含んで表示されるので、ユーザは、システム設計結果を容易に実際の光学系システムとして実現することができる。さらに照明装置の使用に係る関連情報、たとえば照明装置によるワークに対する照明方法のノウハウなどが表示されることによって、ユーザは、該表示を参考にして画像処理に適切な画像を効率的に取込むことが可能になるので、適切な照明条件を求めるために多大な労力と時間とが費されることを防止できる。
【0041】
また本発明によれば、光学的な専門知識やノウハウを必要とすることなく、ユーザが入力手段によって画像処理の目的とワークの撮像事例とを入力するだけで、ワークの撮像事例に付帯して記憶手段に予めストアされている光学系のシステムを構成する機器および機器の配置条件に関する設計情報が選択されてシステム設計されるので、システム設計結果に個人差や偏りを排することが可能であり、またシステム設計に要する時間を短縮することのできる光学系のシステム設計装置が実現される。さらにシステムを設計するべく選択された設計情報が表示手段に表示されるので、ユーザは、システム設計装置によって得られる設計結果に従って容易にシステムを構築することができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態である光学系のシステム設計装置1の構成を簡略化して示すブロック図である。
【図2】図1に示すシステム設計装置1を用いた光学系のシステム設計方法を説明するフローチャートである。
【図3】スタート画面P1を例示する図である。
【図4】用途選択メニュー画面P2を例示する図である。
【図5】ワークの撮像事例の選択メニュー画面P3を例示する図である。
【図6】光学系の設計情報出力表示画面P4を例示する図である。
【図7】照明装置および照明電源の表示画面P5を例示する図である。
【符号の説明】
1 システム設計装置
2 記憶手段
3 入力手段
4 設計手段
5 表示手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system set instrumentation location of the optical system used for an image processing apparatus.
[0002]
[Prior art]
Conventionally, in a factory production line, when individual identification, inspection, position measurement, etc. are performed on products or parts, for example, an image of a subject such as the product or parts is input and input using an imaging means such as a camera. An image processing apparatus that achieves the above-described objectives such as individual identification, inspection, and position measurement by processing the processed image is used.
[0003]
Optical system equipment related to inputting an image of a subject (hereinafter referred to as a workpiece) that is an image processing target article required for individual identification, inspection, position measurement, etc. Includes illumination-related devices and imaging-related devices such as cameras, lenses, and close-up rings.
[0004]
The model selection of the camera, which is an imaging system device, was made by referring to the catalogs of the camera manufacturer and the image processing apparatus manufacturer, and the model selection of the lens and the close-up ring was made by referring to the optical chart. In addition, the model selection of lighting devices and lighting power sources, which are lighting system devices, has been performed with reference to catalogs and specifications issued by lighting manufacturers and image processing device manufacturers, and imaging examples described therein.
[0005]
However, as described above, when users select optical systems using catalogs, specifications, imaging examples, and optical charts, specialized knowledge and know-how related to optical systems are indispensable. If it is not, it is difficult to select an appropriate model, and even if it is selected, it takes a long time. Among the optical systems, especially for the illumination system, advanced knowledge and know-how are required, and the user can obtain appropriate illumination only from information such as the principles, specifications, external dimensions, etc. of the illumination described in catalogs and specifications. It is difficult to imagine and select the device and lighting power source. In addition, the fact that there are few descriptions of imaging examples that can be used as a reference for lighting images is a factor that makes it difficult for users to select lighting system models.
[0006]
In addition, it is difficult to select the most suitable model for the illumination system that irradiates light and the imaging system that shoots the workpiece that has been irradiated with light. If the imaging system and the illumination system are selected separately without knowledge, for example, the lens is a long-distance focal point, but the illumination can only support a short distance, and conversely the lens is a short-distance focal point. However, there are cases where combinations of model selections that cannot be actually used in terms of size occur, such as combinations that can only deal with long-distance lighting.
[0007]
As described above, since the system design is conventionally performed by selecting the model based on the knowledge and know-how of the optical system possessed by the user, the design result, that is, the optical design is determined according to the knowledge and know-how of the optical system possessed by the user individually. It was normal that the types of system equipment and their arrangement conditions varied, resulting in individual differences and bias.
[0008]
In the conventional technology for automating device design, for example, a designer can only include the purpose of the device he wants to create, and then each function is automatically set without setting parameters interactively with the system (computer). (See Patent Document 1). In this conventional technology, when designing a function, it is not designed based on the knowledge (know-how) possessed by the designer. It can be generated and optimized. However, the technique disclosed in Patent Document 1 automatically gives a sensor to detect information corresponding to the purpose and a determination criterion of a signal output from the sensor by giving a purpose to be determined by the processing circuit. The technology for automating the system design for an optical system used in an image processing apparatus having different technical fields of knowledge and know-how is not disclosed or suggested at all.
[0009]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 6-52250
[Problems to be solved by the invention]
An object of the present invention can be readily system design any person without requiring knowledge and know-how relating to the optical system, system settings instrumentation location of the optical system which can Haisuru individual differences or deviations in design results Is to provide.
[0011]
[Means for Solving the Problems]
The present invention is an optical system design apparatus used for an image processing apparatus, and for each purpose of image processing by the image processing apparatus, an imaging example of a workpiece that is a target article to be image-processed, and an imaging example thereof A storage unit that stores in advance the design information of the incidental optical system and detailed specifications related to the recommended illumination, a display unit, an input unit, and a design unit,
The display means displays the purpose of image processing prepared in advance in the system design device as a selection menu screen,
The input means can be selected and input by the user using the input means for the purpose of image processing by the image processing apparatus to be designed from now on or similar to the purpose of the image processing. An input means,
In response to the input information for the purpose of image processing by the selected image processing apparatus, the display means displays an imaging example prepared in advance in the storage means as a selection menu screen,
The input means is an input means that allows a user to select and input an image corresponding to or similar to an image of a subject of an image processing apparatus to be designed from the imaging examples using the input means. There,
The design means is responsive to input information of an image corresponding to or similar to the selected and inputted subject image, and design information of the optical system stored in advance in the storage means along with the imaging example of the workpiece, and Select detailed specifications for recommended lighting,
Wherein the display means is a system design device of the optical system characterized by you to view the detailed specifications relating to the selected design information and recommended lighting.
[0012]
According to the present invention, imaging examples of a large number of workpieces are prepared for each purpose of image processing, and the design information regarding the devices and the relative arrangement conditions of the devices constituting the optical system used in the image processing apparatus is Is stored in advance as information incidental to the imaging example. Devices and devices corresponding to the input imaging examples from the optical system design information stored in advance by the user selecting and inputting corresponding or similar ones from the purpose of image processing and the imaging examples of the workpiece Design information regarding the arrangement conditions is selected, and an optical system is automatically designed.
[0013]
In this way, appropriate model selection of optical equipment can be performed simply by inputting an imaging example of a workpiece that can be selected and input by a specific image without requiring specialized optical knowledge and know-how. Since the system is designed, individual differences and deviations can be eliminated from the design result, and the time required for system design can be shortened. Further, since the design information selected to design the system is displayed, the user prepares and arranges the optical system equipment in accordance with the displayed design information, and captures an image suitable for the image processing of the workpiece. It is possible to easily construct a system capable of doing this.
[0014]
The present invention, in the design information, and wherein the camera model, a lens model and a lighting device, to include an arrangement condition that their relative positional relationship.
[0015]
In the invention, it is preferable that the design information further includes related information related to use of the lighting device.
[0016]
According to the present invention, the design information selected and displayed for designing the system includes at least a camera model, a lens model, and a lighting device, and an arrangement condition that is a relative positional relationship between them. Includes information related to the use of the lighting device. In this way, the system design result is displayed including the arrangement conditions as well as the model of the optical system device, so that the user can easily realize the system design result as an actual optical system. Furthermore, by displaying related information related to the use of the lighting device, such as know-how of the lighting method for the work by the lighting device, the user can efficiently capture an appropriate image for image processing with reference to the display. Therefore, it is possible to prevent a great amount of labor and time from being spent for obtaining appropriate lighting conditions.
[0018]
According to the present invention, without requiring optical expertise or know-how, the user simply inputs the purpose of the image processing and the imaging example of the workpiece by the input means, and accompanies and stores the imaging example of the workpiece. Since the system design is made by selecting the design information related to the equipment and the arrangement conditions of the equipment constituting the optical system stored in advance in the means, it is possible to eliminate individual differences and bias in the system design results, Further, an optical system design apparatus capable of reducing the time required for system design is realized. Further, since the design information selected to design the system is displayed on the display means, the user can easily construct the system according to the design result obtained by the system design apparatus.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a simplified configuration of an optical system design apparatus 1 according to an embodiment of the present invention.
[0020]
An optical system design apparatus 1 (hereinafter abbreviated as “system design apparatus”), for each purpose of image processing by an image processing apparatus, an imaging example of a workpiece, which is a target article to be image-processed, and an incidental to the imaging example. Storage means 2 for storing in advance optical system design information and detailed specifications relating to recommended illumination, input means 3 for selecting and inputting a corresponding or similar object from the purpose of image processing by the image processing apparatus and the imaging example of the workpiece, Design means 4 for designing a system of an appropriate optical system by selecting, in response to input information, design information of the optical system stored in advance accompanying the imaging example of the workpiece and detailed specifications regarding recommended illumination. Display means 5 for displaying design information selected to design the system and detailed specifications for recommended lighting. The system design apparatus 1 according to the present embodiment can be realized by a personal computer, for example.
[0021]
The storage means 2 may be a hard disk drive (abbreviated as HDD), and is a recording medium in which the above-mentioned design information and the like are stored in advance, for example, a compact disc-recordable (abbreviated as CD-R) and its reader. May be configured. The storage means 2 is not limited to a built-in device, and may be composed of, for example, an external device including a magneto-optical disk (abbreviated as MO) in which design information and the like are stored and a reading device thereof.
[0022]
The optical system design information stored in advance in the storage means 2 is obtained as follows. First, for each purpose of image processing, in other words, for each application, a work that is considered to be image processed for that application is prepared. Various combinations of imaging equipment such as cameras, lenses, and close-up rings, and illumination equipment such as lighting devices and illumination power supplies, and the relative arrangement conditions of each equipment, that is, the work distance that is the installation distance between the camera and the workpiece (WD) and the light work distance (LWD), which is the installation distance between the illumination device and the work, are variously changed, and the above-described work is imaged. From a large number of imaging cases, design information that is a combination of models and arrangement conditions for obtaining an image suitable for the purpose of image processing is selected and stored in the storage means 2 as information incidental to the imaging example of the workpiece. The The appropriate image described above is used as a workpiece imaging example in a selection menu of workpiece imaging examples provided for each image processing application.
[0023]
The display means 5 is composed of a liquid crystal display (abbreviated as LCD). The display means is not limited to the LCD, and may be other devices such as a cathode ray tube. In the present embodiment, the input means 3 is constituted by a touch panel and a touch pen provided on the screen of the LCD 5. On the LCD 5 screen, a menu screen with options for image processing applications, workpiece imaging examples, and the like is displayed, and desired information is input by touching a touch pen at predetermined positions on the touch panel corresponding to these displays. For example, a mouse or the like may be used as the input means instead of the touch panel and the touch pen.
[0024]
The design means 4 is a processing circuit including a central processing unit (abbreviated as CPU). The design means 4 responds to the information input by the input means 3, and the optical system corresponding to the imaged example of the input workpiece from the design information stored in advance in the storage means 2 and the detailed specifications of the recommended illumination. Design an optical system by selecting design information and detailed specifications for recommended lighting. Next, the design unit 4 outputs a display control signal instructing the LCD 5 serving as the display unit to display the selected design information and the system design result that is the detailed specification of the recommended illumination.
[0025]
FIG. 2 is a flowchart for explaining an optical system design method using the system design apparatus 1 shown in FIG. An optical system design method will be described below with reference to the flowchart of FIG.
[0026]
At the start of step s0, the system design apparatus 1 is in an operable state, and the start screen P1 shown in FIG. In step s1, information regarding the purpose (use) of performing image processing using the image processing apparatus and an optical system to be provided in the image processing apparatus is input. First, the user inputs the position of the “optical system expert” 11 formed on the screen P1 displayed on the LCD 5 with the touch pen as the input means 3, whereby the display on the LCD 5 performs the use selection shown in FIG. To the image selection menu screen P2 for the purpose. In addition, in the flowchart of FIG. 2, description of the input operation of the screen change with a touch pen is abbreviate | omitted.
[0027]
On the image image selection menu screen P 2, “scratch related inspection” 12, “defect related inspection” 13, “foreign matter / dirt related inspection” 14, “existence related inspection” 15, “dimension measurement related inspection” 16 and “mark / character / symbol related inspection” 17 are prepared. The user selects a desired application and inputs it using the input means 3. In the present embodiment, “mark / character / symbol related inspection” 17 is selected and input as an application, and the system design of the optical system in the case of the mark / character / symbol related inspection is exemplified. The uses are not limited to the six shown on the image image selection menu screen P2, and various more uses may be prepared according to the situation where the image processing apparatus is used.
[0028]
In step s2, an imaging example of the target workpiece is input. By inputting “mark / character / symbol related inspection” 17 in the previous step s 1, the screen is a character / mark / symbol that is an imaging example of a work prepared in advance for the mark / character symbol related inspection application. The display is switched to the related image selection menu screen P3. As described above, the character / mark / symbol-related image image is obtained by imaging an image that is determined to be suitable for image processing from among images obtained by photographing the workpiece under various optical device combinations and various arrangement conditions. It is adopted in advance as an example and stored in the storage means 2. Such an imaging example of the workpiece is displayed on the selection menu screen P3 in accordance with the “mark / character / symbol related inspection” 17 which is input information of the application.
[0029]
In the present embodiment, as an example of imaging of a workpiece corresponding to the application “mark / character / symbol-related inspection” 17, “when it is desired to emphasize a stamped character of a button battery in a dark portion” 18, “ "If you want to emphasize only the characters without being affected by the uneven surface of the golf ball" 20, "If you want to emphasize the stamped characters on the transparent resin" 21, "If you want to emphasize the stamped characters on the bearing""Case" 22 and "If you want to emphasize characters on a work with an illumination reflection such as an aluminum bag" 23 are displayed. "If you want to do" 18 is selected and input.
[0030]
In step s3, the design information of the optical system is output and displayed in response to the input of the imaging example of the workpiece. FIG. 6 is a diagram illustrating an optical system design information output display screen P4. In response to the input of the imaging example of the workpiece, the design unit 4 adds the camera model, the lens model, the illumination device, and the WD which are the design information of the optical system attached to the imaging example of the workpiece and stored in the storage unit 2 in advance. And LDW are output and displayed. When a close-up ring is used when obtaining an appropriate imaging case, a close-up ring model is also output as design information.
[0031]
Since the design information of the optical system is not only output and displayed the model name and arrangement conditions of the optical equipment, but also output and displayed including the image image 24 which is image information indicating the specific arrangement of each equipment. The user can easily construct an optical system by referring to the image without error.
[0032]
In step s4, related information 25 relating to the use of the lighting device is output. The output of the related information 25 related to the use of the illumination device is executed simultaneously with the previous step s3, and is displayed on the screen P4 together with the optical system design information at the step s3. Here, the related information 25 related to the use of the illumination device is a principle that an appropriate photographed image of the workpiece according to the image processing application can be obtained by using the illumination device, and when the workpiece is irradiated using the illumination device. This refers to the technical precautions.
[0033]
As described above, regarding the illumination system in the optical system, not only system design but also advanced knowledge and know-how are required for its actual use, but related information 25 relating to the use of the illumination device is output and displayed as design information. As a result, the user can efficiently capture an image suitable for image processing using the knowledge and know-how included in the related information 25. Therefore, the user does not spend much labor and time by repeating trial and error in order to obtain appropriate lighting conditions.
[0034]
In step s5, detailed design information of the lighting device and the lighting power supply is output. By inputting the position of the “recommended illumination format” 26 portion formed on the previous screen P4 with a touch pen, the screen is changed to the display screen P5 of the illumination device and the illumination power source. FIG. 7 is a diagram illustrating a display screen P5 of the illumination device and the illumination power source. In this step, “pseudo-coaxial illumination: Z-MCEPW-82” which is an illumination device and illumination power source candidates appropriately used for it are output. As the output information of the illumination power source, data stored in advance in the storage means 2 as data attached to each illumination device is read and displayed. On the screen P5 shown in FIG. 7, the appearance image 27 of the illumination device, the external dimension drawing 28, and the specification 29 are displayed, and the above-described illumination power source candidate list 30 is displayed.
[0035]
In step s6, a system installation image diagram is output and displayed. The contents displayed in the system installation image diagram are the same as the above-described design information, and are not shown. However, the recommended camera, recommended lens, recommended close-up ring, recommended LWD, and recommended design information selected by the design means 4 are omitted. Along with the list of WDs, types of illumination devices, and illumination power sources, the arrangement image image 24 of the illumination system and the imaging system shown on the screen P4 in FIG. 6 is output and displayed as a system installation image diagram. The system design operation of a series of optical systems is completed with the output display of this system installation image diagram.
[0036]
In the list in the system installation image diagram, in addition to the above-described design information, the image sensor camera controller and the monitor can be selected and output by the design means 4 from the data stored in the storage means 2 in advance. Also good.
[0037]
As described above, the system design method and apparatus according to the present invention analyzes an enormous amount of imaging examples for an image processing application and a work to be image-processed in the application, and the part corresponding to optical expertise and know-how is appropriate. It was realized for the first time by integrating the design information of an optical system into a form that can be used as a data source. As a result, the user can input an appropriate model of the optical system device simply by inputting an imaging example of a workpiece that can be selected and input by a specific image without requiring optical expertise and know-how. Selection is made and the system is designed. Also, since no specialized expertise or know-how is used in system design, it is possible to prevent individual differences and deviations in the design results, and it is not necessary to refer to catalogs and specifications, so the time required for system design Is shortened.
[0038]
【The invention's effect】
According to the present invention, imaging examples of a large number of workpieces are prepared for each purpose of image processing, and the design information regarding the devices and the relative arrangement conditions of the devices constituting the optical system used in the image processing apparatus is Is stored in advance as information incidental to the imaging example. Devices and devices corresponding to the input imaging examples from the optical system design information stored in advance by the user selecting and inputting corresponding or similar ones from the purpose of image processing and the imaging examples of the workpiece Design information regarding the arrangement conditions is selected, and an optical system is automatically designed.
[0039]
In this way, appropriate model selection of optical equipment can be performed simply by inputting an imaging example of a workpiece that can be selected and input by a specific image without requiring specialized optical knowledge and know-how. Since the system is designed, individual differences and deviations can be eliminated from the design result, and the time required for system design can be shortened. Further, since the design information selected to design the system is displayed, the user prepares and arranges the optical system equipment in accordance with the displayed design information, and captures an image suitable for the image processing of the workpiece. It is possible to easily construct a system capable of doing this.
[0040]
Further, according to the present invention, the design information selected and displayed for designing the system includes at least the camera model, the lens model, and the lighting device, and the arrangement condition that is a relative positional relationship between them. Preferably, relevant information regarding the use of the lighting device is included. In this way, the system design result is displayed including the arrangement conditions as well as the model of the optical system device, so that the user can easily realize the system design result as an actual optical system. Furthermore, by displaying related information related to the use of the lighting device, such as know-how of the lighting method for the work by the lighting device, the user can efficiently capture an appropriate image for image processing with reference to the display. Therefore, it is possible to prevent a great amount of labor and time from being spent for obtaining appropriate lighting conditions.
[0041]
Further, according to the present invention, the user simply inputs the purpose of the image processing and the imaging example of the workpiece by using the input means without requiring optical expertise and know-how, and is attached to the imaging example of the workpiece. Since the system design is performed by selecting the design information related to the equipment and the arrangement conditions of the equipment constituting the optical system stored in advance in the storage means, it is possible to eliminate individual differences and bias in the system design results Also, an optical system design apparatus capable of shortening the time required for system design is realized. Further, since the design information selected to design the system is displayed on the display means, the user can easily construct the system according to the design result obtained by the system design apparatus.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a simplified configuration of an optical system design apparatus 1 according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining a system design method for an optical system using the system design apparatus 1 shown in FIG. 1;
FIG. 3 is a diagram illustrating a start screen P1.
FIG. 4 is a diagram illustrating an application selection menu screen P2.
FIG. 5 is a diagram exemplifying a selection menu screen P3 for an imaging example of a workpiece.
6 is a diagram exemplifying an optical system design information output display screen P4. FIG.
FIG. 7 is a diagram illustrating a display screen P5 of the illumination device and illumination power supply.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 System design apparatus 2 Memory | storage means 3 Input means 4 Design means 5 Display means

Claims (3)

画像処理装置に用いられる光学系のシステム設計装置であって、画像処理装置によって画像処理をする目的毎に、画像処理される対象物品であるワークの撮像事例と、その撮像事例に付帯する光学系の設計情報および推奨照明に関する詳細仕様とを予めストアする記憶手段と、表示手段と、入力手段と、設計手段とを備え、
前記表示手段は、システム設計装置に予め準備された画像処理の目的を選択メニュー画面として表示し、
前記入力手段は、ユーザによって、これから設計しようとする画像処理装置による画像処理の目的に該当または類似するものを、前記画像処理の目的の中から前記入力手段を用いて選択入力することが可能な入力手段であって、
前記表示手段は、前記選択入力された画像処理装置による画像処理の目的の入力情報に応答して、前記記憶手段に予め準備された撮像事例を選択メニュー画面として表示し、
前記入力手段は、ユーザによって、これから設計しようとする画像処理装置の被写体の画像に該当または類似するものを、前記撮像事例の中から前記入力手段を用いて選択入力することが可能な入力手段であって、
前記設計手段は、前記選択入力された被写体の画像に該当または類似するものの入力情報に応答して、前記記憶手段に前記ワークの撮像事例に付帯して予めストアされている光学系の設計情報および推奨照明に関する詳細仕様を選択し
前記表示手段に、前記選択された設計情報および推奨照明に関する詳細仕様を表示することを特徴とする光学系のシステム設計装置
An optical system design apparatus used in an image processing apparatus, and for each purpose of image processing by the image processing apparatus, an imaging example of a workpiece, which is a target article to be image processed, and an optical system attached to the imaging example Storage means for preliminarily storing design information and detailed specifications relating to recommended lighting , display means, input means, and design means,
The display means displays the purpose of image processing prepared in advance in the system design device as a selection menu screen,
The input means can be selected and input by the user using the input means for the purpose of image processing by the image processing apparatus to be designed from now on or similar to the purpose of the image processing. An input means,
The display means displays an imaging example prepared in advance in the storage means as a selection menu screen in response to input information intended for image processing by the image processing apparatus selected and input,
The input means is an input means that allows a user to select and input an image corresponding to or similar to an image of a subject of an image processing apparatus to be designed from the imaging examples using the input means. There,
The design means is responsive to input information of an image corresponding to or similar to the selected and inputted subject image, and design information of the optical system stored in advance in the storage means along with the imaging example of the workpiece, and Select detailed specifications for recommended lighting,
Wherein the display means, optical system design apparatus according to claim you to view the detailed specifications relating to the selected design information and recommended lighting.
前記設計情報には、カメラ機種、レンズ機種および照明装置と、それらの相対的な位置関係である配置条件とが含まれることを特徴とする請求項1記載の光学系のシステム設計装置Wherein the design information, camera model, a lens model and a lighting device, optical systems designing apparatus according to claim 1, wherein to include an arrangement condition that their relative positional relationship. 前記設計情報には、前記照明装置の使用に係る関連情報が、さらに含まれることを特徴とする請求項2記載の光学系のシステム設計装置3. The system design apparatus for an optical system according to claim 2, wherein the design information further includes related information related to use of the illumination apparatus .
JP2003054611A 2003-02-28 2003-02-28 Optical system design equipment Expired - Fee Related JP4053443B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003054611A JP4053443B2 (en) 2003-02-28 2003-02-28 Optical system design equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003054611A JP4053443B2 (en) 2003-02-28 2003-02-28 Optical system design equipment

Publications (2)

Publication Number Publication Date
JP2004265133A JP2004265133A (en) 2004-09-24
JP4053443B2 true JP4053443B2 (en) 2008-02-27

Family

ID=33118903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003054611A Expired - Fee Related JP4053443B2 (en) 2003-02-28 2003-02-28 Optical system design equipment

Country Status (1)

Country Link
JP (1) JP4053443B2 (en)

Also Published As

Publication number Publication date
JP2004265133A (en) 2004-09-24

Similar Documents

Publication Publication Date Title
US11704085B2 (en) Augmented reality quick-start and user guide
JP5411049B2 (en) Image processing device
EP1876809A2 (en) Image processing device
JP7393833B2 (en) Computer program, method, and apparatus for generating virtual defect images using an artificial intelligence model generated based on user input
JP4053443B2 (en) Optical system design equipment
JP4053442B2 (en) System design device for illumination system and imaging system
CN104755980A (en) Imaging device and focus control method therefor
JP5815434B2 (en) Manual creation support device and manual creation support method
JP6818795B2 (en) Information processing equipment, information processing methods and computer programs
JP2007251420A (en) Image display unit
JP2021140270A (en) Image processing apparatus, control method of image processing apparatus, and program
CN112213081A (en) Screen body detection equipment
JP2003203216A (en) Image measuring device part program generating device and image forming device part program generating program
JP7013615B2 (en) Information processing equipment, information processing methods, computer programs, and computer equipment
JP7488467B2 (en) PART IDENTIFICATION PROGRAM, PART IDENTIFICATION METHOD, AND INFORMATION PROCESSING APPARATUS
US20230288691A1 (en) Microscope system, superimposing unit, and operation method
JP2001209694A (en) Work analysis supporting system
US20220375138A1 (en) Visualized image display device
WO2021131531A1 (en) Program executing device, program executing method, and program
TWI420228B (en) Photographable electronic device and the operating method thereof
CN115290199A (en) Infrared thermal imaging method and device based on mobile terminal
JP2007060525A (en) Image processing device and method
CN115640306A (en) Auxiliary model selection method and device for machine vision system
JP2007199757A (en) Method for controlling image processor
JP2006292539A (en) Support device and computer program for measuring optical characteristic

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees