JP3443349B2 - 光ファイバ観察用画像処理装置 - Google Patents

光ファイバ観察用画像処理装置

Info

Publication number
JP3443349B2
JP3443349B2 JP2666399A JP2666399A JP3443349B2 JP 3443349 B2 JP3443349 B2 JP 3443349B2 JP 2666399 A JP2666399 A JP 2666399A JP 2666399 A JP2666399 A JP 2666399A JP 3443349 B2 JP3443349 B2 JP 3443349B2
Authority
JP
Japan
Prior art keywords
image
image data
optical fiber
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2666399A
Other languages
English (en)
Other versions
JPH11326681A (ja
Inventor
秀和 小嶋
誠良 三島
愼二 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THE FURUKAW ELECTRIC CO., LTD.
Original Assignee
THE FURUKAW ELECTRIC CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THE FURUKAW ELECTRIC CO., LTD. filed Critical THE FURUKAW ELECTRIC CO., LTD.
Priority to JP2666399A priority Critical patent/JP3443349B2/ja
Publication of JPH11326681A publication Critical patent/JPH11326681A/ja
Application granted granted Critical
Publication of JP3443349B2 publication Critical patent/JP3443349B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/255Splicing of light guides, e.g. by fusion or bonding
    • G02B6/2555Alignment or adjustment devices for aligning prior to splicing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/255Splicing of light guides, e.g. by fusion or bonding
    • G02B6/2551Splicing of light guides, e.g. by fusion or bonding using thermal methods, e.g. fusion welding by arc discharge, laser beam, plasma torch

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Mechanical Coupling Of Light Guides (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は光ファイバ融着接続
装置にセットされた光ファイバをテレビカメラで撮影
し、その画像を処理し、当該光ファイバの自動的な融着
接続を可能にする光ファイバ観察用画像処理装置に関す
るものであり、2台以上のテレビカメラによる高精度な
観測を可能としながらも処理速度が高く、回路も簡潔な
ものである。
【0002】
【従来の技術】図30はファイバ観察用画像処理装置S
を備えた光ファイバ融着接続装置の従来例である。前記
ファイバ観察用画像処理装置Sには光ファイバの接続を
高速で行なえるように工夫が加えられている。この光フ
ァイバ融着接続装置はX、Y、Zの各軸方向に移動可能
な位置決め部材A、Bを備え、各位置決め部材A、Bに
は互いに端面を突き合わされる光ファイバ(光ファイバ
心線)C、Dをセットしてある。この光ファイバC、D
の突き合わせ部の近くには入射光学系Fを取り付けたテ
レビカメラ(カメラヘッド)Gを設けてあり、同カメラ
Gは照明光源Eで照らされた光ファイバC、Dの像をそ
の光軸と直交する方向から撮影できるようにしてある。
このテレビカメラGの撮影画像は後に説明するファイバ
観察用画像処理装置Sにより処理され、その処理結果に
基づいて同画像処理装置Sから制御回路I及びファイバ
位置制御回路Jに信号が送られ、その信号に基づいて位
置決め部材A、Bが可動されて光ファイバC、Dが位置
決めされ、電極棒Hの間の放電でファイバC、Dが融着
接続されるようにしてある。前記ファイバ観察用画像処
理装置SはファイバC、Dの位置決め制御の他、ファイ
バ端面の状態を確認する機能も有している。
【0003】前記ファイバ観察用画像処理装置Sは、テ
レビカメラGに同期信号や電力を供給して同テレビカメ
ラGから画像信号を取り出す駆動回路Kを備えている。
この駆動回路Kの後段には、同駆動回路Kから出力され
る画像信号を取り込む取込み部Lと、取り込んだ画像デ
ータを記憶するデータメモリMと、画像データを処理し
てファイバC、Dの位置決めのための情報を算出するデ
ータ演算器Nとを2つの系統に分けて夫々設けてある。
そして、一方の系統では光ファイバCが映る部分の画像
処理を行い、他方の系統では光ファイバDが映る部分の
画像処理を行って、全体の画像処理の速度を高めてい
る。
【0004】光ファイバ融着接続装置には、融着接続さ
れる光ファイバC、Dを2方向、或いは3方向以上から
撮影して3次元的な位置決めを容易にしたものがある。
2方向から撮影するものでは、図31(a)に示すよう
に光ファイバC、Dの周囲にミラーRを配置して1台の
テレビカメラGで同時に2方向から撮影できるようにし
たものと、図31(b)に示すように2台のテレビカメ
ラGを設けて夫々で異なるアングルから光ファイバC、
Dを撮影できるようにしたものとがある。後者において
は図32(a)に示すようにテレビカメラG毎にA/D
変換器TとデータメモリUとを設け、各テレビカメラG
の画像信号を並列的に取り込んでデータ演算器Pで処理
できるようにしたものと、図32(b)に示すようにビ
デオスイッチャVを設けて2台のテレビカメラGを交互
に切替えながら1セットのA/D変換器Tとデータメモ
リUとで画像信号を取り込み、データ演算器Pで処理で
きるようにしたものとがある。図32(b)のものは、
テレビカメラGの映像が1/30秒毎に更新されるフレーム
画像より構成されることから、ビデオスイッチャVで2
台のテレビカメラGを1/30秒毎に交互に切替えてそれら
の画像データをデータメモリUに取り込み、データ演算
器Pで各テレビカメラGについて1/15秒毎に画像処理を
行う。
【0005】
【発明が解決しようとする課題】1.図30のファイバ
観察用画像処理装置はテレビカメラGを1台しか備えて
おらず、高精度の位置決めには不向きである。また、最
近のマイクロプロセッサ(データ演算器N)の高速化と
メモリの高速化、大容量化の結果、データの転送速度と
データの演算速度は大幅に向上し、テレビカメラGが1
台であれば画像データを2系統に分散して処理する必要
もなくなってきている。 2.図31(a)のファイバ観察用画像処理装置は1台
のテレビカメラGで2つの画像を撮影するため、光学系
での拡大率を大きくすることができず、他の撮影方法に
比べて解像度が低下するという問題がある。 3.図32(a)のファイバ観察用画像処理装置は2台
のテレビカメラGで光ファイバC、Dを多方向から撮影
するため、位置決め精度を高めることができ、しかも各
テレビカメラGの画像データを別々に取り込んで処理す
るため処理速度は高速になるが、回路が複雑化して装置
の値段が高くなり、装置も大型化するという問題があ
る。 4.図32(b)のファイバ観察用画像処理装置は2台
のテレビカメラGの信号を1つの取り込み系で取り込ん
で処理するため、回路は簡潔化できるが、各テレビカメ
ラGの画像が1/15秒毎の更新になるため、位置決めの高
速化が難しくなるという問題がある。
【0006】
【課題を解決するための手段】本発明は2台以上のテレ
ビカメラを用いて高解像度の画像処理と、これらテレビ
カメラからの画像信号の高速処理が可能であり、しかも
回路を簡潔にすることができるファイバ観察用画像処理
装置を提供することにある。
【0007】本発明のうち請求項1記載の光ファイバ観
察用画像処理装置は、テレビカメラで撮影された光ファ
イバの画像データを取り込んで画像処理することによ
り、当該光ファイバの光軸や端面の位置合わせを自動制
御可能とする光ファイバ観察用画像処理装置であって、
2以上のテレビカメラから画像データを取り込み可能で
あり、且つ各テレビカメラから夫々所望の画像データだ
けを取り込んで画像処理することが可能な画像取込手段
を備え、同画像取込手段は画像データの取り込みについ
て、夫々のテレビカメラのフィールドを2以上に分割し
てこれら分割フィールド毎に所望のテレビカメラを割り
当てて1つのフィールドに複数のテレビカメラの画像デ
ータを多重化して取り込み可能とする取込モードを有
し、且つその取込モードを画像処理の進行と連動して或
いは進行と関係なく自動的に切り換え可能としたもので
ある。
【0008】本発明のうち請求項2記載の光ファイバ観
察用画像処理装置は、画像取込手段が各テレビカメラか
らフレーム単位で画像データを取り込み可能であり、且
つフレーム単位で順次テレビカメラを切替えて各テレビ
カメラからの画像データを取り込み可能とする取込モー
ド、各テレビカメラからフィールド単位で画像データを
取り込み可能であり、且つフィールド単位で順次テレビ
カメラを切替えて各テレビカメラからの画像データを取
り込み可能とする取込モード、各テレビカメラから画素
単位で画像データを取り込み可能であり、且つ画素単位
で順次テレビカメラを切替えて各テレビカメラからの画
像データを取り込み可能とする取込モード、のうち何れ
か2以上を持つものである。
【0009】本発明のうち請求項3記載の光ファイバ観
察用画像処理装置は、画像取込手段は、夫々のテレビカ
メラの1つの走査ラインを2以上に分割し、これら分割
走査ライン毎に所望のテレビカメラを割り当てて1つの
走査ライン上に複数のテレビカメラの画像データを多重
化して取り込み可能とする取込モードを持つものであ
る。
【0010】本発明のうち請求項4記載の光ファイバ観
察用画像処理装置は、画像取込手段で取り込まれた画像
データを走査変換手段を通してテレビモニタ等に出力可
能としたものである。
【0011】本発明のうち請求項5記載の光ファイバ観
察用画像処理装置は、画像取込手段と走査変換手段との
間の画像データの受け渡しに少なくとも2以上の異なっ
た受渡モードを用意したものである。
【0012】本発明のうち請求項6記載の光ファイバ観
察用画像処理装置は、受渡モードを画像処理の進行と連
動して或いは進行と関係なく自動的に切り換え可能とし
たものである。
【0013】本発明のうち請求項7記載の光ファイバ観
察用画像処理装置は、画像データに所望の遅延時間を設
定できる遅延手段を設けたものである。
【0014】
【0015】
【発明の実施の形態】(実施形態1)図1は本発明の光
ファイバ観察用画像処理装置27を用いて構成した光フ
ァイバ融着接続装置の全体の概略図、図2は光ファイバ
融着接続部の拡大図である。この光ファイバ融着接続装
置は図1、2に示すように光ファイバ2、3の突き合わ
せ部分を第1、第2の2つのテレビカメラ1で撮影でき
るようにしてある。夫々テレビカメラ1は光ファイバ
2、3の突き合わせ部分を光軸と直交する方向から夫々
異なるアングルで撮影できるようにしてある。各テレビ
カメラ1はCCD等の固体撮像素子(図示されていな
い)にファイバ2、3を拡大して撮影するための入射光
学系10を取り付けたものであり、光ファイバ2、3を
挟んで各テレビカメラ1の反対側に設けた照明光源11
からのファイバ透過光を受光することにより、光ファイ
バ2、3のコアやクラッドを正確にとらえることができ
るようにしてある。ここで各テレビカメラ1はNTSC方式
のビデオ信号を出力するものとし、本発明の光ファイバ
観察用画像処理装置27の入力処理回路13からの同期
信号に基づいて互いに同期のとれたビデオ信号を出力す
る。
【0016】図1の光ファイバ観察用画像処理装置27
では、第1、第2のテレビカメラ1から出力されるNTSC
方式のビデオ信号が入力処理回路13に入力され、ここ
でR/W制御回路12による制御によって、適切なテレ
ビカメラ1のビデオ信号が選択され、同ビデオ信号がA
/D変換器22でA/D変換され、画像データとなって
データメモリ14に書き込まれる(画像取込手段)。デ
ータメモリ14は2画面分の容量を持つものが使用され
ており、また、データメモリ14への画面データの書き
込み(取り込み)は、既存の取込モードに加えて新しく
3つの取込モードが用意されている。
【0017】前記画像取込手段に用意される取込モード 取込モード(既存のモード):第1のテレビカメラ1
からの画像をデータメモリ14に書き込む。 取込モード(既存のモード):第2のテレビカメラ1
からの画像をデータメモリ14に書き込む。 取込モード:図6に示すように第1と第2のテレビカ
メラ1を1フレーム単位(1/30秒毎)で交互に切り替
え、各テレビカメラ1からの画像を1フレームづつ交互
にデータメモリ14に書き込む。インターレース方式の
テレビカメラ1は、第1のテレビカメラ1から奇数(OD
D )フィールドと偶数(EVEN)フィールドの画像を書き
込み、続いて第2のテレビカメラ1から奇数フィールド
と偶数フィールドの画像を書き込む。 取込モード:図7に示すように第1と第2のテレビカ
メラ1を1フィールド単位(1/60秒毎)で交互に切り替
え、各テレビカメラ1からの画像を1フィールドづつ交
互にデータメモリ14に書き込む。 取込モード:図8に示すように第1と第2のテレビカ
メラ1を1画素単位で切り替えると共に、2台のテレビ
カメラ1からの画像を共にデータメモリ14に書き込
む。
【0018】前記データメモリ14(図1)は図5
(a)に示すようにテレビカメラ1の1画素分(8 bit)
の期間内にメモリアクセス1画素分(各8 bit )×3回
を可能なものを用いてある。アクセスは書き込み(W)
のみで3回可能、或いは読み出し(R)のみで3回可能
であり、図5(b)に示すように読み出し(R)を2回
と書き込み(W)を1回、或いは図5(c)に示すよう
に読み出し(R)を1回と書き込み(W)を2回行うこ
とも可能である。図5(b)のアクセス方法は読み出し
(R)2回、書き込み(W)1回であるため、前記取込
モードと取込モードの画像取込手段に対応し、図5
(c)のアクセス方法は読み出し(R)1回、書き込み
(W)2回であるため、取込モードの画像取込手段に
対応する。従って、読み出し(R)を2回行なえる図5
(b)のアクセス方法は、頻繁に演算を行うときの処理
に適しており、ファイバ2、3の移動量が大きいファイ
バ融着接続の初期段階の画像処理に適している。読み出
し(R)を1回しか行なえない図5(c)のアクセス方
法は、データの読み出し速度が図5(b)の半分となる
が、2台のテレビカメラ1の画像データを取り込むこと
ができるため、ファイバ2、3の微調整が主となる後期
段階の画像処理に適する。
【0019】図1のデータ演算器15はデータメモリ1
4に記憶された画像データの画像処理を行い、その処理
結果に基づいて図1の制御回路16とグラフィック回路
17とに信号を出力するようにしてある。データ演算器
15における処理は、データメモリ14から画像データ
を読み出し、そのデータを処理し、画像中から光ファイ
バ2、3の光軸のずれや端面位置、端面状態等に関する
情報を算出し、その情報を制御回路16とグラフィック
回路17に出力する。制御回路16に出力された信号は
ファイバ位置制御回路18、19を通じて図2の駆動装
置26に出力され、位置決め部材20、21を可動す
る。この可動と画像処理とは何回か繰り返えされ、位置
決め部材20、21にセットされた光ファイバ2、3の
光軸を徐々に一致させるようにしてある。
【0020】前記グラフィック回路17(図1)は、デ
ータ演算器15から画像処理の進行情報や画像処理結果
等の情報がデータとして出力されると、このデータに基
づいてテキスト(文字)やグラフィックス(図形)等を
生成し、これをビデオ信号としてビデオエンコーダ29
に出力する。例えば画像処理の内容や状況を示すテキス
ト情報と、各光ファイバ2、3の計測ラインを表すグラ
フィック情報を発生する。
【0021】前記ビデオエンコーダ29(図1)は入力
処理回路13から出力される画像信号に、グラフィック
回路17からのビデオ信号を合成して1つのビデオ信号
を出力するものである。このビデオ信号はテレビモニタ
25に入力されるようにしてある。
【0022】(動作例)図3は前記光ファイバ融着接続
装置の動作概要を、テレビモニタに表示される画像と共
に示したものであり、図4は動作概要と画像の取込モー
ドとの関係を示したものである。以下に動作の概要と各
ステップでの取込モードについて説明する。
【0023】1.被覆除去、整端処理された光ファイバ
2、3を光ファイバ融着接続装置の位置決め部材20、
21にセットしてから、図示されていないスタートスイ
ッチを押すと、第1、第2のテレビカメラ1で撮影され
た画像が取込モードでデータメモリ14に取り込ま
れ、光ファイバ2、3が所定位置まで前進して停止する
(図3、4のステップ1〜3)。
【0024】2.電極棒24による微弱放電が始まり、
光ファイバ2、3の端部がクリーニングされる(図3、
4のステップ4)。
【0025】3.第1、第2のテレビカメラ1で撮影さ
れた画像が取込モードでデータメモリ14に取り込ま
れ、データ演算器15で画像処理が行われる。この段階
では光ファイバ2、3の端面の切断角度が許容値以内で
あるか、端面に欠けが発生していないか等の端面状態の
検査が行われる(図3、4のステップ5)。
【0026】4.端面に異常がないと、引き続き取込モ
ードによるデータメモリ14へのデータの取り込み、
データ演算器15による画像処理が行われる。この段階
では光ファイバ2、3の光軸が調べられ、光軸合わせが
開始される。具体的には第1テレビカメラ1の画像につ
いて調心が行われ、続いて第2テレビカメラ1の画像に
ついて調心が行われ、軸ズレの検定と、端面間隔検定と
が実施される(図3、4のステップ6)。
【0027】5.放電条件の設定が行われると、強力放
電を行い、光ファイバ2、3を互いに前進させて融着接
続を行う(図3、4のステップ7)。
【0028】6.接続完了後、光ファイバ2、3の融着
点を撮影し、その画像を処理して、接続によって生じる
光の伝送損失を推定し、その結果をテレビモニタに表示
する(図3、4のステップ8)。
【0029】7.光ファイバ2、3の融着接続部に補強
部材(熱収縮性を有するチューブと棒状の補強材を主体
としたものが良く使われる)を被せ、図示されていない
加熱装置により加熱して補強部材を収縮させる。以上に
よって光ファイバ2、3の接続が完了する(図3、4の
ステップ9〜11)。
【0030】本発明の光ファイバ観察用画像処理装置に
おいては、前記取込モード〜に加えて更に次の2つ
の取込モード、を必要に応じて付け加えることがで
きる。これら取込モード〜を画像処理の進行等に合
わせて適切に切り替える画像処理プログラムをデータ演
算器15に組み込むことにより高速且つ高精度な画像処
理を達成することが可能となる。
【0031】取込モード:2台のテレビカメラ1の画
像を夫々所定の走査ラインのところで切り替え、図9に
示すようにデータメモリ14に分割多重して書き込む。
例えば、第2のテレビカメラ1のODD フィールドの前半
分の画像データを取り込んだ後に入力を切り替えて、第
1のテレビカメラ1のODD フィールドの後半分の画像デ
ータの取り込みを行う。以上を繰り返して行うことによ
り2つのテレビカメラ1の画像を1つのフィールドに分
割多重して書き込むことができる。図12はこの取込モ
ードによる画像取り込みの例を示したものであり、第
1のテレビカメラ1の画像と第2のテレビカメラ1の画
像とがテレビモニタ25の上部と下部とに分割されて同
時表示される。ちなみにこの画像は、見ためには、図1
1(a、b)の多心光ファイバを撮影した時の画像と同
じように複数(2本)の光ファイバ2、3が表示された
ものとなる。
【0032】取込モード:2台のテレビカメラ1の画
像を夫々走査ラインの所定画素のところで切り替えて図
10に示すようにデータメモリ14に分割多重して書き
込み、同時に2つの画像が取り込まれるようにする。例
えば、第1のテレビカメラ1のODD フィールドの1走査
ラインの前半分の画像データを取り込んだ後に入力を切
り替えて、第2のテレビカメラ1のODD フィールドの1
走査ラインの後半分の画像データを取り込む。この操作
を1フィールド内の各走査ライン毎に行う。図13はこ
の取込モードによる画像取り込みの例を示したもので
あり、第1、第2のテレビカメラ1を共に90度回転し
て垂直方向と水平方向を入れ替えて撮影し、それらを合
成する場合に用いることができる。
【0033】(実施形態2)図14は本発明の光ファイ
バ観察用画像処理装置27の第2の実施形態であり、実
施形態1の光ファイバ観察用画像処理装置27に走査変
換器(走査変換手段)30を設け、データメモリ14に
取り込んだ画像データを走査変換器30を通してテレビ
モニタ25に表示できるようにたものである。この場
合、データメモリ14と走査変換器30との間の画像デ
ータの受け渡しに2以上の異なる受渡モードを設定可能
としてある。この受渡モードの選択と前記取込モードの
選択により、例えば、以下に説明する動作モード〜
をプログラム等に基づいて選択、切り替え可能としてあ
る。なお、走査変換器30は入力された画像の縦倍率、
横倍率、縦オフセット量、横オフセット量を調整可能な
ものである。
【0034】動作モード:第1のテレビカメラ1と第
2のテレビカメラ1のどちらか一方から画像データを取
り込み、表示するモード。データメモリ14には先に説
明した取込モードから適切なもの、例えば取込モード
やが選択され、第1のテレビカメラ1か第2のテレビ
カメラ1の画像データが記録される。データメモリ14
から走査変換器30への受け渡し(受渡モード)は図2
0に示すように、送り側(データメモリ14側)の水平
同期信号HSYNC1と受け側(走査変換器30側)の水平同
期信号HSYNC2とを共に同一タイミングとする。また、送
り側の垂直同期信号VSYNC1と受け側の垂直同期信号VSYN
C2とを共に同一タイミングとする。また、送り側と受け
側の画素クロック信号も同一タイミングとする(図示せ
ず)。送り側も受け側もインターレース動作とする。図
20は取込モードを選択した場合の例であり、データメ
モリ14に第1のテレビカメラ1の画像データが取り込
まれ、テレビモニタ25には第1のテレビカメラ1の画
像が表示される(図19)。
【0035】動作モード:第1のテレビカメラ1と第
2のテレビカメラ1の双方の画像データを取り込み、そ
れらを図21のように左右2画面に分けて表示するモー
ド。データメモリ14には2台のテレビカメラ1の画像
を取り込み可能な取込モードが選択され、第1のテレビ
カメラ1と第2のテレビカメラ1の画像データが記録さ
れる。データメモリ14から走査変換器30への受け渡
し(受渡モード)は図22に示すように、送り側の水平
同期信号HSYNC1が切り替わる毎に第1のテレビカメラ1
の画像データと第2のテレビカメラ1の画像データとを
交互に切り替えて送り出す。受け側は、水平同期信号HS
YNC2を送り側の水平同期信号HSYNC1の半周期にし、また
画素クロック信号CLK2を送り側の画素クロック信号CLK1
の半周期にし、垂直同期信号VSYNC2を送り側の垂直同期
信号VSYNC1と同一周期にする。画像データはデータメモ
リ14から第1のテレビカメラ1のものと第2のテレビ
カメラ1のものとが横に並んで2画面分転送されるが、
1画素おきに画素データが間引かれて転送されるため、
図21に示す2画面画像が得られる。
【0036】動作モード:動作モードと同じく第1
のテレビカメラ1と第2のテレビカメラ1の双方の画像
データを取り込み、それらを図21のように左右2画面
に分けて表示するモード。このモードでは図23に示す
ように、画像データの受け渡しで、送り側の画素クロッ
ク信号CLK1と受け側の画素クロック信号CLK2とを同じに
設定し、代わりに走査変換器30で画像を水平方向に1/
2 に圧縮することによって、見ためには図22の取込モ
ードと同じ図21の画像を表示する。但し、画像データ
は間引きされることなく走査変換器30に転送される。
【0037】動作モード:第1のテレビカメラ1と第
2のテレビカメラ1の双方の画像データを取り込み、そ
れらを図24のように上下2画面に分けて表示するモー
ド。データメモリ14には2台のテレビカメラ1の画像
を取り込み可能な取込モードが選択され、第1のテレビ
カメラ1と第2のテレビカメラ1の画像データが記録さ
れる。データメモリ14から走査変換器30への受け渡
し(受渡モード)は図25に示すように、送り側は、垂
直同期信号VSYNC1が切り替わる毎に第1のテレビカメラ
1の画像データと第2のテレビカメラ1の画像データと
を交互に切り替えて送り出す。受け側は、垂直同期信号
VSYNC2を送り側の垂直同期信号VSYNC1の半周期に設定す
る。画像データはデータメモリ14から第1のテレビカ
メラ1のものと第2のテレビカメラ1のものとが上下に
並んで2画面分転送されるが、夫々のテレビカメラ1の
画像が片側フィールド分だけ転送されるため、図24に
示す2画面画像が得られる。
【0038】動作モード:動作モードと同じく第1
のテレビカメラ1と第2のテレビカメラ1の双方の画像
データを取り込み、それらを図24のように上下2画面
に分けて表示するモード。このモードでは送り側、受け
側共にノーインターレース動作とし、図26に示すよう
に送り側は垂直同期信号VSYNC1が切り替わる毎に第1の
テレビカメラ1と第2のテレビカメラ1の画像を1フレ
ーム分づつ交互に転送する。また、受け側は垂直同期信
号VSYNC2を送り側の垂直同期信号VSYNC2の半周期とす
る。走査変換器30では画像を垂直方向に1/2 に圧縮す
ることによって、見ためには図25の取込モードと同じ
図24の画像を表示する。但し、画像データは間引きさ
れることなく走査変換器30に転送される。
【0039】光ファイバを高速で移動する場面、即ち高
速で画像を更新する場面では動作モード、を選択
し、高速性よりも高精度(高解像度)を要求される場面
では動作モード、を選択するようにプログラムを構
築すると、光ファイバ融着接続装置全体としてのパフォ
ーマンスを向上することができる。
【0040】(実施形態3)図15は本発明の光ファイ
バ観察用画像処理装置27の第3の実施形態であり、第
1、第2のテレビカメラからのビデオ信号を入力する第
1、第2の入力処理回路31、32、夫々のビデオ信号
をA/D変換する第1、第2のA/D変換器33、3
4、A/D変換された画像データを記憶するデータメモ
リ35、データメモリ35の画像データを切り替えて走
査変換器36に送出するセレクタ37、画像の縦倍率、
横倍率、縦オフセット量、横オフセット量を調整する走
査変換器36、走査変換器36からの画像データをD/
A変換するD/A変換器38、データメモリ35に記憶
された画像データを処理するデータ演算器39、データ
演算器39での処理に基づいて様々なグラフィックスを
生成するグラフィック回路40、走査変換器36とグラ
フィック回路40の画像データを合成するビデオエンコ
ーダ41、出力側の同期信号を発生する同期信号発生器
42を備える。即ち、第1のテレビカメラ1や第2のテ
レビカメラ1から出力されてデータメモリ35に記録さ
れた画像データはセレクタ37によって選択されて走査
変換器36に送出され、第1のテレビカメラ1の画像デ
ータ、第2のテレビカメラ1の画像データのどちらか一
方の画像データ、又は双方の画像データが合成された画
像データが走査変換器36を通して出力される構成とな
っている。
【0041】(実施形態4)図16は本発明の光ファイ
バ観察用画像処理装置27の第4の実施形態であり、前
記図15の光ファイバ観察用画像処理装置27における
走査変換器36をデータ演算器39によって制御可能と
し、且つデータ演算器39の画像データをデータ演算器
39に転送して処理可能としたものである。この場合、
データメモリ35に蓄積された画像データと走査変換器
15に蓄積された画像データの夫々を必要に応じて画像
処理することができるため、例えば、現在読み込み中の
画像データとそれより1フレーム前の画像データとを比
較するような応用処理も可能となっている。また、リア
ルタイム性を要しないようなデータの取得はデータメモ
リ35と走査変換器36とに分散して画像処理装置全体
の負荷を軽減することができ、この場合、画像処理装置
の動作周波数を下げて省電力化、低コスト化にもつなが
る。
【0042】図15や図16に示す本発明の光ファイバ
観察用画像処理装置27では、入力処理回路31、32
やA/D変換器33、34、D/A変換器38等に市販
の部品を活用できるほか、データメモリ35や走査変換
器15にも以下に説明する構成、又は同様の機能を有す
るものであれば市販されている汎用品を活用することが
できる。
【0043】図16のデータメモリ35は図17に示す
ように画像コントローラ43と画像メモリ44とからな
り、画像コントローラ43は書き込みアドレス生成回路
45、画像入力バッファ46、CPUインターフェース
47、画像メモリインターフェース48、読み出しアド
レス生成回路49、画像出力バッファ50から構成され
る。画像データは、画像入力ポートに入力されるクロッ
クPICLK に同期して画像入力ポートPI0 〜7 を通して画
像入力バッファ46に取り込まれる。このとき、書き込
みアドレス生成回路45では画像入力ポートに入力され
るフィールド識別信号PIFLD 、画面開始位置(画面の上
端)を示す信号PIVS、行開始位置(画面の左端)を示す
信号PIHS、クロックPICLK に従って書き込み用のアドレ
スが生成され、このアドレスに基づいて入力バッファ4
6に転送されたデータが画像メモリインターフェース4
8を通して画像メモリ44に転送される。画像メモリイ
ンターフェース48は入力側、出力側、CPUインター
フェース47側、画像メモリ44の種類によってはリフ
レッシュ動作の調停を行って画像メモリ44の制御を行
う。画像メモリ44に蓄積された画像データは、読み出
しアドレス生成回路49で生成された読み出し用アドレ
ス(画像出力ポートに入力されるフィールド識別信号PO
FLD 、画面開始位置(画面の上端)を示す信号POVS、行
開始位置(画面の左端)を示す信号POHSに基づいて生成
される)に基づいて画像メモリインターフェース48を
通して読み出され、画像出力バッファ50に転送され
る。画像出力バッファ50では画像出力ポートに入力さ
れるクロックPOCLK に同期して画像データが画像出力ポ
ートPO0 〜7 に出力される。
【0044】図16の走査変換器36は図18に示すよ
うに画像処理プロセッサ51と画像メモリ52とからな
り、画像処理プロセッサ51は書き込みアドレス生成回
路53、画像入力バッファ54、CPUインターフェー
ス55、画像メモリインターフェース56、読み出しア
ドレス生成回路57、画像出力バッファ58、アドレス
変換テーブル59、補間演算回路60から構成される。
この画像処理プロセッサ51はデータメモリ35の画像
コントローラ43にアドレス変換テーブル59、補間演
算回路60を加えた構成であり、画像データの画像メモ
リ52への書き込みや画像データの画像メモリ52から
の読み出しは基本的にデータメモリ35のそれと同様に
して行う。但し、アドレス変換テーブル59と補間演算
回路60が設けられており、アドレス変換テーブル59
には画像を90度回転するためのアドレス変換機能が用
意され、補間演算回路60には画素数が増減した際に画
素データの補正を行う機能が用意され、画面を90度回
転して画像データの縦横の画素数が異なり、前段のデー
タメモリ35と走査変換器36間での画素データの受渡
モードによって画面の縮小、拡大を行う必要が生じたと
きにも画面を表示できるようになっている。画像データ
の縦横の画素数の比が整数倍で間引きを行うようなモー
ドの場合は、単に通過するだけでよい(例えば、図24
の画面を実現するのに図25のように間引く場合)。な
お、前記アドレス変換テーブル59には、予め90度回
転したデータを蓄積したメモリIC(ROM 、RAM )、演算
回路の接続を書き込むもの(PLD :プログラマブルロジ
ックデバイス)、演算式のプログラムを書き込むもの
(ALU :論理演算ユニット)等を用いることができる。
【0045】(実施形態5)図27は本発明のファイバ
観察用画像処理装置27の第5の実施形態であり、第
1、第2の入力処理回路31、32、第1、第2A/D
変換器33、34、データメモリ35、第2のテレビカ
メラ1からの画像データに遅延処理を施す第1の遅延回
路61、セレクタ37、セレクタ37と走査変換器36
との間に設けられた第2の遅延回路62、走査変換器3
6、D/A変換器38、データ演算器39、グラフィッ
ク回路40、ビデオエンコーダ41、同期信号発生器4
2を備える。
【0046】前記第1、第2の遅延回路61、62は夫
々遅延時間を0から1フレーム分まで設定可能なもので
あり、各々の遅延時間を適切に設定することで図28や
図29に示すような画像を合成することができる。これ
らは共に2つのテレビカメラ1の画像を1つのテレビモ
ニタの画面に左右に2分割して表示したものであるが、
テレビカメラ1を縦配置するか横に寝かせて配置するか
の違いがある。いずれの場合も、第1の遅延回路61で
第2のテレビカメラ1の画像を1/2 画面分遅延し、セレ
クタ37で合成されたあとの画像を第2の遅延回路62
で1/4 画面分遅延し、更に第2の遅延回路62と走査変
換器36との間で画像データを1/2 に間引くことによ
り、第1のテレビカメラ1と第2のテレビカメラ1との
画像を左右に並べて表示することができる。
【0047】本件発明では次のような光ファイバ観察用
画像処理装置も可能であり、本件発明に含まれる。 1.テレビカメラ1はNTSC方式の他、PAL 方式、SECAM
方式等、各種方式のものを使用することができる。 2.図7に示す取込モードはインターレース方式に限
られるが、取込モードや取込モードはノンインター
レース方式でも使用することができる。 3.テレビカメラ1の台数は3台、4台と2台以上であ
っても良い。 4.データメモリのアクセス回数は1画素当たり3回以
上でも良い。 5.本発明の光ファイバ観察用画像処理装置はディジタ
ルシグナルプロセッサ(DSP )とソフトウエアプログラ
ムを用いて構成することができ。 6.図15、16のデータメモリ35と走査変換器36
との間の画像データの受け渡しは、テレビカメラ1の入
力ビデオ信号又はテレビモニタへの出力ビデオ信号のい
ずれか一方又は双方と同期していてもよいし、同期して
いなくてもよい。要は画面の更新に間に合えば良いので
あって、同期、非同期を問わない。 7.図14の走査変換器30は入力された画像の縦倍
率、横倍率、縦オフセット量、横オフセット量、回転量
を調節可能なものでもよい。 8.テレビカメラ1の設置において走査線の向きは、光
ファイバ2、3の軸に対して水平方向と直交方向とがあ
るが、いずれにも適用可能である。
【0048】
【発明の効果】本発明の光ファイバ観察用画像処理装置
によれば次のような効果がある。 1.2台以上のテレビカメラを用いて多方向から光ファ
イバを撮影できるため、高精度の画像処理を行うことが
でき、位置決め精度が高い。 2.画像取込手段に複数の異なる取込モードを用意して
それらを切り替えて画像処理することができる。例え
ば、解像度が高い取込モードと解像度は低いが高速処理
が可能な取込モードとを適切に切り替えて画像処理を行
うことにより、融着接続のプロセス全体の処理速度を高
めることができる。 3.複数の異なる取込モードを切り替え可能であるた
め、画像取り込みのための回路が1系統しかなくても所
定の画像処理性能を達成することが可能となり、画像処
理装置のコスト低減と小型化が可能となる。 4.フレーム単位でテレビカメラを切り替える取込モー
ドと、フィールド単位でテレビカメラを切り替える取込
モード、画素単位でテレビカメラを切り替える取込モー
ドの複数の取込モードを有し、それらを切り替え可能で
あるため、複数の処理ステップがある光ファイバの融着
接続においても適切な取込モード選択により高速且つ高
精度の作業が可能となる。 5.1つのフィールドを2以上に分割し、これら分割フ
ィールド毎に所望のテレビカメラを割り当てて1つのフ
ィールドに複数のテレビカメラの画像データを多重化し
て取り込む取込モードを利用すれば、1画面分のフィー
ルドに複数のテレビカメラの画像を多重化して取り込む
ことができる。 6.1つの走査ラインを2以上に分割し、これら分割走
査ライン毎に所望のテレビカメラを割り当てて1つの走
査ライン上に複数のテレビカメラの画像データを多重化
して取り込む取込モードを利用すれば、1画面分のフィ
ールドに複数のテレビカメラの画像を多重化して取り込
むことができる。
【0049】7.画像取込手段で取り込まれた画像デー
タを走査変換手段を通してテレビモニタ等に出力可能で
あるため、画面を拡大縮小やオフセット、回転など、必
要な処理を施してテレビモニタに表示することができ
る。 8.画像取込手段と走査変換手段との間の画像データの
受け渡しに少なくとも2以上の異なった受渡モードを用
意したため、光ファイバの融着接続の各ステップでその
処理に適した受渡モードを選択することができる。従っ
て、適切な画像処理を適切な表示画面で実行することが
でき、高速化、高精度化に加え見易さにも配慮すること
ができる。 9.画像取込手段と走査変換器との間のデータ受渡に複
数モードを用意することにより、画像取込手段に用いら
れるデータメモリと走査変換器に使われる画像処理コン
トローラとが市販の画像処理コントローラに近い構造と
なったため、汎用のLSIを活用することや、ゲートア
レイを活用することが可能となり、小型化、省電力化、
低価格化が可能となる。 10.画像データに所望の遅延時間を設定できる遅延手
段を設けることにより、画像の拡大縮小やオフセットを
走査変換器にたよらずに実行することができる。
【図面の簡単な説明】
【図1】本発明の光ファイバ観察用画像処理装置を用い
た光ファイバ融着接続装置の全体概略図。
【図2】図1における光ファイバ融着接続部の拡大概略
図。
【図3】図1の光ファイバ融着接続装置の動作例であ
り、各ステップの概要とファイバの状態の変化を示した
もの。
【図4】図1の光ファイバ融着接続装置の動作例であ
り、各ステップの概要と取込モードの変化を示したも
の。
【図5】(a)〜(c)はデータメモリのアクセス方法
の異なる例を示した説明図。
【図6】画像取込手段における取込モードの説明図。
【図7】画像取込手段における取込モードの説明図。
【図8】画像取込手段における取込モードの説明図。
【図9】画像取込手段における取込モードの説明図。
【図10】画像取込手段における取込モードの説明
図。
【図11】(a)は第1のテレビカメラによる多心光フ
ァイバの撮影画像、(b)は第2のテレビカメラによる
多心光ファイバの撮影画像。
【図12】取込モードによる画像取り込みの一例を示
した説明図。
【図13】取込モードによる画像取り込みの一例を示
した説明図。
【図14】本発明の光ファイバ観察用画像処理装置を用
いた光ファイバ融着接続装置の全体概略図であり、走査
変換器を設けたもの。
【図15】走査変換器を備える光ファイバ観察用画像処
理装置の回路構成例を示した回路図。
【図16】走査変換器を備える光ファイバ観察用画像処
理装置の回路構成の他の例を示した回路図。
【図17】画像取込手段に用いられるデータメモリの回
路図。
【図18】走査変換手段として用いられる走査変換器の
回路図。
【図19】第1のテレビカメラの画像と第2のテレビカ
メラの画像のどちらかを受け渡す受渡モードの説明図。
【図20】図19の受渡モードにおけるデータ受け渡し
方法を説明する説明図。
【図21】第1のテレビカメラの画像と第2のテレビカ
メラの画像の双方を受け渡す受渡モードの説明図。
【図22】図19の受渡モードにおけるデータ受け渡し
方法を説明する説明図。
【図23】図19の受渡モードにおけるデータ受け渡し
方法の他の例を説明する説明図。
【図24】第1のテレビカメラの画像と第2のテレビカ
メラの画像の双方を受け渡す受渡モードの他の例を示す
説明図。
【図25】図24の受渡モードにおけるデータ受け渡し
方法を説明する説明図。
【図26】図24の受渡モードにおけるデータ受け渡し
方法の他の例を説明する説明図。
【図27】走査変換器を備える光ファイバ観察用画像処
理装置の回路構成の他の例を示した回路図。
【図28】遅延回路を利用した画面合成の例を示した説
明図。
【図29】遅延回路を利用した画面合成の例を示した説
明図であり、テレビカメラの水平方向と垂直方向を入れ
替えて配置するときのもの。
【図30】従来の光ファイバ融着接続装置の一例を示し
た概略図。
【図31】(a)は1台のカメラで2方向から撮影する
場合の説明図、(b)は2台のカメラで撮影する場合の
説明図。
【図32】(a)はカメラ毎に画像取り込み系を設けた
画像処理装置の概略図、(b)は1つの画像取り込み系
で2台のカメラからの画像を取り込む画像処理装置の概
略図。
【符号の説明】
1 テレビカメラ 2 光ファイバ 3 光ファイバ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−13819(JP,A) 特開 昭63−222206(JP,A) 特開 平3−117984(JP,A) 特開 昭62−144004(JP,A) 特開 平1−237883(JP,A) (58)調査した分野(Int.Cl.7,DB名) G02B 6/255 G01M 11/00 G09G 5/00 - 5/40 H04N 7/18

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】テレビカメラ(1)で撮影された光ファイ
    バ(2、3)の画像データを取り込んで画像処理するこ
    とにより、当該光ファイバ(2、3)の光軸や端面の位
    置合わせを自動制御可能とする光ファイバ観察用画像処
    理装置であって、2以上のテレビカメラ(1)から画像
    データを取り込み可能であり、且つ各テレビカメラ
    (1)から夫々所望の画像データだけを取り込んで画像
    処理することが可能な画像取込手段を備え、同画像取込
    手段は画像データの取り込みについて、夫々のテレビカ
    メラ(1)のフィールドを2以上に分割してこれら分割
    フィールド毎に所望のテレビカメラ(1)を割り当てて
    1つのフィールドに複数のテレビカメラ(1)の画像デ
    ータを多重化して取り込み可能とする取込モードを含む
    2以上の異なった取込モードを有し、且つその取込モー
    ドを画像処理の進行と連動して或いは進行と関係なく自
    動的に切り換え可能としたことを特徴とする光ファイバ
    観察用画像処理装置。
  2. 【請求項2】画像取込手段は、各テレビカメラ(1)か
    らフレーム単位で画像データを取り込み可能であり、且
    つフレーム単位で順次テレビカメラ(1)を切替えて各
    テレビカメラ(1)からの画像データを取り込み可能と
    する取込モード、各テレビカメラ(1)からフィールド
    単位で画像データを取り込み可能であり、且つフィール
    ド単位で順次テレビカメラ(1)を切替えて各テレビカ
    メラ(1)からの画像データを取り込み可能とする取込
    モード、各テレビカメラ(1)から画素単位で画像デー
    タを取り込み可能であり、且つ画素単位で順次テレビカ
    メラ(1)を切替えて各テレビカメラ(1)からの画像
    データを取り込み可能とする取込モード、のうち何れか
    2つ以上を持つこと特徴とする請求項1記載の光ファイ
    バ観察用画像処理装置。
  3. 【請求項3】画像取込手段は、夫々のテレビカメラ
    (1)の1つの走査ラインを2以上に分割し、これら分
    割走査ライン毎に所望のテレビカメラ(1)を割り当て
    て1つの走査ライン上に複数のテレビカメラ(1)の画
    像データを多重化して取り込み可能とする取込モードを
    持つことを特徴とする請求項1又は請求項2記載の光フ
    ァイバ観察用画像処理装置。
  4. 【請求項4】画像取込手段で取り込まれた画像データを
    走査変換手段を通してテレビモニタ等に出力可能とした
    ことを特徴とする請求項1乃至請求項3のいずれかの光
    ファイバ観察用画像処理装置。
  5. 【請求項5】画像取込手段と走査変換手段との間の画像
    データの受け渡しに少なくとも2以上の異なった受渡モ
    ードを用意したことを特徴とする請求項4記載の光ファ
    イバ観察用画像処理装置。
  6. 【請求項6】受渡モードを画像処理の進行と連動して或
    いは進行と関係なく自動的に切り換え可能としたことを
    特徴とする請求項5記載の光ファイバ観察用画像処理装
    置。
  7. 【請求項7】画像データに所望の遅延時間を設定できる
    遅延手段を設けたことを特徴とする請求項1乃至請求項
    6のいずれかの光ファイバ観察用画像処理装置。
JP2666399A 1998-03-18 1999-02-03 光ファイバ観察用画像処理装置 Expired - Fee Related JP3443349B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2666399A JP3443349B2 (ja) 1998-03-18 1999-02-03 光ファイバ観察用画像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6859698 1998-03-18
JP10-68596 1998-03-18
JP2666399A JP3443349B2 (ja) 1998-03-18 1999-02-03 光ファイバ観察用画像処理装置

Publications (2)

Publication Number Publication Date
JPH11326681A JPH11326681A (ja) 1999-11-26
JP3443349B2 true JP3443349B2 (ja) 2003-09-02

Family

ID=26364473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2666399A Expired - Fee Related JP3443349B2 (ja) 1998-03-18 1999-02-03 光ファイバ観察用画像処理装置

Country Status (1)

Country Link
JP (1) JP3443349B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031439A (ja) * 2003-07-14 2005-02-03 Fujikura Ltd 光ファイバ端面処理方法及びその装置並びに光ファイバ融着接続方法及びその装置
DE102006023828B4 (de) * 2006-05-20 2011-04-28 Schott Ag Verfahren und Vorrichtung zur Überprüfung von Stirnflächen von Lichtleitern
JP6421348B2 (ja) 2015-01-23 2018-11-14 Seiオプティフロンティア株式会社 光ファイバ融着接続装置及び光ファイバの融着接続方法
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers

Also Published As

Publication number Publication date
JPH11326681A (ja) 1999-11-26

Similar Documents

Publication Publication Date Title
JP2933165B2 (ja) 電子内視鏡装置
JPH08149356A (ja) 動画表示装置
JP3443349B2 (ja) 光ファイバ観察用画像処理装置
WO1999047903A1 (fr) Processeur d'images pour l'observation de fibres optiques
WO2019103240A1 (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
JP3752095B2 (ja) 光ファイバ観察用画像処理装置
JP4531925B2 (ja) 光ファイバ、光部品の観測装置
KR20010005990A (ko) 광파이버관찰용 화상처리장치
KR20050095082A (ko) 스테레오 카메라의 영상 합성장치
JP2001223934A (ja) 画像入力装置
WO2000036366A1 (fr) Dispositif de traitement d'images pour l'observation d'une fibre optique, et dispositif de connexion par fusion des fibres optiques
JP3128467B2 (ja) 2次元映像を3次元映像に変換する方法
JPH0496739A (ja) 画像表示装置
JP2000180650A (ja) 光ファイバ観察用画像処理装置
JP2018182551A (ja) 撮像装置
JPH06105232A (ja) 画像合成装置
JP3096595B2 (ja) 立体映像発生装置
JP3378026B2 (ja) マルチタイプの拡大観察装置
JPH06113340A (ja) 立体視画像の合成表示装置
JP3096756B2 (ja) 画像変換装置
JPH1032842A (ja) 複眼画像処理方法及び装置
JPH067294Y2 (ja) 高速測距装置
JPH09326957A (ja) 画像処理方法および画像処理装置
JPH04108288A (ja) 立体映像装置
CN104660853A (zh) 扫描仪及其成像方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080620

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090620

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100620

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees