JP2006304885A - 被検体内導入装置及び被検体内情報取得システム - Google Patents

被検体内導入装置及び被検体内情報取得システム Download PDF

Info

Publication number
JP2006304885A
JP2006304885A JP2005128556A JP2005128556A JP2006304885A JP 2006304885 A JP2006304885 A JP 2006304885A JP 2005128556 A JP2005128556 A JP 2005128556A JP 2005128556 A JP2005128556 A JP 2005128556A JP 2006304885 A JP2006304885 A JP 2006304885A
Authority
JP
Japan
Prior art keywords
signal processing
data
parameter
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005128556A
Other languages
English (en)
Other versions
JP2006304885A5 (ja
JP4602828B2 (ja
Inventor
Takeshi Mori
健 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2005128556A priority Critical patent/JP4602828B2/ja
Publication of JP2006304885A publication Critical patent/JP2006304885A/ja
Publication of JP2006304885A5 publication Critical patent/JP2006304885A5/ja
Application granted granted Critical
Publication of JP4602828B2 publication Critical patent/JP4602828B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)

Abstract

【課題】視野範囲が拡大される複眼型構成において、それぞれの撮像素子の特性に応じた適正な信号処理を行うことができるようにする。
【解決手段】各撮像素子の撮像データの信号処理に必要な各素子固有の信号処理用パラメータ、例えば、ホワイトバランス処理を行うためのホワイトバランス係数のデータ“WB係数データR1” “WB係数データB1” “WB係数データR2” “WB係数データB2”をあらかじめパラメータメモリ49に格納しておき、このような信号処理用パラメータを送信部によって被検体外に送信出力し、例えば受信装置における信号処理に供し、それぞれの撮像素子の撮像データの信号処理に際してはそれぞれの撮像素子固有の信号処理用パラメータを用いて行うことで、素子特性の違いに応じた適正な撮像データの信号処理が可能となるようにした。
【選択図】 図5−1

Description

本発明は、複眼型のカプセル型内視鏡等の被検体内導入装置及び被検体内情報取得システムに関するものである。
近年、内視鏡の分野において、飲み込み型のカプセル型内視鏡が開発されている。このカプセル型内視鏡は、撮像機能と無線機能とを備え、体腔内の観察のために患者の口から飲み込まれた後、人体から自然排出されるまでの間、例えば食道、胃、小腸などの臓器の内部をその蠕動運動に従って移動し、順次撮像する機能を有する(例えば、特許文献1参照)。
体腔内を移動する間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により体外に送信され、体外の受信装置内に設けられたメモリに蓄積される。医師もしくは看護師においては、メモリに蓄積された画像データをもとにディスプレイに表示させた画像に基づいて診断を行うことができる。
特開2003−19111号公報 米国特許出願公開第2004/199061号明細書
ところで、この種のカプセル型内視鏡に関しては、その進行方向前方の体腔内画像のみを撮像する単眼型のカプセル型内視鏡が一般的であったが、近年では、視野範囲の拡大等を目的として進行方向前後の画像を撮像する複眼型のカプセル型内視鏡も提案されている(例えば、特許文献2参照)。この複眼型のカプセル型内視鏡は、体腔内部を照明するLED等の照明部と体腔内の画像を撮像するCCD等の撮像素子との対をそれぞれ有する複数の撮像ブロックをカプセル型筐体内の前後に配設し、体腔内におけるカプセル型筐体の進行方向前後の画像を撮像する構造とされている。
しかしながら、特許文献2等に示される複眼型のカプセル型内視鏡は、単に、複数の撮像素子によって前後両方向の画像を撮像することが記述されているのみであり、これらの撮像素子には個々の特性の違いがあるにもかかわらず、これらの撮像素子個々の特性の違い等を考慮した処理制御等に関しては言及されておらず、それぞれの撮像素子の特性に応じた適正な撮像データの処理等が保証されないため、複眼型としての利点を必ずしも有効活用できるものとはなっていない。
本発明は、上記に鑑みてなされたものであって、視野範囲が拡大される複眼型構成において、それぞれの撮像素子の特性に応じた適正な信号処理を行うことができ、複眼型の利点を最大限に発揮させることができる被検体内導入装置及び被検体内情報取得システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項1に係る被検体内導入装置は、体腔内の異なる部位を撮像する複数の撮像素子と、前記各撮像素子の撮像データの信号処理に必要な各素子固有の信号処理用パラメータを格納した格納部と、該格納部に格納された前記信号処理用パラメータを被検体外に送信出力する送信部と、を備えたことを特徴とする。
請求項2に係る被検体内導入装置は、上記発明において、前記信号処理用パラメータは、前記撮像素子の撮像データに対してホワイトバランス処理を行うためのホワイトバランス係数のデータであることを特徴とする。
請求項3に係る被検体内導入装置は、上記発明において、前記信号処理用パラメータは、前記撮像素子の画素欠陥のアドレスを示すデータであることを特徴とする。
請求項4に係る被検体内導入装置は、上記発明において、前記送信部は、前記各撮像素子により撮像された撮像データとともに、前記各撮像素子を識別するための識別コードに該撮像素子に対応する信号処理用パラメータを付加して送信出力することを特徴とする。
請求項5に係る被検体内情報取得システムは、請求項4に記載の被検体内導入装置と、該被検体内導入装置の送信部から送信出力されるデータを受信する受信装置と、を備えた被検体内情報取得システムであって、前記受信装置は、前記送信部から送信出力されるデータ中から識別コードを検出する識別コード検出手段と、前記送信部から送信出力されるデータ中から信号処理用パラメータを検出するパラメータ検出手段と、検出された識別コードに基づき前記撮像素子を識別し該撮像素子に対応する信号処理用パラメータを確定するパラメータ確定手段と、前記送信部から送信出力された該撮像素子の撮像データに対し確定された該信号処理用パラメータを用いて画像処理を施す画像処理手段と、を備えたことを特徴とする。
請求項6に係る被検体内情報取得システムは、上記発明において、前記パラメータ確定手段は、前記信号処理用パラメータの確定後に入力される前記識別コードと前記信号処理用パラメータとの組合せの適正度を監視し適正でなくなった場合には確信度の高いデータに基づき該組合せに修正処理を施すことを特徴とする。
本発明に係る被検体内導入装置及び被検体内情報取得システムによれば、各撮像素子の撮像データの信号処理に必要な各素子固有の信号処理用パラメータ、例えば、ホワイトバランス処理を行うためのホワイトバランス係数のデータをあらかじめ格納部に格納しておき、このような信号処理用パラメータを送信部によって被検体外に送信出力し、例えば受信装置における信号処理に供するようにしたので、それぞれの撮像素子の撮像データの信号処理に際してはそれぞれの撮像素子固有の信号処理用パラメータを用いて行うことで、素子特性の違いに応じた適正な撮像データの信号処理が可能となり、いずれの撮像素子による撮像データも適正に処理されるため、複眼型の利点を最大限に発揮させることができるという効果を奏する。また、被検体内導入装置においては、各素子固有の信号処理用パラメータを送信出力可能に保持しているだけであり、当該被検体内導入装置の内部においてホワイトバランス等の信号処理を行わないので、内部回路の回路規模が大きくなって消費電力が増大してしまうようなこともない。
以下、添付図面を参照して、本発明に係る被検体内導入装置の好適な実施の形態である無線型の被検体内情報取得システムについて説明する。なお、本実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
本発明の実施の形態について説明する。図1は、無線型の被検体内情報取得システムの全体構成を示す模式図である。この被検体内情報取得システムは、被検体内導入装置の一例として複眼型のカプセル型内視鏡を用いている。図1に示すように、無線型の被検体内情報取得システムは、被検体1の体内に導入され、体腔内画像を撮像して受信装置2に対して映像信号などのデータ送信を無線によって行うカプセル型内視鏡3と、カプセル型内視鏡3から無線送信された体腔内画像データを受信する受信装置2と、受信装置2が受信した映像信号に基づいて体腔内画像を表示する表示装置4と、受信装置2と表示装置4との間のデータ受け渡しを行うための携帯型記録媒体5とを備える。
また、受信装置2は、被検体1の体外表面に貼付される複数の受信用アンテナA1〜Anを有した無線ユニット2aと、複数の受信用アンテナA1〜Anを介して受信された無線信号の処理等を行う受信本体ユニット2bとを備え、これらユニットはコネクタ等を介して着脱可能に接続される。なお、受信用アンテナA1〜Anのそれぞれは、例えば、被検体1が着用可能なジャケットに備え付けられ、被検体1は、このジャケットを着用することによって受信用アンテナA1〜Anを装着するようにしてもよい。また、この場合、受信用アンテナA1〜Anは、ジャケットに対して着脱可能なものであってもよい。
表示装置4は、カプセル型内視鏡3によって撮像された体腔内画像を表示するためのものであり、携帯型記録媒体5によって得られるデータをもとに画像表示を行うワークステーション等の構成を有する。具体的には、表示装置4は、CRTディスプレイ、液晶ディスプレイ等によって直接画像を表示する構成としてもよいし、プリンタ等のように、他の媒体に画像を出力する構成としてもよい。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)メモリ等が用いられ、受信本体ユニット2b及び表示装置4に対して着脱可能であって、両者に対する挿着時に情報の出力又は記録が可能な機能を有する。具体的には、携帯型記録媒体5は、カプセル型内視鏡3が被検体1の体腔内を移動している間は受信本体ユニット2bに挿着され、カプセル型内視鏡3から送信されるデータが携帯型記録媒体5に記録される。そして、カプセル型内視鏡3が被検体1から排出された後、つまり、被検体1の内部の撮像が終わった後には、受信本体ユニット2bから取り出されて表示装置4に挿着され、表示装置4によって記録されたデータが読み出される。受信本体ユニット2bと表示装置4との間のデータの受け渡しを携帯型記録媒体5によって行うことで、被検体1が体腔内の撮像中に自由に行動することが可能となり、また、表示装置4との間のデータの受け渡し期間の短縮にも寄与している。なお、受信本体ユニット2bと表示装置4との間のデータの受け渡しは、受信本体ユニット2bに内蔵型の他の記録装置を用い、表示装置4と有線又は無線接続するように構成してもよい。
ここで、図2を参照して、カプセル型内視鏡3について説明する。図2は、カプセル型内視鏡3の内部構成を示す断面図である。カプセル型内視鏡3は、被検体1の体腔内部を照明する照明部としての例えばLED11a,11bと、体腔内の画像を撮像する撮像素子としての例えばCCD12a,12bを有する撮像部13a,13bと、をそれぞれ対として有する2組の撮像ブロック14a,14bを、これらに電力を供給する電源部15とともに、カプセル型筐体16内に配設することにより構成されている。
カプセル型筐体16は、撮像ブロック14a,14bをそれぞれ覆い透明で半球ドーム状の先端カバー筐体16a,16bと、これらの先端カバー筐体16a,16bと凹凸係合部17a,17bを介して水密状態に設けられ内部に電源部15を介在させて撮像ブロック14a,14bが配設される円筒状の胴部筐体16cとからなり、被検体1の口から飲み込み可能な大きさに形成されている。胴部筐体16cは、可視光が不透過な有色材質により形成されている。
撮像部13a,13bは、それぞれ撮像基板18a,18b上に設けられてLED11a,11bからの照明光によって照明された範囲を撮像するCCD12a,12bと、これらのCCD12a,12bに被写体像を結像する固定レンズ19a,19b及び可動レンズ20a,20bからなる結像レンズ21a,21bとよりなる。ここで、固定レンズ19a,19bは固定枠22a,22bに固定され、可動レンズ20a,20bは可動枠23a,23bに固定され、ピント調整部24a,24bを構成している。
また、LED11a,11bは、照明基板25a,25b上に搭載され、結像レンズ21a,21bの光軸中心に対してその上下左右の近傍4箇所に配設されている。さらに、各撮像ブロック14a,14bにおいて、撮像基板18a,18bの背面側には、ブロック毎に各部を処理又は制御するための信号処理・制御部26a,26bが搭載され、さらに、一方の撮像ブロック14aの信号処理・制御部26aには外部と無線通信を行うためのアンテナ等からなる無線部27が実装された無線基板28が配設されている。また、撮像基板18a,18bと照明基板25a,25bとは適宜ケーブルにより電気的に接続されている。
撮像ブロック14a,14b間に位置する電源部15は、例えば胴部筐体16cの内径にほぼ一致する直径のボタン型の電池29により構成されている。この電池29は、酸化銀電池、充電式電池、発電式電池等を用い得る。ここで、各撮像ブロック14a,14bとこの電池29との間の中心部には、撮像ブロック14a,14bをそれぞれ対向する先端カバー筐体16a,16b側、つまり、外側に付勢するねじりコイルばね形状のばね部材30a,30bが介在されている。なお、無線基板28上の無線部27と信号処理・制御部26bとは電池29外部を通したケーブル等により適宜電気的に接続され、この電池29も、信号処理・制御部26a,26b等とケーブル等により適宜電気的に接続されている。なお、無線部27は撮像ブロック14a,14bで共用とせず、撮像ブロック14a,14b毎に個別に設けてもよい。
ここで、先端カバー筐体16a,16bの内部外周付近には、照明基板25a,25bの外周側一部を突き当て当接させることにより撮像ブロック14a,14bのカプセル型内視鏡3における軸方向の位置決めを行う基準となる位置決め部31a,31bが一体に形成されている。また、これらの位置決め部31a,31bと照明基板25a,25bとの間には、例えば相互に係脱する凹凸形状の組み合わせからなり、軸心周り方向の位置決めをする回転止め位置決め部(図示せず)が形成されている。
つぎに、図3を参照して、カプセル型内視鏡3の内部回路構成について説明する。図3は、カプセル型内視鏡3の内部回路構成を示す概略ブロック図である。まず、信号処理・制御部26aは、対をなすLED11aとCCD12aとを制御するためのものであり、それぞれLED11aとCCD12aに対応するLED駆動回路41a,CCD駆動回路42aを有する。また、信号処理・制御部26aは、CCD12aから出力される出力信号に対して相関二重サンプリング処理、増幅処理、A/D変換処理、多重化処理等の所定の画像処理を施す画像処理部43aを有する。さらに、信号処理・制御部26aは、各種タイミング信号や同期信号を生成するタイミングジェネレータ(TG)及びシンクジェネレータ(SG)44aを有する制御部45aを備え、タイミングジェネレータ及びシンクジェネレータ44aにより生成されたタイミング信号や同期信号に基づいて、駆動回路41a,42aや画像処理部43aの動作やその動作タイミングなどを制御する。
また、信号処理・制御部26bは、対をなすLED11bとCCD12bとを制御するためのものであり、それぞれLED11bとCCD12bに対応するLED駆動回路41b,CCD駆動回路42bを有する。また、信号処理・制御部26bは、CCD12bから出力される出力信号に対して相関二重サンプリング処理、増幅処理、A/D変換処理、多重化処理等の所定の画像処理を施す画像処理部43bを有する。さらに、信号処理・制御部26bは、各種タイミング信号や同期信号を生成するタイミングジェネレータ(TG)及びシンクジェネレータ(SG)44bを有する制御部45bを備え、タイミングジェネレータ及びシンクジェネレータ44bにより生成されたタイミング信号や同期信号に基づいて、駆動回路41b,42bや画像処理部43bの動作やその動作タイミングなどを制御する。
ここで、制御部45a,45bは、制御部45a側がマスタで制御部45b側がスレーブとなる主従関係にあり、制御部45bは制御部45a側からのイネーブル信号EBに従いこのイネーブル信号EBがHレベルの間だけ動作するように制御部45aに従動して制御動作を実行する。
また、無線部27は、画像処理部43a,43bを経た撮像データの出力経路上に設けられてRF変調信号を出力する送信部としての送信モジュール46と送信アンテナ47とにより構成されている。
さらに、カプセル型内視鏡3は、信号処理・制御部26a,26bに対して共通な格納部としてのパラメータメモリ49を備えている。このパラメータメモリ49は、各CCD12a,12bの撮像データの信号処理に必要な各素子固有の信号処理用パラメータや当該カプセル型内視鏡3の処理に必要な共用パラメータをこれらの信号処理・制御部26a,26bにより読出し可能に格納したものであり、適宜タイミングでパラメータが画像処理部43a又は43bに対して読出されて撮像データ等との多重化処理に供され、無線部27を介して受信装置2側に送信可能とされている。
図4は、制御部45a,45bにより制御される点灯・読出し等のタイミング制御例を示す概略タイムチャートである。制御部45a,45bは、CCD12a,12bを順次交互に駆動するとともに、LED11a,11bの点灯タイミングとCCD12a,12bの読出しタイミングとが異なるようにタイミング制御する。より具体的には、例えば一方のCCD12aの読出し動作終了後に他方のCCD12bと対をなすLED11bを所定時間点灯させ、その後、CCD12bの読出し動作終了後にCCD12aと対をなすLED11aを所定時間点灯させ、以後、このような動作制御を繰り返す。
図4に則して説明する。まず、制御部45aはタイミングジェネレータ及びシンクジェネレータ44aから出力されるパルス状のタイミング信号に従いLED駆動回路41aを介してLED11aを所定時間点灯させ、その照明部位をCCD12aにより撮像させる(LED11a点灯)。そして、LED11aが消灯したタイミングで、制御部45aはCCD駆動回路42aを介してCCD12aから画像処理部43aに対してフレーム単位の撮像信号の読出し動作を実行させる(CCD12a読出し)。この読出し動作が終了したら、制御部45aは制御部45b側に対してイネーブル信号EBを出力し(Hレベル)、制御部45b側による制御に切換える。
制御部45bは、タイミングジェネレータ及びシンクジェネレータ44bから出力されるパルス状のタイミング信号に従いLED駆動回路41bを介してLED11bを所定時間点灯させ、その照明部位をCCD12bにより撮像させる(LED11b点灯)。そして、LED11bが消灯したタイミングで、制御部45bはCCD駆動回路42bを介してCCD12bから画像処理部43bに対してフレーム単位の撮像信号の読出し動作を実行させる(CCD12b読出し)。この読出し動作が終了するタイミングで、制御部45aはイネーブル信号EBをLレベルに切換え、制御部45a側による制御に切換える。以後、これらの動作制御を交互に繰り返す。また、回路構成上、制御部45bから読出し終了時に制御部45aに対し終了信号を入力することによってイネーブル信号EBをLレベルにするようにしてもよい。
このような動作において、送信モジュール46に対しては、CCD12a,12bから順次交互に出力されるフレーム単位の撮像データが順次入力され(CCD12aデータ、CCD12bデータ、CCD12aデータ、…)、RFデータとしての送信出力に供される。
複眼型のカプセル型内視鏡3の場合、例えば胴部筐体16cが可視光に対して不透過な材質により形成され、また、中央の電池29が遮光部材として機能し得るが、CCD12aの撮像・読出し時にLED11bが点灯するとその照明光がいずれかの隙間経路等を経て迷光となってこのCCD12aの撮像画像に影響を及ぼす可能性がある。CCD12bに対するLED11aの関係も同様である。また、LED11a,11bの点灯タイミングとCCD12a,12bの読出しタイミングとが一致すると、LED11a,11bのオン・オフ時のスイッチングノイズがCCD12b,12aの撮像画像に重畳され、その画質を損なう可能性がある。
ここで、本実施の形態は、上述のように、各CCD12a,12bを順次交互に駆動するとともに、LED11a,11bの点灯タイミングとCCD12a,12bの読出しタイミングとが異なるように制御することで、点灯タイミングと読出しタイミングとがタイミング的に重ならないので、体腔内の異なる部位をそれぞれのCCD12a,12bによって撮像する上で、他方のLED11b又は11aによる照明光が迷光となって一方のCCD12a又は12bの撮像画像に影響を及ぼすことや、LED11a,11b点灯時のスイッチングノイズが撮像画像に重畳されたりすることがなく、それぞれの撮像画像の品質を向上させて被検体内診察を良好に行うことができる。
また、2つの制御部45a,45bについて、イネーブル信号EBを利用することで、制御部45a側がマスタで制御部45b側がスレーブとなる主従関係の下に制御動作を交互かつ適正に行わせることができる。さらに、信号処理・制御部26a,26bは、各CCD12a,12bが読出し動作をしない無信号時のタイミングでは出力抵抗を高抵抗(ハイインピーダンス)にすることにより、他出力に影響がないので、送信モジュール46を支障なく共通化することができる。
また、複眼型のカプセル型内視鏡を構成する上で、撮像素子や照明部は複数個個別設けることが必須であるが、本実施の形態では、上述の送信モジュール46の他に、パラメータメモリ49のように、2系統で流用できる所は流用して極力共通化を図っているので、複眼型のカプセル型内視鏡3の構成の小型・シンプル化を実現することができる。
ここで、図5−1、図5−2を参照して、パラメータメモリ49について説明する。図5−1は、パラメータメモリ49の構成の一例を示し、CCD12aに固有の信号処理用パラメータを格納するCCD12a用パラメータ領域49aと、CCD12bに固有の信号処理用パラメータを格納するCCD12b用パラメータ領域49bと、共用パラメータを格納するシステム用パラメータ領域49cとを有する。
CCD12a用パラメータ領域49aには、固有の信号処理用パラメータとして、例えば、CCD12aの撮像データに対してホワイトバランス(WB)処理を行うためのホワイトバランス係数のデータが格納される。このデータは、各カプセル型内視鏡3の製造工程における試験によりあらかじめCCD12aに独自のホワイトバランス係数として求められたデータである。具体的には、基準となる白チャートをCCD12aにより撮像し、グリーン(G)を基準として、R(レッド)、B(ブルー)の出力が規定値となるように算出された補正係数(ホワイトバランス係数)であり、“WB係数データR1” “WB係数データB1”として格納される。
CCD12b用パラメータ領域49bには、固有の信号処理用パラメータとして、例えば、CCD12bの撮像データに対してホワイトバランス(WB)処理を行うためのホワイトバランス係数のデータが格納される。このデータも、各カプセル型内視鏡3の製造工程における試験によりあらかじめCCD12bに独自のホワイトバランス係数として求められたデータである。具体的には、基準となる白チャートをCCD12bにより撮像し、グリーン(G)を基準として、R(レッド)、B(ブルー)の出力が規定値となるように算出された補正係数(ホワイトバランス係数)であり、“WB係数データR2” “WB係数データB2”として格納される。
なお、各素子固有の信号処理用パラメータとしては、このようなホワイトバランス係数のデータに限らず、例えば、各CCD12a,12bの画素欠陥のアドレスを示すデータとし、該画素欠陥のアドレスの周囲のアドレスに対応する画素データに基づいて、該アドレスに存在する画素欠陥の補正に供するようにしてもよい。さらには、撮像素子として、CCDに代えて、例えばCMOSセンサを用いた場合の各CMOSセンサに固有の値である光電変換特性のオフセット値を各素子固有の信号処理用パラメータとしてそれぞれの領域49a,49bにあらかじめ格納しておくようにしてもよい。
システム用パラメータ領域49cには、CCD12a,12bに固有ではないが、各カプセル型内視鏡3に固有なパラメータとして、例えば、CCD12a,12bなるセンサ毎の転送枚数(フレーム転送枚数)のデータや当該カプセルを確定するためのカプセル番号などのデータが格納される。
図5−2は、パラメータメモリ49の構成の別例を示し、CCD12aに固有の信号処理用パラメータを格納するCCD12a用パラメータ領域49aと、CCD12bに固有の信号処理用パラメータを格納するCCD12b用パラメータ領域49bとに二分し、これらの領域49a,49b中にさらにシステム用パラメータ領域49d,49eをそれぞれ設けておき、一方を有効、他方を無効とするようにしたものである。図示例では、制御部45a側をマスタとして制御を行うようにしているので、CCD12a用パラメータ領域49a中のシステム用パラメータ領域49d側が有効とされている。回路系によって制御部45b側をマスタにしたい等の状況が生じた場合には、CCD12b用パラメータ領域49b中のシステム用パラメータ領域49e側が有効となり、CCD12a用パラメータ領域49a中のシステム用パラメータ領域49d側が無効となるように切換えればよく、メモリに汎用性を持たせることができる。
図6は、送信モジュール46に対する入力信号例を示す説明図である。送信モジュール46に対しては、まず、タイミングジェネレータ及びシンクジェネレータ44aから出力される垂直同期信号を先頭として、画像処理部43aにおいてCCD12aからの撮像データとともに、このCCD12aを識別するための識別コードであるセンサ識別コード1に、CCD12a用パラメータ領域49aから読み出したCCD12a用の信号処理パラメータであるホワイトバランス係数のデータ“WB係数データR1”“WB係数データB1”を多重化処理部で付加したデータ列がフレームデータ列として入力される。次いで、タイミングジェネレータ及びシンクジェネレータ44bから出力される垂直同期信号を先頭として、画像処理部43bにおいてCCD12bからの撮像データとともに、このCCD12bを識別するための識別コードであるセンサ識別コード2に、CCD12b用パラメータ領域49bから読み出したCCD12b用の信号処理パラメータであるホワイトバランス係数のデータ“WB係数データR2”“WB係数データB2”を多重化処理部で付加したデータ列がフレームデータ列として入力される。
送信モジュール46に対しては、このようなフレームデータ列が一方が奇数番目、他方が偶数番目となって交互に入力され、RF信号として、送信用アンテナ47から送信出力され、受信装置2で受信可能とされている。なお、それぞれのセンサ識別コードは、1ビット情報でよいので、垂直同期信号中の1ビットをセンサ識別コード用として兼用させることで、CCD12a用の垂直同期信号とCCD12b用の垂直同期信号とに分けるようにしてもよい。
このように、信号処理用パラメータは、カプセル型内視鏡3の起動時だけでなく、それぞれの撮像データのフレーム単位での送信出力毎に付加して送信出力するので、例えば、カプセル型内視鏡3の起動時に受信装置2の電源が投入されていない等の事態があっても、電源投入後の任意の時点で信号処理用パラメータを取得することが可能となる。
つづいて、受信装置2側の構成例について図7を参照して説明する。図7は、受信装置2の回路構成例を示す概略ブロック図である。受信装置2は、受信モジュール51と、信号処理・制御部52と、画像圧縮部53とを備えている。受信モジュール51は、アンテナA1〜Anにて捕捉された電波の信号を増幅し復調する機能を果たし、無線ユニット2a部分により構成されている。画像圧縮部53は、信号処理・制御部52により画像処理後の画像データを圧縮し、この受信装置2に対して着脱自在に装着された携帯型記録媒体5に圧縮した画像データを格納する。
信号処理・制御部52は、受信モジュール51で受信され復調された信号に対して信号分離を行う信号分離部54と、信号分離の結果に基づいて垂直同期信号、センサ識別コード、信号処理用パラメータをそれぞれ検出する検出部55,56,57と、受信モジュール51から出力される撮像データに対して画像処理を施す画像処理手段としての画像信号処理部58と、検出部55〜57による検出結果に基づいて信号処理用パラメータを確定する確定処理等を実行して画像処理部58による画像処理に供するパラメータ確定手段としての識別コード・パラメータ確定部59とを備えている。識別コード・パラメータ確定部59は、例えばパラメータ確定処理に用いる4つのレジスタR1〜R4を備えている。
このような構成において、信号処理・制御部52は、概略的には、受信モジュール51で受信され復調された信号を信号分離部54で分離し、その分離信号に基づき、同期信号検出部55で垂直同期信号を検出し、センサ識別コード検出部56でセンサ識別コードを検出し、パラメータ検出部57で信号処理用パラメータとしてホワイトバランス係数のデータを検出し、これらの検出情報を識別コード・パラメータ確定部59に入力させることで、識別コード・パラメータ確定部59においてCCD12a又は12bのいずれの撮像データであるかを識別しそのCCD12a又は12bに対応する信号処理用パラメータを確定するパラメータ確定処理を実行させる。
図8及び図9は、識別コード・パラメータ確定部59において実行されるパラメータ確定処理例を示す概略フローチャートである。この処理は、概略的には、図8に示す奇数フレームの処理と、図9に示す偶数フレームの処理とに二分されて実行される。まず、奇数番目の垂直同期信号が入力されたか否かを判断する(ステップS1)。「奇数番目」とは、受信装置2が最初に受けたフレームデータ列が1番目であり、以降、3番目、5番目、…に受けたフレームデータ列を意味する。したがって、2番目、4番目、…に受けたフレームデータ列は偶数番目となる。
奇数番目の垂直同期信号が入力されたと判断した場合には(ステップS1:Yes)、つづいて、センサ識別コードが入力されたか否かを判断し(ステップS2)、センサ識別コードが入力された場合には(ステップS2:Yes)、さらに信号処理用パラメータが入力されたか否かを判断する(ステップS3)。信号処理用パラメータが入力された場合において(ステップS3:Yes)、これらのセンサ識別コードや信号処理用パラメータが新規に入力されたものであるか否かを判断し(ステップS4)、新規に入力されたものであれば(ステップS4:Yes)、1番目の入力であるので、入力されたこれらのセンサ識別コードや信号処理用パラメータをレジスタR1に記録し(ステップS5)、ステップS1の処理に戻る。
ステップS1以降の再度の処理において、センサ識別コードや信号処理用パラメータが入力された場合には(ステップS2:Yes,ステップS3:Yes)、3番目以降であり新規ではないので(ステップS4:No)、今回入力されたセンサ識別コードや信号処理用パラメータをレジスタR2に記録する(ステップS6)。そして、レジスタR1とレジスタR2の記録内容が一致するか否かを判断する(ステップS7)。一致する場合には(ステップS7:Yes)、奇数番目同士で同一内容のセンサ識別コードと信号処理用パラメータとの入力が2回正常に連続したこととなり、奇数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定する(ステップS8)。
一方、レジスタR1,R2の記録内容が一致しない場合には(ステップS7:No)、レジスタR1にレジスタR2の内容を上書きし、レジスタR2の記録内容を消去し(ステップS9)、ステップS1からの処理に戻る。これにより、今度は、3番目のデータを基準に5番目のデータと一致するか比較し、一致すれば奇数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定し(ステップS8)、一致しなければ、以降、5番目と7番目との比較を行う如く、順次、以降の奇数番目同士の比較処理を繰り返すこととなる。奇数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータが確定した場合には(ステップS8)、確定処理を終了する。
次に、偶数フレームの処理について説明する。まず、偶数番目の垂直同期信号が入力されたか否かを判断する(ステップS11)。偶数番目の垂直同期信号が入力されたと判断した場合には(ステップS11:Yes)、つづいて、センサ識別コードが入力されたか否かを判断し(ステップS12)、センサ識別コードが入力された場合には(ステップS12:Yes)、さらに信号処理用パラメータが入力されたか否かを判断する(ステップS13)。信号処理用パラメータが入力された場合において(ステップS13:Yes)、これらのセンサ識別コードや信号処理用パラメータが新規に入力されたものであるか否かを判断し(ステップS14)、新規に入力されたものであれば(ステップS14:Yes)、2番目の入力であるので、入力されたこれらのセンサ識別コードや信号処理用パラメータをレジスタR3に記録し(ステップS15)、ステップS11の処理に戻る。
ステップS11以降の再度の処理において、センサ識別コードや信号処理用パラメータが入力された場合には(ステップS12:Yes,ステップS13:Yes)、4番目以降であり新規ではないので(ステップS14:No)、今回入力されたセンサ識別コードや信号処理用パラメータをレジスタR4に記録する(ステップS16)。そして、レジスタR3とレジスタR4の記録内容が一致するか否かを判断する(ステップS17)。一致する場合には(ステップS17:Yes)、偶数番目同士で同一内容のセンサ識別コードと信号処理用パラメータとの入力が2回連続したこととなり、偶数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定する(ステップS18)。
一方、レジスタR3,R4の記録内容が一致しない場合には(ステップS17:No)、レジスタR3にレジスタR4の内容を上書きし、レジスタR4の記録内容を消去し(ステップS19)、ステップS11からの処理に戻る。これにより、今度は、4番目のデータを基準に6番目のデータと一致するか比較し、一致すれば偶数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定し(ステップS18)、一致しなければ、以降、6番目と8番目との比較を行う如く、順次、以降の偶数番目同士の比較処理を繰り返すこととなる。偶数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータが確定した場合には(ステップS18)、確定処理を終了する。
受信装置2に入力されたセンサ識別コードと信号処理用パラメータとの組合せに関して、1回のみの受信データにより確定するようにしてもよいが、無線通信においては1回だけでは正常に送受信処理がなされていない場合もあるので、本実施の形態のように、同一データを2回連続して受信することを条件に奇数番目、偶数番目用のそれぞれのフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定するようにすることで、信頼性の高いものとなる。
なお、これらの奇数番目、偶数番目用のそれぞれのフレーム画像に対するセンサ識別コード及び信号処理用パラメータを確定する上で、2回連続した場合に限らず、例えば、複数回入力させ、その中で発生頻度の多いセンサ識別コード及び信号処理用パラメータを奇数番目、偶数番目用のそれぞれのフレーム画像に対するデータとして確定するようにしてもよい。これによれば、通信エラーにより誤った信号処理用パラメータが採用されることを防止できる。さらには、多少送受信の状態が悪く、パラメータが数フレーム入力されない時には、レジスタ内容をリセットし、パラメータが再度入力された時点から確定処理を再度行うようにしてもよく、また、受信装置2側で生成した同期信号に基づいてレジスタ内容を保持し、パラメータの入力が再開されてから受信したデータを用いてレジスタ内容の一致を確認するようにしてもよい。
前述の画像信号処理部55では、上記のように確定された奇数番目用、偶数番目用のフレーム画像に対するセンサ識別コード及び信号処理用パラメータを用いることで、センサ識別コードの一致により特定される奇数番目のフレーム画像データの場合には上記のように確定された奇数番目用のフレーム画像に対する信号処理用パラメータを用いて画像処理を施し、偶数番目のフレーム画像データの場合には上記のように確定された偶数番目用のフレーム画像に対する信号処理用パラメータを用いて画像処理を施す。
具体的には、一方では、確定されたセンサ識別コード1で特定されるCCD12aによる撮像データに対して、確定されたホワイトバランス係数のデータ“WB係数データR1” “WB係数データB1”を用いてホワイトバランス処理を行い、他方では、確定されたセンサ識別コード1で特定されるCCD12bによる撮像データに対して、確定されたホワイトバランス係数のデータ“WB係数データR2” “WB係数データB2”を用いてホワイトバランス処理を行うこととなる。
ところで、本実施の形態の識別コード・パラメータ確定部59は、パラメータ等の確定処理後においても、信号処理用パラメータの確定後に入力されるセンサ識別コードと信号処理用パラメータとの組合せの適正度を常に監視し適正でなくなった場合には確信度の高いデータに基づき該組合せに修正処理を施す異常パラメータ入力処理を随時実行する。
図10は、識別コード・パラメータ確定部59により実行されるこの異常パラメータ入力処理例を示す概略フローチャートである。まず、信号処理用パラメータの入力があるか否かを判断し(ステップS21)、入力がなければ(ステップS21:No)、入力があるまで待機する。信号処理用パラメータの入力があった場合(ステップS21:Yes)、その信号処理用パラメータとともに入力された撮像データのフレーム順(奇数番目/偶数番目)、センサ識別コードに関して、既に確定している確定パラメータと比較して異常であるか否かを判断する(ステップS22)。この判断で、一致しており、異常がなければ(ステップS22:No)、正常であり、既に確定している確定パラメータをそのまま用いるため、当該処理を終了する。
一方、確定パラメータとの比較の結果、異常がある場合(ステップS22:Yes)、その異常が、撮像データのフレーム順、センサ識別コード、信号処理用パラメータの内の1つだけが異常か、2つが異常か、3つとも異常かを判断する(ステップS23,S24)。
1つだけが異常の場合(ステップS23:Yes)、異常としては軽微であるので、異常であっても、既に確定している確定パラメータをそのまま用いて信号処理を行わせる(ステップS25)。また、2つが異常の場合(ステップS23:No,ステップS24:Yes)、異常としては一応無視できないので、前フレームの処理を参照するものとし、前フレームの処理が正常であったか否かを判断する(ステップS26)。前フレームの処理がステップS22:Noのルーチンを経ることにより正常であった場合には(ステップS26:Yes)、今回の2つの異常はたまたま生じたものと判断し、既に確定している確定パラメータをそのまま用いて信号処理を行わせる(ステップS27)。すなわち、カプセル型内視鏡3の動作開始直後に、前述のように、センサ識別コードと信号処理用パラメータとの対(組合せ)を確定するが、この確定後の動作において、センサ識別コードと信号処理用パラメータとの組合せのいずれかが適正でなくなる条件となった場合には、それ以前に送られてきた信号から判断し、確信度の高いデータ、例えば既に確定している確定パラメータを用いることで、適正でなくなった今回の組合せを適正に修正できることとなる。
これに対して、前フレームの処理も正常でなかった場合には(ステップS26:No)、既に確定しているパラメータをリセットし、前述したようなパラメータ確定処理を再度行う(ステップS28)。3つとも異常であった場合も(ステップS24:No)、既に確定しているパラメータをリセットし、前述したようなパラメータ確定処理を再度行う(ステップS28)。
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
本発明の実施の形態の無線型の被検体内情報取得システムの全体構成を示す模式図である。 カプセル型内視鏡の内部構成を示す断面図である。 カプセル型内視鏡の内部回路構成を示す概略ブロック図である。 点灯・読出し等のタイミング制御例を示す概略タイムチャートである。 パラメータメモリの構成の一例を示す図である。 パラメータメモリの構成の他例を示す図である。 送信モジュール46に対する入力信号例を示す説明図である。 受信装置の回路構成例を示す概略ブロック図である。 奇数フレームのパラメータ確定処理例を示す概略フローチャートである。 偶数フレームのパラメータ確定処理例を示す概略フローチャートである。 異常パラメータ入力処理例を示す概略フローチャートである。
符号の説明
2 受信装置
3 カプセル型内視鏡
12a,12b CCD
46 送信モジュール
49 パラメータメモリ
56 センサ識別コード検出部
57 パラメータ検出部
58 画像信号処理部
59 識別コード・パラメータ確定部

Claims (6)

  1. 体腔内の異なる部位を撮像する複数の撮像素子と、
    前記各撮像素子の撮像データの信号処理に必要な各素子固有の信号処理用パラメータを格納した格納部と、
    該格納部に格納された前記信号処理用パラメータを被検体外に送信出力する送信部と、
    を備えたことを特徴とする被検体内導入装置。
  2. 前記信号処理用パラメータは、前記撮像素子の撮像データに対してホワイトバランス処理を行うためのホワイトバランス係数のデータであることを特徴とする請求項1に記載の被検体内導入装置。
  3. 前記信号処理用パラメータは、前記撮像素子の画素欠陥のアドレスを示すデータであることを特徴とする請求項1又は2に記載の被検体内導入装置。
  4. 前記送信部は、前記各撮像素子により撮像された撮像データとともに、前記各撮像素子を識別するための識別コードに該撮像素子に対応する信号処理用パラメータを付加して送信出力することを特徴とする請求項1〜3のいずれか一つに記載の被検体内導入装置。
  5. 請求項4に記載の被検体内導入装置と、
    該被検体内導入装置の送信部から送信出力されるデータを受信する受信装置と、
    を備えた被検体内情報取得システムであって、
    前記受信装置は、
    前記送信部から送信出力されるデータ中から識別コードを検出する識別コード検出手段と、
    前記送信部から送信出力されるデータ中から信号処理用パラメータを検出するパラメータ検出手段と、
    検出された識別コードに基づき前記撮像素子を識別し該撮像素子に対応する信号処理用パラメータを確定するパラメータ確定手段と、
    前記送信部から送信出力された該撮像素子の撮像データに対し確定された該信号処理用パラメータを用いて画像処理を施す画像処理手段と、
    を備えたことを特徴とする被検体内情報取得システム。
  6. 前記パラメータ確定手段は、前記信号処理用パラメータの確定後に入力される前記識別コードと前記信号処理用パラメータとの組合せの適正度を監視し適正でなくなった場合には確信度の高いデータに基づき該組合せに修正処理を施すことを特徴とする請求項5に記載の被検体内情報取得システム。
JP2005128556A 2005-04-26 2005-04-26 被検体内情報取得システム Expired - Fee Related JP4602828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005128556A JP4602828B2 (ja) 2005-04-26 2005-04-26 被検体内情報取得システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005128556A JP4602828B2 (ja) 2005-04-26 2005-04-26 被検体内情報取得システム

Publications (3)

Publication Number Publication Date
JP2006304885A true JP2006304885A (ja) 2006-11-09
JP2006304885A5 JP2006304885A5 (ja) 2008-01-24
JP4602828B2 JP4602828B2 (ja) 2010-12-22

Family

ID=37472477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005128556A Expired - Fee Related JP4602828B2 (ja) 2005-04-26 2005-04-26 被検体内情報取得システム

Country Status (1)

Country Link
JP (1) JP4602828B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028507A1 (ja) * 2007-08-31 2009-03-05 Olympus Medical Systems Corp. 被検体内情報取得システム
WO2009028508A1 (ja) * 2007-08-31 2009-03-05 Olympus Medical Systems Corp. 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
JP2009189475A (ja) * 2008-02-13 2009-08-27 Fujifilm Corp カプセル内視鏡システム
JP2011147548A (ja) * 2010-01-20 2011-08-04 Olympus Corp 内視鏡装置
JP2016534846A (ja) * 2013-10-03 2016-11-10 キャプソ・ヴィジョン・インコーポレーテッド カプセル画像の安定な記録および伝送

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5806557B2 (ja) 2011-08-31 2015-11-10 オリンパス株式会社 カプセル型内視鏡

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11317700A (ja) * 1998-05-01 1999-11-16 Es Systems:Kk 運搬管理通信システム
JP2003038425A (ja) * 2001-07-30 2003-02-12 Olympus Optical Co Ltd カプセル内視鏡
JP2004344655A (ja) * 2003-05-22 2004-12-09 Siemens Ag 内視鏡装置
WO2004112593A1 (ja) * 2003-06-24 2004-12-29 Olympus Corporation カプセル型内視鏡及びカプセル型内視鏡システム
JP2005076210A (ja) * 2003-08-28 2005-03-24 Bunka Shutter Co Ltd 開閉指示送信機、開閉指示受信機及び開閉指示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11317700A (ja) * 1998-05-01 1999-11-16 Es Systems:Kk 運搬管理通信システム
JP2003038425A (ja) * 2001-07-30 2003-02-12 Olympus Optical Co Ltd カプセル内視鏡
JP2004344655A (ja) * 2003-05-22 2004-12-09 Siemens Ag 内視鏡装置
WO2004112593A1 (ja) * 2003-06-24 2004-12-29 Olympus Corporation カプセル型内視鏡及びカプセル型内視鏡システム
JP2005076210A (ja) * 2003-08-28 2005-03-24 Bunka Shutter Co Ltd 開閉指示送信機、開閉指示受信機及び開閉指示システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028507A1 (ja) * 2007-08-31 2009-03-05 Olympus Medical Systems Corp. 被検体内情報取得システム
WO2009028508A1 (ja) * 2007-08-31 2009-03-05 Olympus Medical Systems Corp. 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
JP2009056159A (ja) * 2007-08-31 2009-03-19 Olympus Medical Systems Corp 被検体内情報取得システム
JP2009056160A (ja) * 2007-08-31 2009-03-19 Olympus Medical Systems Corp 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
US8300090B2 (en) 2007-08-31 2012-10-30 Olympus Medical Systems Corp. In-vivo image acquiring system, in-vivo image processing method, and body-insertable apparatus
US8915839B2 (en) 2007-08-31 2014-12-23 Olympus Medical Systems Corp. In-vivo information acquiring system
JP2009189475A (ja) * 2008-02-13 2009-08-27 Fujifilm Corp カプセル内視鏡システム
JP2011147548A (ja) * 2010-01-20 2011-08-04 Olympus Corp 内視鏡装置
JP2016534846A (ja) * 2013-10-03 2016-11-10 キャプソ・ヴィジョン・インコーポレーテッド カプセル画像の安定な記録および伝送

Also Published As

Publication number Publication date
JP4602828B2 (ja) 2010-12-22

Similar Documents

Publication Publication Date Title
JP4695432B2 (ja) 被検体内導入装置、被検体内情報表示装置、及び被検体内情報取得システム
JP4914600B2 (ja) 生体内画像取得装置、受信装置および生体内情報取得システム
US8732546B2 (en) Radio receiver with an error correction code detector and with a correction unit
US20050049461A1 (en) Capsule endoscope and capsule endoscope system
JP5265139B2 (ja) 体内画像取得システム
JP4918438B2 (ja) 被検体内情報取得システム
JP4602828B2 (ja) 被検体内情報取得システム
JP4847075B2 (ja) 受信装置
JP5096115B2 (ja) 被検体内情報取得システムおよび被検体内導入装置
AU2006288213B2 (en) Device to be introduced into subject
JP4701322B2 (ja) 被検体内導入装置および生体内情報取得システム
JP3893121B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP2006288831A (ja) 被検体内導入装置
JP4383432B2 (ja) カプセル型内視鏡システム及びカプセル型内視鏡
JP4914790B2 (ja) 被検体内導入装置、及び被検体内導入装置の作製方法
JP4823621B2 (ja) 受信装置、送信装置及び送受信システム
JP2006102007A (ja) 受信装置および受信システム
JP2006320649A (ja) 受信装置および受信システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100930

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4602828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees