JPH08313828A - 立体視内視鏡システム - Google Patents
立体視内視鏡システムInfo
- Publication number
- JPH08313828A JPH08313828A JP7117523A JP11752395A JPH08313828A JP H08313828 A JPH08313828 A JP H08313828A JP 7117523 A JP7117523 A JP 7117523A JP 11752395 A JP11752395 A JP 11752395A JP H08313828 A JPH08313828 A JP H08313828A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- hmd
- endoscope
- video signal
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
しい関係を設定し、要求される自然な臨場感を得る。 【構成】 観察部位の視差を有する左右の映像信号を得
る立体視硬性鏡1と、立体視硬性鏡1はにより得られた
観察部位の右映像信号を信号処理する右映像信号処理装
置2と、立体視硬性鏡1により得られた観察部位の左映
像信号を信号処理する左映像信号処理装置3と、観察者
の頭部に装着され観察部位の立体像を表示するHMD4
と、右映像信号処理2及び左映像信号処理装置3で信号
処理された左右の映像信号によりHMD4に立体像を表
示させるHMDコントローラ5とを備えて構成され、条
件0.4<β/α<2(αは立体視硬性鏡1の画角、β
はHMD4の視角)を満足している。
Description
差を有する左右の像を撮像する立体視内視鏡と、立体視
内視鏡で取得した左右の画像を観察者の左右の眼に伝達
する頭部装着型立体表示装置を有する立体視内視鏡シス
テムに関する。
と専用処置具を用いた低侵襲手技が普及しつつある。従
来なら開腹手術を必要とした疾病を内視鏡下で低侵襲に
処置することが可能となることで、入院期間の短縮等に
より患者の社会的負担が軽減される。そのため、低侵襲
手技である内視鏡下外科手術は、今後も発展が期待され
ている。
した体腔内の画像をTVモニタ等で観察しながら処置具
の遠隔操作をして処置を行う。
難さが挙げられる。特に、奥行き方向の情報は、従来の
内視鏡では得られないため、奥行き方向の処置具誘導は
試行錯誤で行わざるを得ず、処置に時間がかかる等の問
題を生じていた。このため、奥行き方向の情報を観察者
に提供できる立体視内視鏡システムが開発されている。
式であり、図6に示すように、細長い挿入部を備え視差
を有する観察部位の左右の像を撮像するための観察光学
系と撮像素子を内蔵した立体視内視鏡101と、この立
体視内視鏡101からの左右の像の映像信号により立体
像を生成する立体映像信号処理装置102と、立体映像
信号処理装置102の立体像を表示する立体表示装置1
03とからなる。
立体視内視鏡101の観察光学系により物体の像が撮像
素子の撮像面に形成される。視差を有する左右の像を得
るために、観察光学系には様々の方式が用いられる。撮
像素子で取得した左右の画像は、映像信号として立体視
内視鏡101から立体映像信号処理装置102に伝達さ
れる。立体映像信号処理装置102は後段の立体表示装
置103に対応して必要な信号処理を行う。立体表示装
置103は、立体映像信号処理装置102から送出され
た立体像を基に表示素子上に左右の画像を形成する。
するために、立体表示装置103にも様々の方式が存在
する。
つの方式に分けられ、一つは据置型TVモニタを用いる
ものであり、もう一つはHMD(ヘッド・マウンティン
グ・デバイス)と呼ばれる頭部装着型のものである。据
置型TVモニタに対するHMDの利点として、視野の大
きさ(眼に映る画像の大きさ)が使用時に固定されるこ
と、及び視野の大きさを設計上任意に選べることが挙げ
られる。据置型TVモニタでは、視野の大きさは観察距
離に依存するため固定されない。しかし、据置型TVモ
ニタにおいて視野を大きくするにはTVモニタの画面を
巨大化せねばならず装置の設置上の問題を生じる。この
ため、ある程度以上の視野の大きさを得ることは実用上
困難である。
子サイズと,接眼光学系の選択により据置型TVモニタ
では得られない大きな視野を得ることができる。
おいては、現状は据置型TVモニタを用いた立体表示装
置が主流であるが、今後はHMDも普及していくと考え
られる。特に、先に述べたHMDの利点である視野の大
きさの固定と選択自由度の高さは、立体視における自然
な臨場感の達成のためには重要な要因となる。
装置の組み合わせに関する従来技術としては、USP4
651201に頭部装着型立体表示装置を含む立体視内
視鏡システムが開示されている。
臨場感は立体表示装置103のみで定まるものではな
く、立体画像入力装置となる立体視内視鏡101との関
係によって定まるが、上記従来例ではそれらの好ましい
関係については十分に検討がなされておらず、結果とし
て自然な臨場感を得ることができないといった問題があ
る。
であり、立体視内視鏡と頭部装着型立体表装置の好まし
い関係を設定することにより、要求される自然な臨場感
を得ることのできる立体視内視鏡システムを提供するこ
とを目的としている。
内視鏡システムは、細長い挿入部を有し視差を有する左
右の像を撮像する立体視内視鏡と、前記立体視内視鏡で
取得した左右の画像を観察者の左右の眼に伝達する頭部
装着型立体表示装置を有する立体視内視鏡システムにお
いて、条件0.4<β/α<2(αは前記立体視内視鏡
の画角、βは前記頭部装着型立体表示装置の視角)を満
足することで、立体視内視鏡と頭部装着型立体表装置の
好ましい関係を設定し、要求される自然な臨場感を得る
ことを可能とする。
ついて述べる。
り、図1は立体視内視システムの構成を示す構成図、図
2は図1のHMDの構成を示す構成図、図3は図1の立
体視内視システムの作用を説明する概念図、図4は図1
のHMDの視角βと立体視内視鏡の画角αの定義を説明
する第1の説明図、図5は図1のHMDの視角βと立体
視内視鏡の画角αの定義を説明する第2の説明図であ
る。
示すように、観察部位の視差を有する左右の映像信号を
得る立体視硬性鏡1と、立体視硬性鏡1により得られた
観察部位の右映像信号を信号処理する右映像信号処理装
置2と、立体視硬性鏡1により得られた観察部位の左映
像信号を信号処理する左映像信号処理装置3と、観察者
の頭部に装着され観察部位の立体像を表示するHMD4
と、右映像信号処理2及び左映像信号処理装置3で信号
処理された左右の映像信号によりHMD4に立体像を表
示させるHMDコントローラ5とを備えて構成される。
な挿入部を有するスコープ部11と、スコープ部11に
接続して用いられ観察部位の視差を有する左右の像を撮
像するカメラヘッド部12とから構成される。スコープ
部11は、対物光学系15とリレー光学系16が軸対称
な1本の光学系により構成されている。対物光学系15
で結像した像はリレー光学系16によって所定の距離だ
け伝送され、リレー光学系16の後端にはカメラヘッド
12の対物光学系17により瞳を空間的に2つに分割す
ることにより視差のある左右一対の像を撮像手段として
のCCD18、19によって撮像される。撮像された左
右一対の像は電気信号に変換され、右映像信号処理2及
び左映像信号処理装置3で信号処理されNTSC等の汎
用映像信号に変換された後、HMDコントローラ5によ
る制御により、HMD4に立体像が表示される。なお、
HMDコントローラ5はHMD4の各種制御と電源の供
給を行う。
例えば右眼21の視線から外れた位置に配置され観察部
位の右画像を表示する液晶ディスプレイ(LCD)22
と、このLCD22に表示された右画像を右眼21に伝
送する光学系23とを備え、光学系23はハーフミラー
面24を挟んで2つのプリズム25、26を接合して構
成されており、下側のプリズム26の凹面鏡28は拡大
レンズの機能を有している。そして、LCD22に表示
された右画像は透過し凹面鏡28により拡大反射され、
ハーフミラー面24で直角に反射され右眼21に供給さ
れるようになっている。光学系23の右眼21に対向し
た位置には液晶シャッタ29が配置されていて、図1に
示すように、HMD4のハウジングのこの液晶シャッタ
29に対応する部分は透明部30になっている。そし
て、液晶シャッタ29を閉じる(不透過)と暗い中にL
CD22に表示された画像が拡大されて観察され、液晶
シャッタ29を開く(透過)と外が見えるように構成さ
れている。なお、左眼側も同様に構成されている。
に示すように、立体視硬性鏡1に替えて立体視軟性鏡3
1も接続可能である。立体視軟性鏡31は、体腔内に挿
入する細長い挿入部32を備え、この挿入部32の先端
側は湾曲可能な湾曲部33になっており、挿入部32の
基端に設けられた操作部34の図示しない湾曲操作ノブ
を操作することにより湾曲部33を湾曲させることがで
きるようになっている。挿入部32の先端内部には、左
右2つに分割された光学系35が内蔵されており、左右
の光学系35はそれぞれ対物レンズ系36と固体撮像素
子例えばCCD37からなり、左右のCCD37からの
映像信号はそれぞれの左映像信号処理装置3及び右映像
信号処理装置2に伝送され、以後は立体視硬性鏡の場合
と同様の処理が行なわれるようになっている。
体視軟性鏡31である立体視内視鏡の仕様例は以下の通
りである。
る。
念図であり、図3(a)に示すように、内視鏡下外科手
術において自然な臨場感を得るために、立体視硬性鏡1
または立体視軟性鏡31である立体視内視鏡40による
物体41の像は、人間の頭部に装着されるHMD4の光
学系23により眼21で観察状態を再現することが望ま
れる。このため、図3(b)の如くあたかも人間の眼球
を仮想眼球42として立体視内視鏡40の挿入部先端に
備えられているような状態を作り出すことが望ましい。
40の画角αとHMDの視角βの関係である。本実施例
の構成では、立体視内視鏡の画角αとHMDの視角βを
略一致させることにより自然な臨場感が得られるように
している。β/α=1であれば、物体から立体視内視鏡
40に入射する光束の角度とHMDから眼21に入射す
る光束の角度が等しくなり、最も自然な臨場感が得られ
る。1でなくとも(1)式の範囲であれば大きな違和感
を生じない。
1に映る物体41の像が望ましい大きさより小さくなっ
て十分な臨場感が得られない。この場合、観察者は画像
に対しもの足りなさを感じるため望ましくない。
広くなり眼に映る物体の像が望ましい大きさより大きく
なって過剰な臨場感が生じる。この場合、内視鏡下外科
手術のような長時間の使用時には観察者の疲労を過度に
増大させるため望ましくない。このため、(1)式を満
足させている。
立体視内視鏡40の画角αの定義について述べる。HM
D4の視角β、及び立体視内視鏡40の画角αはHMD
4のLCD22に表示される内視鏡画像の最周辺部に相
当する値を用いる。図4はHMD4における視角βの定
義を示す図である。図4は内視鏡接続時の画像がHMD
4のLCD22の画面全体に表される場合であり、HM
D4の視角βはLCD22画面の対角に相当する値を用
い、立体視内視鏡40の画角αもHMD4のLCD22
画面の対角に相当する値を用いる。図5は内視鏡接続時
の画像が画面の一部に表示される場合であり、HMD4
の視角βは対角ではなく内視鏡画像の最大長に相当する
値を用い、立体視内視鏡40の画角αも画像の最大長に
相当する値を用いる。
(2)式の条件を満足することが望ましい。
の光学系の入射瞳間隔、Dは立体視内視鏡40の挿入部
外径である。
は自然な立体感を得るための条件である。図3(b)の
状態を想定した場合、人間の眼幅に相当する入射瞳間隔
Eと物体距離Xの間には望ましい関係が存在する。実際
の人間の観察においては眼幅は約65mmであり、立体視
を行いやすい観察距離はおよそ0.25mから3mであ
る。人間の眼幅と観察距離の比率を立体視内視鏡の挿入
部先端で再現するには以下の(3)式を満足させる必要
がある。
行う距離を想定するのが望ましい。内視鏡下外科手術は
人体の各部位を対象に広まっているが、一般的に腹腔の
ように広い空間を確保できる部位には挿入部外径Dの太
い内視鏡が用いられ、関節や脳のように狭い空間しか得
られない部位には細い内視鏡が用いられる。このため、
挿入部外径Dと物体距離Xがおおよそ比例すると仮定す
ると、経験的に以下の(4)式の関係が設定できる。
で(2)式が導かれる。つまり、(2)式のE/Dは立
体視内視鏡40の構成のみで定まる。なお、E/Dが
0.043を下回ると立体感が小さくなりすぎ、0.5
2を上回ると立体感が大きくなりすぎ、共に好ましくな
い。
理由は、先に述べたように視野の大きさ(視角)の固定
と選択自由度の高さにあるが、据置型においてもHMD
4と同様の観察条件が得られるのであれば望ましいこと
には変わりない。
係について述べてきたが、先に示した(2)式の条件に
ついては、立体視内視鏡40単独で定まるものであり、
立体表示装置の形態にかかわらず満足するのが望まし
い。このため、細長い挿入部を有し視差を有する左右の
像を撮像する立体視内視鏡40は(2)式を満足するよ
うに構成するのが望ましい。
系が1本の光軸のみを有する瞳分割式を用いるのが望ま
しい。独立した光軸を有する2本の光学系からなるもの
も知られているが、入射瞳間隔Eが2本の光学系の間隔
となり(2)式におけるE/Dの値が瞳分割式に比べ大
きくなる。このため、E/Dの値を上限の0.52以下
にすることが機械設計上の大きな制約となり好ましくな
い。
40の画角αとHMDの視角βを略一致、または0.4
<β/α<2を満足させているので、自然な臨場感を得
ることができる。
像を撮像する立体視内視鏡と、前記立体視内視鏡で取得
した左右の画像を観察者の左右の眼に伝達する頭部装着
型立体表示装置を有する立体視内視鏡システムにおい
て、次の条件(1)を満足することを特徴とする立体視
内視鏡システム。
型立体表示装置の視角である。
ことを特徴とする付記項1に記載の立体視内視鏡システ
ム。
の光学系の入射瞳間隔、Dは前記立体視内視鏡の挿入部
外径である。
有する左右の像を撮像する立体視内視鏡において、次の
条件(2)を満足することを特徴とする立体視内視鏡。
の光学系の入射瞳間隔、Dは前記立体視内視鏡の挿入部
外径である。
鏡システムによれば、細長い挿入部を有し視差を有する
左右の像を撮像する立体視内視鏡と、前記立体視内視鏡
で取得した左右の画像を観察者の左右の眼に伝達する頭
部装着型立体表示装置を有する立体視内視鏡システムに
おいて、条件0.4<β/α<2(αは前記立体視内視
鏡の画角、βは前記頭部装着型立体表示装置の視角)を
満足するので、立体視内視鏡と頭部装着型立体表装置の
好ましい関係を設定でき、要求される自然な臨場感を得
ることができるという効果がある。
構成を示す構成図
念図
の定義を説明する第1の説明図
の定義を説明する第2の説明図
Claims (1)
- 【請求項1】 細長い挿入部を有し視差を有する左右の
像を撮像する立体視内視鏡と、前記立体視内視鏡で取得
した左右の画像を観察者の左右の眼に伝達する頭部装着
型立体表示装置を有する立体視内視鏡システムにおい
て、 次の条件(1)を満足することを特徴とする立体視内視
鏡システム。 条件(1): 0.4<β/α<2 但し、αは前記立体視内視鏡の画角、βは前記頭部装着
型立体表示装置の視角である。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11752395A JP3869029B2 (ja) | 1995-05-16 | 1995-05-16 | 立体視内視鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11752395A JP3869029B2 (ja) | 1995-05-16 | 1995-05-16 | 立体視内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08313828A true JPH08313828A (ja) | 1996-11-29 |
JP3869029B2 JP3869029B2 (ja) | 2007-01-17 |
Family
ID=14713891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11752395A Expired - Fee Related JP3869029B2 (ja) | 1995-05-16 | 1995-05-16 | 立体視内視鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3869029B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1763258A2 (en) | 2005-09-09 | 2007-03-14 | Olympus Medical Systems Corp. | Medical stereo observation system |
US7298393B2 (en) | 2003-04-09 | 2007-11-20 | Olympus Corporation | Stereo-observation system |
JP2008237749A (ja) * | 2007-03-28 | 2008-10-09 | Olympus Medical Systems Corp | 立体観察システム |
JP2015204897A (ja) * | 2014-04-17 | 2015-11-19 | ローム株式会社 | 診断システム、診断装置およびウエアラブル表示装置 |
CN105105852A (zh) * | 2015-09-16 | 2015-12-02 | 广州乔铁医疗科技有限公司 | 具有测距功能的3d胆道镜*** |
JP2016147071A (ja) * | 2016-03-10 | 2016-08-18 | ソニー株式会社 | 内視鏡システム |
CN108882854A (zh) * | 2016-03-21 | 2018-11-23 | 华盛顿大学 | 3d医学图像的虚拟现实或增强现实可视化 |
US10184894B2 (en) | 2013-04-22 | 2019-01-22 | Rohm Co., Ltd. | Cancer diagnostic device, diagnostic system, and diagnostic device |
CN111638802A (zh) * | 2014-09-02 | 2020-09-08 | 三星电子株式会社 | 用于提供虚拟现实服务的方法及装置 |
US10845604B2 (en) | 2012-09-26 | 2020-11-24 | Sony Corporation | Mounting apparatus for head-mounted display |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016131276A (ja) | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5942680U (ja) * | 1982-09-09 | 1984-03-19 | 三菱電機株式会社 | 立体テレビジヨン装置 |
JPS6320995A (ja) * | 1986-07-12 | 1988-01-28 | ロ−ベルト・ボツシユ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | 立体テレビ画像の電子的伝送および/又は記録並びにひきつづいての再生のための方法及び装置 |
JPH0662438A (ja) * | 1992-08-14 | 1994-03-04 | Olympus Optical Co Ltd | 立体像観察システム |
JPH0735989A (ja) * | 1993-07-26 | 1995-02-07 | Olympus Optical Co Ltd | 立体視内視鏡 |
JPH07124165A (ja) * | 1993-11-02 | 1995-05-16 | Olympus Optical Co Ltd | 視線検出によるマニピュレータ制御システム |
-
1995
- 1995-05-16 JP JP11752395A patent/JP3869029B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5942680U (ja) * | 1982-09-09 | 1984-03-19 | 三菱電機株式会社 | 立体テレビジヨン装置 |
JPS6320995A (ja) * | 1986-07-12 | 1988-01-28 | ロ−ベルト・ボツシユ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | 立体テレビ画像の電子的伝送および/又は記録並びにひきつづいての再生のための方法及び装置 |
JPH0662438A (ja) * | 1992-08-14 | 1994-03-04 | Olympus Optical Co Ltd | 立体像観察システム |
JPH0735989A (ja) * | 1993-07-26 | 1995-02-07 | Olympus Optical Co Ltd | 立体視内視鏡 |
JPH07124165A (ja) * | 1993-11-02 | 1995-05-16 | Olympus Optical Co Ltd | 視線検出によるマニピュレータ制御システム |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7298393B2 (en) | 2003-04-09 | 2007-11-20 | Olympus Corporation | Stereo-observation system |
EP1763258A2 (en) | 2005-09-09 | 2007-03-14 | Olympus Medical Systems Corp. | Medical stereo observation system |
EP1763258A3 (en) * | 2005-09-09 | 2007-05-23 | Olympus Medical Systems Corp. | Medical stereo observation system |
US7768702B2 (en) | 2005-09-09 | 2010-08-03 | Olympus Medical Systems Corp. | Medical stereo observation system |
JP2008237749A (ja) * | 2007-03-28 | 2008-10-09 | Olympus Medical Systems Corp | 立体観察システム |
US10845604B2 (en) | 2012-09-26 | 2020-11-24 | Sony Corporation | Mounting apparatus for head-mounted display |
US10184894B2 (en) | 2013-04-22 | 2019-01-22 | Rohm Co., Ltd. | Cancer diagnostic device, diagnostic system, and diagnostic device |
JP2015204897A (ja) * | 2014-04-17 | 2015-11-19 | ローム株式会社 | 診断システム、診断装置およびウエアラブル表示装置 |
CN111638802A (zh) * | 2014-09-02 | 2020-09-08 | 三星电子株式会社 | 用于提供虚拟现实服务的方法及装置 |
CN111638802B (zh) * | 2014-09-02 | 2023-05-30 | 三星电子株式会社 | 用于提供虚拟现实服务的方法及装置 |
CN105105852A (zh) * | 2015-09-16 | 2015-12-02 | 广州乔铁医疗科技有限公司 | 具有测距功能的3d胆道镜*** |
JP2016147071A (ja) * | 2016-03-10 | 2016-08-18 | ソニー株式会社 | 内視鏡システム |
CN108882854A (zh) * | 2016-03-21 | 2018-11-23 | 华盛顿大学 | 3d医学图像的虚拟现实或增强现实可视化 |
US11771520B2 (en) | 2016-03-21 | 2023-10-03 | Washington University | System and method for virtual reality data integration and visualization for 3D imaging and instrument position data |
Also Published As
Publication number | Publication date |
---|---|
JP3869029B2 (ja) | 2007-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7601119B2 (en) | Remote manipulator with eyeballs | |
EP0951861B1 (en) | Medical observing instrument | |
US4651201A (en) | Stereoscopic endoscope arrangement | |
JP4500096B2 (ja) | 内視鏡及び内視鏡システム | |
US6139490A (en) | Stereoscopic endoscope with virtual reality viewing | |
CA2549567C (en) | Endoscope system and endoscope | |
KR100556232B1 (ko) | 이격조절이 가능한 양안구조 복강경 | |
US5846185A (en) | High resolution, wide field of view endoscopic viewing system | |
JP4098535B2 (ja) | 医療用立体表示装置 | |
JP3869029B2 (ja) | 立体視内視鏡システム | |
JP2001104331A (ja) | 医療用顔面装着型映像表示装置 | |
US11678791B2 (en) | Imaging system and observation method | |
JP3262849B2 (ja) | 立体像観察システムおよび内視鏡画像観察システム | |
JP4383188B2 (ja) | 立体観察システム | |
KR100947624B1 (ko) | 3차원 영상데이터를 제공하는 내시경 | |
JPH0416812A (ja) | ステレオ内視鏡 | |
JP3766598B2 (ja) | 観察システム | |
JP4246510B2 (ja) | 立体内視鏡システム | |
JPH05341210A (ja) | 立体視内視鏡装置 | |
JP2001111991A (ja) | 顔面装着型映像表示装置 | |
CN219229809U (zh) | 一种电子内窥镜及3d电子内窥镜 | |
WO2021176717A1 (ja) | 内視鏡装置、内視鏡画像用プロセッサ、内視鏡画像の生成方法 | |
JPH10117362A (ja) | 立体視映像表示装置 | |
JP2004154255A (ja) | 手術用観察装置 | |
JP2001109445A (ja) | 顔面装着型映像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061012 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |