JP2007068876A - 医療用立体観察システム - Google Patents

医療用立体観察システム Download PDF

Info

Publication number
JP2007068876A
JP2007068876A JP2005261670A JP2005261670A JP2007068876A JP 2007068876 A JP2007068876 A JP 2007068876A JP 2005261670 A JP2005261670 A JP 2005261670A JP 2005261670 A JP2005261670 A JP 2005261670A JP 2007068876 A JP2007068876 A JP 2007068876A
Authority
JP
Japan
Prior art keywords
stereoscopic
imaging
image
observation
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005261670A
Other languages
English (en)
Other versions
JP4537916B2 (ja
Inventor
Kazuo Morita
和雄 森田
Kenji Hirose
憲志 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2005261670A priority Critical patent/JP4537916B2/ja
Priority to EP06018707A priority patent/EP1763258B1/en
Priority to DE602006017940T priority patent/DE602006017940D1/de
Priority to US11/517,714 priority patent/US7768702B2/en
Publication of JP2007068876A publication Critical patent/JP2007068876A/ja
Application granted granted Critical
Publication of JP4537916B2 publication Critical patent/JP4537916B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】深い奥行きのある空間を広い範囲で快適に観察することができ、観察者が観察物体を疲労感が発生することなく観察することができる医療用立体観察システムを提供する。
【解決手段】互いに視差を有する左眼用の第1の像と、右眼用の第2の像を撮像する立体撮像ユニット37と、立体撮像ユニット37で撮像した画像を立体視可能に表示できる立体表示ユニットからなる医療用立体観察システムにおいて、立体撮像ユニット37は左眼用の第1の像を撮像する第1撮像光学系39と、右眼用の第2の像を撮像する第2撮像光学系38とを有し、それぞれの撮像光学系の焦点位置47、46を立体撮像ユニットから見てそれぞれの撮像光学系の光軸43、42の交点45より遠方に配置する。
【選択図】 図6

Description

本発明は特に医用画像を立体観察する場合に好適な医療用立体観察システムに関する。
近年、医療分野(特に外科分野)において立体内視鏡、手術用(実体)顕微鏡などの医療用立体観察システムを用いた手技が普及しつつある。
医療用立体観察システムは通常2眼式であり、図1に示すように、観察物体(1)の視差を有する左右の像を撮像するための撮像光学系と撮像素子を内蔵した立体撮像ユニット(2)と、この立体撮像ユニット(2)からの左右像の映像信号により立体像を生成する立体映像信号処理ユニット(3)と、立体映像信号処理ユニット(3)の立体像を表示する立体表示ユニット(4)の3つのユニットからなる。
そして、この医療用立体観察システムでは、立体撮像ユニット(2)の撮像光学系により物体の像が撮像素子の撮像面に形成される。視差を有する左右の像を得るために、撮像光学系には様々な方式が用いられる。
撮像素子で取得した左右の画像は、映像信号として立体撮像ユニット(2)から立体映像信号処理ユニット(3)に伝送される。立体映像信号処理ユニット(3)は後段の立体表示ユニット(4)に対して必要な信号処理を行う。立体表示ユニット(4)は、立体映像信号処理ユニット(3)から送出された立体像をもとに表示素子上に左右の画像を形成する。
左右の画像を分離して観察者の両眼に伝達するために、立体表示ユニット(4)にも様々な方式が存在する。
立体表示ユニットの方式の代表的な一例として、観察者の顔面の極近くに配置された光学系により直接、それぞれ画像に対応する観察者の左右の瞳(眼)に投光し、等価的に大画面の画像情報を虚像として立体観察させるようにした虚像立体観察式がある。
立体視内視鏡と虚像立体観察式の立体表示ユニットを組み合わせたシステムに関する従来技術として、特許文献1に記載のものがある。この立体観察システムは、自然な臨場感で立体内視鏡の画像を観察するために、立体内視鏡の撮像画角と、虚像立体観察式表示ユニットの画像観察画角との関係を定めたものである。
特開平8−313828号公報
しかしながら、自然な臨場感による立体視観察までは実現できても、実際に立体観察システムを使用する際に発生する立体視観察時の疲労要因とその解決方法については上記従来例では十分な検討がなされていなかった。
医療用立体観察システムを使用し立体観察する際に発生する疲労について以下に説明する。
立体観察システムの立体表示ユニットでは、図2に示すように立体表示ユニットのディスプレイ表示面(5)に対し様々な位置に左右画像の持つ視差量に応じて観察物体(6)が再現される。
このとき各状態において、観察者の輻輳距離(再現空間を見るときの左右視線の交差する位置から眼までの距離)と調節距離(画像を見るときの眼のピントが合っている位置から眼までの距離)の関係は様々な状態を取り、左右画像の持つ視差量がゼロの時(図中c)は輻輳距離と調節距離は一致し、左右画像が視差量を持った時(図中a、b、d、e)は輻輳距離と調節距離は一致しない。
通常の自然な観察においては輻輳距離と調節距離は一致しており、立体像観察時の調節距離と輻輳距離が大きく乖離している状態は観察者に不自然な観察を強いることになり視覚疲労・不快感に大きく影響することが知られている。
疲労感・不快感を感じることなく立体観察できるようにするためには、輻輳距離と調節距離の乖離量をある一定の範囲内に留める必要がある。
この輻輳距離と調節距離の乖離の許容値について検討したものを図29に示す。この検討は、被検者12名に対し立体表示装置にて調節距離と輻輳距離の様々な関係で立体観察してもらい官能的に疲労を感じるかどうかの評価をしたものである。
この検討により、輻輳距離と調節距離の乖離の許容について以下の結果を得た。
0.9≦輻輳距離/調節距離≦1.325
この輻輳距離と調節距離の乖離の許容量により、ディスプレイ表示面近傍には観察物体が快適に観察できるための再現位置の空間的な制限ができる。この制限範囲内の空間を快適観察可能範囲(7)とし、快適観察可能範囲は前記ディスプレイ表示面近傍で観察者(8)側に狭く、観察者から遠方側に広く分布している。
また、図3に示すように、立体観察システムのもう一方のユニットである立体撮像ユニット(9)は、立体撮像ユニットに対する観察物体(11)の位置に応じた視差を有する左右画像(11.5)を撮像し、前記立体表示ユニット(10)に供給する。
立体表示ユニットの快適観察可能範囲(7)の最も観察者側(7.5)に観察物体を再現するときの観察物体の立体撮像ユニット(9)に対する位置(12)と、快適観察可能範囲(7)の最も観察者から遠方側(7.6)に観察物体を再現するときの観察物体の立体撮像ユニット(9)に対する位置(13)とで挟まれた空間が、「実空間」での快適観察可能範囲(14)となる。
この実空間での快適観察可能範囲(14)は、立体撮像ユニット(9)が有する左右の撮像光学系の光軸の交点(15)に対して立体撮像ユニット側に狭く、立体撮像ユニットから遠方側に広く分布している。
従来の立体撮像ユニットにおいては左右の撮像光学系の光軸の交点と焦点位置とが一致しているため、実空間での快適観察可能範囲は焦点位置に対して立体撮像ユニット側に狭く、奥側に広く分布しているとも言える。
一方、医療用として用いられる立体観察システムは主に外科手術時の観察手段として用いられ、図4(a)に示すように体内にある例えば腫瘍などの目的物(16)に到達するまで組織を開創した状態を観察する場合が多い。
この場合観察者は目的物(16)を注意深く観察しつつも、開創部(17)にも目をくばり開創部からの出血などにも十分な注意を払わなければならない。このため、観察者が観察したい範囲は図中の点線で囲った範囲(18)となり、最も注意深く観察したい目的物(16)から観察者(19)側に伸びる奥行きをもった空間となる。
また、図4(b)に示すように、体表面(20)上にある術部(21)を処置する場合にも観察者は術部(21)だけではなく針糸(22)の状態、持針器などの処置具(23)にも十分注意を払い処置を進めなければならない。このため、観察したい範囲は図中の点線で囲った範囲(24)となり、こちらも同じく、最も注意深く観察したい術部(21)から観察者(25)側に伸びる奥行きを持った空間となる。
図5は、観察者(26)が前述した立体観察システム(27)にて、図4(a)で示したような観察物体(28)を観察する様子を示している。観察者は立体撮像ユニット(29)にて奥行き方向に深さのある観察物体の底部(30)に焦点を合わせ撮像し、立体表示ユニット(31)にて再現される観察像を観察している。
このとき、立体撮像ユニットによる実空間での快適観察可能範囲(32)と、観察者が観察したい範囲(33)は図の様に一部(33.5)しか一致していない。
このため、立体表示ユニット(31)に再現された観察像空間(34)の観察者側の部分(35)は、立体表示ユニットによる快適観察可能範囲(36)からはみ出し、観察者がこのはみ出した部分を観察する際に強い疲労を感じてしまう。
この疲労は前述したように輻輳距離と、調節距離に許容量以上の大きなズレが生じて発生するものであり、観察者に視覚疲労・不快感を与えてしまう。
前記従来例では、このような問題点の原因や解決法について述べられていなかった。
本発明は、前記事情に鑑みてなされたものであり、医療用立体観察システムの立体撮像ユニットの構成及び立体撮像ユニットと立体表示ユニットの好ましい関係を設定することにより疲労のない立体視観察を得ることのできる医療用立体観察システムを提供することを目的としている。
上記課題を解決するため、本発明の医療用立体観察システムは、
(1)互いに視差を有する左眼用の第1の像と、右眼用の第2の像を撮像する立体撮像ユニットと、前記立体撮像ユニットで撮像した画像を立体視可能に表示できる立体表示ユニットからなる医療用立体観察システムにおいて、
前記立体撮像ユニットは前記左眼用の第1の像を撮像する第1撮像光学系と、前記右眼用の第2の像を撮像する第2撮像光学系とを有し、それぞれの撮像光学系の焦点位置を前記立体撮像ユニットから見てそれぞれの撮像光学系の光軸の交点より遠方に配置することを特徴とする。
撮像光学系の光軸は、撮像光学系の入射瞳中心と撮像素子の撮像範囲中心の物体側共役点とを結ぶ直線でもよい。また、第1、第2撮像光学系の光軸の交点は、各光軸が最も近接する点と置き換えてもよい。
この構成を図6を用いて説明する。図中(37)は立体撮像ユニット、(38)は前記立体撮像ユニットが有する右眼用像取得のための第2撮像光学系、(39)は左眼用像取得のための第1撮像光学系、(40、41)は撮像手段、(42)は第2撮像光学系の光軸、(43)は第1撮像光学系の光軸、(45)は第1、第2撮像光学系光軸の交点、(46)は第2撮像光学系の焦点位置、(47)は第1撮像光学系の焦点位置、(48)はこの立体撮像ユニットの実空間での快適観察可能範囲をそれぞれ示している。
立体撮像ユニットの実空間での快適観察可能範囲(48)は立体撮像ユニット(37)にて撮像される左右の像の視差量によってその奥行き方向の広がりが決まる。よって、視差量の発生に影響しない撮像光学系の焦点位置(46、47)をどの位置に設定しようとも、立体撮像ユニットの実空間での快適観察可能範囲の立体撮像ユニット(37)に対する(より詳しくは各光軸の交点(45)に対する)位置関係は変わらない。
本発明の構成によると、各撮像光学系の焦点位置(46、47)を立体撮像ユニットから見て各光軸の交点(45)より遠方に配置することで、立体撮像ユニット(37)から見て実空間での快適観察可能範囲(48)を焦点位置(46、47)より手前側に広く確保できる。
この状態で前述した図4(a)の様な観察物体を観察した場合、図7で示すように、観察者が見たい空間(49)を、立体撮像ユニット(50)の実空間での快適観察可能範囲(51)がより広くカバーできるため、観察者は観察物体を疲労感が発生することなく観察することができる。
さらに、本発明の医療用立体観察システムは、
(2)前記第1撮像光学系と前記第2撮像光学系のそれぞれの光軸の交点から、前記第1撮像光学系の物体側焦点面中心と前記第2撮像光学系の物体側焦点面中心とを結ぶ直線までの距離をxとすると、xが以下の条件(1)を満たすことを特徴とする。
{5.9×WD×tan(ω1/2)}/{L×tan(α/2)+5.9×tan(ω1/2)}
≦x(mm)≦
{21.7×WD×tan(ω1/2)}/{L×tan(α/2)+21.7×tan(ω1/2)}
・・・(1)
ただし、WDは前記立体撮像ユニットの作動距離(立体撮像ユニットの最も物体側の面から立体撮像ユニットが有する物体側ピント位置までの距離)、ω1は前記第1、第2撮像光学系の対角画角、αは前記第1、第2撮像光学系のそれぞれの光軸が物体側でなす角、Lは前記立体表示ユニットにおける観察画像の対角距離である。
上記ω1について図8を用いて詳細に説明する。ω1は前記立体撮像ユニットが有する撮像光学系の対角画角を示すが、より詳細には、前記立体撮像ユニットが有する左眼用撮像手段(52)の撮像範囲(53)の対角直線(54)を、左眼用撮像光学系(55)で物体側(被写体側)のある位置(56)に投影し、この投影された対角直線(57)の片側の端点(58)と左眼用撮像光学系(55)の入射瞳中心(59)を結ぶ直線(60)と、投影された対角直線(57)のもう片方の端点(61)と入射瞳中心(59)を結ぶ直線(62)とのなす角を示す。
図示しない右眼側についてもまったく同様なためここでは省略する。
なお、図9に示すように、撮像手段(52)の撮像範囲の形状を絞り(63)や電気的手段により丸形状などに限定する場合は、前記対角直線の代わりに限定撮像範囲(64)内の最大長を持つ直線(65)を用いる
また、上記Lについて図10(a)を用いて詳細に説明する。Lは前記立体表示ユニットにおける観察画像の対角距離を示すが、より詳細には、立体表示ユニットが有する画像表示手段(67)に表示され観察者(66)により観察される観察画像(68)の対角直線(69)の長さを示す。
なお、図10(b)に示すように、観察画像は画像表示手段上に表示された画像そのものではなく、画像表示手段(71)に表示された画像が光学手段(72)により投影された実像(70)でもよい。
また、図10(c)に示すように、画像表示手段(73)に表示された画像が接眼光学系などの光学手段(74)により投影された虚像(75)でもよい。
さらに、図11に示すように、画像表示手段(67)の表示範囲(76)より小さく丸形状などに限定表示する場合は、前記対角直線の代わりに限定表示範囲(77)内の最大長を持つ直線(78)の長さを用いる。
立体撮像ユニットの実空間での快適観察可能範囲は、前述したように立体撮像ユニットにて撮像される左右の像の視差量によってその奥行き方向の広がりが決まり、立体撮像ユニットが有する第1、第2撮像光学系の光軸の交点を基準にその前後周辺に分布する。
本願の条件(1)は、第1、第2撮像光学系の光軸の交点に対しそれぞれの焦点位置をどの位置に配置するかを制限する式であるが、言い換えると立体撮像ユニットの実空間での快適観察可能範囲に対し焦点位置をどの位置に配置するかを制限する式である。
第1、第2撮像光学系の各焦点位置の配置が条件(1)の下限を下回っている場合、図12に示すように第1、第2撮像光学系(79R,79L)のそれぞれの焦点位置(80R,80L)より上側に立体撮像ユニット(81)の実空間での快適観察可能範囲(82)を広く確保できないため、深い奥行きのある空間(83)を広い範囲で快適に観察することができない。
条件(1)の上限を上回っている場合、図13に示すように第1、第2撮像光学系(79R,79L)のそれぞれの焦点位置(80R,80L)が立体撮像ユニット(81)の実空間での快適観察可能範囲(82)をはみ出してしまうために焦点を合わせた観察物体の範囲(84)を快適に観察することができない。
よって条件(1)を満たす構成の医療用立体観察システムであると、立体撮像ユニットが有する第1、第2撮像光学系の各焦点位置は立体撮像ユニットの実空間での快適観察可能範囲内の最適位置に配置され、深い奥行きのある空間を広い範囲で快適に観察することができ、観察者は観察物体を疲労感が発生することなく観察することができる。
また、本発明の医療用立体観察システムは、
(3) 互いに視差を有する左眼用の第1の像と右眼用の第2の像を撮像する立体撮像ユニットと、前記立体撮像ユニットで撮像した画像を立体視可能に表示できる第1の観察者用の立体表示ユニットと第2の観察者用の立体表示ユニットからなる医療用立体観察システムにおいて、
前記第1の観察者用の立体表示ユニットを観察する際の輻輳角αAと、前記第2の観察者用の立体表示ユニットを観察する際の輻輳角αBは以下の条件(2)を満たすことを特徴とする。
0. 5≦αA/αB≦2 ・・・(2)
立体観察システムによる再現空間は、図27に示すように、撮像ユニット(210)の内向角αと表示ユニット(212)を観察する際の輻輳角α'との関係により、観察する実空間に対して歪んで再現される。
撮像ユニットの内向角αと表示ユニットの輻輳角α'がα<α'の関係にあるとき、実空間での立方体を観察すると、観察方向につぶれる様に歪んだ再現空間が観察される。
撮像ユニットの内向角αと表示ユニットの輻輳角α'がα>α'の関係にあるとき、実空間での立方体を観察すると、観察方向に伸びる様に歪んだ再現空間が観察される。
撮像ユニットの内向角αと表示ユニットの輻輳角α'がα=α'の関係にあるときは実空間での立方体は歪まずにスケール倍された再現空間として観察される。
この再現空間の歪みは観察対象が空間的に歪んで観察されるだけではなく、外科手術においては処置具で術部を触る、切る、縫うなどの処置作業に影響する。例えば再現空間が観察方向に伸びるように歪んでいる場合、処置具を僅かに動かしただけでも観察される再現空間中の処置具は強調されて大きく動いているように見えるため、処置具のターゲットへの誘導に支障をきたすためである。
ただし、再現空間の歪みと処置作業(運動)の関係は観察像からのフィードバックにより一定の時間を掛けることで慣れることができる。
しかし、図28に示すような、1つの撮像ユニット(214)に対し複数の表示ユニット(第1の表示ユニット(217)、第2の表示ユニット(219))を接続し、複数人の観察者(216、218)が術部(215)を観察できる立体観察システムにおいて、第1の表示ユニットの輻輳角αAの値と、第2の表示ユニットの輻輳角αBの値が大きく異なり、かつ第1の表示ユニットを使用する観察者と、第2の表示ユニットを使用する観察者が頻繁に入れ替わる場合に問題が発生する。外科手術の場合、手術の進行状況に応じて観察者が頻繁に入れ替わることがある。
この問題は、撮像ユニットの内向角αと第1の表示ユニットの輻輳角αAとの関係で決まる再現空間の歪み状況と、撮像ユニットの内向角αと第2の表示ユニットの輻輳角αBとの関係で決まる再現空間の歪み状況とが異なるため、観察者が第1の表示ユニットから第2の表示ユニットに移った際に、第2の表示ユニットの再現空間歪みに慣れるまで処置作業に違和感を感じてしまうことである。この処置作業の違和感は使用する表示ユニットを移るたびに発生し、結果として観察者に疲労感を与えてしまうこととなる。
実験により第1の表示ユニットの輻輳角αAと第2の表示ユニットの輻輳角αBが条件(2)を満たしていれば表示ユニットを移った際の処置作業の違和感が少ないことがわかった。
よって条件(2)を満たす医療用立体観察システムであれば、観察者は疲労感を生じることなく表示ユニットを移ることができ、手術の進行を妨げることがない。
本願の医療用立体観察システムによれば、深い奥行きのある空間を広い範囲で快適に観察することができ、観察者は観察物体を疲労感が発生することなく観察することができる。又、複数の観察者用の立体表示ユニットを備えた医療用立体観察システムにおいて、観察者は疲労感を生じることなく表示ユニットを移ることができ、手術の進行を妨げることがない。
(第1実施例)
図14は本実施例にかかる医療用立体観察システムの図である。
本実施例の立体観察システムは、電子画像手術用顕微鏡(85)、電子画像立体内視鏡(86)などの立体撮像ユニット、映像信号処理ユニット(87)、前記立体撮像ユニットに照明光を供給する光源ユニット(88)と、図中A〜Eに図示した各種立体表示ユニットのいずれかからなる。
図中Aの表示ユニットは視差バリア方式の眼鏡無し立体表示装置を示し、LCD(89)上に短冊状に左右の画像を並べその前にバリア(90)を配置し、観察者(93)の左右眼にそれぞれ選択的に相応する画像を導き立体観察観察できるようにしたものである。
図中Bの表示ユニットは偏光眼鏡式立体表示装置を示し、CRT(91)の手前に順次に偏光方向を変換する偏光シャッター(92)を配置し、観察者(93)は偏光眼鏡(94)を掛けることで左右の画像が相応する左右の眼に順次に導かれ立体観察できるようにしたものである。
図中Cの表示ユニットは虚像観察式立体表示装置を示し、左右の小型LCD(95、96)の前に左右の接眼光学系(97、98)を配置し、観察者(93)は接眼光学系による虚像を観察することで立体観察できるようにしたものである。
図中Dの表示ユニットは直接観察式立体表示装置を示し、左右のLCD(99、100)に表示された画像がミラー(101)によって観察者の眼に導かれ、観察者は左右のLCD上に表示された画像をそれぞれ相応する眼で直接観察することで立体観察できるようにしたものである。
図中Eの表示ユニットは投影式立体表示装置を示し、左右のプロジェクター(102、103)から、フレネル凹面鏡からなるスクリーン(104)に左右の画像が投影され、フレネル凹面鏡からなるスクリーンは左右の画像をそれぞれ相応する観察者の眼に導くことで立体観察できるようにしたものである。
また図15に、図14中の電子画像手術用顕微鏡(85)の光学系の構成を示す。
立体撮像装置である電子画像手術用顕微鏡(105)は、左右のCCD(106R、106L)と、このCCD面上に観察物体(108)の互いに視差を持つ像を結像する撮像光学系(107)を有す。撮像光学系の物体側の焦点(110R、110L)は、電子画像手術用顕微鏡(105)の鏡体部からみて撮像光学系の左右光軸(109R、109L)の交点(111)より遠方に配置してある。
つまり、電子画像手術用顕微鏡の鏡体部下面(112)から撮像光学系の左右光軸の交点(111)までの距離をAとおき、鏡体部下面(112)から撮像光学系の左右の物体側焦点(110R、110L)を結ぶ直線(113)の中点(114)までの距離をBとおくとA<Bの関係となるように構成してある。
この構成によると、電子画像手術用顕微鏡の物体側の焦点(110R、110L)より手前側(電子画像手術用顕微鏡側)に実空間での快適観察可能範囲(114.5)を多く取ることができる。
また図16に、図14中の電子画像立体内視鏡(86)の構成を示す。
立体撮像装置である電子画像立体内視鏡(115)は、左右のCCD(116R、116L)と、このCCD面上に観察物体(117)の互いに視差を持つ像を結像する撮像光学系(118)を有す。撮像光学系の物体側の焦点(119R、119L)は、電子画像立体内視鏡(115)の鏡体部からみて撮像光学系の左右光軸(120R、120L)の交点(121)より遠方に配置してある。
つまり、電子画像立体内視鏡の下面(122)から撮像光学系の左右光軸の交点(121)までの距離をCとおき、また電子画像立体内視鏡の下面(122)から撮像光学系の左右の物体側焦点(119R、119L)を結ぶ直線(123)の中点(124)までの距離をDとおくとC<Dの関係となるように構成してある。
この構成によると、電子画像立体内視鏡の物体側焦点(119R、119L)より手前側(電子画像立体内視鏡側)に実空間での快適観察可能範囲(124.5)を多く取ることができる。
上記構成による各立体撮像装置と各立体表示装置の組み合わせからなる立体観察システムによれば、図4(a)(b)で示したような観察者が観察したい奥行き方向に空間をもった観察物体を観察しても、図17に示すように観察者が立体撮像装置(125)の焦点(126R、126L)を観察物体(127)の深部に合わせることで立体撮像装置による実空間での快適観察可能範囲(128)が観察物体(127)を広くカバーすることができ、結果として表示装置(129)によって再現される観察物体(130)は表示装置による快適観察可能範囲(131)内に広くカバーされ、観察者(132)は調節位置と輻輳位置のズレによる疲労を強く感じることなく再現された観察物体を観察できる。
図17中、(133)は映像信号処理ユニット、(134)は立体撮像ユニットに照明光を供給する光源ユニットを示している。

(第2実施例)
図18は本実施例にかかる医療用立体観察システムの図である。
本実施例の立体観察システムは、撮像ユニットとしての電子画像手術用顕微鏡(135)と、電子画像手術用顕微鏡を保持する保持アーム(135.5)と、虚像観察式の立体表示ユニット(136)と、立体表示ユニットを保持する保持アーム(136.5)と、電子画像手術用顕微鏡に照明光を供給する光源ユニット(137)、電子画像手術用顕微鏡が撮像した映像信号を処理する映像信号処理ユニット(138)、立体表示ユニットに映像信号を供給する映像信号供給ユニット(139)とからなっている。
電子画像手術用顕微鏡(135)は互いに視差を持つ術部(140)の映像を撮像し、この映像は映像信号処理ユニット(137)、映像信号供給ユニット(139)を経由して立体表示ユニット(136)に表示される。観察者(141)は立体表示ユニットに表示された画像を観察することで術部の立体観察が行える。
図19は前記電子画像手術用顕微鏡の光学系の構成を示した図である。
図中、(142)は電子画像手術用顕微鏡の鏡体部、(143R、143L)はCCD、(144)は撮像光学系、(145R)は撮像光学系の右眼光路の焦点位置、(145L)は撮像光学系の左眼光路の焦点位置、(148R)は撮像光学系の右眼光路の光軸、(148L)は撮像光学系の左眼光路の光軸、(156)は前記各光軸の交点をそれぞれ示している。
また、図中WDは作動距離であり電子画像手術用顕微鏡の鏡体部(142)の最も物体側の面から撮像光学系の焦点位置(145R、145L)までの距離を示す。αは内向角であり撮像光学系の右眼光路の光軸(148R)と左眼光路の光軸(148L)のなす角度を示す。ω1は撮像光学系の対角画角を示す。xは焦点位置シフト量であり、撮像光学系の各光軸の交点(156)から撮像光学系の焦点までの距離を示す。
本実施例の電子画像手術用顕微鏡では前記各パラメータを以下のように設定してある。
WD=250mm,α=4°,ω1=20°,x=40mm
図20は前記立体表示装置の光学系の構成を示した図である。
図中(150)は立体表示装置の鏡体部、(151R、151L)はLCD、(152R、152L)は接眼光学系、(153)は接眼光学系によりLCD上に表示された画像が投影された虚像を示し、Lは観察者(155)が観察する観察画像の対角距離をそれぞれ示している。
本実施例の表示装置では前記パラメータを以下のように設定してある。
L=508mm
上記電子画像手術用顕微鏡及び立体表示装置の各パラメーターを本願の条件(1)に当てはめると、13.85mm≦x≦44.3mmとなる。
本実施例でのxの値は40mmであり、上記条件を満たす。
上記条件を満たす本実施例は、図21(A)に示すように電子画像手術用顕微鏡(135)の実空間での快適観察可能範囲(159)を電子画像手術用顕微鏡の焦点位置(160)より手前側(電子画像手術用顕微鏡側)に広く確保できる。
よって、観察者(141)がこの電子画像手術用顕微鏡にて奥行き方向に空間を持つ観察物体(161)を観察する場合、電子画像手術用顕微鏡の実空間での快適観察範囲(159)は観察物体(161)を広くカバーする。
このため、図21(B)に示すように、立体表示装置(136)によって虚像位置(163)周辺に再現される観察物体(162)は同じく虚像位置(163)周辺に存在する表示装置による快適観察可能範囲(164)内に広くカバーされ、観察者(141)は調節位置と輻輳位置のズレによる疲労を強く感じることなく再現された観察物体を観察できる。

(第3実施例)
図22は本実施例にかかる医療用立体観察システムの図である。
本実施例の立体観察システムは、撮像ユニットとしての電子画像立体内視鏡(165)と、電子画像立体内視鏡を保持する保持アーム(166)と、投影式の立体表示ユニット(167)と、立体表示ユニットを保持する保持アーム(168)と、電子画像立体内視鏡に照明光を供給する光源ユニット(169)、電子画像立体内視鏡が撮像した映像信号を処理する映像信号処理ユニット(170)、立体表示ユニットに映像信号を供給する映像信号供給ユニット(171)とからなっている。
電子画像立体内視鏡(165)は互いに視差を持つ術部の映像を撮像し、この映像は映像信号処理ユニット(170)、映像信号供給ユニット(171)を経由して立体表示ユニット(167)に表示される。観察者(172)は立体表示ユニットに表示された画像を観察することで術部の立体観察が行える。
図23は前記電子画像立体内視鏡の光学系の構成を示した図である。
図中(173)は電子画像立体内視鏡の鏡体部、(174R、174L)はCCD、(175)は撮像光学系、(176R)は撮像光学系の右眼光路の焦点位置、(176L)は撮像光学系の左眼光路の焦点位置、(177R)は撮像光学系の右眼光路の光軸(右眼光路の入射瞳中心(178R)とCCDの撮像範囲中心(179R)の物体側共役点(176R)とを結ぶ直線)、(177L)は撮像光学系の左眼光路の光軸(左眼光路の入射瞳中心(178L)とCCDの撮像範囲中心(179L)の物体側共役点(176L)とを結ぶ直線)、(180)は撮像光学系の各光軸の交点をそれぞれ示している。
また、図中WDは作動距離であり電子画像立体内視鏡の鏡体部(173)の最も物体側の面から撮像光学系の焦点位置(176R、176L)までの距離を示す。αは内向角であり撮像光学系の右眼光路の光軸(177R)と左眼光路の光軸(177L)のなす角度を示す。ω1は撮像光学系の対角画角を示す。xは焦点位置シフト量であり、撮像光学系の各光軸の交点(180)から撮像光学系の焦点までの距離を示す。
本実施例の電子画像手術用顕微鏡では前記各パラメータを以下のように設定してある。
WD=50mm,α=6.9°,ω1=60°,x=12mm
図24は前記立体表示装置の光学系の構成を示した図である。
図中(185)はフレネル凹面鏡(186)とデフューザー(187)からなる画像投影スクリーン、(188R、188L)は画像投影スクリーンに左右の画像を投影するプロジェクターを示す。右眼用画像投影プロジェクター(188R)により投影された画像は画像投影スクリーン(185)のフレネル凹面鏡(186)の作用により観察者(189)の右眼に導かれ観察者の右眼にて観察される。同様に左眼用画像投影プロジェクター(188L)により投影された画像は観察者の左眼にて観察される。よって観察者は左右の画像をそれぞれ相当する眼にて観察でき、立体観察をすることができる。図中Lは観察者が観察する観察画像の対角距離を示している。
本実施例の表示装置では前記パラメータを以下のように設定してある。
L=478mm
上記電子画像立体内視鏡及び立体表示装置の各パラメーターを本願の条件(1)に当てはめると、5.28mm≦x≦15.15mmとなる。
本実施例でのxの値は12mmであり、上記条件を満たす。
上記条件を満たす本実施例は、図25(A)に示すように電子画像立体内視鏡(192)の実空間での快適観察可能範囲(191)を電子画像立体内視鏡の焦点位置(193)より手前側(電子画像立体内視鏡側)に広く確保できる。
よって、観察者がこの電子画像立体内視鏡にて術部(194)や処置具(195)からなる奥行き方向に空間を持つ観察空間を観察する場合、電子画像立体内視鏡の実空間での快適観察可能範囲(191)は観察空間を広くカバーする。
このため、図25に示すように立体表示装置(167)によって画像投影スクリーン(196)周辺に再現される観察空間(197)は、同じく画像投影スクリーン周辺に存在する表示装置による快適観察可能範囲(198)内に広くカバーされ、観察者(172)は調節位置と輻輳位置のズレによる疲労を強く感じることなく再現された観察物体を観察できる。

(第4実施例)
図26は本実施例にかかる医療用立体観察システムの図である。
本実施例の立体観察システムは、撮像ユニットとしての電子画像手術用顕微鏡(199)と、第1の観察者(204)用の虚像観察式立体表示装置(200)と、電子画像手術用顕微鏡と立体表示装置とを接続する接続部(201)、立体表示装置を保持する保持アーム(202)、第2の観察者(203)用の視差バリア方式眼鏡無し立体表示装置(205)、前記視差バリア方式眼鏡無し立体表示装置を保持する保持アーム(206)とからなっている。
図中のαAは第1の観察者が第1の観察者用の虚像観察式立体表示装置を観察する際の輻輳角、αBは第2の観察者が第2の観察者用の視差バリア方式眼鏡無し立体表示装置を観察する際の輻輳角、αは電子画像手術用顕微鏡の左右光路光軸の互いになす角である内向角を示している。
本実施例の医療用立体観察システムでは前記各パラメータを以下のように設定してある。
αA=3.5°,αB=2°,α=4°
よって、αA/αB=1.6となり、本願の条件(2)を満たす。
本願の条件(2)は表示装置輻輳角の異なる2つの表示装置を交互に使用しても作業に違和感を感じないための条件である。
よって、手術の進行状況にあわせて互いの観察者が入れ替わっても観察者が表示装置を移ったことによる処置作業の違和感を感じることが無いため、疲労感なく観察及び処置作業を続けることができる。
立体観察システムの構成を示すブロック図である。 立体表示ユニットのディスプレイ表示面に対し様々な位置に観察物体が再現される様子を示す図である。 立体撮像ユニットが観察物体の位置に応じた視差を有する左右画像を撮像して立体表示ユニットに供給することを示す図である。 医療用として用いられる立体観察システムの観察範囲を示す図である。 従来の立体観察システムの問題点を示す図である。 本願の基本構成を示す図である。 本願の立体撮像ユニットの、実空間での快適観察可能範囲がカバーする範囲をを示す図である。 撮像光学系の対角画角の説明図である。 撮像範囲が丸形状の場合の撮像光学系の対角画角の説明図である。 立体表示ユニットにおける観察画像の対角距離の説明図である。 表示範囲が丸形状の場合の立体表示ユニットにおける観察画像の対角距離の説明図である。 本願の条件(1)を満足しない場合の快適観察可能範囲を示す図である。 本願の条件(1)を満足しない場合の快適観察可能範囲を示す図である。 本願の第1実施例の構成を示すブロック図である。 本願の第1実施例の電子画像手術用顕微鏡の光学系の構成を示す図である。 本願の第1実施例の電子画像立体内視鏡の光学系の構成を示す図である。 本願の第1実施例の立体観察システムの効果を示す図である。 本願の第2実施例の構成を示す図である。 本願の第2実施例の電子画像手術用顕微鏡の光学系の構成を示す図である。 本願の第2実施例の立体表示装置の光学系の構成を示す図である。 本願の第2実施例の立体観察システムの効果を示す図である。 本願の第3実施例の構成を示す図である。 本願の第3実施例の電子画像立体内視鏡の光学系の構成を示す図である。 本願の第3実施例の立体表示装置の光学系の構成を示す図である。 本願の第3実施例の立体観察システムの効果を示す図である。 本願の第4実施例の構成を示す図である。 立体観察システムによる再現空間が、撮像ユニットの内向角αと表示ユニットを観察する際の輻輳角α'との関係により、観察する実空間に対して歪んで再現されることを示す図である。 複数の表示ユニットを備えた立体観察システムにおいて、複数人の観察者が入れ替わりながら観察する様子を示す図である。 輻輳距離と調節距離との乖離の許容値についての検討結果を示す図である。
符号の説明
37 立体撮像ユニット
38 第2撮像光学系
39 第1撮像光学系
40,41 撮像手段
42 第2撮像光学系の光軸
43 第1撮像光学系の光軸
45 交点
46,47 焦点位置
48 実空間での快適観察可能範囲

Claims (3)

  1. 互いに視差を有する左眼用の第1の像と、右眼用の第2の像を撮像する立体撮像ユニットと、前記立体撮像ユニットで撮像した画像を立体視可能に表示できる立体表示ユニットからなる医療用立体観察システムにおいて、
    前記立体撮像ユニットは前記左眼用の第1の像を撮像する第1撮像光学系と、前記右眼用の第2の像を撮像する第2撮像光学系とを有し、それぞれの撮像光学系の焦点位置を前記立体撮像ユニットから見てそれぞれの撮像光学系の光軸の交点より遠方に配置することを特徴とする医療用立体観察システム。
  2. 前記第1撮像光学系と前記第2撮像光学系のそれぞれの光軸の交点から、前記第1撮像光学系の物体側焦点面中心と前記第2撮像光学系の物体側焦点面中心とを結ぶ直線までの距離をxとすると、xが以下の条件(1)を満たすことを特徴とする請求項1に記載の医療用立体観察システム。
    {5.9×WD×tan(ω1/2)}/{L×tan(α/2)+5.9×tan(ω1/2)}
    ≦x(mm)≦
    {21.7×WD×tan(ω1/2)}/{L×tan(α/2)+21.7×tan(ω1/2)}
    ・・・(1)
    ただし、WDは前記立体撮像ユニットの作動距離(立体撮像ユニットの最も物体側の面から立体撮像ユニットが有する物体側ピント位置までの距離)、ω1は前記第1、第2撮像光学系の対角画角、αは前記第1、第2撮像光学系のそれぞれの光軸が物体側でなす角、Lは前記立体表示ユニットにおける観察画像の対角距離である。
  3. 互いに視差を有する左眼用の第1の像と右眼用の第2の像を撮像する立体撮像ユニットと、前記立体撮像ユニットで撮像した画像を立体視可能に表示できる第1の観察者用の立体表示ユニットと第2の観察者用の立体表示ユニットからなる医療用立体観察システムにおいて、
    前記第1の観察者用の立体表示ユニットを観察する際の輻輳角αAと、前記第2の観察者用の立体表示ユニットを観察する際の輻輳角αBは以下の条件(2)を満たすことを特徴とする医療用立体観察システム。
    0. 5≦αA/αB≦2 ・・・(2)
JP2005261670A 2005-09-09 2005-09-09 医療用立体観察システム Expired - Fee Related JP4537916B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005261670A JP4537916B2 (ja) 2005-09-09 2005-09-09 医療用立体観察システム
EP06018707A EP1763258B1 (en) 2005-09-09 2006-09-06 Medical stereo observation system
DE602006017940T DE602006017940D1 (de) 2005-09-09 2006-09-06 Medizinisches Stereo-Beobachtungssystem
US11/517,714 US7768702B2 (en) 2005-09-09 2006-09-08 Medical stereo observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005261670A JP4537916B2 (ja) 2005-09-09 2005-09-09 医療用立体観察システム

Publications (2)

Publication Number Publication Date
JP2007068876A true JP2007068876A (ja) 2007-03-22
JP4537916B2 JP4537916B2 (ja) 2010-09-08

Family

ID=37930831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005261670A Expired - Fee Related JP4537916B2 (ja) 2005-09-09 2005-09-09 医療用立体観察システム

Country Status (1)

Country Link
JP (1) JP4537916B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075338A (ja) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp 医療用立体観察装置
JP2008237232A (ja) * 2007-03-23 2008-10-09 Mitaka Koki Co Ltd 手術顕微鏡システム
EP2866678A4 (en) * 2012-06-27 2016-05-18 Camplex Inc SURGICAL VISUALIZATION SYSTEMS
WO2016157623A1 (ja) * 2015-03-30 2016-10-06 オリンパス株式会社 内視鏡装置
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9782159B2 (en) 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
US9864185B2 (en) 2012-01-18 2018-01-09 Olympus Corporation Three-dimensional-endoscope optical system
US10028651B2 (en) 2013-09-20 2018-07-24 Camplex, Inc. Surgical visualization systems and displays
CN109907834A (zh) * 2019-02-20 2019-06-21 广州乔铁医疗科技有限公司 一种具有3d功能的机器人外视镜
WO2019198189A1 (ja) * 2018-04-11 2019-10-17 カイロス株式会社 顕微鏡装置
US10568499B2 (en) 2013-09-20 2020-02-25 Camplex, Inc. Surgical visualization systems and displays
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source
US10966798B2 (en) 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
US11154378B2 (en) 2015-03-25 2021-10-26 Camplex, Inc. Surgical visualization systems and displays

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772600A (ja) * 1993-09-01 1995-03-17 Canon Inc 複眼撮像装置
JPH08194274A (ja) * 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
JP2002085330A (ja) * 2000-09-12 2002-03-26 Olympus Optical Co Ltd 立体視内視鏡装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772600A (ja) * 1993-09-01 1995-03-17 Canon Inc 複眼撮像装置
JPH08194274A (ja) * 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
JP2002085330A (ja) * 2000-09-12 2002-03-26 Olympus Optical Co Ltd 立体視内視鏡装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075338A (ja) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp 医療用立体観察装置
JP2008237232A (ja) * 2007-03-23 2008-10-09 Mitaka Koki Co Ltd 手術顕微鏡システム
US9864185B2 (en) 2012-01-18 2018-01-09 Olympus Corporation Three-dimensional-endoscope optical system
US9723976B2 (en) 2012-06-27 2017-08-08 Camplex, Inc. Optics for video camera on a surgical visualization system
US11889976B2 (en) 2012-06-27 2024-02-06 Camplex, Inc. Surgical visualization systems
US11389146B2 (en) 2012-06-27 2022-07-19 Camplex, Inc. Surgical visualization system
US9615728B2 (en) 2012-06-27 2017-04-11 Camplex, Inc. Surgical visualization system with camera tracking
US9629523B2 (en) 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9681796B2 (en) 2012-06-27 2017-06-20 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US10925589B2 (en) 2012-06-27 2021-02-23 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US10555728B2 (en) 2012-06-27 2020-02-11 Camplex, Inc. Surgical visualization system
US9492065B2 (en) 2012-06-27 2016-11-15 Camplex, Inc. Surgical retractor with video cameras
US9936863B2 (en) 2012-06-27 2018-04-10 Camplex, Inc. Optical assembly providing a surgical microscope view for a surgical visualization system
US10022041B2 (en) 2012-06-27 2018-07-17 Camplex, Inc. Hydraulic system for surgical applications
US11166706B2 (en) 2012-06-27 2021-11-09 Camplex, Inc. Surgical visualization systems
US11129521B2 (en) 2012-06-27 2021-09-28 Camplex, Inc. Optics for video camera on a surgical visualization system
US10231607B2 (en) 2012-06-27 2019-03-19 Camplex, Inc. Surgical visualization systems
EP2866678A4 (en) * 2012-06-27 2016-05-18 Camplex Inc SURGICAL VISUALIZATION SYSTEMS
US10925472B2 (en) 2012-06-27 2021-02-23 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
US9782159B2 (en) 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
US10932766B2 (en) 2013-05-21 2021-03-02 Camplex, Inc. Surgical visualization systems
US11147443B2 (en) 2013-09-20 2021-10-19 Camplex, Inc. Surgical visualization systems and displays
US10881286B2 (en) 2013-09-20 2021-01-05 Camplex, Inc. Medical apparatus for use with a surgical tubular retractor
US10028651B2 (en) 2013-09-20 2018-07-24 Camplex, Inc. Surgical visualization systems and displays
US10568499B2 (en) 2013-09-20 2020-02-25 Camplex, Inc. Surgical visualization systems and displays
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
US11154378B2 (en) 2015-03-25 2021-10-26 Camplex, Inc. Surgical visualization systems and displays
US10105034B2 (en) 2015-03-30 2018-10-23 Olympus Corporation Endoscope apparatus
JP6072392B1 (ja) * 2015-03-30 2017-02-01 オリンパス株式会社 内視鏡装置
WO2016157623A1 (ja) * 2015-03-30 2016-10-06 オリンパス株式会社 内視鏡装置
US10966798B2 (en) 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source
WO2019198189A1 (ja) * 2018-04-11 2019-10-17 カイロス株式会社 顕微鏡装置
CN109907834A (zh) * 2019-02-20 2019-06-21 广州乔铁医疗科技有限公司 一种具有3d功能的机器人外视镜
CN109907834B (zh) * 2019-02-20 2024-03-29 广州乔铁医疗科技有限公司 一种具有3d功能的机器人外视镜

Also Published As

Publication number Publication date
JP4537916B2 (ja) 2010-09-08

Similar Documents

Publication Publication Date Title
JP4537916B2 (ja) 医療用立体観察システム
US7768702B2 (en) Medical stereo observation system
JP2020173481A (ja) 対象領域の観察画像の生成
US7298393B2 (en) Stereo-observation system
JP3984907B2 (ja) 画像観察システム
JP4398352B2 (ja) 医療用立体撮像装置
WO2009145185A1 (ja) 立体映像表示装置
JP4721981B2 (ja) 立体顕微鏡
JP2013244104A (ja) 立体視内視鏡装置
JP2006158452A5 (ja)
JP5870162B2 (ja) 画像化システム
JP2017509925A (ja) 3dビデオ顕微鏡装置
WO2023040637A1 (zh) 一种显示3d图像的手术显微镜***
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2002223458A (ja) 立体映像作成装置
JP4508569B2 (ja) 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置
US20100259820A1 (en) Stereoscopic image display
JP2007527249A (ja) リアルタイム画像又は静止画像の立体視システム
JP4674094B2 (ja) 立体観察装置
JP2002031779A (ja) 立体視用表示装置及びこれを利用した内視鏡並びに顕微鏡
JP2004320722A (ja) 立体観察システム
JP2005040205A (ja) 立体内視鏡装置
JP2007075338A (ja) 医療用立体観察装置
EP1275258A1 (en) Design, function, and utilisation of an equipment for capturing of three-dimensional images
JPH08191462A (ja) 立体映像再生装置および立体撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4537916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees