JP3955667B2 - 手術用顕微鏡装置 - Google Patents

手術用顕微鏡装置 Download PDF

Info

Publication number
JP3955667B2
JP3955667B2 JP34509797A JP34509797A JP3955667B2 JP 3955667 B2 JP3955667 B2 JP 3955667B2 JP 34509797 A JP34509797 A JP 34509797A JP 34509797 A JP34509797 A JP 34509797A JP 3955667 B2 JP3955667 B2 JP 3955667B2
Authority
JP
Japan
Prior art keywords
image
microscope
optical system
image data
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34509797A
Other languages
English (en)
Other versions
JPH11174335A (ja
Inventor
恭二郎 南部
Original Assignee
技術研究組合医療福祉機器研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 技術研究組合医療福祉機器研究所 filed Critical 技術研究組合医療福祉機器研究所
Priority to JP34509797A priority Critical patent/JP3955667B2/ja
Publication of JPH11174335A publication Critical patent/JPH11174335A/ja
Application granted granted Critical
Publication of JP3955667B2 publication Critical patent/JP3955667B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

【0001】
本発明は、例えば術者に手術支援用情報を提供する手術用顕微鏡装置に関する
【0002】
【従来の技術】
顕微鏡画像に手術支援用情報をスーパーインポーズ(重畳)するためには、手術用顕微鏡装置の位置及び方向を計測する必要があることは言うまでもない。特開昭63−240851号(特公平6−85784号)に記載の「手術用3次元ビューアーシステム」はこのようなシステムの典型例である。このシステムで言うところの直視系としては、光学式の手術用顕微鏡装置、あるいは手術用ビデオ顕微鏡装置を用いることができる。
【0003】
直視系として光学式の手術用顕微鏡装置を用いる場合は、光学像を観察者が観察する。この場合の光学像を「直視光学像」という。ここで、観察者に対し手術支援用情報を提供するためには、ディスプレイ装置に表示した手術支援用情報を示す像をハーフミラー等の手段によって直視光学像にスーパーインポーズする。
【0004】
一方、直視系として手術用ビデオ顕微鏡装置を用いる場合、観察者はディスプレイ装置に表示された直視像を観察することになる。すなわち、ビデオカメラにより光学像が一旦撮像され、その像が直視像としてディスプレイ装置に表示される。手術支援用情報を観察者に提供するためには、映像ミキサー等の手段により手術支援用情報を示す画像の電気信号(画像信号)を、直視像の信号に対し合成することで、手術支援用情報を示す画像をスーパーインポーズする。
【0005】
ところで、光学式の手術用顕微鏡装置及び手術用ビデオ顕微鏡装置(「顕微鏡装置」と総称する)には、拡大率が可変であるもの、あるいは作動距離が可変であるものを利用することができる。顕微鏡装置の拡大率又は作動距離を変化させた場合、手術支援用情報を示す画像もまた、これら拡大率又は作動距離に応じて変更する必要がある。
【0006】
例えば手術対象物の輪郭を線画によって表現した図形を手術支援用情報として提示する場合において、顕微鏡装置の作動距離を変化させた場合、顕微鏡装置の焦点の位置が移動するため、この焦点移動に応じて手術支援用情報を選択して表示することが望ましい。また、顕微鏡装置の拡大率を変化させた場合、この図形を拡大又は縮小して提示しなくてはならない。
【0007】
また、光学系の設計によっては、作動距離あるいは拡大率の変化に伴って集光瞳の位置が変化する顕微鏡装置が知られている。ここで言う「集光瞳」とは、被写体側から見たときの絞りの像の中心を意味する。光学式の手術用顕微鏡装置あるいはビデオ顕微鏡装置を介して被写体を見たときの像には、丁度、集光瞳に目を置いて観察した場合と同等の遠近法の効果が生じる。ゆえに手術支援用情報の映像は、集光瞳の位置を考慮し、適切な遠近法を用いて描画されていることが望ましい。
【0008】
以上述べたように顕微鏡装置の作動距離、拡大率、あるいは集光瞳の位置に応じて手術支援用情報を変化させて提示するにあたって、従来では次のような手段が講じられている。すなわち、作動距離あるいは拡大率を調節するための顕微鏡装置のカム・ギア等に例えばエンコーダを取り付け、このエンコーダを通じて作動距離あるいは拡大率の値をコンピュータが常時読み取れるようにし、その値の変化に応じて手術支援用情報の映像を変化させるようにしている。
【0009】
【発明が解決しようとする課題】
このような従来例には次のような問題点がある。すなわち、エンコーダを通じてコンピュータが読み取った作動距離あるいは拡大率と、実際の作動距離あるいは拡大率とが必ずしも一致しているとは限らないことである。これは、特に顕微鏡装置内部のカムの機械製作精度やその磨耗によって、光学系の特性が必ずしも意図したものとはならないことに起因する。そこで、顕微鏡装置を随時に較正する必要が生じる。
【0010】
本発明はかかる事情を考慮してなされたものであり、その目的は、以下の手術用顕微鏡装置を提供することにある。
(1)作動距離、拡大率、あるいは集光瞳の位置を得るためのエンコーダを較正することにより、適切な手術支援用情報を観察者に提示できる手術用顕微鏡装置。
(2)上記較正に用いられる簡単な構成の顕微鏡較正器。
【0011】
【課題を解決するための手段】
上記課題を解決し、目的を達成するために本発明の手術用顕微鏡装置は次のように構成されている。
(1)請求項1に記載に記載の発明は、機構的な可動部を動作させることにより作動距離、拡大率、及び集光瞳の位置の少なくとも一つを調整可能な光学系を有し、当該光学系を介して被検体の直視像を表示する顕微鏡本体と、前記光学系の可動部の動作量を計測し、その計測結果を出力する出力手段と、前記顕微鏡本体に対して脱着可能であり、前記可動部の動作量と前記光学系の作動距離、拡大率、及び集光瞳の位置の少なくとも一つとの関係式を予め得るための計測手段と、前記計測手段により得られた結果に基づいて前記出力手段からの出力を補正する補正手段と、前記補正手段により補正された出力手段からの出力に応じた手術支援用画像を作成する作成手段と、前記作成手段により作成された手術支援用画像を、前記直視像に重畳させて表示する重畳表示手段と、具備することを特徴とする手術用顕微鏡装置である。
【0021】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。先ず本実施形態の手術用顕微鏡装置の概略的な構成について説明し、次に顕微鏡較正器について説明する。
【0022】
図1は本発明の一実施形態に係る手術用顕微鏡装置の概略構成を示す図である。同図において、1は3次元メモリでありX線コンピュータ断層撮影装置(CT)又は磁気共鳴診断装置(MRI)などの医用画像診断装置(「モダリティ」とも云う)によって予め被検体4をスキャンして得られた画像データが格納されている。
【0023】
2は顕微鏡本体(ビューアー)であり、任意方向に対し位置及び向きが移動可能なようにアーム5に取付けられている。この顕微鏡本体2は、図2に示すように光学系(8,9a,9b,9c)を有しており、この光学系を介して医師6が患者4の直視像を観察可能となっている。また、モニタ7には手術支援用画像が表示されるとともに、この手術支援用画像と直視像とがハーフミラー8を介して光学的に合成された合成像を観察可能となっている。すなわち、直視像に対し手術支援用画像を重畳して表示することができる。医師6はこのような合成像を観察しながら患者4の手術を行う。なお、顕微鏡本体2は上述したビデオ顕微鏡装置によって構成しても良い。この場合、直視像は図示しないディスプレイ装置に表示されることになる。
【0024】
図3(a)、(b)はモニタ7に表示された手術支援用画像の具体例としての3次元像を示すものであり、同図(a)は病巣11の表示例、同図(b)は臓器表面を模式的に表すワイヤーフレーム12に病巣11を重ねて表示した場合の例を示すものである。また、図4は直視像の表示例を示している。3次元像と直視像とはハーフミラー8によって光学的に合成され、図5に示すように合成像として表示される。
【0025】
3は3次元プロセッサであり、顕微鏡本体2の位置及び向きに応じて、上記図3に示した3次元像を作成する。3次元像は3次元メモリ1に格納された画像データを用いて作成される。画像データは、より具体的には、ボクセルデータ、ワイヤフレームデータ、サーフェスデータ及び各種データを含む3次元データである。顕微鏡本体2から観察する患者4は、患者固定フレーム10によってその位置が固定される。その状態において顕微鏡本体2の位置及び向きをアーム5によって検出する。
【0026】
顕微鏡本体2の位置及び向きに応じた3次元像を作成する方法については、特開昭63−240851号(特公平6−85784号)「手術用3次元ビューアーシステム」に記載の方法を用いることができる。
【0027】
図6(a)、(b)は各々直視光学系及びモニタ光学系を示し、図7は合成像の光学系を示すものである。L1,L2,L3はレンズの位置、Kは虚像(合成像)の位置、Hはハーフミラーの位置、M’,Mは実像の位置、Eは観察の位置を示している。また、mはK位置の像の大きさ、pはM’位置の像の大きさを示している。M’−MとM−Hの距離は同じに設定され、図6(a)、(b)のK位置は同じ位置になるように調整が行われる。
【0028】
そして3次元プロセッサ3は、図8に示すように、直視光学系をシミュレートした際にM’にできる実像としての3次元像を作成する。以上のような構成によると、光学系を介して得られる患者4の直視像に対し、3次元プロセッサ3により作成された手術支援用画像が重畳されて表示されるので、医師6は直接外からは見えない臓器表面や、手術計画の際に決めた仮想的な線などの手術支援のための情報を効果的に得ることができる。
【0029】
ところで、上記顕微鏡本体2が備える光学系は、機構的な可動部(例えばカム・ギア等)を有しており、この可動部を動作させることにより作動距離、拡大率、及び集光瞳の位置を調整可能となっている。顕微鏡本体2は、当該光学系を介して患者4の直視像を表示する。光学系の可動部には、その動作量を計測するとともに計測結果を数値化して出力するエンコーダが設けられている。当該エンコーダからの出力に基づく光学系の作動距離、拡大率、及び集光瞳の位置に応じて、上述した3次元プロセッサ3は手術支援用画像を作成する。
【0030】
そして本実施形態においては、上記光学系の可動部に設けられるエンコーダとは別に、光学系の作動距離、拡大率、及び集光瞳の位置を計測するための計測手段を設ける。この計測手段は顕微鏡装置の較正に用いられる。より具体的には、上記可動部の機械製作精度やその磨耗によって、光学系の特性が必ずしも意図したものとはならないことに起因するエンコーダからの出力の誤差を前記計測手段による計測結果に基づいて補正する。3次元プロセッサは、補正がなされたエンコーダからの出力に応じて手術支援用画像を作成する。
【0031】
ここで、上記計測手段の具体的な構成について説明する。図9は顕微鏡本体に設けられた計測手段の概略構成を示す図である。同図において2は顕微鏡本体、21は作動距離及び拡大率エンコーダ、30はレールをそれぞれ示している。レール30は顕微鏡本体(鏡筒)2の端部に着脱自在に取付けられる。このレール30は顕微鏡本体2の光学系の光軸に略平行な長手方向を有し、当該長手方向に沿って、所定の寸法を刻んだ目盛り31が設けられている。
【0032】
レール30に対し着脱自在に取付けられる板U及びLは、レール30の長手方向に沿って移動可能である。板Uは図9(a)に示すように、その表面に十字型孔32が形成されているとともに、この十字型孔32の辺縁に沿って、所定の寸法を刻んだ目盛り32が設けられる。これら十字型孔及び目盛り33は、顕微鏡本体2の光学系を介して観察者によって観察可能である。また、顕微鏡を介して観察者が板Uを観察すると、この十字型孔32を通じて板Lも観察可能である。
【0033】
板Lは図9(c)に示すように、その表面に所定の寸法を刻んだマス目状の目盛り34が設けられる。なお、本実施形態では、板Lの表面を照らす補助照明40が適宜設けられる。
【0034】
また、後述する拡大率の計測のために、光学系の接眼レンズに所定の寸法を刻んだ目盛り(図示しない)が設けられる。なお、顕微鏡本体2をビデオ顕微鏡装置によって構成した場合、モニタ上の一定の長さを当該目盛りの代わりに用いる。
【0035】
以上のように構成された本実施形態の計測手段は、光学系の作動距離、拡大率、及び集光瞳の位置のいずれかを選択的に計測可能となっている。
<作動距離の計測>図10は、作動距離の計測に係る図である。ここでは、レール30の目盛り31を用いることによる板Lの位置の計測によって作動距離の計測を行う。このため板Lのみを使用する。板Uは取り外すか、あるいは鏡筒2の端面に非常に近いところに移動させ、十字型孔32を通して板Lを容易に観察できるようにする。
【0036】
目盛り31に従って板Lを鏡筒2の端面からDの距離に移動させ、顕微鏡2により板Lを観察し、焦点が合うように作動距離を調節する。このとき、作動距離エンコーダ21の読み(出力値)が、距離Dに対応する。このような計測をDを変えながら幾つか行うことにより、エンコーダの読みと作動距離Dとの関係式を計測結果として得ることができる。
<拡大率の計測>図11は、拡大率の計測に係る図である。ここでは、レール30の目盛り31を用いた板Lの位置の計測と、光学系を介し板Lの目盛り34の像を読み取ることによる上記接眼レンズの目盛りの計測とに基づいて拡大率の計測を行う。このため板Lだけを使用する。板Uは取り外すか、あるいは鏡筒2の端面に非常に近いところに移動させ、十字型孔32を通して板Lを容易に観察できるようにする。
【0037】
目盛り31に従って板Lを鏡筒2の端面からDの距離に移動させ、顕微鏡2により板Lを観察し、焦点が合うように作動距離を調節する。ここで、上記接眼レンズの目盛りの長さを、板Lの目盛り34の像に基づいて測る。図11(b)は、同等の計測をビデオ顕微鏡によって行う場合を示す。同図において、Wはモニタ上の一定の長さ(幅)を示し、35は板Lの目盛り34の像を示している。
【0038】
計測した値をmとするとき、M=(E+D)/mが拡大率に比例する。従って、このときの拡大率エンコーダの読みが、Mに対応する。ここに、Eは鏡筒2の端面から集光瞳までの距離である。
【0039】
このような計測を拡大率を変えながら幾つか行うことによって、エンコーダの読みと拡大率Mとの関係式を計測結果として得ることができる。
<集光瞳の位置の計測>図12は、集光瞳の位置の計測に係る図である。ここでは、レール30の目盛り31を用いた板Uの位置の計測、レール30の目盛り31を用いた板Lの位置の計測、板Lの目盛り34を用いた板Uの目盛り33の計測とに基づいて集光瞳の位置の計測が行われる。このため、板UとLを使う。板Uは鏡筒2の端面からDUの距離に移動させ、板Lは鏡筒2の端面からDLの距離に移動させる。
【0040】
板Uの十字型孔32を通して板Lの目盛り34が観察できる。ここで、両方の板の目盛りを正確に読み取るためには、図9に示したような補助照明40を用いて像を明るくし、顕微鏡2の絞りを最小に絞ることによって焦点深度を大きくすると良い。
【0041】
板Uの目盛り32を使って適当な長さを決め、これをmUとする。同じ長さを板Lの目盛り34で測ったものをmLとする。この場合、(DL+E)mU=(DU+E)mLという関係が成り立ち、E=(mL−mU)/(DLmU−DUmL)によってE、すなわち集光瞳の位置を計測結果として求めることができる。
【0042】
以上述べたように、光学系の作動距離、拡大率、及び集光瞳の位置のいずれかを選択的に計測可能である。したがって、エンコーダからの出力、すなわち光学系の可動部(例えばカム・ギア等)の動作量の計測結果(作動距離、拡大率、及び集光瞳の位置)を簡単な構成の計測手段により較正することができ、較正された出力に応じた手術支援用画像を作成できる。この手術用支援画像は直視像に重畳されて表示される。
【0043】
ところで、上述した顕微鏡装置本体2は、単眼式顕微鏡のみならず双眼式顕微鏡であっても本発明は適用可能である。また、次の<A>〜<D>において説明するように、本実施形態を適宜変形しても良い。
<A:ビデオ顕微鏡における目盛りの像の計測>顕微鏡本体2をビデオ顕微鏡によって構成した場合、図11において説明した板Lの目盛り34の像の計測、又は図12において説明した板Uの目盛り33の像の計測において、ビデオ顕微鏡からの映像をコンピュータによって処理し、これら目盛りの数を計数することは容易である。
<B:リニアエンコーダによる計測>図10、図11、図12において説明したように、鏡筒2の端面からの板U又は板Lの位置の計測(すなわち距離D,DU,DLの計測)は、レール30の目盛り31を用いて行ったが、リニアエンコーダ等の手段を付加し、このリニアエンコーダにより上記距離の計測を自動的に行うように構成しても良い。
<C:AとBの併用>上記<A>および<B>を併用する。すなわち、コンピュータ処理により上記目盛りの像の計測を行なうとともに、上記リニアエンコーダからの出力も上記コンピュータによって処理するように構成すれば、数値の読取りに関し人間が介在する必要がない。すなわち、計測を概ね自動的に行うことができる。
<D:作動距離、拡大率等の自動調整>さらに、距離Dを変化させたり、拡大率、作動距離を変化させることを、コンピュータ制御のモータによって行なうように構成しても良い。この場合、顕微鏡較正器の取り付け、取り外し以外は、人間が介在する必要がない。
【0044】
以上説明したように、本実施形態によれば、作動距離、拡大率、あるいは集光瞳の位置を得るためのエンコーダを較正することにより、適切な手術支援用情報を観察者に提示できる手術用顕微鏡装置、及びこのような手術用顕微鏡装置を較正するために用いられる簡単な構成の顕微鏡較正器を提供できる。なお、本発明は上述した実施形態のみに限定されず、さらに変形して実施可能である。
【0045】
【発明の効果】
以上説明したように、本発明によれば、作動距離、拡大率、あるいは集光瞳の位置を得るためのエンコーダを較正することにより、適切な手術支援用情報を観察者に提示できる手術用顕微鏡装置、及び、かかる較正に用いられる簡単な構成の顕微鏡較正器を提供できる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る手術用顕微鏡装置の概略構成を示す図。
【図2】顕微鏡本体の詳細構成を示す図。
【図3】モニタに表示された手術支援用画像の具体例としての3次元像を示す図。
【図4】直視像の表示例を示す図。
【図5】3次元像と直視像の合成像を示す図。
【図6】直視光学系(a)及びモニタ光学系(b)を示す図。
【図7】合成像の光学系を示す図。
【図8】光学系のシミュレーション例を示す図。
【図9】顕微鏡本体に設けられた計測手段(顕微鏡較正器)の概略構成を示す図。
【図10】作動距離の計測に係る図。
【図11】拡大率の計測に係る図。
【図12】集光瞳の計測に係る図。
【符号の説明】
1…3次元メモリ
2…顕微鏡本体
3…3次元(3D)プロセッサ
4…患者
5…アーム
6…医師
10…患者固定フレーム

Claims (4)

  1. 機構的な可動部を動作させることにより作動距離、拡大率、及び集光瞳の位置の少なくとも一つを調整可能な光学系を有し、当該光学系を介して被検体の直視像を表示する顕微鏡本体と、
    前記光学系の可動部の動作量を計測し、その計測結果を出力する出力手段と、
    前記顕微鏡本体に脱着可能であり、前記可動部の動作量と前記光学系の作動距離、拡大率、及び集光瞳の位置の少なくとも一つとの関係式を予め得るための計測手段と、
    前記計測手段により得られた結果に基づいて前記出力手段からの出力を補正する補正手段と、
    前記補正手段により補正された出力手段からの出力に応じた手術支援用画像を作成する作成手段と、
    前記作成手段により作成された手術支援用画像を、前記直視像に重畳させて表示する重畳表示手段と、
    を具備することを特徴とする手術用顕微鏡装置。
  2. 前記手術支援用画像は、X線コンピュータ断層撮影装置や磁気共鳴診断装置等の医用画像診断装置により得られた3次元情報を有する画像データであり、当該画像データはメモリに保存されるものであって、
    前記重畳表示手段は、前記画像データをメモリから読み出して前記直視像に重畳させて表示することを特徴とする請求項1に記載の手術用顕微鏡装置。
  3. 前記重畳させる画像データは、臓器等の3次元表面形状を表すものであることを特徴とする請求項2に記載の手術用顕微鏡装置。
  4. 前記重畳させる画像データは、前記顕微鏡本体の位置又は向きに応じて変更することを特徴とする請求項2に記載の手術用顕微鏡装置。
JP34509797A 1997-12-15 1997-12-15 手術用顕微鏡装置 Expired - Fee Related JP3955667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34509797A JP3955667B2 (ja) 1997-12-15 1997-12-15 手術用顕微鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34509797A JP3955667B2 (ja) 1997-12-15 1997-12-15 手術用顕微鏡装置

Publications (2)

Publication Number Publication Date
JPH11174335A JPH11174335A (ja) 1999-07-02
JP3955667B2 true JP3955667B2 (ja) 2007-08-08

Family

ID=18374272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34509797A Expired - Fee Related JP3955667B2 (ja) 1997-12-15 1997-12-15 手術用顕微鏡装置

Country Status (1)

Country Link
JP (1) JP3955667B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50014939D1 (de) * 1999-07-03 2008-03-20 Leica Microsystems Deckenstativ
JP4633210B2 (ja) * 1999-11-02 2011-02-16 オリンパス株式会社 手術用顕微鏡装置
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
JP4728039B2 (ja) * 2005-04-28 2011-07-20 オリンパスメディカルシステムズ株式会社 医療用観察装置
DE202010007662U1 (de) * 2010-06-07 2010-08-26 Jurkat, Klaus-Peter Medizinische Vergrößerungsvorrichtung

Also Published As

Publication number Publication date
JPH11174335A (ja) 1999-07-02

Similar Documents

Publication Publication Date Title
US6483948B1 (en) Microscope, in particular a stereomicroscope, and a method of superimposing two images
Suenaga et al. Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study
US10274714B2 (en) Surgical microscope for generating an observation image of an object region
US7508388B2 (en) Method for extending the display of a 2D image of an object region
JP4553551B2 (ja) 画像診断方法
CA2003497C (en) Probe-correlated viewing of anatomical image data
US8463360B2 (en) Surgery support device, surgery support method, and computer readable recording medium storing surgery support program
US7570987B2 (en) Perspective registration and visualization of internal areas of the body
JP4630564B2 (ja) 手術支援装置、方法及びプログラム
US8483796B2 (en) Arrangement and method for quantitatively determining the blood flow within blood vessels
EP2099377B1 (en) A method and system for integrating image information from an external source
US20040254456A1 (en) Method and apparatus for realistic two-dimensional imaging
CN108836478A (zh) 侵入式手术在狭窄通道中的内窥镜视图
JP2001216508A (ja) 3d像データの再構成方法
DE102011121708A1 (de) Bilderzeugungsapparat und -Methode zur Nuklearbildgebung
KR20170057141A (ko) Ct 이미지를 위한 국소 적용 투명성
JP2006320427A (ja) 内視鏡手術支援システム
Masamune et al. Three-dimensional slice image overlay system with accurate depth perception for surgery
WO2022036302A1 (en) Systems and methods for superimposing virtual image on real-time image
Fan et al. Three-dimensional image-guided techniques for minimally invasive surgery
JP3955667B2 (ja) 手術用顕微鏡装置
JP4503748B2 (ja) 手術用顕微鏡
Zhang et al. 3D augmented reality based orthopaedic interventions
ES2242118T3 (es) Registro en perspectiva y visualizacion de las zonas corporales internas.
JPH03231643A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061113

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070507

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees