JP5926980B2 - 撮像装置および撮像システム - Google Patents

撮像装置および撮像システム Download PDF

Info

Publication number
JP5926980B2
JP5926980B2 JP2012040362A JP2012040362A JP5926980B2 JP 5926980 B2 JP5926980 B2 JP 5926980B2 JP 2012040362 A JP2012040362 A JP 2012040362A JP 2012040362 A JP2012040362 A JP 2012040362A JP 5926980 B2 JP5926980 B2 JP 5926980B2
Authority
JP
Japan
Prior art keywords
unit
signal
imaging
determination
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012040362A
Other languages
English (en)
Other versions
JP2013172904A (ja
Inventor
紗依里 齋藤
紗依里 齋藤
秀範 橋本
秀範 橋本
純 小西
純 小西
博之 宇佐美
博之 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012040362A priority Critical patent/JP5926980B2/ja
Publication of JP2013172904A publication Critical patent/JP2013172904A/ja
Application granted granted Critical
Publication of JP5926980B2 publication Critical patent/JP5926980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えば、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画像情報として出力可能である撮像装置および撮像システムに関する。
従来から、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像素子(撮像装置)と、撮像素子が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像素子が体内画像を撮像する。挿入部は、撮像素子によって撮像された映像信号を、信号処理を行う信号処理部によってA/D変換等を行い、信号処理された映像信号を表示部側に出力する。医師等のユーザは、表示部が表示する体内画像に基づいて被検体の臓器の観察を行う。
ところで、上述した撮像部を有する内視鏡システムにおいて、不具合が生じた場合、故障箇所を特定する必要がある。ここで、表示された画像に異常が生じている場合、上述した挿入部、撮像装置および表示部のうち、いずれの箇所に故障(異常)が生じているかを特定する際は、各部(挿入部、撮像装置および表示部)を別のものに交換する。
また、内視鏡システムに異常が生じた場合、例えば、挿入部において撮像素子が正常に動作し、信号処理部に異常がある場合に、撮像素子の出力に同調している擬似映像信号をもとに表示部に擬似画像を表示させる技術が開示されている(例えば、特許文献1参照)。この技術によって、表示部に連続的に表示されている画像が信号処理部の異常によって表示されなくなることを防止することが可能となり、撮像素子によって得られる画像を途切れることなく表示することができる。
特開2006−346357号公報
しかしながら、特許文献1が開示する技術では、撮像素子が動作することを前提とし、撮像素子以外の処理部全体として異常であるかを検知して、擬似映像信号を用いるものであり、撮像素子以外の構成における異常箇所を詳細に特定することはできない。
本発明は、上記に鑑みてなされたものであって、撮像装置内における異常箇所を詳細に特定することができる撮像装置および撮像システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、該撮像部から出力された画像情報を含む信号の信号処理を行う信号処理部と、該信号処理部が処理した信号を外部に送信する送信部と、を備えた撮像装置において、前記撮像部、前記信号処理部および前記送信部は、自身の動作状態の判別に用いられる判別用信号をそれぞれ生成することを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記判別用信号をもとに、前記撮像部、前記信号処理部および前記送信部における異常の有無を個別に判別可能な異常判別部と、前記異常判別部が異常であると判別した箇所の動作を個別にリセットするリセット制御部と、をさらに備えたことを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記異常判別部は、前記撮像装置が送信した信号に含まれ、前記複数の画素のうち光が当たらないオプティカルブラック領域、またはブランキング領域に付加された前記判別用信号に応じたデータに基づいて、前記撮像部、前記信号処理部および前記送信部における異常の有無を個別に判別することを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記異常判別部は、前記複数の画素のうち光が当たらないオプティカルブラック領域の画素値に基づいて、前記撮像部、前記信号処理部および前記送信部における異常の有無を個別に判別することを特徴とする。
また、本発明にかかる撮像システムは、複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、該撮像部から出力された画像情報を含む信号の信号処理を行う信号処理部と、少なくとも前記信号処理部が処理した信号を外部に送信する第1の送信部と、外部からの信号を受信する第1の受信部と、当該撮像装置の動作を制御する制御部と、を有し、前記撮像部、前記信号処理部および前記第1の送信部が、自身の動作状態の判別に用いられる判別用信号をそれぞれ生成する撮像装置と、前記撮像装置と通信接続され、外部からの信号の受信を行なう第2の受信部と、外部に対して信号の送信を行う第2の送信部と、前記判別用信号に基づいて前記撮像装置における前記撮像部、前記信号処理部および前記第1の送信部の異常判別を行う異常判別部と、前記異常判別部によって異常であると判別された異常箇所の動作をリセットさせるリセット信号を生成するリセット制御部と、を有する外部装置と、を備え、前記制御部は、前記リセット信号をもとに、前記異常箇所の動作をリセットさせることを特徴とする。
また、本発明にかかる撮像システムは、上記の発明において、前記第1の送信部は、前記判別用信号を前記画像情報に重畳して前記外部装置へ送信することを特徴とする。
また、本発明にかかる撮像システムは、上記の発明において、前記異常判別部は、前記複数の画素のうち光が当たらないオプティカルブラック領域の画素値に基づいて、前記撮像部、前記信号処理部および前記第1の送信部における異常の有無を個別に判別することを特徴とする。
本発明によれば、撮像部、信号処理部および送信部が、自身の動作状態を判別させる判別用信号をそれぞれ生成し、生成された判別用信号をもとに、撮像部、信号処理部、送信部および受信部における異常の有無を個別に判別するようにしたので、撮像装置内における異常箇所を詳細に特定することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態1にかかる内視鏡システムの要部の機能構成を示すブロック図である。 図3は、本発明の実施の形態1にかかる内視鏡システムの異常判別処理を説明するための図である。 図4は、本発明の実施の形態1にかかる内視鏡システムの異常判別処理を説明するための図である。 図5は、本発明の実施の形態1にかかる内視鏡システムの異常判別処理を説明するための図である。 図6は、本発明の実施の形態1の変形例1にかかる内視鏡システムの異常判別処理を説明するための図である。 図7は、本発明の実施の形態1の変形例2にかかる内視鏡システムの信号出力の態様を説明する図である。 図8は、本発明の実施の形態2にかかる内視鏡システムの要部の機能構成を示すブロック図である。 図9は、本発明の実施の形態3にかかる内視鏡システムの要部の機能構成を示すブロック図である。 図10は、本発明の実施の形態3にかかる内視鏡システムの電気信号の一例を示す模式図である。 図11は、本発明のその他の実施の形態にかかる断線検知処理を示すフローチャートである。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。なお、以下の説明では、撮像システムの例として内視鏡システムを説明する。
(実施の形態1)
図1は、本実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。図1に示すように、内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被写体の体内画像を撮像する内視鏡2と、内視鏡2が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する制御装置3(外部装置)と、内視鏡2の先端から出射する照明光を発生する光源装置4と、制御装置3が画像処理を施した体内画像を表示する表示装置5と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、制御装置3および光源装置4と接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、後述する撮像素子を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成されて光源装置4が発生した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像装置としての撮像素子244と、内視鏡2用の処置具が通る処置具チャンネル(図示せず)と、を有する。光学系243は、一つまたは複数のレンズからなる。
図2を参照して、撮像素子244の構成を説明する。図2に示すように、撮像素子244は、光学系243からの光を光電変換して電気信号を画像情報として出力するセンサ部244a(撮像部)と、センサ部244aが出力した電気信号に対してノイズ除去やA/D変換を行う信号処理部としてのアナログフロントエンド244b(以下、「AFE部244b」という)と、AFE部244bが出力したデジタル信号をパラレル/シリアル変換して外部に送信するP/S変換部244c(送信部、第1の送信部)と、センサ部244aの駆動タイミング、AFE部244bおよびP/S変換部244cにおける各種信号処理のパルスを発生するタイミングジェネレータ244dと、撮像素子244の動作を制御する制御部244eと、各種設定情報を記憶する記憶部244kと、を有する。撮像素子244は、CMOSイメージセンサである。タイミングジェネレータ244dは、制御装置3から送信される各種駆動信号を受信する。また、制御部244eは、制御装置3から送信される各種制御信号を受信する。なお、本実施の形態1では、制御部244eが第1の受信部として機能するものとして説明するが、制御信号や設定データ等を一括して送受信する送受信部(第1の受信部および第1の送信部に対応)を別個に設ける構成であってもよい。
センサ部244aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が2次元マトリックス状に配設された受光部244fと、受光部244fの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部244gと、を有する。
AFE部244bは、電気信号に含まれるノイズ成分を低減するとともに、電気信号の増幅率を調整して一定の出力レベルを維持するCDS(Correlated Double Sampling)部244hと、CDS部244hを介して出力された電気信号をA/D変換するA/D変換部244iと、A/D変換部244iにおいてデジタル変換された電気信号の補正を行う補正部244jと、を有する。CDS部244hは、たとえば相関二重サンプリング法を用いてノイズの低減を行う。また、補正部244jは、画素欠陥に対する画像の補正や、色補正(RGB映像信号の階調補正(γ補正))を行う。
制御部244eは、制御装置3から受信した設定データにしたがって、先端部24の各種動作を制御する。制御部244eは、CPU(Central Processing Unit)等を用いて構成される。また、制御部244eは、各部(例えば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244d)からそれぞれ生成する判別用信号(判別用データ)が付加された信号をもとに、各部の異常の有無を判別する異常判別部244lと、異常判別部244lにおいて異常箇所があると判別された場合に、その異常箇所を個別にリセットするリセット制御部244mと、を有する。
記憶部244kは、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、制御装置3の識別情報および面順次式または同時式の観察方式を示す観察情報、撮像素子244の撮像速度(フレームレート)、およびセンサ部244aの任意の画素からの画素情報の読み出し速度やシャッタ制御設定や、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dの設定データ等の設定情報、ならびにAFE部244bが読み出した画素情報の伝送制御情報、異常箇所の判別を行うためのリファレンス情報等を記憶する。
操作部22と先端部24との間には、制御装置3との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル245が接続し、操作部22とコネクタ部27との間には集合ケーブル224が接続している。複数の信号線には、撮像素子244が出力した映像信号を制御装置3へ伝送する信号線および制御装置3が出力する制御信号を撮像素子244へ伝送する信号線等が含まれる。また、電気信号の送受信には、2本の信号線(差動信号線)を用いて一つの信号を伝送する方式(差動伝送)が用いられる。差動信号線間の電圧をそれぞれ正(+)および負(−、位相反転)とすることによって、各線にノイズが混入してもキャンセルできるため、シングルエンド信号に比べてノイズに強く、データの高速伝送が可能となる。なお、上述した差動伝送は、ユニバーサルコード23や可撓管部26の長さが長い場合に用いられることが好ましく、この長さが短い場合は、シングルエンド信号を用いるシングルエンド信号伝送であっても適用可能である。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部222と、送気手段、送水手段、送ガス手段等の切り替えを行う信号を入力する複数の第1入力スイッチ223a、および制御装置3、光源装置4の設定を入力する複数の第2入力スイッチ223bからなるスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネルを経由して開口部から表出する(図示せず)。ここで、コネクタ部27から先端部24に信号を伝送する場合において、ユニバーサルコード23で信号を中継して、差動信号をシングルエンド信号に変換する回路を配設する。また、差動信号を先端部24まで伝送させる場合、この差動信号からシングルエンド信号に変換する変換回路を差動バッファとしてもよいし、先端部24からコネクタ部27に伝送する差動信号を一度中継し、差動バッファを配置するようにしてもよい。
ユニバーサルコード23は、ライトガイド241と、集合ケーブル224と、を少なくとも内蔵している。ユニバーサルコード23は、光源装置4に着脱自在なコネクタ部27(図1を参照)を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置3と着脱自在な電気コネクタ部28を有する。コネクタ部27は、内部に内視鏡2の制御を行う制御部271と、FPGA(Field Programmable Gate Array)272と、コンフィグレーションデータを記録するEEPROM273と、を有する。
つぎに、制御装置3の構成について説明する。制御装置3は、S/P変換部301と、画像処理部302と、明るさ検出部303と、調光部304と、読出アドレス設定部305と、駆動信号生成部306と、入力部307と、記憶部308と、制御部309と、基準クロック生成部310と、を備える。なお、本実施の形態では、制御装置3として面順次の構成を例に説明するが、同時式であっても適用することができる。
S/P変換部301は、先端部24から受信した映像信号(電気信号)をシリアル/パラレル変換する。
画像処理部302は、S/P変換部301から出力されたパラレル形態の映像信号をもとに、表示装置5が表示する体内画像を生成する。画像処理部302は、同時化部302aと、ホワイトバランス(WB)調整部302bと、ゲイン調整部302cと、γ補正部302dと、D/A変換部302eと、フォーマット変更部302fと、サンプル用メモリ302gと、静止画像用メモリ302hと、を有する。
同時化部302aは、画素情報として入力された映像信号を、画素ごとに設けられた三つのメモリ(図示せず)に入力し、読み出し部244gが読み出した受光部244fの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら三つのメモリの映像信号をRGB映像信号として同時化する。同時化部302aは、同時化したRGB映像信号をホワイトバランス調整部302bへ順次出力するとともに、一部のRGB映像信号を、明るさ検出などの画像解析用としてサンプル用メモリ302gへ出力する。
ホワイトバランス調整部302bは、RGB映像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整部302bは、RGB映像信号に含まれる色温度に基づいて、RGB映像信号のホワイトバランスを自動的に調整する。
ゲイン調整部302cは、RGB映像信号のゲイン調整を行う。ゲイン調整部302cは、ゲイン調整を行ったRGB信号をγ補正部302dへ出力するとともに、一部のRGB信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ302hへ出力する。
γ補正部302dは、表示装置5に対応させてRGB映像信号の階調補正(γ補正)を行う。
D/A変換部302eは、γ補正部302dが出力した階調補正後のRGB映像信号をアナログ信号に変換する。
フォーマット変更部302fは、アナログ信号に変換された映像信号をハイビジョン方式等の動画用のファイルフォーマットに変更して表示装置5に出力する。
明るさ検出部303は、サンプル用メモリ302gが保持するRGB映像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部309へ出力する。また、明るさ検出部303は、検出した明るさレベルをもとにホワイトバランス調整値、ゲイン調整値および光照射量を算出し、ゲイン調整値をゲイン調整部302cへ出力する。また、ホワイトバランス調整値、ホワイトバランス調整部302b、光照射量を調光部304へ出力する。
調光部304は、制御部309の制御のもと、明るさ検出部303が算出した光照射量をもとに光源装置4が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置4へ送信する。
読出アドレス設定部305は、センサ部244aの受光面における読み出し対象の画素および読み出し順序を、内視鏡2内の制御部271と通信することにより設定する機能を有する。制御部271は、EEPROM273に格納されているセンサ部224aの種類情報を読み出し、制御装置3へ送信する。読出アドレス設定部305は、AFE部244bが読み出すセンサ部244aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部305は、設定した読み出し対象の画素のアドレス情報を同時化部302aへ出力する。
駆動信号生成部306は、内視鏡2を駆動するための駆動用のタイミング信号(水平同期信号(HD)および垂直同期信号(VD))を生成し、FPGA272、集合ケーブル224,245に含まれる所定の信号線を介してタイミングジェネレータ244d(撮像素子244)へ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。
入力部307は、フロントパネルやキーボードにより設定されるフリーズ、レリーズ、各種画像調整(強調、電子拡大、色調など)等、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
記憶部308は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部308は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部308は、制御装置3の識別情報および観察情報を記憶する。ここで、識別情報には、制御装置3の固有情報(ID)、年式、制御部309のスペック情報および伝送レート情報が含まれる。
制御部309は、CPU等を用いて構成され、内視鏡2および光源装置4を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部309は、撮像制御のための設定データ等をコネクタ部27のFPGA272で受信し、撮像素子244に必要な信号およびデータを集合ケーブル224,245に含まれる所定の信号線を介して制御部244eへ送信する。なお、先端部24側へ各種の信号を送信する送信部を別個設けてもよい。
基準クロック生成部310は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。
つぎに、光源装置4の構成について説明する。光源装置4は、光源41と、光源ドライバ42と、回転フィルタ43と、駆動部44と、駆動ドライバ45と、光源制御部46と、を備える。
光源41は、白色LED(Light Emitting Diode)またはキセノンランプ等を用いて構成され、光源制御部46の制御のもと、白色光を発生する。光源ドライバ42は、光源41に対して光源制御部46の制御のもとで電流を供給することにより、光源41に白色光を発生させる。光源41が発生した光は、回転フィルタ43および集光レンズ(図示せず)およびライトガイド241を経由して先端部24の先端から照射される。
回転フィルタ43は、光源41が発した白色光の光路上に配置され、回転することにより、光源41が発する白色光を所定の波長帯域を有する光のみを透過させる。具体的には、回転フィルタ43は、赤色光(R)、緑色光(G)および青色光(B)のそれぞれの波長帯域を有する光を透過させる赤色フィルタ431、緑色フィルタ432および青色フィルタ433を有する。回転フィルタ43は、回転することにより、赤、緑および青の波長帯域(例えば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)を有する光を順次透過させる。これにより、光源41が発する白色光は、狭帯域化した赤色光、緑色光および青色光のいずれかの光を内視鏡2に順次出射することができる。
駆動部44は、ステッピングモータやDCモータ等を用いて構成され、制御装置3から送信される同期信号を基準として回転フィルタ43を回転動作させる。駆動ドライバ45は、光源制御部46の制御のもと、駆動部44に所定の電流を供給する。
光源制御部46は、調光部304から送信された調光信号にしたがって光源41に供給する電流量を制御する。また、光源制御部46は、制御部309の制御のもと、駆動ドライバ45を介して駆動部44を駆動することにより、回転フィルタ43を回転させる。
表示装置5は、映像ケーブルを介して制御装置3が生成した体内画像を制御装置3から受信して表示する機能を有する。表示装置5は、例えば液晶または有機EL(Electro Luminescence)等を用いて構成される。
以上の構成を有する内視鏡システム1において、内視鏡2(先端部24)の各部(例えば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244d)からそれぞれ判別用信号(判別用データ)を生成させ、P/S変換部244cから出力される信号であって、各部の判別用信号が付加された信号をもとに異常判別部244lが異常の有無を判別する。異常判別部244lが、異常箇所があると判別した場合、リセット制御部244mは、その異常箇所に対して個別にリセットさせる。
続いて、異常箇所の判別処理について説明する。まず、異常判別部244lは、P/S変換部244cから出力される信号に基づき、各部(例えば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244d)の異常の有無を判別する。
図3〜5は、本実施の形態1にかかる内視鏡システム1の異常判別処理を説明するための図である。ここで、受光部244fの画素が配列される領域を画素配列領域Rとし、この画素配列領域Rにおいて、実際に撮像する際に用いられる画素(有効画素)が配設される領域を有効画素領域R、有効画素領域Rの周囲に設けられ、例えばノイズ補正用の画素であって、遮光された画素の領域をオプティカルブラック(OB)領域Rとする。
このとき、撮像素子244の各部、例えばセンサ部244a、AFE部244b、P/S変換部244cは、画像データ中、オプティカルブラック領域Rに応じた領域、またはブランキング領域の異なるタイミングに生成した判別用信号を判別用データとしてそれぞれ付加する。この場所は、例えば、図3〜5に示す領域Rd1〜Rd3に相当する。その後、撮像素子244の各部は、判別用データを付加した画像データを電気信号として異常判別部244lに出力する。
なお、各領域Rd1〜Rd3は、各部の判別用データを付加することができれば、同じサイズでもよく、異なるサイズでもよい。また、AFE部244bの付加領域には、上述したCDS部244h、A/D変換部244iおよび補正部244jの判別用データがそれぞれ付加される。
異常判別部244lは、判別用データが付加された電気信号が入力されると、各部の判別用データをそれぞれ抽出して、異常の有無の判別を行う。センサ部244aの異常判別を行う場合、異常判別部244lは、例えば、オプティカルブラック領域Rの信号(Signal)とノイズ(Noise)との比であるSN比を、記憶部244kに予め記憶されているリファレンス(基準SN比)と比較して、異常であるか否かを判別する。
CDS部244hおよびA/D変換部244iの異常判別を行う場合、異常判別部244lは、例えば、判別用データとして所定のテストパターンやクランプしたOB値が用いられ、記憶部244kに予め記憶されているリファレンス(基準テストパターンや基準OB値)と比較して、異常であるか否かを判別する。
補正部244jの異常判別を行う場合、異常判別部244lは、例えば、補正部244jが生成した判別用の擬似補正対象を用いて、記憶部244kに予め記憶されているリファレンス(擬似補正対象の補正効果の期待値)と比較して、異常であるか否かを判別する。具体的には、傷補正の場合、補正部244jが生成した、判別用の所定レベルの傷データへの補正に対する補正効果を、異常判別部244lが、その傷データに対する補正効果の期待値と比較して異常判別を行う。また、色補正の場合、補正部244jが生成した判別用の所定レベルの色データへの補正に対する補正効果を、異常判別部244lが、その色データに対する補正効果の期待値と比較して異常判別を行う。
P/S変換部244cの異常判別を行う場合、異常判別部244lは、例えば、判別用データとして所定のテストパターンが用いられ、記憶部244kに予め記憶されているリファレンス(基準テストパターン)と比較して、異常であるか否かを判別する。
また、タイミングジェネレータ244dの異常判別を行う場合、異常判別部244lは、例えば、タイミングジェネレータ244dに入力される信号と、タイミングジェネレータ244dから出力される信号とを取得して、この出力信号が、所定のタイミングでトグルしているか否かを判断することによって、異常であるか否かを判別する。例えば、入力信号のトグルを確認する第1カウンタと、この第1カウンタでリセットされる出力信号のトグルを確認する第2カウンタとの各カウンタ値を比較して、異常の判別を行う。
なお、異常判別部244lが、タイミングジェネレータ244dが出力する信号のみを取得し、この出力信号と、予め記憶部244kに記憶されている基準データとを比較して異常であるか否かを判別するものであってもよい。また、タイミングジェネレータ244dの出力に対して、ウォッチドッグタイマを用いて異常を判別することも可能である。
上述したような各部に対する異常判別処理が終了し、異常判別部244lにおいて異常箇所が存在すると判別された場合、リセット制御部244mが、異常箇所と判別された箇所を個別にリセットする。リセット制御部244mは、センサ部244aおよびP/S変換部244cに異常がある場合、受光部244fの電源を所定時間オフした後、オンして起動させる。タイミングジェネレータ244d、CDS部244h、A/D変換部244iに異常がある場合、リセット制御部244mは、記憶部244kに記憶されている設定情報を再度読み込ませて、リロードさせる。また、補正部244jに異常がある場合、リセット制御部244mは、記憶部244kに記憶されている各種パラメータを補正部244jにリロードさせる。
なお、タイミングジェネレータ244dが異常の場合、カウンタ値をリセットしてもよい。また、タイミングジェネレータ244d、CDS部244h、A/D変換部244iにおいて、リロードによっても異常状態が解消されない場合は、電源を所定時間オフした後、オンして起動させる。
以上説明した本実施の形態1によれば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dに、自身の動作状態を判別させる判別用信号をそれぞれ生成させて、映像信号等の出力信号に付加させ、この信号に基づいて、異常判別部244lが、各部の異常の有無を個別に判別するようにしたので、内視鏡2内における異常箇所、特に撮像素子244の異常箇所を詳細に特定することができる。
また、本実施の形態1によれば、リセット制御部244mが、異常があった箇所に対して個別にリセットさせるため、異常があった場合でも、その異常状態からの復帰にかかる時間を短縮することが可能となる。
なお、上述した本実施の形態1において、各部で生成された判別用信号は、センサ部244aで得られた映像信号に付加するものであってもよいし、異常判別モードとして、判別用信号を映像信号とは別に出力するものであってもよい。
また、上述した本実施の形態1において、光源装置4が、回転フィルタ43を有する面順次式であるものとして説明したが、撮像素子244側でカラーフィルターを有するものであれば、回転フィルタ43を有さない同時式であるものであってもよい。
図6は、本実施の形態1の変形例1にかかる内視鏡システムの異常判別処理を説明するための図である。上述した実施の形態1では、複数の画素からなり、1つの画像に対応する1フレームに応じた画素配列領域Rにおいて、各部の判別用データを付加するものとして説明したが、1フレームに対して一つの判別用データを付加するものであってもよい。例えば、図6に示すように、あるフレームに応じた画素配列領域Rの領域Dd4に対して上述したいずれかの箇所の判別用データを付加し、異なるフレームに対しては、このフレームに応じた画素配列領域Rの領域Rd4に対して、異なる箇所の判別用データを付加する。
また、2次元マトリックス状に配設された画素に対して、奇数ラインと偶数ラインとで、出力信号に付加する判別用データが異なるようにしてもよい。また、時間的に付加する判別用データが異なるようにしてもよい。
ここで、上述した実施の形態1および変形例1のほか、異常判別部は、OB領域の画素値(S/N比やOB値の平均値)を用いることによって各部の異常の判別を行ってもよい。例えば、S/N比が所定の数値より高い場合は、センサ部224aにおいて、温度上昇による熱雑音が増大していると判断することができる。また、平均値が、設定値と異なる場合は、CDS部244h、A/D変換部244iにおいて、クランプ異常が発生していると判断することができる。ここで、OB値が所定の範囲内で一定であるものと仮定した場合、P/S変換部224cが判別用信号を付加することで、センサ部244a、AFE部244bに加えて、P/S変換部224cの異常判別を行うことが可能である。
図7は、本実施の形態1の変形例2にかかる内視鏡システムの信号出力の態様を説明する図である。上述した実施の形態1では、センサ部244aから出力される映像信号に対して、各部が判別用データ(判別用信号)を付加した後、P/S変換部244cが異常判別部244lに判別用の信号を出力するものとして説明したが、図7に示すように、各部が個別に、異常判別部244lに判別用のアナログ/デジタル信号をそれぞれ出力するものであってよい。
このとき、各部が連続して判別用の信号をそれぞれ出力するものであってもよいし、奇数ライン及び偶数ラインに応じて、設定されたラインにおいて判別用の信号を出力するものであってよいし、時間的に設定された所定の間隔で各部が判別用の信号を生成して出力するものであってもよい。
なお、上述した実施の形態1および変形例1,2にかかる異常判別において、少なくともタイミングジェネレータ244dに異常があると判別された場合、センサ部244a、AFE部244b(CDS部244h、A/D変換部244iおよび補正部244j)およびP/S変換部244cが、タイミングジェネレータ244dに依存するため、リセット制御部244mは、センサ部244a、AFE部244bおよびP/S変換部244cをマスクして、タイミングジェネレータ244dに対して優先的にリセット処理を行うことが好ましい。
(実施の形態2)
図8は、本実施の形態2にかかる内視鏡システム1aの要部の機能構成を示すブロック図である。なお、上述した内視鏡システム1にかかる構成と同一の箇所には、同一の符号が付してある。上述した実施の形態1では、先端部24において、異常判別およびリセット制御を行うものとして説明したが、異常判別およびリセット制御を、制御装置3(外部装置)側で行うものであってもよい。
内視鏡システム1aは、上述した内視鏡システム1の制御部244に設けられる異常判別部244lおよびリセット制御部244mに代えて、図8に示すように、制御装置3aの制御部309が、異常判別部309aおよびリセット制御部309bを有する。また、記憶部308は、上述した各種情報のほか、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dの設定データ等の設定情報や、異常箇所の判別を行うためのリファレンス情報等を記憶する。
異常判別部309aは、先端部24aから判別用信号(制御信号)として、映像信号とは別に制御部309が受信した各部(例えば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244d)の判別用データをもとに、異常の有無を判別する。各部に対する判別処理は、上述した実施の形態1などと同様である。
リセット制御部309bは、異常判別部309aにおいて異常箇所が存在すると判別された場合、異常箇所と判別された箇所を個別にリセットするためのリセット信号を生成して制御部309に出力する。制御部309は、生成されたリセット信号を先端部24aの制御部244eに出力する。なお、制御部244eがリセット信号に基づき行うリセット処理は、上述した実施の形態1(リセット制御部244mが行うリセット処理)と同様である。なお、本実施の形態2では、制御部309が第2の受信部および第2の送信部として機能するものとして説明するが、通信インターフェイスとして、制御信号や設定データ等を一括して送受信する送受信部(第2の受信部および第2の送信部に対応)を別個に設ける構成であってもよい。
以上説明した本実施の形態2によれば、上述した実施の形態1と同様に、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dに、自身の動作状態を判別させる判別用信号をそれぞれ生成させ、この判別用信号に基づいて、異常判別部309aが、各部の異常の有無を個別に判別するようにしたので、内視鏡2内における異常箇所、特に撮像素子244の異常箇所を詳細に特定することができる。
また、本実施の形態2によれば、リセット制御部309bが、リセット信号を生成して異常があった箇所に対して個別にリセットさせるため、異常があった場合でも、その異常状態からの復帰にかかる時間を短縮することが可能となる。
また、本実施の形態2によれば、異常判別やリセット信号の生成を制御装置3a側で行うため、異常があった場合や、そのリセット信号が生成された場合に表示装置5に表示させることによって、内視鏡2の状態を観察者に確認させることが可能となる。
(実施の形態3)
図9は、本実施の形態3にかかる内視鏡システム1bの要部の機能構成を示すブロック図である。なお、上述した内視鏡システム1,1aにかかる構成と同一の箇所には、同一の符号が付してある。上述した実施の形態1では、先端部24において、異常判別およびリセット制御を行うものとして説明したが、異常判別およびリセット制御を、制御装置3(外部装置)側で行うものであってもよい。また、上述した実施の形態2では、映像信号とは別に判別用信号として送信される判別用データを用いるものとして説明したが、本実施の形態3のように、映像信号に判別用信号を重畳するものであってもよい。
内視鏡システム1bは、上述した内視鏡システム1の制御部244に設けられる異常判別部244lおよびリセット制御部244mに代えて、図9に示すように、制御装置3aの制御部309が、異常判別部309aおよびリセット制御部309bを有する。また、記憶部308は、上述した各種情報のほか、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dの設定データ等の設定情報や、異常箇所の判別を行うためのリファレンス情報等を記憶する。
先端部24bは、撮像素子244nのAFE部244bとP/S変換部244cとの間に設けられ、センサ部244aおよびAFE部244b(CDS部244h、A/D変換部244i、補正部244j)が生成した判別用信号を映像信号に重畳する重畳部244oを有する。
図10は、本実施の形態3にかかる内視鏡システムの電気信号の一例を示す模式図である。重畳部244oは、1フレームに相当する画像データDのブランキング期間(同期信号S間のブランキング領域)に、判別用データD〜Dを重畳する。判別用データD〜Dには、例えば、センサ部244a、CDS部244h、A/D変換部244iおよび補正部244jの各判別用データがそれぞれ含まれる。また、重畳部244oの自身の判別用データや、P/S変換部244cおよびタイミングジェネレータ244dの判別用データを重畳することにより、各部の異常の判別が可能である。
異常判別部309aは、P/S変換部244cからS/P変換部301に出力される映像信号に重畳された各部(例えば、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244d)の判別用信号をもとに、異常の有無を判別する。各部に対する判別処理は、上述した実施の形態1などと同様である。
リセット制御部309bは、異常判別部309aにおいて異常箇所が存在すると判別された場合、異常箇所と判別された箇所を個別にリセットするためのリセット信号を生成して制御部309に出力する。制御部309は、生成されたリセット信号を先端部24bの制御部244eに出力する。なお、制御部244eがリセット信号に基づき行うリセット処理は、上述した実施の形態1(リセット制御部244mが行うリセット処理)と同様である。なお、本実施の形態3では、S/P変換部301が第2の受信部、制御部309が第2の送信部として機能するものとして説明するが、通信インターフェイスとして、制御信号や設定データ等を一括して送受信する送受信部(第2の受信部および第2の送信部に対応)を別個に設ける構成であってもよい。
以上説明した本実施の形態3によれば、上述した実施の形態1と同様に、センサ部244a、AFE部244b、P/S変換部244cおよびタイミングジェネレータ244dに、自身の動作状態を判別させる判別用信号をそれぞれ生成させ、この判別用信号に基づいて、異常判別部309aが、各部の異常の有無を個別に判別するようにしたので、内視鏡2内における異常箇所、特に撮像素子244nの異常箇所を詳細に特定することができる。
また、本実施の形態3によれば、リセット制御部309bが、リセット信号を生成して異常があった箇所に対して個別にリセットさせるため、異常があった場合でも、その異常状態からの復帰にかかる時間を短縮することが可能となる。
(その他の実施の形態)
図11は、本発明のその他の実施の形態にかかる異常検知処理を示すフローチャートである。上述した実施の形態のように、判別用信号(判別用データ)を用いて、各部の異常を判別するもののほか、映像信号と検知信号とを用いて、各構成要素の異常を検知することも可能である。また、本実施の形態では、上述した実施の形態1の構成に対してコネクタ部27の制御部271が異常検知を行うものとして説明する。
まず、制御部271は、起動後、先端部24との信号伝送を開始する(ステップS101)。ここで、制御部271は、FPGA272を介して所定の検知用信号を先端部24に送信する。このとき、先端部24の制御部244eは、所定の検知用信号を受信したか否かを検知し、レジスタ通信によってコネクタ部27側にフィードバックする。
制御部244eによるフィードバック後、制御部271は、先端部24側から映像信号および検知信号を受信したか否かを判断する(ステップS102)。ここで、制御部271は、先端部24側から映像信号および検知信号を受信したと判断すると(ステップS102:Yes)、受信した検知信号に、故障情報が含まれているか否かを判断する(ステップS103)。制御部271は、検知信号に故障情報が含まれていないと判断すると(ステップS103:No)、異常検知処理を終了する。
また、制御部271は、検知信号に故障情報が含まれていると判断すると(ステップS103:Yes)、ステップS104に移行して、その故障情報を制御装置3の制御部309に出力し、先端部24に故障がある旨を報知する。このとき、制御部309は、受信した故障情報をもとに、表示装置5等に故障の旨を表示させる。
一方、制御部271は、先端部24側から映像信号および検知信号を受信していないと判断すると(ステップS102:No)、未受信の信号が映像信号と検知信号との両方であるのか、いずれか一方であるのかを判断する(ステップS105)。制御部271は、未受信の信号が映像信号と検知信号との両方であると判断した場合(ステップS105:Yes)、先端部24が起動していないと判断し(ステップS106)、先端部24に対する電源故障である旨を制御装置3の制御部309に報知する(ステップS107)。
また、制御部271は、未受信の信号が映像信号と検知信号とのいずれか一方であると判断した場合(ステップS105:No)、未受信の信号が映像信号であるか否かを判断する(ステップS108)。ここで、制御部271は、未受信の信号が映像信号であると判断すると(ステップS108:Yes)、映像信号の出力に異常があると判断し、映像信号出力に異常がある旨を制御装置3の制御部309に報知する(ステップS109)。
一方、制御部271は、未受信の信号が検知信号であると判断すると(ステップS108:No)、検知信号の出力に異常があると判断し、検知信号出力に異常がある旨を制御装置3の制御部309に報知する(ステップS110)。
上述した異常検知処理によって、先端部24に異常があるか、いずれの出力部分に異常があるかを検知することが可能となる。また、この異常検知処理を行って、先端部24に異常があると判断された場合に、上述した実施の形態1〜3の各部の異常判別を行うことによって、異常判別処理を一段と効率的に行うことが可能である。
1,1a,1b 内視鏡システム
2 内視鏡
3 制御装置
4 光源装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24,24a,24b 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
28 電気コネクタ部
41 光源
42 光源ドライバ
43 回転フィルタ
44 駆動部
45 駆動ドライバ
46 光源制御部
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
241 ライトガイド
242 照明レンズ
243 光学系
244,244n 撮像素子
244a センサ部
244b アナログフロントエンド
244c P/S変換部
244d タイミングジェネレータ
244e,271,309 制御部
244f 受光部
244g 読み出し部
244h CDS部
244i A/D変換部
244j 補正部
244k,308 記憶部
244l,309a 異常判別部
244m,309b リセット制御部
245 集合ケーブル
272 FPGA
302 画像処理部
303 明るさ検出部
304 調光部
305 読出アドレス設定部
306 駆動信号生成部
307 入力部
310 基準クロック生成部

Claims (3)

  1. 複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、該撮像部から出力された画像情報を含む信号の信号処理を行う信号処理部と、該信号処理部が処理した信号を外部に送信する送信部と、を備えたCMOS撮像素子である撮像装置において、
    前記撮像部、前記信号処理部および前記送信部は、自身の動作状態の判別に用いられる判別用信号をそれぞれ生成し、
    前記信号において前記複数の画素のうち光が当たらないオプティカルブラック領域、またはブランキング領域に前記判別用信号を付加する
    ことを特徴とする撮像装置。
  2. 前記判別用信号をもとに、前記撮像部、前記信号処理部および前記送信部における異常の有無を個別に判別可能な異常判別部と、
    前記異常判別部が異常であると判別した箇所の動作を個別にリセットするリセット制御部と、
    をさらに備えたことを特徴とする請求項1に記載の撮像装置。
  3. 複数の画素から光電変換後の電気信号を画像情報として出力する撮像部と、該撮像部から出力された画像情報を含む信号の信号処理を行う信号処理部と、少なくとも前記信号処理部が処理した信号を外部に送信する第1の送信部と、外部からの信号を受信する第1の受信部と、自身の動作を制御する制御部と、を有し、前記撮像部、前記信号処理部および前記第1の送信部が、自身の動作状態の判別に用いられる判別用信号をそれぞれ生成するCMOS撮像素子である撮像装置と、
    前記撮像装置と通信接続され、外部からの信号の受信を行なう第2の受信部と、外部に対して信号の送信を行う第2の送信部と、前記判別用信号に基づいて前記撮像装置における前記撮像部、前記信号処理部および前記第1の送信部の異常判別を行う異常判別部と、前記異常判別部によって異常であると判別された異常箇所の動作をリセットさせるリセット信号を生成するリセット制御部と、を有する外部装置と、
    を備え、
    前記撮像装置は、前記複数の画素のうち光が当たらないオプティカルブラック領域、またはブランキング領域に前記判別用信号を付加した前記信号を外部に送信し、
    前記制御部は、前記リセット信号をもとに、前記異常箇所の動作をリセットさせることを特徴とする撮像システム。
JP2012040362A 2012-02-27 2012-02-27 撮像装置および撮像システム Active JP5926980B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012040362A JP5926980B2 (ja) 2012-02-27 2012-02-27 撮像装置および撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012040362A JP5926980B2 (ja) 2012-02-27 2012-02-27 撮像装置および撮像システム

Publications (2)

Publication Number Publication Date
JP2013172904A JP2013172904A (ja) 2013-09-05
JP5926980B2 true JP5926980B2 (ja) 2016-05-25

Family

ID=49266426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012040362A Active JP5926980B2 (ja) 2012-02-27 2012-02-27 撮像装置および撮像システム

Country Status (1)

Country Link
JP (1) JP5926980B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015114906A1 (ja) * 2014-01-29 2015-08-06 オリンパス株式会社 撮像システムおよび撮像装置
JP6353810B2 (ja) 2015-04-24 2018-07-04 富士フイルム株式会社 内視鏡システム
WO2016194408A1 (ja) * 2015-05-29 2016-12-08 オリンパス株式会社 内視鏡システム
JP6722010B2 (ja) * 2016-03-16 2020-07-15 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP6812397B2 (ja) * 2018-11-14 2021-01-13 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに撮像システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6489798B1 (en) * 2000-03-30 2002-12-03 Symagery Microsystems Inc. Method and apparatus for testing image sensing circuit arrays
JP2006346357A (ja) * 2005-06-20 2006-12-28 Olympus Medical Systems Corp 内視鏡装置
JP2008161427A (ja) * 2006-12-28 2008-07-17 Pentax Corp 電子内視鏡、および電子内視鏡システム
JP5464815B2 (ja) * 2008-03-25 2014-04-09 オリンパスメディカルシステムズ株式会社 撮像システムおよび撮像システムのセルフチェック処理の動作方法
JP2010005180A (ja) * 2008-06-27 2010-01-14 Fujinon Corp 内視鏡、及び内視鏡システム、並びにその異常処理方法
JP2011206185A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡システム及びその故障検出方法
JP5384409B2 (ja) * 2010-03-30 2014-01-08 富士フイルム株式会社 内視鏡装置におけるcmos撮像素子の作動方法

Also Published As

Publication number Publication date
JP2013172904A (ja) 2013-09-05

Similar Documents

Publication Publication Date Title
JP5452785B1 (ja) 撮像システム
JP5620612B2 (ja) 撮像装置および撮像システム
JP5769892B2 (ja) 内視鏡
JP5467182B1 (ja) 撮像システム
JP5379930B1 (ja) 内視鏡システム
JP6378846B2 (ja) 画像処理装置
JP6049945B2 (ja) 撮像装置および処理装置
WO2013128764A1 (ja) 医療システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP5926980B2 (ja) 撮像装置および撮像システム
JP6058235B1 (ja) 内視鏡システム
WO2015114906A1 (ja) 撮像システムおよび撮像装置
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP6489644B2 (ja) 撮像システム
JP5810016B2 (ja) 内視鏡システム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP5885617B2 (ja) 撮像システム
JP6242552B1 (ja) 画像処理装置
JP5815162B2 (ja) 撮像装置
JP2015104616A (ja) 内視鏡システム
JP2013172765A (ja) 内視鏡システム
JP2017109037A (ja) 撮像システム
JP2018151679A (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150312

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5926980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250