JP4828728B2 - 解像度測定装置および解像度測定方法 - Google Patents

解像度測定装置および解像度測定方法 Download PDF

Info

Publication number
JP4828728B2
JP4828728B2 JP2001188711A JP2001188711A JP4828728B2 JP 4828728 B2 JP4828728 B2 JP 4828728B2 JP 2001188711 A JP2001188711 A JP 2001188711A JP 2001188711 A JP2001188711 A JP 2001188711A JP 4828728 B2 JP4828728 B2 JP 4828728B2
Authority
JP
Japan
Prior art keywords
resolution
line
limit
wedge
wedge chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001188711A
Other languages
English (en)
Other versions
JP2003009190A (ja
Inventor
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001188711A priority Critical patent/JP4828728B2/ja
Publication of JP2003009190A publication Critical patent/JP2003009190A/ja
Application granted granted Critical
Publication of JP4828728B2 publication Critical patent/JP4828728B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、たとえば電子カメラなどで撮像された画像の解像度を自動的に測定することを可能とした解像度測定装置および解像度測定方法に関する。
【0002】
【従来の技術】
近年、被写体像を撮像光学系により固体撮像素子、たとえばCCD2次元イメージセンサ上に結像して電気信号に変換し、これにより得られた静止画像の撮像データを半導体メモリや磁気ディスクのような記録媒体に記録する、いわゆる電子カメラが広く普及しつつある。
【0003】
また、この種の電子カメラで撮像された画像の解像度の測定は、従来より、熟練した検査担当者の目視により行われている。図11は、この解像度の目視測定に用いられる代表的なISO12233Resolutionチャートであり、検査担当者(測定者)は、まず、カメラの撮像領域枠を三角マーク(白三角や黒三角)の頂点で示された画枠基準線と一致させて被検カメラによりこのチャートを撮影する。そして、検査担当者は、この撮影したチャート画像内のたとえばくさびチャートaを目視してその解像度を測定する。
【0004】
このくさびチャートaは、黒5本、白4本の同じ巾の線分からなっており、検査担当者は、被写体像としてのくさびチャートaを上端から下端に向けて観察していく。より具体的には、この白黒線の解像状況を調べ、正しく解像している状況が継続する限界のライン(行)を検出し、その検出したラインで示される解像度を左側に添えられたスケールによって読み取る。
【0005】
そして、従来では、この解像度の目視測定によって、たとえば製造時や修理時等における、光学系や自動合焦系を含めた性能が試験されている。
【0006】
【発明が解決しようとする課題】
しかしながら、このように、被検カメラで撮像した画像の解像度を目視で測定したのでは、個人差や状況による誤差が極めて大きいといった問題があった。たとえば、くさびチャートを観察する際の読み取り(判定)誤差は勿論のこと、場合によっては、それ以前に、画枠基準線に基づいてチャートを撮影する時点でカメラの撮影画枠に対してチャートを正確に合わせることが困難であるため、既に誤差を発生させてしまっていた。
【0007】
このような測定誤差の問題はそれ自体極めて重要であるが、さらに従来の測定法は、これとは別の本質的な問題点も有していた。すなわち検査担当者が目視するためにはCRTやLCDなどのディスプレイあるいはプリンターによる印刷出力など何らかの画像出力機器(出力デバイス)による出力を行なうことが必須であるが、このとき出力される画像は出力機器の種類や性能に依存して影響を受けるという点である。例えば解像限界の低い出力機器を用いれば、測定される解像度数値は少なくとも出力機器の限界値以上にはなり得ないことは自明であるが、一般に出力機器の周波数特性は理想では有り得ないから、厳密にはどのような性能の良い(と信ずる)出力機器を用いたとしても、その時測定される解像度は測定に使用した出力機器の特性に依存した(デバイスディペンデントな)ものであることに変りは無く、撮像装置が記録した画像データ自身によって規定される、その撮像装置のみの(=出力機器の特性に依存しない:デバイスインディペンデントな)限界能力を測定することはできなかったのである。
【0008】
このような問題の解決に向けての試みとして、画像出力機器を使用することなく記録画像データを直接解析する方法も提案されている。それは、(a)マルチバーストチャートやCZP(サーキュラーゾーンプレート)チャートなどのいわゆる周波数数スイープ画像を撮影した画像データや、(b)白黒のステップ画像(ナイフエッジとも称される)を撮影した画像データのフーリエ変換データを用いて、その撮影画像の空間周波数レスポンス(振幅−周波数特性)を求め、その振幅が判定基準とする所定値(例えば直流振幅の5%とか10%)に減衰した周波数を限界解像度とする方法であって(a)の場合にAR法、(b)の場合にSFR法などと称されている。
【0009】
これらは確かにデバイスインディペンドな測定ではあるが、振幅特性に着目しているため限界解像度付近に多く生じる折り返し歪(モアレ)による偽解像の影響を強く受け、本来目視的には全く解像していない数値を解像しているという結果を出すこともしばしばで、従来のくさび目視法による評価結果との相関が事実上取れないという重大な欠点を有していた。
【0010】
この発明は、このような事情を考慮してなされたものであり、たとえば電子カメラなどで撮像された画像の解像度を従来のくさび目視法との相関を維持しつつも出力デバイスや測定者に依存することなく、従ってまた再現性高く、自動的に測定することを可能とした解像度測定装置および解像度測定方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
前述した目的を達成するために、この発明の解像度測定装置は、解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出する解像度算出手段を具備し、前記解像度算出手段は、前記判定した解像限界行位置および前記くさびチャートの上下方向の画素数と撮像画像の同方向の画素数との比率に基づいて限界解像度を算出することを特徴とする。
【0012】
この解像度測定装置においては、解像度を目視観測するために用いられる、いわゆるくさびチャートを構成する線分の連続性に着目し、たとえばくさびチャートの位相が保たれる限界の位置を検出することにより、そのくさびチャートの解像限界行位置を判定して、その判定した行位置から限界解像度を算出する。これにより、個人差や状況に左右されることのない、再現性が高く、かつ原理的に優れた解像度測定を実現する。また、限界解像度の算出時に、撮影画像全体の上下方向の長さとくさびチャートの同方向の長さとの比率を考慮することにより、従来のように、画枠基準線を意識してチャートを撮影することを不要とし、かつ、このチャート撮影時における誤差の発生を完全に排除する。
【0014】
また、この発明の解像度測定装置は、前記解像度算出手段により判定された解像限界行位置を示すマークを前記くさびチャートに重畳させて表示する限界解像行表示手段をさらに具備することを特徴とする。
【0015】
この解像度測定装置においては、検出した限界解像の行位置をくさびチャートに重畳させて表示することにより、その妥当性を検査担当者に視覚的に確認させることができ、自動的に測定される解像度に対する信頼感を高めることを実現する。
【0018】
【発明の実施の形態】
以下、図面を参照してこの発明の一実施形態を説明する。
【0019】
図1は、この発明の実施形態に係る解像度測定システムの被検カメラとなる電子カメラの構成を示すブロック図である。
【0020】
図中、101は各種レンズからなる撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞り及びシャッタ装置を制御するための露出制御機構、104はローパス及び赤外カット用のフィルタ、105は被写体像を光電変換するためのCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108はγ変換などを初めとする各種のディジタル演算処理を行うためのディジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。また、図中の112は各部を統括的に制御するためのシステムコントローラ、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115は発光手段としてのストロボ、116はレンズ駆動機構102を制御するためのレンズドライバ、117は露出制御機構103及びストロボ115を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0021】
一方、図2は、この発明の実施形態に係る解像度測定システムが動作するパーソナルコンピュータの構成を示すブロック図である。
【0022】
図中、201は各部を統括的に制御するためのCPU、202はこのコンピュータの主記憶となるシステムメモリ、203はこのコンピュータの外部記憶となる磁気ディスク装置、204はこのコンピュータにおけるユーザインタフェースのアウトプットを司るディスプレイコントローラ、205はこのコンピュータにおけるユーザインタフェースのインプットを司るキーボードコントローラ、206はカードインタフェース、207はメモリカードを示している。また、ディスプレイコントローラ204は、CPU201が作成した表示データをCRT204a,LCD204bに表示制御し、キーボードコントローラ205は、キーボード205a,マウス205bの操作をCPU201に伝達する。そして、この解像度測定システムは、磁気ディスク装置203からシステムメモリ202にロードされてCPU201によって実行されるプログラムとして構成される。
【0023】
次に、この解像度測定システムが実行する解像度の自動測定の基本原理について説明する。
【0024】
検査担当者は、まず、被検カメラである電子カメラを用いて、たとえば図3に示すチャートを撮影する。この撮影されたチャートの画像は、メモリカード110に格納されるが、検査担当者は、このメモリカード110を電子カメラから取り外してメモリカード207としてパーソナルコンピュータに装着し直すことにより、このチャート画像をパーソナルコンピュータへ取り込ませる。なお、この電子カメラからパーソナルコンピュータへの画像の引き渡しは、必ずしもメモリカードを介在させるものではなく、たとえばデータを送受信するための通信機能を双方が備えれば、その通信機能によって行えばよい。
【0025】
この図3に示すチャートは、ISO12233Resolutionチャートであり、解像度の目視測定に用いられる代表的なチャートである。そして、この解像度測定システムでは、このチャート画像からくさびチャートを含む矩形領域bを切り出す。この矩形領域の切り出しは、検査担当者が、CRT204aまたはLCD204bに表示されたチャート画像上の所望の位置にマウス205bで始点および終点を指定することにより実行する。解像度測定システムは、この指定された始点および終点それぞれについて、その点を通過する水平線および垂直線を仮想的に描画し、この仮想的に描画した各線で囲まれた部分を矩形領域として切り出しを実行する。図4は、このようにして切り出された矩形画像の一例を示す図である。
【0026】
図4に示すように、このくさびチャートは、横(水平)方向には、同じ巾の白黒帯が黒5本、白4本が並んでいる。したがって、ある水平位置(ライン)のみの輝度レベルに着目すれば、所定の空間周波数の矩形波となっている。つまり、上下(垂直)方向については、その矩形波の周波数が上から下に連続的に増加している周波数スイープ画像とみなすことができる。
【0027】
そこで、この解像度測定システムは、水平方向を主走査方向として前述の矩形波の検出(線数の検出)を行いつつ、垂直方向を副走査方向として周波数スイープを行うことにより、解像限界の空間周波数を求める。以下、図5乃至図10に示すフローチャートを参照しながらその具体的な手順を説明する。
【0028】
図5および図6は、この解像度測定システムにおける解像度測定のメインフローである。
【0029】
なお、解析対象であるチャート画像の画素配列は、一般的な直交配列(水平,垂直)であること、および、チャート画像は、くさびチャートのくさび方向(くさびの周波数スイープに対応する方向)が垂直、周波数スイープが上から下になるように撮像されることを前提とする。また、ここでは、水平方向座標iは右向きを正、垂直方向座標jは下向きを正にとるものとし、チャート画像の垂直画素数をPHt、このチャート画像から切り出された矩形画像の水平、垂直画素数をそれぞれLx+1、Ly+1と定義する。さらにまた、上記切出しに際しては、図4のように、くさびに添えられたスケール画像のうち最上端のもの(黒線)は含まないように為されているものとする。
【0030】
まず、前述のように切り出された矩形画像の画像データY(i,j)を読み込むとともに(図5ステップA1)、くさびタイプ(本数WCT)および全画像高PHtを読み込む(ステップA2)。このくさびタイプ(本数WCT)および全画像高PHtは、検査担当者がキーボード205aから入力した値である。
【0031】
次に、背景白レベルBWLと背景ノイズレベルNLとを取得する(ステップA3〜ステップA4)。この背景白レベルBWLは、矩形画像の上端行の全平均により求め、一方、背景ノイズレベルNLは、矩形画像の上端行の最小3値の偏差平均(最小3値について、当該画素値と全平均値(=NL)との差(=「偏差」)を平均したもの)から求める。
【0032】
そして、これらのデータが揃ったら、くさびチャートの開始ラインWSLの検出処理を実行する(ステップA5)。図7は、このくさび開始ライン(WSL)検出の詳細フローである。
【0033】
この処理では、まず、閾値ETH0を先に求めた背景ノイズレベルの5倍にセットする(図7ステップB1)。そして、上端から順に下端まで、つまり垂直方向座標jを1つずつ加算しながら(ステップB2)、この垂直方向座標jが最大値に達するまで(ステップB3のY)、最小3値の偏差平均で求める黒側半振幅が閾値ETH0を越える最初のラインの検出を実行する(ステップB4)。
【0034】
もし、該当するラインが検出されないまま、垂直方向座標jが最大値に達した場合には(ステップB3のY)、“くさび検出不能”のメッセージを記録し(ステップB5)、この処理を終了する。一方、検出された場合には(ステップB4のY)、その垂直方向座標jをくさび開始ライン(WSL)にセットして(ステップB6)、この処理を終了する。
【0035】
このくさび開始ライン検出が終了すると、このくさび開始ラインWSLに予め定められたオフセット値を加えたものを読み取り判定開始行DtStとして設定する(図5ステップA6)。また、くさびチャートの両端用の閾値ETH2と中央用の閾値ETH1の初期設定を行う(ステップA7〜ステップA8)。両端用の閾値ETH2は、開始行DtStの(最小3値の偏差平均で求める)黒側半振幅の1/4に設定し、中央用の閾値ETH1にも、この閾値ETH2と同じ値をセットする。
【0036】
そして、各種パラメータの初期化を行った後(ステップA9)、この解像度測定で主走査方向とする水平方向における黒線検出を実行する(図6ステップA10)。図8乃至図10は、この黒線検出の詳細フローである。
【0037】
この処理では、図8ステップC1にて、第j行の黒線数BCTを0にセットした後、まず、ステップC2〜ステップC18にて、最終(右端)黒線の検出を行い、次いで、図9ステップC19〜ステップC36にて、1st(左端)黒線の検出を行う。そして、この最終(右端)黒線と1st(左端)黒線とを検出した後に、図10ステップC37〜ステップC53にて、この2つの黒線に挟まれた一般黒線の検出を行う。
【0038】
最終(右端)黒線検出では、くさび右端(減少)検出用および黒線(増加)検出用の基準値の設定や走査の開始位置を右端側に設定する等の初期化を行った後(図8ステップC2〜ステップC3)、くさび右端検出のための減少判定(ステップC4)および黒線検出のための増加判定(ステップC5)を実行する。もし、くさび右端および黒線のいずれも検出されなければ(ステップC4のN,ステップC5のN)、増減検出用の基準値である局所最小値LMnまたは局所最大値LMxのいずれかの更新を行い(ステップC6〜ステップC9)、その画素における画素値の(有意な)増減を示すフラグZの値(増加:1,減少:0)を右隣の画素のフラグの値にセット(すなわち増減状況を維持)して(ステップC10)、走査位置を1画素だけ左にずらした後(ステップC12)、ステップC4からの処理を繰り返す。なお、ステップC2の初期化にて、右端の画素のフラグが増加(1)にセットされるため、くさび右端が検出されるまでは、このフラグの値は増加(1)が継続することになる。
【0039】
また、くさび右端が検出されると(ステップC4のY)、増減検出用の基準値である局所最小値LMnおよび局所最大値LMxを再設定するとともに、増減フラグZの値を減少(0)にセットする(ステップC14)。そして、1画素下の次ラインでの解析の効率化を図るために、走査開始位置の最適化を実行した後(ステップC15)、走査位置を1画素だけ左にずらして(ステップC12)、ステップC4からの処理を繰り返す。
【0040】
一方、増加が検出されると(ステップC5のY)、増減フラグZの値を増加(1)にセットする(ステップC16)。このフラグのセットを行うと、フラグZが減少(0)から増加(1)に変化した旨、つまり最終(右端)黒線が検出された旨が認識されてこのループを抜け(ステップC11のY)、黒線数BCTに1をセットし、その位置BEndを登録した後(ステップC18)、次の1st(左端)黒線の検出に移行する。
【0041】
なお、最終(右端)黒線が検出されないまま、走査位置が左端まで達してしまった場合は(ステップC13のY)、“黒線無し”のメッセージを記録して(ステップC17)、この処理を終了する。
【0042】
1st(左端)黒線検出では、くさび左端(減少)検出用および黒線(増加)検出用の基準値の設定や走査の開始位置を左端側に設定する等の初期化を行った後(図9ステップC19〜ステップC20)、くさび左端検出のための減少判定(ステップC21)および黒線検出のための増加判定(ステップC22)を実行する。もし、くさび左端および黒線のいずれも検出されなければ(ステップC21のN,ステップC22のN)、増減検出用の基準値である局所最小値LMnまたは局所最大値LMxのいずれかの更新を行い(ステップC23〜ステップC26)、その画素の増減フラグZの値(増加:1,減少:0)を左隣の画素のフラグの値にセット(すなわち増減状況を維持)して(ステップC27)、走査位置を1画素だけ右にずらした後(ステップC29)、ステップC21からの処理を繰り返す。なお、ステップC19の初期化にて、左端の画素のフラグが増加(1)にセットされるため、くさび左端が検出されるまでは、このフラグの値は増加(1)が継続することになる。
【0043】
また、くさび左端が検出されると(ステップC21のY)、増減検出用の基準値である局所最小値LMnおよび局所最大値LMxを再設定するとともに、増減フラグZの値を減少(0)にセットする(ステップC31)。そして、1画素下の次ラインでの解析の効率化を図るために、走査開始位置の最適化を実行した後(ステップC32)、走査位置を1画素だけ右にずらして(ステップC29)、ステップC21からの処理を繰り返す。
【0044】
一方、増加が検出されると(ステップC22のY)、増減検出用の基準値である局所最小値LMnおよび局所最大値LMxを再設定するとともに、増減フラグZの値を増加(1)にセットする(ステップC33)。このフラグのセットを行うと、フラグZが減少(0)から増加(1)に変化した旨、つまり1st(左端)黒線が検出された旨が認識されてこのループを抜け(ステップC28のY)、黒線数BCTに2をセットし、その位置BL(1,j)を登録した後(ステップC34)、次の一般黒線の検出に移行する。
【0045】
なお、1st(左端)黒線が検出されないまま、走査位置が右端(先に登録した最終黒線位置BEnd)まで達してしまった場合は(ステップC30のY)、この最終(右端)黒線位置BEndの値を1st(左端)黒線位置BL(1,j)に登録し(ステップC35)、“黒線1本のみ”のメッセージを記録して(ステップC36)、この処理を終了する。
【0046】
一般黒線検出では、1st(左端)黒線検出時の走査を引き継いで、その右隣の画素を走査の開始位置とし(図10ステップC37)、この1st(左端)黒線検出の最後に再設定された局所最小値LMnおよび局所最大値LMxを用いて、減少判定(ステップC38)および増加判定(ステップC39)を実行する。もし、減少・増加のいずれも検出されなければ(ステップC38のN,ステップC39のN)、局所最小値LMnまたは局所最大値LMxのいずれかの更新を行い(ステップC40〜ステップC43)、その画素の増減フラグZの値(増加:1,減少:0)を左隣の画素のフラグの値にセットして(ステップC44)、走査位置を1画素だけ右にずらした後(ステップC46)、ステップC38からの処理を繰り返す。
【0047】
また、減少が検出されると(ステップC38のY)、局所最小値LMnおよび局所最大値LMxを再設定するとともに、増減フラグZの値を減少(0)にセットする(ステップC31)。そして、走査位置を1画素だけ右にずらして(ステップC46)、ステップC38からの処理を繰り返す。
【0048】
一方、増加が検出されると(ステップC39のY)、局所最小値LMnおよび局所最大値LMxを再設定するとともに、増減フラグZの値を増加(1)にセットする(ステップC33)。このフラグのセットを行うと、フラグZが減少(0)から増加(1)に変化した旨、つまり一般黒線が検出された旨が認識されて一旦このループを抜け(ステップC45のY)、その位置BL(BCT,j)を登録し(ステップC50)、黒線数BCTに1を追加した後(ステップC51)、ステップC38からの処理を繰り返す。
【0049】
この一般黒線検出は、先に登録された最終(右端)黒線位置BEndに走査位置が到達するまで繰り返され、到達すると(ステップC47のY)、この最終(右端)黒線位置BEndの値を黒線位置BL(BCT,j)に登録し(ステップC52)、“黒線検出完了”のメッセージを記録して(ステップC53)、この処理を終了する。
【0050】
以上の黒線検出が終了すると、検出された黒線数BCTと先に入力されたくさびタイプ(本数WCT)とが等しいかどうかを調べ(図6ステップA11)、等しければ(ステップA11のY)、行が終端Lyに達していないかどうかを調べる(ステップA12)。そして、達していなければ(ステップA12のN)、行を更新し(ステップA13)、くさびチャートの両端用の閾値ETH2を現行の黒側半振幅の1/4に再設定して(ステップA14)、ステップA10の黒線検出を再実行する。また、達していれば(ステップA12のY)、このループを抜け、解像限界行LMLを終端Lyに設定するとともに(ステップA15)、“くさびに下端なし”のエラーを表示し(ステップA16)、ステップA30からの処理に移行する。
【0051】
一方、本数が一致しないときには(ステップA11のN)、中央用の閾値ETH1が0まで低くされているかどうかを調べ(ステップA17)、0まで達していなければ(ステップA17のN)、その行が読取り判定開始行DtStでなければ(ステップA18のN)、図5ステップA9の初期化で1に設定されたTH値可変ステップETHS分だけ中央用の閾値ETH1を低めた後(ステップA19)、ステップA10の黒線検出を再実行する。もし、その行が読取り判定開始行DtStであれば(ステップA18のY)、このループを抜け、“初期本数不適合”のエラーを表示して(ステップA20)、この処理を終了する。
【0052】
また、中央用の閾値ETH1が0まで達していれば(ステップA17のY)、次にTH値可変ステップETHSが初期値の1のままかどうかを調べ(ステップA21)、1であれば(ステップA21のY)、解像限界行LMLをその行の1つ前の行に設定し(ステップA22)、このTH値可変ステップETHSを0に更新する(ステップA23)。
【0053】
その後、直前の(すなわち当該行の)黒線検出時に、“黒線無し”のメッセージが記録されていないかどうかを調べ(ステップA24)、記録されていなければ(ステップA24のN)、その行が終端Lyでなければ(ステップA25のN)、くさびチャートの両端用の閾値ETH2を現行の黒側半振幅の1/4に再設定し(ステップA26)、行を更新して(ステップA27)、ステップA10の黒線検出を再実行する。この行が終端Lyであれば(ステップA25のY)、このループを抜け、“くさび下端検出不能”のエラーを表示する(ステップA28)。また、“黒線無し”のメッセージが記録されていれば(ステップA24のY)、くさび下端行WELをその行に設定する(ステップA29)。
【0054】
次に、この最終検出行をくさびチャートを含む矩形画像に重畳させて描画した後(ステップA30)、くさび下端行WELは解像限界行LMLよりも大きいかどうかを調べ(ステップA31)、大きければ(ステップA31のY)、解像度の本数を算出し(ステップA32)、その値を表示する(ステップA33)。この解像本数は、たとえばくさびタイプWCTが5本の場合は、次の(1)式で算出される。
【0055】
【数1】
Figure 0004828728
【0056】
また、くさびタイプWCTが9本の場合は、次の(2)式で算出される。
【0057】
【数2】
Figure 0004828728
【0058】
これらの2式において、
・分子は、各くさびチャートが上端(低周波端)から下端(高周波端)まで直線的に対応空間周波数が増加するいわゆるリニアスイープチャートであることに基き、検出されたくさびの全長(全行数=WEL−WSL)とくさび上端から限界解像行までの長さ(行数=LML−WSL)との比率から、対応周波数(解像本数)を算出する式である。(2式が異なるのはくさびのスイープ仕様の違いに対応している。)
・分母は、撮影倍率の補正項であり、このResolutionチャートの本来の使用条件に比しての相対倍率で分子を除している。相対倍率は、チャート全体の基準高(高さ方向の画枠基準線間距離=20cm)とくさび長(6cm)との比率10/3を、検出されたくさびの全長(全行数=WEL−WSL)に乗じることによって撮影画像データ上のチャート基準高(対応画素数)を求め、これと撮影画像の全画像高(画素数)PHtとの比率として算出している。
【0059】
また、解像度限界行LMLがくさび下端行WELから3行以内にあれば(ステップA34のY)、“全解像”のエラーを表示して(ステップA35)、この処理を終了する。一方、くさび下端行WELが解像限界行LMLよりも大きくなければ(ステップA31のN)、“測定不能”のエラーを表示して(ステップA36)、この処理を終了する。
【0060】
以上、本解像度測定システムの行なう測定動作の具体的な実行制御を詳細に説明したが、さらにこの中で、本システムの特徴との関連において特に重要な点について、補足的な説明を行なう。
【0061】
(ア)まずカメラの記録画像データをそのまま(出力機器を用いず)処理しているからデバイスインディペンデントな測定が行なえる。
【0062】
(イ)従来のくさび目視法と同じチャートを用いて、かつ原理的に同じ判定基準を用いているから、くさび目視法との相関性が確保できる。(もちろん目視法は出力デバイス経由であるから、また評価者の主観も入るから全く同じ数値が得られるとは限らない。)
ここで(イ)について詳述すると、このような目視判定の場合と原理的に同じ判定基準を達成するポイントが上記制御に含まれている。すなわち、
(1)当業者が目視判定するときの判定ルールは
a)低周波側から見て行き、解像している状況が連続的に続いている場合に「解像している」とし、少しでも途切れたら非解像とする。
【0063】
b)一見解像しているように見えても、白黒が反転したり、複数の線が繋がっているときは偽解像であるから非解像と判断する。
【0064】
というものである。ここで本解像度測定システムの制御が(a)を採用していることは上記制御フローより直ちに明らかであるが、(b)については白黒の線数に着目することで等価な判断を実現している。すなわち偽解像が生じた場合(白黒が反転したり、複数の線が繋がっているとき)にはかならず線数が変化する。例えばもし完全な反転(白黒逆転)が起こったとすれば5本くさび(黒線が5本)の黒線は4本になり、ある1ヶ所で2本の黒線が1本に繋がってしまえば黒線数は1本減りやはり4本になってしまう。逆に常に本来のくさびの線数が維持されているならば、位相反転は生じておらず、原理的に解像していると見なすべきである。
【0065】
従って上記判定基準b)は
b’)視認可能な(検出可能な)白黒線の線数と、本来のくさびの線数とが一致している場合にのみ解像と判断する。
【0066】
という等価な判定基準に置換えることができる。
【0067】
本解像度測定システムはこのa)+b’)を判定ルールとして採用しているから、これは従来の目視判定において使用されるものと全く同じ基準であると言える。
【0068】
(2)人による白黒線の目視認識の過程では、測定者自身が意識することは無くとも極めて高度な判断が行われている。具体的にはまず、
・くさびの高周波領域(振幅が小さい領域)、特に限界解像度付近では振幅が極めて小さいため、白黒線に対応する輝度変化の局所的な振幅よりも大きなうねり(カメラの周波数特性(しばしばエッジ強調処理が付加される)やシェーディングの影響でくさび全体に生じる低周波の輝度変化)が生じ、例えばある黒線の値(輝度極小値)の方が別の白線の値(輝度極大値)よりも大きいといった状態が生じ易い。人の目はこのような
a)うねりやシェーディングがある場合も含めて、そのわずかな局所的な変化に反応して白黒の線を認識する。
【0069】
ことができる。またその一方で、人の目は、
b)ノイズ等によるレベルの変化とくさびのパターンとは混同せずに見分けることができる。
【0070】
具体例を挙げれば、くさびの低周波領域(振幅が大きい領域)では、その白黒エッジ付近にはカメラの周波数特性(しばしばエッジ強調処理が付加される)の影響でかなり大きな振幅の波状の輝度変化(リンギング)が付随する。これは限界解像度付近のくさび画像の振幅(輝度変化)よりもはるかに大きい振幅の場合もあるが、このような場合も少なくとも当該低周波のくさび画像の輝度振幅よりは充分小さいため、人の目はこれを正しく無視する。
【0071】
また、この他一般のノイズ(ランダムノイズなど)がくさび画像全体に重畳されているが、これも当該周波数におけるくさび画像の振幅(輝度変化)よりも小さい場合は同じく無視される。
【0072】
すなわちくさび画像としての輝度変化に対して相対的に小さな変化は無視することで正しく白黒の線を認識する。
【0073】
これに対して機械的自動測定における輝度データ処理の場合、単純なレベル検出や差分検出などでは、このような人の目の高度な認識に相当する白黒線の検出はできない。
【0074】
本解像度測定システムでは、上記制御の説明に示したとおり、
◇1ラインに関する輝度データの変化を検出することによりその極大値、極小値として白黒線(実際に用いるのは黒線のみ)を検出するようにし、局所最大値LMxからのETH1を超えた減少または局所最小値LMnからのETH1を超えた増加のみを有効な増減として検出するようにした。言い換えれば、累積変化が閾値ETH1を越えた場合に変化を認識するようにした上で極値判定を行なうようにした。
【0075】
基本的にはこれによって、ノイズやうねりの影響を排除しつつ極値として白黒線が検出され得るようになっている。
【0076】
そしてこの判定に用いる閾値ETH1の値を
◇測定動作実行初期の、すなわち低周波領域の白黒検出時には閾値ETH1を比較的大きな値とし、検出が高周波領域に移行していくに従って、それまでの閾値によって所定の線数が検出不能になった場合に限り閾値ETH1の値を減じて検出を繰り返すようにした
から、
a)うねりやシェーディングが乗っていても、波(白黒線)を検出でき、最終的には(限界解像周波数では)ETH=0で検出を行なうから、レスポンスが最小となった状態の輝度変化まで検出することができる。
【0077】
b)各周波数領域における画像の輝度変化(レスポンス)の程度に応じて、ノイズの影響を適応的に排除することにより、全周波数領域にわたってくさびのパターンのみを検出できる。
【0078】
ことになり、この点に関しても、従来は到底為し得なかった、目視判定と等価な判定を行なうことができるものである。
【0079】
なお上記制御フローには、この他、実用的な精度向上や動作安定化の観点から採用されている処理も勿論あり、例えば
・黒先検出において、両端の検出を一般の黒線検出とは別の基準で両側から行なうことにより、くさび両端のリンギングの影響を受けないようにするとともに、限界解像度よりも高周波な部分(おおぼけ部)でも1本の黒線として安定にくさびの存在を検出できるようにしたので、くさび下端WELの検出に誤りを生じない。これによってくさび長の検出制度を確保している。
【0080】
・くさび開始ライン(WSL)の検出のスレーシュホールドレベルETH0や、各行における両端黒線検出のスレーシュホールドレベルETH2の設定(および一般黒線検出のスレーシュホールドレベルETH1の初期設定)は、対象とする領域の画素に関するノイズも含んだデータ分布(具体的にはノイズレベルや黒側半振幅)に基づいて設定しているから、各検出を極めて安定に行なうことができる。
【0081】
・一般には、例えばくさび画像のわずかな傾きによってくさび開始ラインが実質的に複数行にまたがった場合や、あるいはカメラの垂直エッジ強調画像処理に起因する垂直リンギングなどの存在が、誤動作の原因となる恐れがあるが、読取り判定開始行DtStとして、くさび開始ラインWSLに対して若干のオフセットを与えたものを採用することによりこれを回避している。
【0082】
などを具体的に指摘することができる。
【0083】
このように、この解像度測定システムは、水平方向を主走査方向として矩形波の検出(線数の検出)を行いつつ、垂直方向を副走査方向として周波数スイープを行うことにより、解像限界の空間周波数を求める。つまり、従来のように、個人差や状況に左右されることなく解像度を自動測定する。この結果は、検出した限界解像の行位置をくさびチャートに重畳させて表示するといった、検査担当者の目に見える形で提供させるため、その自動測定された解像度に対する信頼感を高めることも実現する。
【0084】
また、前述の(1)式および(2)式に示すように、解像本数の算出時に、くさび長(くさび下端行WEL−くさび開始行WSL)と全画像高PHtとの比率を考慮することにより、従来のように、画枠基準線を意識してチャートを撮影することも不要とする。
【0085】
なお、ここでは、ISO12233Resolutionチャートに設けられたくさびチャートを例に説明したが、これに限らず、たとえばEIAJ−Aチャートに設けられる、帯が直線的に描かれたくさびチャートの場合も、この解像度測定の手法は適用可能である。
【0086】
また、ここでは、電子カメラで撮影されたチャートの画像をカード経由でパーソナルコンピュータに取り込み、そのパーソナルコンピュータで解像度の自動測定を実行する例、つまり、この解像度測定の手法をパーソナルコンピュータ上で実現する例を示したが、これに限らず、専用の解像度測定装置として実現しても構わない。また、この機能を電子カメラ自体に組み込めば、たとえば電子カメラが解像度の異なる複数の撮像モードを有する場合に、これらを各別に実測することや、あるいは製造時や修理時における(たとえば光学系や自動合焦系などを含めた)性能試験を極めて容易に実施できるようになる。
【0087】
すなわち、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0088】
【発明の効果】
以上、詳述したように、この発明によれば、解像度を目視観測するために用いられる、いわゆるくさびチャートを構成する線分の連続性に着目し、たとえばくさびチャートの位相が保たれる限界の位置を検出することにより、そのくさびチャートにおける解像限界行位置を判定して、その判定した行位置から限界解像度を算出することから、個人差や状況に左右されることのない、再現性が高く、かつ原理的に優れた解像度測定を実現する。
【0089】
また、この検出した限界解像行位置をくさびチャートに重畳させて表示することにより、その妥当性を検査担当者に視覚的に確認させることができ、自動的に測定される解像度に対する信頼感を高めることを実現する。
【0090】
さらに、限界解像度の算出時に、撮影画像全体の上下方向の長さとくさびチャートの同方向の長さとの比率を考慮することにより、従来のように、画枠基準線を意識してチャートを撮影することを不要とし、かつ、このチャート撮影時における誤差の発生を完全に排除する。
【図面の簡単な説明】
【図1】この発明の実施形態に係る解像度測定システムの被検カメラとなる電子カメラの構成を示すブロック図。
【図2】同実施形態に係る解像度測定システムが動作するパーソナルコンピュータの構成を示すブロック図。
【図3】同実施形態の解像度測定システムで用いるISO12233Resolutionチャートを示す図。
【図4】同実施形態の解像度測定システムが切り出す矩形画像の一例を示す図。
【図5】同実施形態の解像度測定システムにおける解像度測定の第1のメインフロー。
【図6】同実施形態の解像度測定システムにおける解像度測定の第2のメインフロー。
【図7】同実施形態の解像度測定システムにおけるくさび開始ライン(WSL)検出の詳細フロー。
【図8】同実施形態の解像度測定システムにおける黒線検出の第1の詳細フロー。
【図9】同実施形態の解像度測定システムにおける黒線検出の第2の詳細フロー。
【図10】同実施形態の解像度測定システムにおける黒線検出の第3の詳細フロー。
【図11】解像度の目視測定に用いられる代表的なISO12233Resolutionチャートを示す図。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ系
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…ディジタルプロセス回路
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
113…操作スイッチ系
114…操作表示系
115…ストロボ
116…レンズドライバ
117…露出制御機構
118…不揮発メモリ(EEPROM)
201…CPU
202…システムメモリ
203…磁気ディスク装置
204…ディスプレイコントローラ
204a…CRT
204b…LCD
205…キーボードコントローラ
205a…キーボード
205b…マウス

Claims (16)

  1. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出する解像度算出手段を具備し、
    前記解像度算出手段は、前記判定した解像限界行位置および前記くさびチャートの上下方向の画素数と撮像画像の同方向の画素数との比率に基づいて限界解像度を算出することを特徴とする解像度測定装置。
  2. 前記解像度算出手段は、前記撮影画像内における前記くさびチャートの上下両端を検出して前記くさびチャートの上下方向の画素数を得ることを特徴とする請求項1記載の解像度測定装置。
  3. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出する解像度算出手段を具備し、
    前記解像度算出手段は、前記くさびチャートの低周波域において前記くさびチャートの位相が保たれる限界の位置を限界解像行位置と判定することを特徴とする解像度測定装置。
  4. 前記解像度算出手段は、低周波行から順に前記くさびチャートの線数検出を行っていき、その検出した線数が予め与えられた前記くさびチャートの線数と初めて不一致となった行の直前の行の位置を限界解像行位置と判定することを特徴とする請求項3記載の解像度測定装置。
  5. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出する解像度算出手段を具備し、
    前記解像度算出手段は、各行毎に実行する前記くさびチャートの線数検出の結果に基づいて限界解像行を判定し、かつ当該線数検出は着目行における画素データの増減に基づいて極値を検出することにより行うものであることを特徴とする解像度測定装置。
  6. 前記解像度算出手段は、局所最小値および局所最大値に対して所定の閾値を越えたときに、前記画素データの有効な増減と認識することを特徴とする請求項5記載の解像度測定装置。
  7. 前記解像度算出手段は、前記局所最小値および局所最大値に対して所定の閾値を越えない範囲内の増減を検出したときに、その局所最小値および局所最大値の一方を更新することを特徴とする請求項6記載の解像度測定装置。
  8. 前記解像度算出手段は、前記局所最小値および局所最大値に対して所定の閾値を越える増減を検出したときに、その局所最小値および局所最大値を同一値にリセットすることを特徴とする請求項6記載の解像度測定装置。
  9. 前記解像度算出手段は、第1の閾値に基づいて前記撮影画像内における前記くさびチャートの左右両端の線の検出を実行し、第2の閾値に基づいて前記撮影画像内における前記くさびチャートの前記左右両端の線以外の一般の線の検出を実行することにより、前記くさびチャートの線数を検出することを特徴とする請求項6、7または8記載の解像度測定装置。
  10. 前記解像度算出手段は、着目行において検出した線数が予め与えられた前記くさびチャートの線数と一致しなかったときに、前記第2の閾値を所定の値だけ減じてから同一行における線数検出を繰り返すことを特徴とする請求項9記載の解像度算出装置。
  11. 前記解像度算出手段により算出された限界解像度の値を表示する解像度表示手段をさらに具備することを特徴とする請求項1、2、3、4、5、6、7、8、9または10記載の解像度測定装置。
  12. 前記解像度算出手段により判定された解像限界行位置を示すマークを前記くさびチャートに重畳させて表示する限界解像行表示手段をさらに具備することを特徴とする請求項1、2、3、4、5、6、7、8、9、10または11記載の解像度測定装置。
  13. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出し、
    その際、前記判定した解像限界行位置および前記くさびチャートの上下方向の画素数と撮像画像の同方向の画素数との比率に基づいて限界解像度を算出することを特徴とする解像度測定方法。
  14. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出し、
    その際、前記くさびチャートの低周波域において前記くさびチャートの位相が保たれる限界の位置を限界解像行位置と判定することを特徴とする解像度測定方法。
  15. 前記解像度を算出するに際しては、低周波行から順に前記くさびチャートの線数検出を行っていき、その検出した線数が予め与えられた前記くさびチャートの線数と初めて不一致となった行の直前の行の位置を限界解像行位置と判定することを特徴とする請求項14記載の解像度測定方法。
  16. 解像度を目視測定するために用いられるくさびチャートが撮像された画像を解析して前記くさびチャートの解像限界行位置を判定し、その判定した行位置から限界解像度を算出し、
    その際、各行毎に実行する前記くさびチャートの線数検出の結果に基づいて限界解像行を判定し、かつ当該線数検出を着目行における画素データの増減に基づいて行うものであることを特徴とする解像度測定装置。
JP2001188711A 2001-06-21 2001-06-21 解像度測定装置および解像度測定方法 Expired - Fee Related JP4828728B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001188711A JP4828728B2 (ja) 2001-06-21 2001-06-21 解像度測定装置および解像度測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001188711A JP4828728B2 (ja) 2001-06-21 2001-06-21 解像度測定装置および解像度測定方法

Publications (2)

Publication Number Publication Date
JP2003009190A JP2003009190A (ja) 2003-01-10
JP4828728B2 true JP4828728B2 (ja) 2011-11-30

Family

ID=19027758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001188711A Expired - Fee Related JP4828728B2 (ja) 2001-06-21 2001-06-21 解像度測定装置および解像度測定方法

Country Status (1)

Country Link
JP (1) JP4828728B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842804A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种TV Line解析测试图卡及其解析测试方法
CN109862348A (zh) * 2019-02-18 2019-06-07 深圳市同为数码科技股份有限公司 一种图像***解析力测试判定方法及装置
CN110611808A (zh) * 2019-08-27 2019-12-24 厦门亿联网络技术股份有限公司 一种相机的解析力测试方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141229A (ja) * 2006-11-29 2008-06-19 Fujifilm Corp レンズ性能評価装置およびレンズ評価性能方法
US8730329B2 (en) * 2011-07-11 2014-05-20 Qualcomm, Incorporated Automatic adaptive image sharpening
US9734409B2 (en) * 2015-06-24 2017-08-15 Netflix, Inc. Determining native resolutions of video sequences

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53149721A (en) * 1977-06-02 1978-12-27 Nippon Television Ind Corp Television signal generator
JP2575438B2 (ja) * 1988-01-11 1997-01-22 株式会社東芝 映像機器の解像度測定装置
JPH04329097A (ja) * 1991-04-30 1992-11-17 Nec Home Electron Ltd 表示装置における解像度測定方法
JP2001078235A (ja) * 1999-09-08 2001-03-23 Ricoh Co Ltd 画像評価方法および画像評価装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842804A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种TV Line解析测试图卡及其解析测试方法
CN109862348A (zh) * 2019-02-18 2019-06-07 深圳市同为数码科技股份有限公司 一种图像***解析力测试判定方法及装置
CN110611808A (zh) * 2019-08-27 2019-12-24 厦门亿联网络技术股份有限公司 一种相机的解析力测试方法和装置
CN110611808B (zh) * 2019-08-27 2021-02-05 厦门亿联网络技术股份有限公司 一种相机的解析力测试方法和装置

Also Published As

Publication number Publication date
JP2003009190A (ja) 2003-01-10

Similar Documents

Publication Publication Date Title
JP4747163B2 (ja) 人物画像における赤目補正
US8199246B2 (en) Image capturing apparatus, image capturing method, and computer readable media
JP5845834B2 (ja) 複数の画像フレームの位置合わせ方法、スキャニング装置およびコンピューター読み取り可能な媒体
TWI234649B (en) Visual inspection apparatus and method
JP5817453B2 (ja) スキャニング装置、画像処理プログラムおよび融合画像を生成する方法
JP4828728B2 (ja) 解像度測定装置および解像度測定方法
JPWO2014013792A1 (ja) ノイズ評価方法、画像処理装置、撮像装置およびプログラム
JP3986326B2 (ja) 解像度測定装置及び測定方法
US8035703B2 (en) Device and method for measuring noise characteristics
JP2009010944A (ja) 撮像装置、撮像方法、及びプログラム
JP5262953B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5223912B2 (ja) 撮像装置、および焦点判定プログラム
US8837007B2 (en) Image processing method for extracting an area of a document from a read image
CN112504473B (zh) 火情检测方法、装置、设备及计算机可读存储介质
JP4182937B2 (ja) 撮影装置、撮影装置の画像処理方法及びプログラム
JP6148999B2 (ja) 画像形成装置、キャリブレーションプログラムおよびキャリブレーションシステム
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
JP4984140B2 (ja) 画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラム
JP4248885B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体
US20240060822A1 (en) Method and apparatus for detecting fire spots, electronic device, and storage medium
JP5413283B2 (ja) 焦点ズレ検出装置、焦点ズレ検出方法およびプログラム
JP2009017158A (ja) カメラ検査装置
JP4287603B2 (ja) 光学機器の調整および検査システム
US20210044769A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4766783B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4828728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees