JP2014137583A - 焦点調節装置 - Google Patents

焦点調節装置 Download PDF

Info

Publication number
JP2014137583A
JP2014137583A JP2013007796A JP2013007796A JP2014137583A JP 2014137583 A JP2014137583 A JP 2014137583A JP 2013007796 A JP2013007796 A JP 2013007796A JP 2013007796 A JP2013007796 A JP 2013007796A JP 2014137583 A JP2014137583 A JP 2014137583A
Authority
JP
Japan
Prior art keywords
focus
focus detection
image
area
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013007796A
Other languages
English (en)
Other versions
JP6137840B2 (ja
JP2014137583A5 (ja
Inventor
Satoru Ito
覚 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2013007796A priority Critical patent/JP6137840B2/ja
Priority to CN201410019967.4A priority patent/CN103941522B/zh
Priority to US14/157,341 priority patent/US9160919B2/en
Publication of JP2014137583A publication Critical patent/JP2014137583A/ja
Publication of JP2014137583A5 publication Critical patent/JP2014137583A5/ja
Application granted granted Critical
Publication of JP6137840B2 publication Critical patent/JP6137840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】、焦点調節時のフォーカスレンズの移動による像倍率の変化に応じて焦点検出領域を設定し、高精度な焦点調節を可能とする焦点調節装置を提供する。
【解決手段】フォーカスレンズを含む光学系による光学像を撮像素子に結像させ撮像して画像信号を生成する撮像部を有し、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて焦点調節を行う焦点調節装置において、フォーカスレンズの移動に伴う光学系の像倍率変化に関する情報を取得し(S21)、フォーカスレンズの位置を検出し(S27、S29)、フォーカスレンズの位置と像倍率変化に関する情報に基づいて、焦点検出領域を設定する(S31〜S39)。
【選択図】 図3

Description

本発明は、撮像領域内に焦点検出領域を設定し、この焦点検出領域の焦点検出信号に基づいて焦点調節を行う焦点調節装置に関する。
撮像の際に、撮像素子からの画像信号を用いてフォーカスレンズの位置を調節して被写体にピントを合わせるAF(自動焦点調節)が一般に知られている。例えば、撮像領域内の固定されたAFエリアについて焦点検出を行い、この焦点検出情報に基づいてフォーカスレンズの位置を調節する。
このような焦点調節方法においては、ズームレンズのズーミングに応じて被写体像の大きさが変化し、AFエリアに対応する被写体像が変化し、焦点調節精度が低下するという問題が発生する可能性がある。このような問題に対して、特許文献1に開示のレンズ制御装置では、ズーミングによる像倍率の変化に応じてAFエリアを拡大・縮小し、常に被写体に対するAFエリアを見掛け上、一定するようにしている。
特開2005−025118号公報
ところで、フォーカスレンズの移動によっても像倍率が変化することが知られている。特許文献1に開示の技術は、ズーム動作による像倍率の変化に応じてAFエリアを拡大・縮小しているが、フォーカスレンズの移動による像倍率の変化には対応していない。そのため、焦点調節時のフォーカスレンズの移動による像倍率変化によって被写体像がAFエリアからずれてしまい、正しいAF情報を取得できず、AF精度が低下するという問題がある。
本発明は、このような事情を鑑みてなされたものであり、焦点調節時のフォーカスレンズの移動による像倍率の変化に応じて焦点検出領域を設定し、高精度な焦点調節を可能とする焦点調節装置を提供することを目的とする。
上記目的を達成するため第1の発明に係る焦点調節装置は、フォーカスレンズを含む光学系による光学像を撮像素子に結像させ撮像して画像信号を生成する撮像部を有し、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて焦点調節を行う焦点調節装置において、上記フォーカスレンズの位置を検出するフォーカスレンズ位置検出部と、上記フォーカスレンズの移動に伴う上記光学系の像倍率変化に関する情報を記憶する記憶部と、上記撮像領域内に焦点検出領域を設定する焦点検出領域設定部と、を具備し、上記焦点検出領域設定部は、上記フォーカスレンズの位置と上記像倍率変化に関する情報に基づいて焦点検出領域を設定する。
第2の発明に係る焦点調節装置は、上記第1の発明において、上記焦点検出領域設定部は、焦点検出領域の大きさを変化させる。
第3の発明に係る焦点調節装置は、上記第2の発明において、上記焦点検出領域設定部は、上記焦点検出領域の像高に応じて焦点検出領域の大きさを変化させる。
第4の発明に係る焦点調節装置は、上記第1の発明において、上記焦点検出領域設定部は、上記焦点検出領域の位置を変更する。
第5の発明に係る焦点調節装置は、上記第1の発明において、上記焦点検出領域設定部は、焦点検出領域の像高に応じて焦点検出領域の位置を変更する。
第6の発明に係る焦点調節装置は、フォーカスレンズを含む光学系による光学像を撮像素子に結像させ撮像して画像信号を生成する撮像部を有し、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて焦点調節を行う焦点調節装置において、上記撮像領域内に焦点検出領域を設定する焦点検出領域設定部と、上記撮像部の画像信号に基づいて被写体像を追尾する追尾部と、を具備し、上記追尾部は、上記焦点検出領域の位置が所定の像高位置より大きい場合に、上記焦点調節領域に位置する被写体像について上記フォーカスレンズの移動に応じて追尾を行い、上記焦点検出領域設定部は、上記追尾部の追尾結果に基づいて焦点検出領域を設定する。
第7の発明に係る焦点調節装置は、上記第6の発明において、上記追尾部は、上記撮像部が出力する複数の画像信号に関するパターンマッチング処理を行うことにより追尾動作を行う。
第8の発明に係る焦点調節装置は、上記第6の発明において、上記焦点検出領域設定部は、上記追尾部による追尾動作が不能である場合に上記焦点検出領域の大きさを変更する。
本発明によれば、焦点調節時のフォーカスレンズの移動による像倍率の変化に応じて焦点検出領域を設定し、高精度な焦点調節を可能とする焦点調節装置を提供することができる。
本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの1Rが押下げられた際の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの像倍率AFエリア変更の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、フォーカスレンズと撮像面における結像位置の関係を説明する図である。 本発明の一実施形態に係るカメラにおいて、像倍率変化によるAFエリア移動を説明する図である。 本発明の一実施形態に係るカメラにおいて、AFエリアの位置を示す図である。 本発明の一実施形態に係るカメラにおいて、像倍率情報がある場合の像移動量の推定とAFエリアの移動を説明する図である。 本発明の一実施形態に係るカメラにおいて、像倍率情報がない場合のAFエリアの補正を説明する図である。
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、デジタルカメラである。このカメラは、光学系によって形成される光学像を撮像素子に結像させて、この光学像に基づく画像信号を生成する撮像部を有する。そして、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて、光学系を無限から至近側または至近から無限側に移動しながら、撮像部から画像信号を取得し、この画像信号に基づいて、山登りサーボ(コントラストAF)方式によって光学系の焦点調節を行う。また、光学系の像倍率変化情報を取得できる場合には、像倍率変化情報を用い、光学系のフォーカスレンズの位置の変化に応じて焦点検出領域を変化させることができる。
図1は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。本実施形態に係るカメラは、レンズ鏡筒1とカメラ本体10から構成されている。レンズ鏡筒1とカメラ本体10を別体に構成してもよく、また、一般的なコンパクトカメラのように一体に構成しても勿論かまわない。
レンズ鏡筒1内には、撮影レンズ2、レンズ駆動モータ3、モータドライブ回路4、レンズ側CPU5、レンズ情報部6、レンズ位置検出部7を有している。
撮影レンズ2は、フォーカスレンズを含み、被写体の光学像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。撮影レンズ2のフォーカスレンズは、レンズ駆動モータ3によって、撮影レンズ2の光軸方向に駆動される。レンズ駆動モータ3は、モータドライブ回路4に接続されており、レンズ側CPU5からの制御信号に従ってレンズ駆動モータ3の駆動制御を行う。
レンズ情報部6は、レンズ鏡筒1の種々のデータ、例えば、短焦点側の焦点距離情報、長焦点側の焦点距離情報、現在設定されている焦点距離情報、絞り情報、撮影レンズの光学特性情報、調整値情報等を記憶している。光学特性情報として、像倍率変化率情報を記憶している。この像倍率変化率情報は、フォーカスレンズの移動に伴う光学系の像倍率変化に関する情報である。また、像倍率は、レンズの中心からの像高位置によっても異なるので、像倍率変化率情報としては、像高位置に応じた情報としても有している。レンズ情報部6はレンズ側CPU5と接続されており、レンズ側CPU5からの要求に応じて、レンズ情報を出力する。
レンズ位置検出部7は、撮影光学系2のフォーカスレンズ2a(図4参照)の位置を検出する。フォーカスレンズの位置検出方法としては、例えば、フォーカスレンズの移動に連動する絶対値エンコーダによって検出してもよく、また基準位置検出部と相対位置検出用のエンコーダによって検出してもよい。また、レンズ駆動モータ3がステッピングモータの場合には、ステッピングモータへの入力パルス数を検出するようにしてもよい。入力パルス数を検出する場合には、レンズ側CPU5がレンズ位置検出部の機能を果たす。
レンズ側CPU5は、レンズ鏡筒1内の全体制御を行う。特に、レンズCPU5はカメラ側CPU20からのレンズ制御信号を入力し、モータドライブ回路4、レンズ駆動モータ3によってフォーカスレンズのピント合わせを行う。また、レンズ情報部6に記憶されている種々の情報や、レンズ位置検出部7によって検出されたフォーカスレンズ位置情報をカメラ側CPU20に出力する。
カメラ本体10は、撮像素子11、撮像信号処理回路12、この撮像信号処理回路12に接続されたAF評価値算出回路13、AE評価値算出回路14、画像処理回路15、パターンマッチング回路16、およびカメラ側CPU20、このカメラ側CPU20に接続されたメモリ21、操作部24、および表示回路22、この表示回路22に接続された表示装置23等を有する。
撮影レンズ1の光軸上であって、被写体の光学像が形成される位置に、撮像素子11が配置されている。撮像素子11は、撮影レンズ1によって形成された光学像の撮像を行う。撮像素子11は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。
撮像信号処理回路12は、撮像素子11の電荷蓄積制御や画像信号の読み出し制御等を行う。撮像信号処理回路12は、撮像素子11から画像信号を繰り返し読出し、この読み出された画像信号(画像データとも称する)は、AF評価値算出回路13、AE評価値算出回路14、画像処理回路15、パターンマッチング回路16、およびカメラ側CPU20に出力される。
AF評価値算出回路13は、撮像信号処理回路12から画像データが出力されるたびに、画像データの中から高周波成分を抽出することによりAF評価値(コントラスト値)を算出し、このAF評価値をカメラ側CPU20に出力する。AF評価値としては、例えば、隣接する画素の輝度差等により算出することができる。また、AF評価値の算出にあたっては、所定の焦点検出領域毎(AFエリアともいう)に行う。所定の焦点検出領域は複数の画素から構成される。
AE評価値算出回路14は、撮像信号処理回路12からの画像データに基づいて、被写体輝度に応じたAE評価値を算出し、AE評価値をカメラ側CPU20に出力する。
画像処理回路15は、撮像信号処理回路12によって処理された画像データに対して、階調補正、ホワイトバランス補正、ノイズ除去補正、エッジ強調補正、シェーディング補正、撮影レンズの収差情報に基づく収差補正演算等の画像処理を行う。また、ライブビュー表示用に画像処理を行う。また静止画や動画についての所定の記録形式となるように、画像データ圧縮処理も行う。
パターンマッチング回路16は、撮像信号処理回路12によって処理された画像データを用いて、被写体追尾用にパターンマッチング処理を行う。すなわち、撮像素子11からフレームごとに画像データが出力されるので、被写体追尾モードが設定されていると、前回フレームと今回フレームの画像データを比較することにより、追尾対象の移動位置を検出する。複数の画像データを用いると、常に追尾対象に追従でき、また追尾対象に対してピントが合うように自動焦点調節できる。
メモリ21は、フラッシュROM等の不揮発性メモリであり、カメラ側CPU20において実行するプログラムや、各種調整値等を記憶する。またメモリ21は、DRAMやSDRAM等の揮発性メモリも含み、画像データや制御命令等、種々のデータの一時記憶用に用いられる。
表示回路22は、カメラ側CPU20から画像データを入力し、表示装置23における画像表示の制御を行う。表示装置23は、TFTや有機EL等の電子ビューファインダ(EVF)を有し、カメラ本体10の本体背面等に配置される。この表示装置23は、撮影時のライブビュー表示、撮影済みの画像データの再生表示、撮影条件等の設定のためのメニュー画面等の表示を行う。
操作部24は、カメラに設けられた各種の操作部材を含み、各種操作部材の操作状態を検知し、検知信号をカメラ側CPU20に送信する。各種操作部材としては、電源釦、レリーズ釦、動画釦、メニュー釦、十字釦、OK釦、再生釦等を有する。
操作部24の内のレリーズ釦は、1stレリーズスイッチと2ndレリーズスイッチの2段スイッチを有している。レリーズ釦が半押しされると1stレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると2ndレリーズスイッチがオンとなる。1stレリーズスイッチがオンとなると、カメラ側CPU20は、AE処理やAF処理等撮影準備シーケンスを実行する。また2ndレリーズスイッチがオンとなると、カメラ側CPU20は、撮影シーケンスを実行し、撮影を行う。
カメラ側CPU20は、カメラ全体を制御し、メモリ21に記憶されたプログラムに従って、操作部24からの検知信号やその他の回路からの信号に基づいて、各部の制御を行う。
カメラ側CPU20は、撮像領域内に焦点検出領域を設定する焦点検出領域設定部としての機能を有する。この焦点検出領域設定部は、フォーカスレンズ2aの位置とレンズ情報部6に記憶された像倍率変化に関する情報に基づいて焦点検出領域を変更する。この焦点検出領域の変更については、図2のステップS9および図3を用いて後述する。なお、焦点検出領域(AFエリア)設定は、撮影者が予め設定してもよく、また画像処理回路15によって検出された顔の位置等に自動的に設定するようにしてもよい。
カメラ側CPU20は、パターンマッチング回路16と協働して、撮像部の画像信号に基づいて被写体像を追尾する追尾部として機能する。この追尾部は、焦点検出領域の位置が所定の像高位置より大きい場合に、上記焦点調節領域に位置する被写体像について上記フォーカスレンズの移動に応じて追尾を行う。また、このとき、上述の焦点検出領域設定部は追尾部の追尾結果に基づいて焦点検出領域を設定する。また、追尾部は、撮像部が出力する複数の画像信号に関するパターンマッチング処理を行うことにより追尾動作を行う。このフォーカスレンズの移動に応じた被写体追尾については、図2のステップS13および図8(b)を用いて後述する。
また、本実施形態においては、カメラ側CPU20とパターンマッチング回路16が協働して機能する追尾部は、追尾動作が不能である場合に焦点検出領域の大きさを変更する。この焦点検出領域の大きさ変更については、図2のステップS15および図8(c)を用いて後述する。
次に、本発明の一実施形態に係るカメラのAFエリア設定の動作について、図2および図3に示すフローチャートを用いて説明する。これらのフローチャートは、メモリ21に記憶されているプログラムに従ってカメラ側CPU20によって実行される。
操作部24のレリーズ釦が操作され、1stレリーズスイッチがオンとなると、図2に示す1R押下げのフローチャートが開始する。まず、像倍率変化率情報があるか否かの判定を行う(S1)。レンズ鏡筒1が交換レンズ式の場合に、レンズ鏡筒1のレンズ情報部6に像倍率変化率情報を有している場合と有していない場合がある。そこで、像倍率変化率情報を利用できるか否かを、このステップで判定する。なお、レンズ鏡筒1がカメラ本体10と一体に構成され、像倍率変化率情報を有している場合には、後述するステップS9のみを実行すればよい。
ステップS1における判定の結果、像倍率変化率情報が有る場合には、像倍率に応じてAFエリアの変更を行う(S9)。ここでは、AFエリア位置とサイズを像倍率に応じて変化させる。AFエリアは、当初、撮影者が予め設定してもよく、また画像処理回路15によって検出された顔の位置等に自動的に設定するようにしてもよい。また、1stレリーズスイッチがオンとなった際に、山登りサーボ式によるAFが実行され、このときAFのためにフォーカスレンズのスキャン動作を行い、像倍率が変化する。そこで、ステップS9において、像倍率の変化率に応じて、当初設定されたAFエリアの位置やサイズを変更する。この像倍率に応じたAFエリアの変更動作については、図3を用いて後述する。
ステップS1における判定の結果、像倍率変化率情報を有していない場合には、焦点距離が所定以下か否かの判定を行う(S3)。一般に、像倍率の変化は、短焦点側にて大きく表れ、逆に長焦点側では像倍率の変化は小さい。このため、長焦点側では、フォーカスレンズが移動しても、AFエリアを移動させなくても十分である。このステップS3では、レンズ側CPU5から現在設定されている焦点距離情報を入力し判定する。また、判定に使用する所定値は、フォーカスレンズの移動によってAFエリアの変更が必要か否かを判断できる程度の焦点距離であればよい。
ステップS3における判定の結果、焦点距離が所定以下であった場合には、AFエリア位置が所定像高以上か否かを判定する(S5)。一般に像倍率の変化が大きいのは、像高が大きい領域であり、像高が小さい領域では、像倍率の変化が小さい。このため、像高が小さい領域では、フォーカスレンズが移動しても、AFエリアを移動させなくても十分である。このステップでは、現在、設定されているAFエリアの中心位置の像高に基づいて判定する。なお、像高は撮影レンズ2の光軸中心からAFエリアの中心位置までの距離である。
ステップS3における判定の結果、焦点距離が所定以下でない場合、またはステップS5における判定の結果、AFエリア位置が所定像高以上の場合には、AFエリアは固定とする(S11)。前述したように、ステップS11を実行する場合は、いずれも像倍率の変化が小さく、フォーカスレンズの移動に応じて、AFエリアを変更する必要性が乏しい状態である。そこで、現在、設定されているAFエリアを固定し、変更しない。
ステップS5における判定の結果、AFエリア位置が所定像高以上であった場合には、パターンマッチング可能か否かを判定する(S7)。被写体追尾モードが設定されている場合には、パターンマッチング回路16は、追尾対象の位置を検知するので、カメラ側CPU20は、その位置にピントが合うように自動焦点調節を行う。このステップS7では、被写体追尾モードが設定され、かつパターンマッチング回路16によって、追尾対象のパターンマッチングが可能か否かを判定する。
ステップS7における判定の結果、パターンマッチングが可能であった場合には、AFエリア位置は、エリア内(撮像領域内)の被写体を追尾して追従させる(S13)。このステップでは、パターンマッチングが可能であったことから、AFエリアを追従被写体の位置に応じて移動させる。
ステップS7における判定の結果、パターンマッチングが可能でなかった場合には、AFエリア位置は固定とし、AFエリアサイズを拡大する(S15)。このステップでは、当初設定されたAFエリアの位置を変えることなく、AFエリアサイズを大きくしている。このため、フォーカスレンズの移動に伴って像倍率が変化することによって、当初のAFエリアに対応する被写体の位置が移動したとしても、AFエリアサイズが大きくなっていることから、依然として、当初のAFエリアに対応する被写体が含まれている。
ステップS9〜S15において、AFエリア位置を設定すると、このフローを終了する。
像倍率AFエリア変更のフローを説明するに先だって、図4および図5を用いて、フォーカスレンズの移動に応じたAFエリアの変更について説明する。図4(a)は、AF開始時のフォーカスレンズ2aの位置(基準位置)を示し、図4(b)は、AF動作中のフォーカスレンズ2aの位置を示す。フォーカスレンズ2aが基準位置Psに在る時には、図4(a)に示すように、被写体Aは撮像面B上で像高Hsの位置に結像される。また、AF動作中にフォーカスレンズを移動させ、フォーカスレンズ2aが、図4(b)に示すように、Paに位置する場合には、被写体Aは撮像面B上で像高Haの位置に結像される。
図5は、撮像素子11の撮像面上でのAFエリアの移動を示す。AFエリア31はAF開始時のAFエリアの位置を示しており、撮影レンズ2の光軸中心Oから、像高Hsの位置にあり、またエリアサイズSsの大きさがある。またAFエリア32は、AF動作中にフォーカスレンズ2aが移動した位置におけるAFエリアの位置を示しており、光軸中心Oから、像高Haの位置にあり、またエリアサイズSaの大きさがある。フォーカスレンズ2aが移動したことにより、像倍率変化によるAFエリア移動量Lだけ、AFエリアは移動している。
次に、図3に示すフローチャートを用いて、ステップS9の像倍率AFエリア変更の詳しい動作について説明する。この像倍率AFエリア変更のフローは、フォーカスレンズの位置に応じて、像倍率を用いて、AFエリアの位置とサイズを像倍率に応じて変化させている。
像倍率AFエリア変更のフローに入ると、まず、単位像面距離当たりの像倍率Zを取得する(S21)。単位像面距離当たりの像倍率Zは、レンズ情報部6に記憶されているので、この像倍率Zを取得する。
像倍率Zを取得すると、次に、AF開始時AFエリアサイズSsを取得する(S23)。ここでは、1stレリーズスイッチがオンとなり、AF動作が開始された際のAFエリアサイズSs(図5参照)を取得する。AF動作開始時にAFエリアサイズSsをメモリ21に記憶しておけばよい。
AF開始時のAFエリアサイズSsを取得すると、次に、AF開始時AFエリア像高Hsを取得する(S25)。ここでは、AF動作が開始された際のAFエリアの位置に基づいて、AFエリアの像高Hs(図5参照)を取得する。AFエリアの位置に応じて、像高Hsを予めテーブルに記憶しておき、テーブル参照によって求めてもよく、またAFエリアのx座標y座標から演算で求めてもよい。
AF開始時のAFエリア像高Hsを取得すると、次に、AF開始時フォーカスレンズ位置Psを取得する(S27)。ここでは、図4(a)に示したフォーカスレンズ位置Psを、レンズ位置検出部7によって取得する。AF動作開始時にフォーカスレンズ位置Psをメモリ21に記憶しておけばよい。
AF開始時フォーカスレンズ位置Psを取得すると、次に、AF中フォーカスレンズ位置Paを取得する(S29)。ここでは、AF動作開始後に、図4(b)に示したフォーカスレンズ位置Paをレンズ位置検出部7によって取得する。
AF中フォーカスレンズ位置Paを取得すると、次に、AF中の像倍率Za(Psに対するPa)を算出する(S31)。ここでは、ステップS21において取得した像倍率Zと、ステップS27において取得したAF開始時フォーカスレンズ位置Psと、ステップS29において取得したAF中フォーカスレンズ位置Paを用いて、下記(1)式より、AF中の像倍率Zaを算出する。
Za=1+Z×(Ps−Pa) ・・・(1)
AF中の像倍率Zを算出すると、次に、AF中のAFエリア像高Haを算出する(S33)。ここでは、ステップS25において取得したAF開始時AFエリア像高Hsと、ステップS31で算出した像倍率Zaを用いて、下記(2)式より、AF中のAFエリア像高Haを算出する。
Ha=Hs×Za ・・・(2)
AF中のAFエリア像高Haを算出すると、次に、AF中のAFエリアサイズSaを算出する(S35)。ここでは、ステップS23において取得したAF開始時AFエリアサイズSsと、ステップS31で算出した像倍率Zaを用いて、下記(3)式より、AF中のAFエリアサイズSaを算出する。
Sa=Ss×Za ・・・(3)
AF中のAFエリアサイズSaを算出すると、次に、座標変換を行う(S37)。ここでは、ステップS33において、算出したAFエリア像高HaをXY平面位置の座標に変換する。つまり、既知のAF開始時AFエリアのXY平面位置の座標をAFエリア像高HaとAF開始時AFエリア像高Hsの比率を用いて、AFエリア像高HaのXY平面位置の座標に変換する(図5参照)。また、ステップS35において算出したAFエリアサイズSaに応じて、AFエリアの外縁の位置(矩形の4隅の座標)に変換する。
座標変換を行うと、次に、AFエリアの設定を行う(S39)。ここでは、ステップS37において行った座標変換の結果を用いて、AFエリアの設定を行う。すなわち、前述した図5のように、新たなAFエリア32を設定する。AFエリア設定を行うと、元のフローに戻る。
このように像倍率AFエリア変更のフローにおいては、AFエリア(焦点検出領域)の位置を変更しており、特に、像倍率に応じた位置としている。すなわち、フォーカスレンズ2aの移動に伴う光学系の像倍率変化に関する情報(像倍率Z)を取得し(S21)、フォーカスレンズの位置Ps、Paの位置情報を取得し(S27、S29)、これらの情報を用いて、AF中の像倍率Zaを算出している(S31)。そして、この像倍率Zaを用いて、AF中のAFエリア像高Haを算出し(S33)、像高Haを用いて新たなAFエリアの位置を設定している(S37、S39)。
また、像倍率AFエリア変更のフローにおいては、AFエリア(焦点検出領域)の大きさを変化させており、特に、像倍率に応じた大きさとしている。すなわち、ステップS31において算出した像倍率Zaを用いて、AF中のAFエリアサイズSaを算出し(S35)、AFエリアサイズSaを用いて新たなAFエリアのサイズを設定している(S37、S39)。
なお、本実施形態における像倍率AFエリア変更のフローにおいては、新たなAFエリアの位置とサイズを変更しているが、いずれか一方だけでも、AFエリアとして十分な場合には、位置とサイズの両方の変更を行わなくても構わない。
次に、図6を用いて、本実施形態における像倍率変化率を用いたAFエリアの変更について説明する。図6(a)は、撮像素子11の撮像面上、または表示装置23に表示される被写体像の全体構図を示す。また、図6(b)は、図6(a)の左上隅の点線で囲まれた部分の拡大図である。また、この例では、AFエリア33にピントを合わせる。
図6(a)のAFエリア33にピントを合わせるために、フォーカスレンズ2aを駆動すると、像倍率の変化により、被写体が像高方向に移動する。すなわち、フォーカスレンズ2aが無限側に移動すると、AFエリア33に位置していた被写体は図中矢印aの方向に移動する。またフォーカスレンズ2aが至近側に移動すると、AFエリア33に位置していた被写体は図中矢印bの方向に移動する。
このように、フォーカスレンズ2aがピント合わせのために移動すると、当初のAFエリア内に位置していた被写体も移動してしまう。このときAFエリアも移動させないと、ピントを合わせる被写体が異なり、偽合焦となってしまう。そこで、本実施形態においては、図2のステップS9において、像倍率に応じてAFエリアの変更を行っている(図3参照)。したがって、フォーカスレンズ2aが移動しても、同一の被写体に対してAFエリアが設定される。
図7にAFエリアの位置とエリアサイズの変化の様子を示す。図7(a)において、AFエリア33は、フォーカスレンズ2aが無限端に移動すると、無限端での推定AFエリア34の位置に移動し、またサイズも図示のように縮小する。また、AFエリア33は、フォーカスレンズ2aが至近端に移動すると、至近端での推定AFエリア35の位置に移動し、またサイズも図示のように拡大する。
なお、図7(a)には、AF開始時のAFエリア33、無限端のAFエリア34、および至近端のAFエリア35しか示していない。しかし、図7(b)に示すように、フォーカスレンズ2aの駆動中、撮像素子11から1フレーム分の画像データが出力されるたびに、図3に示す像倍率AFエリア変更のフローによって、AFエリアは再設定される。この再設定されたAFエリアの画像データを用いて、AF評価値算出回路13は、AF評価値(コントラスト値)を算出し、AF評価値の最大値を求め、合焦点を決定する。
次に、図8を用いて、像倍率変化情報がない場合のAFエリアの変更について説明する。図8(a)は、像高の大きさに応じて、AFエリアの補正を行うか否かを決めている例を示す。図2のS5における判定において説明したように、像倍率の変化が大きいのは、像高が大きい領域であり、像高が小さい領域では、像倍率の変化が小さい。そこで、光軸中心Oより、所定の像高範囲内(図中の点線の内側)は、AFエリアの補正を行わない。また、光軸中心Oより、所定の像高範囲外(図中の点線の外側)は、AFエリアの補正を行う。AFエリアの補正としては、例えば、図2のステップS13、S15のような方法がある。図8(a)に示した例では、AFエリア33は、点線の外側にあるので、AFエリアの補正を行う。
図8(b)は、被写体追尾によってAFエリアの補正を行う例を示す。図2のS13において説明したように、AFエリアを追従被写体の位置に応じて移動させている。図8(b)に示す例では、パターンマッチング回路16によって算出された被写体追尾よる移動量c、dに従ってAFエリア36、37を移動させている。
図8(c)は、AFエリア拡大によって、被写体がAFエリアから逸脱することの防止を行う例を示す。図2のS15において説明したように、AFエリアの位置を変えることなく、AFエリアサイズを大きくしている。フォーカスレンズ2aの移動に伴ってAFエリアの位置が移動したとしても、AFエリア38のサイズを拡大し、被写体のAFエリアからの逸脱を防止している。
以上説明したように、本発明の一実施形態においては、フォーカスレンズの位置と像倍率変化に関する情報に基づいて焦点検出領域を設定するようにしている(図3のS33、S39)。このため、焦点調節時のフォーカスレンズの移動による像倍率の変化に応じて焦点検出領域を設定し、高精度な焦点調節を可能としている。
また、本発明の一実施形態においては、焦点検出領域の位置が所定の像高位置より大きい場合に(図2のS5)、焦点調節領域に位置する被写体像についてフォーカスレンズの移動に応じて追尾を行い、追尾結果に基づいて焦点検出領域を設定している(図2のS13)。このため、焦点調節時のフォーカスレンズの移動による像倍率の変化に応じて焦点検出領域を設定し、高精度な焦点調節を可能としている。
なお、本発明の一実施形態においては、AF動作中にフォーカスレンズが移動する方式として、山登りサーボ方式について説明したが、この方式に限らず、AF動作中にフォーカスレンズが移動するAF方式であれば本発明を適用できる。
また、本発明の一実施形態においては、像倍率変化率情報を取得できない場合でも、種々の方法でAFエリアの補正を行っていたが、図2に示したAFエリアの補正を全て行わなくても一部だけよく、また他の補正を加えても勿論かまわない。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、AF動作中にフォーカスレンズが移動する機器であれば、本発明を適用することができる。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1・・・レンズ鏡筒、2・・・撮影レンズ、3・・・レンズ駆動モータ、4・・・モータドライブ回路、5・・・レンズ側CPU、6・・・レンズ情報部、7・・・レンズ位置検出部、10・・・カメラ本体、11・・・撮像素子、12・・・撮像信号処理回路、13・・・AF評価値算出回路、14・・・AE評価値算出回路、15・・・画像処理回路、16・・・パターンマッチング回路、20・・・カメラ側CPU、21・・・メモリ、22・・・表示回路、23・・・表示装置、24・・・操作部、31〜38・・・AFエリア

Claims (8)

  1. フォーカスレンズを含む光学系による光学像を撮像素子に結像させ撮像して画像信号を生成する撮像部を有し、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて焦点調節を行う焦点調節装置において、
    上記フォーカスレンズの位置を検出するフォーカスレンズ位置検出部と、
    上記フォーカスレンズの移動に伴う上記光学系の像倍率変化に関する情報を記憶する記憶部と、
    上記撮像領域内に焦点検出領域を設定する焦点検出領域設定部と、
    を具備し、
    上記焦点検出領域設定部は、上記フォーカスレンズの位置と上記像倍率変化に関する情報に基づいて焦点検出領域を設定する、
    ことを特徴とする焦点調節装置。
  2. 上記焦点検出領域設定部は、焦点検出領域の大きさを変化させることを特徴とする請求項1に記載の焦点調節装置。
  3. 上記焦点検出領域設定部は、上記焦点検出領域の像高に応じて焦点検出領域の大きさを変化させることを特徴とする請求項2に記載の焦点調節装置。
  4. 上記焦点検出領域設定部は、上記焦点検出領域の位置を変更することを特徴とする請求項1に記載の焦点調節装置。
  5. 上記焦点検出領域設定部は、焦点検出領域の像高に応じて焦点検出領域の位置を変更することを特徴とする請求項4に記載の焦点調節装置。
  6. フォーカスレンズを含む光学系による光学像を撮像素子に結像させ撮像して画像信号を生成する撮像部を有し、撮像領域内に設定された焦点検出領域に関する焦点検出信号に基づいて焦点調節を行う焦点調節装置において、
    上記撮像領域内に焦点検出領域を設定する焦点検出領域設定部と、
    上記撮像部の画像信号に基づいて被写体像を追尾する追尾部と、
    を具備し、
    上記追尾部は、上記焦点検出領域の位置が所定の像高位置より大きい場合に、上記焦点調節領域に位置する被写体像について上記フォーカスレンズの移動に応じて追尾を行い、
    上記焦点検出領域設定部は、上記追尾部の追尾結果に基づいて焦点検出領域を設定する、
    ことを特徴とする焦点調節装置。
  7. 上記追尾部は、上記撮像部が出力する複数の画像信号に関するパターンマッチング処理を行うことにより追尾動作を行うことを特徴とする請求項6に記載の焦点調節装置。
  8. 上記焦点検出領域設定部は、上記追尾部による追尾動作が不能である場合に上記焦点検出領域の大きさを変更することを特徴とする請求項6に記載の焦点調節装置。
JP2013007796A 2013-01-18 2013-01-18 カメラシステム Active JP6137840B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013007796A JP6137840B2 (ja) 2013-01-18 2013-01-18 カメラシステム
CN201410019967.4A CN103941522B (zh) 2013-01-18 2014-01-16 焦点调节装置
US14/157,341 US9160919B2 (en) 2013-01-18 2014-01-16 Focus adjustment unit and camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013007796A JP6137840B2 (ja) 2013-01-18 2013-01-18 カメラシステム

Publications (3)

Publication Number Publication Date
JP2014137583A true JP2014137583A (ja) 2014-07-28
JP2014137583A5 JP2014137583A5 (ja) 2016-02-25
JP6137840B2 JP6137840B2 (ja) 2017-05-31

Family

ID=51189250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013007796A Active JP6137840B2 (ja) 2013-01-18 2013-01-18 カメラシステム

Country Status (3)

Country Link
US (1) US9160919B2 (ja)
JP (1) JP6137840B2 (ja)
CN (1) CN103941522B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018046535A (ja) * 2016-09-16 2018-03-22 パナソニックIpマネジメント株式会社 撮像装置
WO2019171696A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
WO2019187382A1 (ja) * 2018-03-30 2019-10-03 富士フイルム株式会社 合焦制御装置、合焦制御方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6378519B2 (ja) * 2014-03-27 2018-08-22 キヤノン株式会社 焦点検出装置及びその制御方法、及び、撮像装置
JP6547742B2 (ja) * 2014-05-26 2019-07-24 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP2017098631A (ja) * 2015-11-18 2017-06-01 オリンパス株式会社 画像合成処理装置
JP2017129613A (ja) * 2016-01-18 2017-07-27 オリンパス株式会社 焦点調節装置及び焦点調節方法
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
JP7022686B2 (ja) * 2016-06-30 2022-02-18 株式会社ニコン カメラ
JP6641572B1 (ja) * 2018-08-24 2020-02-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、制御装置、撮像装置、決定方法、及びプログラム
CN112653810B (zh) * 2019-10-11 2022-02-15 杭州海康微影传感科技有限公司 重载设备和基于重载设备的聚焦方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050007486A1 (en) * 2003-07-08 2005-01-13 Konica Minolta Camera, Inc. Image capturing apparatus
JP2007101857A (ja) * 2005-10-04 2007-04-19 Nikon Corp 焦点調節装置およびデジタルカメラ
JP2007133265A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置及び撮像方法
US20090016708A1 (en) * 2007-07-09 2009-01-15 Nikon Corporation Image detection device, focusing device, image-capturing device, image detection method, and focusing method
EP2178291A1 (en) * 2008-10-16 2010-04-21 Fujinon Corporation Auto focus system having of frame auto-tracking function
JP2010096963A (ja) * 2008-10-16 2010-04-30 Fujinon Corp Af枠自動追尾機能を備えたオートフォーカスシステム
JP2010271696A (ja) * 2009-03-13 2010-12-02 Panasonic Corp 交換レンズ、カメラボディ、及びカメラシステム
JP2014006477A (ja) * 2012-06-27 2014-01-16 Canon Inc 撮像装置、レンズ装置および撮像装置の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
GB2209901B (en) * 1987-09-11 1992-06-03 Canon Kk Image sensing device
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
JP2005025118A (ja) 2003-07-03 2005-01-27 Sharp Corp レンズ制御装置
JP5380784B2 (ja) * 2007-04-12 2014-01-08 ソニー株式会社 オートフォーカス装置、撮像装置及びオートフォーカス方法
JP5100410B2 (ja) * 2008-01-22 2012-12-19 キヤノン株式会社 撮像装置及びその制御方法
JP2009258680A (ja) * 2008-03-27 2009-11-05 Panasonic Corp カメラシステム、カメラ本体、交換レンズユニット、フォーカス制御方法、およびプログラム。
JP2011248159A (ja) * 2010-05-28 2011-12-08 Sony Corp 撮像装置、撮像システム、撮像装置の制御方法およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050007486A1 (en) * 2003-07-08 2005-01-13 Konica Minolta Camera, Inc. Image capturing apparatus
JP2005031200A (ja) * 2003-07-08 2005-02-03 Minolta Co Ltd 撮像装置
JP2007101857A (ja) * 2005-10-04 2007-04-19 Nikon Corp 焦点調節装置およびデジタルカメラ
JP2007133265A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置及び撮像方法
US20090016708A1 (en) * 2007-07-09 2009-01-15 Nikon Corporation Image detection device, focusing device, image-capturing device, image detection method, and focusing method
JP2009015185A (ja) * 2007-07-09 2009-01-22 Nikon Corp 画像検出装置、焦点調節装置および撮像装置
EP2178291A1 (en) * 2008-10-16 2010-04-21 Fujinon Corporation Auto focus system having of frame auto-tracking function
JP2010096963A (ja) * 2008-10-16 2010-04-30 Fujinon Corp Af枠自動追尾機能を備えたオートフォーカスシステム
JP2010271696A (ja) * 2009-03-13 2010-12-02 Panasonic Corp 交換レンズ、カメラボディ、及びカメラシステム
JP2014006477A (ja) * 2012-06-27 2014-01-16 Canon Inc 撮像装置、レンズ装置および撮像装置の制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018046535A (ja) * 2016-09-16 2018-03-22 パナソニックIpマネジメント株式会社 撮像装置
WO2019171696A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
WO2019187382A1 (ja) * 2018-03-30 2019-10-03 富士フイルム株式会社 合焦制御装置、合焦制御方法、及びプログラム
US11336815B2 (en) 2018-03-30 2022-05-17 Fujifilm Corporation Focusing control device, focusing control method, and program

Also Published As

Publication number Publication date
CN103941522B (zh) 2017-06-30
US20140204266A1 (en) 2014-07-24
JP6137840B2 (ja) 2017-05-31
US9160919B2 (en) 2015-10-13
CN103941522A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
JP6137840B2 (ja) カメラシステム
JP6457776B2 (ja) 撮像装置および撮像装置の制御方法
JP5159520B2 (ja) 撮像装置、自動焦点検出装置及びその制御方法
US10187564B2 (en) Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon
JP2018031877A (ja) 撮像装置および焦点調節方法
JP6234261B2 (ja) 焦点調節装置および制御方法
US9479690B2 (en) Photographic apparatus and method for focusing control using two high pass filters
JP2005092085A (ja) 焦点検出及び調節方法並びに焦点検出及び調節装置
JP2017194558A (ja) 撮像装置および撮像方法
JP2018011268A (ja) 撮像装置、画像合成方法、およびプログラム
US11653107B2 (en) Image pick up apparatus, image pick up method, and storage medium
CN106993110B (zh) 摄像设备及其控制方法
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP6257186B2 (ja) 撮像装置、撮像方法およびプログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2020077964A (ja) 撮像装置およびその制御方法
US11463613B2 (en) Detection device and detection method
US20220148142A1 (en) Image processing apparatus for combining a plurality of images, imaging apparatus, imaging method, and recording medium
JP2011257758A (ja) カメラの自動焦点調節方法及び装置
JP4420651B2 (ja) 光学装置
WO2014136703A1 (ja) 撮像装置及び画像表示方法
JP2017169026A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170425

R151 Written notification of patent or utility model registration

Ref document number: 6137840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250