JP5699480B2 - 焦点検出装置およびカメラ - Google Patents

焦点検出装置およびカメラ Download PDF

Info

Publication number
JP5699480B2
JP5699480B2 JP2010182300A JP2010182300A JP5699480B2 JP 5699480 B2 JP5699480 B2 JP 5699480B2 JP 2010182300 A JP2010182300 A JP 2010182300A JP 2010182300 A JP2010182300 A JP 2010182300A JP 5699480 B2 JP5699480 B2 JP 5699480B2
Authority
JP
Japan
Prior art keywords
focus detection
pixel
pixel signal
signal sequence
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010182300A
Other languages
English (en)
Other versions
JP2012042597A (ja
Inventor
日下 洋介
洋介 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010182300A priority Critical patent/JP5699480B2/ja
Publication of JP2012042597A publication Critical patent/JP2012042597A/ja
Application granted granted Critical
Publication of JP5699480B2 publication Critical patent/JP5699480B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、瞳分割型位相差検出方式の焦点検出画素を備えた焦点検出装置に関する。
特許文献1には撮像画素と瞳分割型位相差検出方式の焦点検出画素を備えた撮像素子を有する撮像装置が開示されている。この撮像装置においては、焦点検出画素から出力される一対の画素信号を相対的にシフトしながら相関演算を行って、一対の画素信号の相対的な位相差を検出し、該位相差に基づいて撮影レンズのデフォーカス量を求めている。
特開2005-303409号公報
しかしながら上述した従来の撮像装置においては、焦点検出画素の画素信号に一部異常な画素信号が含まれていた場合には、相関演算の結果に大きな誤差を生じるという問題があった。
請求項1に記載の焦点検出装置は、撮影光学系の一対の瞳をそれぞれ通過する第1及び第2の焦点検出光束のうちのケラレの相対的に大きい方の焦点検出光束を受光して前記ケラレの相対的に大きい方の焦点検出光束による像に対応する第1の画素信号列を出力すると共に、前記第1及び第2の焦点検出光束のうちのケラレの相対的に小さい方のまたはケラレのない焦点検出光束を受光して前記ケラレの相対的に小さい方のまたはケラレのない焦点検出光束による像に対応する第2の画素信号列を出力する複数の焦点検出画素と、前記第2の画素信号列を固定画素信号列として、前記第2の画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行う位相差式焦点検出手段とを備え、前記位相差式焦点検出手段は、前記第2の画素信号列中に異常な画素信号が含まれるときに、前記異常な画素信号の前方または後方で連続する複数の正常な画素信号からなる部分画素信号列を固定画素信号列として、前記部分画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行うことを特徴とする。
請求項10に記載の焦点検出装置は、撮影光学系の一対の瞳をそれぞれ通過する一対の焦点検出光束のうちのケラレの相対的に大きい方の焦点検出光束を受光して第1の画素信号列を出力すると共に、前記一対の焦点検出光束のうちのケラレの相対的に小さい方のまたはケラレのない焦点検出光束を受光して第2の画素信号列を出力する複数の焦点検出画素と、前記第2の画素信号列を固定画素信号列として、前記第2の画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行う位相差式焦点検出手段とを備え、前記位相差式焦点検出手段は、前記第2の画素信号列中に異常な画素信号が含まれるときに、前記異常な画素信号の一方の側で連続する複数の正常な画素信号からなる画素信号列を固定画素信号列として、当該固定画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行うことを特徴とする。
本発明の焦点検出装置によれば、瞳分割型位相差検出方式の焦点検出画素の画素信号に一部異常な画素信号が含まれていた場合にも、高精度な焦点検出を行うことができる。
一実施の形態のデジタルスチルカメラの構成を示す図である。 交換レンズの撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の回路構成概念図である。 撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。 撮像素子の動作タイミングチャートである。 撮像素子の動作を示す電位分布図である。 一実施の形態のデジタルスチルカメラの撮像動作を示すフローチャートである。 一対の焦点検出画素データのどちらを固定するかを説明するための図である。 一対の焦点検出画素データを示すグラフである。 焦点検出画素の受光量と焦点検出画素のデータの関係を示したグラフである。 撮像素子の詳細な構成を示す正面図である。
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図1は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ201は交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報(デフォーカス量や絞り値など)の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素が二次元状(行と列)に配置されるとともに、焦点検出位置(焦点検出エリア)に対応した部分に焦点検出画素が組み込まれている。この撮像素子212については詳細を後述する。
ボディ駆動制御装置214はマイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置214は、撮像素子212の露光制御および撮像素子212からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と交換レンズ202の焦点調節とを繰り返し行う。また、ボディ駆動制御装置214は、画像信号の処理と記録、デジタルスチルカメラ201の動作制御などを行う。また、ボディ駆動制御装置214は電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は、撮像素子212から読み出された画像データに基づきスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してそのスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像データを記憶する画像ストレージである。
AD変換装置221は、撮像素子212からの出力される画素信号をAD変換してボディ駆動制御装置214に送る。撮像素子212がAD変換装置221を内蔵する構成であってもよい。
交換レンズ202を通過した光束により、撮像素子212上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置214へ送られる。
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の撮像画素の画素信号を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212から読み出されたスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
記憶装置220は、撮像素子212に含まれる欠陥焦点検出画素の位置情報を記憶する。ボディ駆動制御装置214は、焦点検出画素からの画素信号に基づいてデフォーカス量を算出する際に、記憶装置220に記憶された欠陥焦点検出画素の位置情報を参照する。ボディ203の組立/調整工程において、撮像素子212中の欠陥焦点検出画素が特定され、該欠陥焦点検出画素位置情報が記憶手段に書き込まれる。なお欠陥焦点検出画素とは、所謂白トビ(暗黒中でも一定出力を発生)、黒トビ(明時でも出力が出ない)、感度異常(受光量と出力の間の比例関係が他の画素と異なる)等の現象を発生する画素である。
図2は、交換レンズ202の撮影画面上における焦点検出位置(焦点検出エリア)を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域、すなわち焦点検出エリア、焦点検出位置の一例を示す。この例では、矩形の撮影画面100上の中央および上下の3箇所に焦点検出エリア101、102、103が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
図3は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の焦点検出エリア101、102、103の近傍を拡大して示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア101、102、103に対応する位置には焦点検出用の焦点検出画素312、313が垂直方向の直線上に隣接して交互に配列される。
撮像画素310は、マイクロレンズ10、光電変換部11、および色フィルター(不図示)から構成される。色フィルターは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子212には、各色フィルターを備えた撮像画素310がベイヤー配列されている。
焦点検出画素312は、マイクロレンズ10と光電変換部12から構成され、光電変換部12の形状は矩形である。同様に、焦点検出画素313は、マイクロレンズ10と光電変換部13から構成され、光電変換部13の形状は矩形である。焦点検出画素312と焦点検出画素313とをマイクロレンズ10を重ね合わせて表示すると、光電変換部12と13は垂直方向に並んでいる。焦点検出画素312と焦点検出画素313は、焦点検出エリア101において垂直方向、すなわち光電変換部12と13の並び方向に交互に配置される。
焦点検出画素312、313には光量をかせぐために色フィルターが設けられておらず、焦点検出画素312、313は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルター(不図示)の分光感度特性とを総合した分光感度特性を有している。つまり、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、焦点検出画素312、313が高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
焦点検出用の焦点検出画素312、313は、撮像画素310のBとGが配置されるべき列に配置されている。焦点検出用の焦点検出画素312、313が撮像画素310のBとGが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
撮像画素310の光電変換部11は、マイクロレンズ10によって最も明るい交換レンズの射出瞳径(例えばF1.0)を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素312、313の光電変換部12、13は、マイクロレンズ10によって交換レンズの射出瞳の所定の領域(例えばF2.8)を通過する光束をすべて受光するような形状に設計される。
図2に示すように、焦点検出エリア101は撮影光軸に隣接している。焦点検出エリア101の焦点検出画素の配列方向は一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致している。このような2種類の焦点検出画素を直線上に多数配置し、各画素の光電変換部の出力を、特開2007−333720号公報に開示される一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、焦点検出位置(垂直方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
焦点検出エリア102のように、画面周辺にある焦点検出エリアの焦点検出画素においては、マイクロレンズの光軸に対し、光電変換部の位置が非対称に配置されることによって、マイクロレンズの光軸より交換レンズの光軸側に寄った光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致している。このような2種類の焦点検出画素を直線上に多数配置し、各画素の光電変換部の出力を上述した一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。この像ズレ量に一対の測距瞳の重心間隔の開き角に応じた変換演算を行うことによって、デフォーカス量が算出される。
なお、焦点検出エリア103の焦点検出画素の配列は、撮影画面中心を通る水平軸を対称軸として焦点検出エリア102の焦点検出画素の配列を対象に配置したものとなっており、焦点検出エリア103の焦点検出画素も上述した一対の測距瞳を通る光束を受光する。
図4は撮像素子の回路構成概念図である。撮像素子はCCDイメージセンサーとして構成される。撮像素子212の回路構成を、水平方向8画素×垂直方向8画素のレイアウトに簡略化して説明する。図4は図2の垂直方向の焦点検出エリア101に対応して描かれており、垂直方向に焦点検出画素312,313が同一の列に配置されている。
4列目は焦点検出画素312、313が配置された列であり、中央の4つの焦点検出画素312、313(○で示す)が複数の焦点検出画素を代表しており、上下の2つずつの撮像画素310(□で示す)が焦点検出画素の上下に配置された複数の撮像画素を代表している。
1〜3列目、5〜8列目は撮像画素310(□で示す)のみが配置された列であり、焦点検出画素が配置された列の左右の複数の撮像画素のみからなる列を代表している。
図において各列に配置された撮像画素および焦点検出画素で生成された電荷は、各列に対応して設けられた垂直転送CCDに移された後、水平転送CCDの方向に順次転送される。水平転送CCDは垂直転送CCDから1行分の電荷が移されると、1行分の電荷を出力回路330の方向に順次転送し、出力回路330は電荷電圧変換を行い、各画素で蓄積された電荷量に対応した画素信号を外部に出力する。
転送パルス発生回路は垂直転送CCDおよび水平転送CCDの転送動作に必要な駆動信号を垂直転送CCDおよび水平転送CCDに供給する。制御パルス発生回路は撮像画素および焦点検出画素の電荷蓄積制御および各画素から垂直転送CCDへの電荷移送に必要な制御信号ΦU、ΦT1、ΦT2、ΦT3を全画素共通に供給する。
制御パルス発生回路が出力する制御信号φSyncは垂直同期信号であって、フレーム毎に外部(ボディ駆動制御装置214)に出力される。
入力信号Txは外部(ボディ駆動制御装置214)からの制御パルス発生回路への入力信号であって、画素の電荷蓄積時間を指定するための信号であり、制御パルス発生回路は制御信号ΦU、ΦT1の発生タイミングをこの信号に応じて変更することにより、電荷蓄積時間の制御(露光制御)が行われる。
図5は図4に示す撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。P型半導体基板上にP層、N層からなる埋め込みフォトダイオード(PD)が形成され、その隣にN層からなる電荷蓄積部が形成される。電荷蓄積部に隣接してさらに垂直転送CCDを構成するN層が形成される。またPDに隣接してN+層が形成され、電源電圧Vddに接続される。電荷蓄積部とPDの間のチャネル上にゲート602が配置され、制御信号ΦT1が接続される。電荷蓄積部の上にはゲート603が配置され、制御信号ΦT2が接続される。電荷蓄積部と垂直転送CCDの間のチャネルの上にはゲート604が配置され、制御信号ΦT3が接続される。垂直転送CCD上にはゲート605が配置され、駆動信号ΦVxが接続される。PDと隣接するN+層の間のチャネルの上にはゲート601が配置され、制御信号ΦUが接続される。ゲート601〜ゲート604に制御信号ΦU、ΦT1、ΦT2、ΦT3を印可することにより、各ゲート下の電位レベルを変化させ、PDで生成される電荷の蓄積、転送、破棄の動作を制御する。
図6は図4に示す撮像素子の動作タイミングチャートである。図7は撮像素子の動作を示す電位分布図である。CCDイメージセンサにおいては、いわゆるグローバルシャッタ動作により画素のリセット、露光、信号の読み出しが全画素同時に行われる。
撮像素子からの全画素の信号の出力(1フレーム分の画像信号の出力)の開始に同期して時刻t0に垂直同期信号φSyncが発せられる。垂直同期信号φSyncに同期して時刻t0に制御パルス発生回路は制御信号ΦU(ON)、制御信号ΦT1(OFF)を発する。これに応じて画素信号出力時は電荷蓄積部はPDから切り離される。このとき撮像素子は図7(a)の電位分布状態にあり、ゲート603の下に形成された電荷蓄積部に電荷が保持されるとともに、PDで生成される電荷は電源電圧vddに破棄される。
時刻t1に発せられる制御信号ΦT2(OFF)、制御信号ΦT3(ON)により、電荷蓄積部に保持された電荷が垂直転送CCD部に移送される。このとき撮像素子は図7(b)の電位分布状態にあり、ゲート604直下の電位がゲート603直下の電位よりも低くなり、ゲート603直下の電荷はゲート604を経てゲート605の下の垂直転送CCD部に流れ込む。垂直転送CCDに移送された電荷はその後駆動信号によりフレーム期間中に水平転送CCDを経て外部出力される。また時刻t1からt2までにPDで生成される電荷は電源電圧vddに破棄される。
時刻t2に発せられる制御信号ΦT2(ON)、制御信号ΦT3(OFF)により、電荷蓄積部は垂直転送CCDへの電荷移送を終了する。このとき撮像素子は図7(c)の電位分布状態にあり、ゲート604直下の電位が上がって電荷蓄積部と垂直転送CCDが切り離される。また時刻t2からt3までにPDで生成される電荷は電源電圧vddに破棄される。
時刻t3に発せられる制御信号ΦU(OFF)、制御信号ΦT1(ON)により、PDで生成される電荷の電荷蓄積部での蓄積が開始される。このとき撮像素子は図7(d)の電位分布状態にあり、ゲート601直下の電位が上がってPDと電源電圧Vddが切り離される。また、ゲート602直下の電位がPDの電位より低くなり、PDで生成された電荷はゲート602直下を通り、ゲート602の電位より電位が低くなっているゲート603直下の電荷蓄積部に蓄積される。
以上の動作をフレーム毎に繰り返すことにより、連続した画像データが周期的に出力される。
以上の動作において撮像画素および焦点検出画素の電荷蓄積は、制御信号φUの立ち下がりから立ち上がりまでの時間(制御信号φT1の立ち上がりから立ち下がりまでの時間)でとなり、この時間が露光時間(電荷蓄積期間)となる。
図8は、一実施の形態のデジタルスチルカメラ201の撮像動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS100でカメラの電源がオンされると、ステップS110以降の撮像動作を開始する。ステップS100において撮像素子は一定周期で撮像動作を繰り返す動作モード(例えば1秒間に60フレームを出力する)に設定される。
ステップS110において輝度に応じて撮像素子に対し電荷蓄積時間を指定し、露光制御を行う。輝度の検出は不図示の測光手段の出力を用いたり、撮像素子の前回のフレームの撮像画素の出力を用いて行うことができる。ステップS120では1フレーム分の全画素データを読み出す。
ステップS130では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。
例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の4つの位置に近接した4つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の左右方向の2つの位置に近接した2つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。
このように補間した撮像画素データと本来の撮像画素データを合成して今回のフレームに対応する画像データを生成する。
続くステップS140では、今回のフレームに対応する画像データを電子ビューファインダーに表示(ライブビュー表示)させる。
ステップS150では不図示の操作部材による動画撮影の指示がなされているか否かを判定する。動画撮影の指示がなされていない場合には、そのままステップS165に進み、動画撮影の指示がなされていた場合には、ステップS160で今回のフレームに対応する画像データを動画データとしてメモリカード219に記憶してステップS165に進む。
ステップS165では欠陥画素情報および異常画素データの検知に応じて、後述するように像ズレ量検出演算(相関演算)に用いる焦点検出画素の範囲を決定する。なお焦点検出エリア(101〜103)のうちどの焦点検出エリアを使用するかは、不図示の操作部材の操作によりユーザーにより予め選択されている。
ステップS170では後述するように選択された焦点検出エリアにおいてステップS165で定められた焦点検出画素の範囲にある焦点検出画素のデータに基づき焦点検出を行い、デフォーカス量を算出する。
ステップS180ではデフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシングレンズ210を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシングレンズ210の駆動制御は更新しない。その後、ステップS110へ戻って上述した動作を繰り返す。
次に図8のステップS165の焦点検出画素範囲決定の詳細について説明する。像ズレ量検出演算(相関演算)においては一対の焦点検出画素データの一方を固定し、もう一方を固定した画素データに対してシフトさせて一対の焦点検出画素データ間の位相差を検出する。
図9は一対の焦点検出画素データのどちらを固定するかを説明するための図である。焦点検出位置101,102,103には一対の測距瞳92、93を通過する光束により一対の像が形成され、一対の測距瞳92、93は、該一対の像に対応する像信号を各焦点検出位置に配置された焦点検出画素が出力することになる。図9では、焦点検出位置103の図示を省略している。一対の測距瞳92、93は、撮影光学系の射出瞳90の測距瞳面に位置し、その測距瞳面は、交換レンズの予定結像面に配置されたマイクロレンズの前方dの距離に設定されている。距離dはマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる測距瞳距離である。
測距瞳92を通る焦点検出光束272と測距瞳93を通る焦点検出光束273が、焦点検出領域101に一対の像を形成する。測距瞳92を通る焦点検出光束282と測距瞳93を通る焦点検出光束283が、焦点検出領域102に一対の像を形成する。測距瞳92を通る焦点検出光束292と測距瞳93を通る焦点検出光束293が、焦点検出領域103に一対の像を形成する(不図示)。
撮影光軸91上にある焦点検出エリア101に属する焦点検出画素312,313については撮影光学系の射出瞳の位置が測距瞳距離d以外の位置にあっても、焦点検出画素312,313が受光する焦点検出光束272、273は撮影光軸91に対して対称に制限されるので、焦点検出画素312,313が出力する一対の焦点検出画素データのどちらを固定データとしても構わない。
一方焦点検出エリア102に属する焦点検出画素312,313については、撮影光学系の射出瞳の距離によって焦点検出画素312,313が受光する焦点検出光束282、283の制限のされ方が異なるので、より焦点検出光束が制限されていない(ケラレが少ない=一様輝度における出力が大きい)ほうの焦点検出画素データを固定データとする。
例えば撮影光学系の射出瞳が測距瞳距離dより短い距離d1の瞳面105にあった場合、焦点検出光束283より焦点検出光束282のほうがケラレが少ないので、固定データとして焦点検出画素312の焦点検出画素データを用いる。
また撮影光学系の射出瞳が測距瞳距離dより長い距離d2の瞳面110にあった場合、焦点検出光束282より焦点検出光束283のほうがケラレが少ないので、固定データとして焦点検出画素313の焦点検出画素データを用いる。
焦点検出エリア102と光軸に対して反対側にある焦点検出エリア103に関しては、焦点検出エリア102と一対の焦点検出光束のケラレ方が逆になる。すなわち撮影光学系の射出瞳が測距瞳距離dより短い距離d1の瞳面105にあった場合、固定データとして焦点検出画素313の焦点検出画素データを用い、撮影光学系の射出瞳が測距瞳距離dより長い距離d2の瞳面110にあった場合、固定データとして焦点検出画素312の焦点検出画素データを用いる。
図10は一対の焦点検出画素データを示すグラフであって、横軸は画素位置である。固定データとして選択された焦点検出画素データ(実線)は焦点検出光束のケラレが少ないため、もう一方の焦点検出画素データ(破線)より出力が高くなる。従って被写体の高輝度部分を受光した画素領域においては、出力飽和やAD変換レンジによる出力クリップが起こりやすい。図において破線で示す水平線は出力飽和レベルまたはAD変換の最大値を示しており、これにより焦点検出画素データ(実線)が一部クリップされている。もう一方の焦点検出画素データ(破線)では出力が小さく、出力クリップが生じておらず、一対の焦点検出画素データは波形が異なる。このため相関演算に用いる焦点検出画素の初期範囲R0において相関演算を行っても一対の焦点検出画素データの位相を正確に求めることができない。
そこで相関演算に用いる焦点検出画素の範囲として、出力クリップが生じていない範囲R1(正常なデータが連続している範囲で最大なもの)を再設定する。なお、一対の焦点検出画素データが、たとえば、ともにケラレていないような場合はデータレベルの平均が等しく、一対の焦点検出画素データは、その一部がクリップされていても波形が等しくなる。このような場合は、相関演算に用いる焦点検出画素の初期範囲R0において相関演算を行っても一対の焦点検出画素データの位相を正確に求めることができる。
図11は焦点検出画素の受光量と焦点検出画素のデータ(AD変換後)の関係を示したグラフであって、正常なデータ(実線)は、焦点検出画素のデータが受光量に対して、たとえば所定の比例関係となっていることを示している。焦点検出画素のデータは、受光量に対して対数の関係など、受光量に依存した他の関係であってもよい。一方異常なデータとしてはAD変換レンジでクリップされたデータA1、光電変換素子の電荷蓄積部の最大蓄積電荷量の制限などにより飽和したデータA2、画素欠陥により受光量と無関係に出力されるデータA3、画素欠陥により受光量に対して所定の比例関係とならないデータA4などがある。図11において、実線で表される正常なデータと受光量との所定の比例関係を表す傾きが取りうる値の範囲を実測等により予め求めておき、その範囲から、焦点検出画素における正常なデータと受光量との比例関係を表す傾きの値が外れているか否かに基づいて、その焦点検出画素のデータがデータA3およびA4に該当するか否かが判断される。なお、図11に示すデータA1に該当する焦点検出画素においては、光電変換素子の電荷蓄積部の最大蓄積電荷量の飽和値がAD変換レンジよりも高い値である。
ステップS165においてはAD変換の最大値または出力飽和値に達した異常な焦点検出画素データを検出して、該異常な焦点検出画素データが相関演算に用いる焦点検出画素の範囲に含まれないようにする。さらに記憶装置から欠陥焦点検出画素の位置情報を読み出して、該欠陥焦点検出画素が相関演算に用いる焦点検出画素の範囲に含まれないようにする。
図8のステップS170で用いられる像ズレ検出演算処理(相関演算処理)としては、特開2007−333720号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
焦点検出画素列から読み出された一対のデータ列(固定データ:A1〜A1、シフトデータ:A2〜A2、Mはデータ数)に対し、特開2007−333720号公報に開示された相関演算式(1)を行い、相関量C(k)を演算する。
C(k)=Σ|A1×A2n+S+k−A2n+k×A1n+S| (1)
Σ演算はnについて累積される。またパラメータsは所定の整数であり、例えば1,2,3・・のいずれかの値をとる。ただしΣ演算においてnおよびn+sのとる範囲は、ステップS165で定められた焦点検出画素の範囲R1に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
特開2009−141791号公報に開示された算出方法により、相関量C(k)の極小値C(x)を与えるずらしxを用いて像ズレ量shftを算出することができる。こうして算出された像ズレ量shftに所定の変換係数Kdを乗じてデフォーカス量defへ変換する。なお変換係数Kdは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離dを一対の測距瞳の重心間隔で除算した値に相当する。
def=Kd×shft (2)
以上のように本発明においては焦点検出画素から出力される一対の画素信号を相対的にシフトしながら相関演算を行って、一対の画素信号の相対的な位相差を検出する。該位相差に基づいて撮影レンズのデフォーカス量を求める際に、画素信号に含まれる異常な画素信号(飽和データ、AD最大値データ、欠陥焦点検出画素データ)を除外して相関演算を行うので、高精度な焦点検出を行うことができる。
撮像素子上に撮像画素と瞳分割型の焦点検出画素を有する撮像装置においては、焦点検出画素の画素信号から出力される一対の画素信号を相対的にシフトしながら相関演算を行うと、撮像画像が適正な輝度レベルとなるように全画素一律に露光制御が行われる。そのため、焦点検出画素の画素データが飽和する確率が高くなる。こうした撮像装置において、本発明は特に非常に有効である。
−−−変形例−−−
本発明に適用される相関演算としては式(1)に限定されるものではない。例えば式(3)のような相関演算にも適用できる。
C(k)=Σ|A1−A2n+k| (3)
Σ演算はnについて累積される。ただしΣ演算においてnのとる範囲は、ステップS165で定められた焦点検出画素の範囲R1に限定される。像ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
本発明に適用される相関演算式としては、例えば以下の演算式(4)を用いてもよい。
C(k)=Σ|(A1/A1n+1)−(A2n+k/A2n+1+k)| (4)
式(4)において、Σ演算はnについて累積され、nのとる範囲はずらし量kに応じてA1、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。
あるいは、本発明に適用される相関演算式として、式(5)を用いてもよい。
C(k)=Σ|A1/A2+k−A1n+1/A2n+1+k| (5)
式(5)において、Σ演算はnについて累積され、nのとる範囲はずらし量kに応じてA1n、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。上述したように、焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できる相関演算式であればどのような演算式でもよい。
<相関演算方法>
上述した実施形態の相関演算においては、一対の焦点検出画素データの一方を固定し他方をシフトするとともに、固定した方の焦点検出画素データにおいて、相関演算に用いる焦点検出画素データの範囲に異常データが含まれないように設定しているが、一対の焦点検出画素データの両方において異常データを除外して相関演算を行うようにしてもよい。
例えば式(3)に適用する場合、相関演算に用いる焦点検出画素の範囲として、図10に示す初期設定範囲R0をそのまま用いる。また、Σ演算の際に|A1−A2n+k|の中の2つのデータA1、A2n+kのどちらか一方が異常データである場合には|A1−A2n+k|=0としてΣ演算を行うことにより、異常データが相関演算に与える影響を排除することができる。
上述した実施形態の相関演算においては、一対の焦点検出画素データの一方を固定し他方をシフトしているが、これに限定されるものではなく、両方のデータを相対的にシフトするようにしてもよい。例えば式(3)の相関演算に対して、両方のデータを相対的にシフトした場合には式(6)、(7)、(8)となる。ただしDIV関数は正数の剰余が生じるような整数除算であり、DIV関数の出力値は商の整数部分である。
C(k)=Σ|A1−A2| (6)
p=n−DIV(k/2) (7)
q=n+DIV((k+1)/2) (8)
図3に示す撮像素子212では、焦点検出画素312、313がひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えてもよい。図12は、図3に示す撮像素子212に対応する変形例の撮像素子212Bを示し、焦点検出画素311ではひとつの画素内に一対の光電変換部を備える。図に示す焦点検出画素311が、図3に示す焦点検出画素312と焦点検出画素313のペアに相当した機能を果たす。
焦点検出画素311は、マイクロレンズ10、一対の光電変換部12,13からなる。焦点検出画素311には光量をかせぐために色フィルターが配置されておらず、焦点検出画素311は、光電変換を行うフォトダイオードの分光感度特性、赤外カットフィルター(不図示)の分光感度特性を総合した分光感度特性を有する。すなわち、緑画素、赤画素、青画素の分光感度特性を加算したような分光感度特性となる。焦点検出画素311が高い感度を示す光波長領域は、緑画素、赤画素、青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、たとえば特開2009−151155号公報に開示されるような再結像瞳分割方式の焦点検出にも適用可能である。
上述した実施形態においては、撮像素子としてCCDイメージセンサを用いているが、CMOSイメージセンサを用いることもできる。
上述した実施形態においては、動画撮影に本発明を適用しているが、これに限定されるものではなく、例えば連続撮影(複数回の画像フレームのうち所定回毎に画像フレームを記録する)や単独撮影(複数回の画像フレームのうち、所定のトリガに応じて1つの画像フレームを記録する)にも本発明を適用することが可能である。
上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。たとえば、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。
上述した実施形態においては撮像素子と光学系の間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば赤外カットフィルタや光学的ローパスフィルタやハーフミラーなどを設置してもよい。
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
10 マイクロレンズ、11、12、13 光電変換部、
90 射出瞳、91 撮影光軸、92、93 測距瞳、
100 撮影画面、101、102、103 焦点検出エリア、105、110 瞳面、
201 デジタルスチルカメラ、202 交換レンズ、203 カメラボディ、
204 マウント部、206 レンズ駆動制御装置、
208 ズーミング用レンズ、209 レンズ、210 フォーカシング用レンズ、
211 絞り、212 撮像素子、213 電気接点、
214 ボディ駆動制御装置、
215 液晶表示素子駆動回路、216 液晶表示素子、217 接眼レンズ、
219 メモリカード、220 記憶装置、221 AD変換装置、
272、273、282、283 焦点検出光束、
310 撮像画素、311、312、313 焦点検出画素、
330 出力回路、601、602、603、604、605 ゲート

Claims (10)

  1. 撮影光学系の一対の瞳をそれぞれ通過する第1及び第2の焦点検出光束のうちのケラレの相対的に大きい方の焦点検出光束を受光して前記ケラレの相対的に大きい方の焦点検出光束による像に対応する第1の画素信号列を出力すると共に、前記第1及び第2の焦点検出光束のうちのケラレの相対的に小さい方のまたはケラレのない焦点検出光束を受光して前記ケラレの相対的に小さい方のまたはケラレのない焦点検出光束による像に対応する第2の画素信号列を出力する複数の焦点検出画素と、
    前記第2の画素信号列を固定画素信号列として、前記第2の画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行う位相差式焦点検出手段とを備え、
    前記位相差式焦点検出手段は、前記第2の画素信号列中に異常な画素信号が含まれるときに、前記異常な画素信号の前方または後方で連続する複数の正常な画素信号からなる部分画素信号列を固定画素信号列として、前記部分画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行うことを特徴とする焦点検出装置。
  2. 請求項1に記載の焦点検出装置において、
    前記異常な画素信号は、欠陥焦点検出画素から出力される画素信号であり、
    前記欠陥焦点検出画素は、前記欠陥焦点検出画素の受光量に依存しない信号値を有する画素信号を出力することを特徴とする焦点検出装置。
  3. 請求項1に記載の焦点検出装置において、
    前記異常な画素信号は、欠陥焦点検出画素から出力される画素信号であり、前記欠陥焦点検出画素の受光量と前記欠陥焦点検出画素から出力される信号値との間の関係が、予め定められた受光量と信号値との間の所定の関係とは異なることを特徴とする焦点検出装置。
  4. 請求項1に記載の焦点検出装置において、
    前記異常な画素信号の信号値は、出力飽和値であることを特徴とする焦点検出装置。
  5. 請求項1に記載の焦点検出装置において、
    前記第1及び第2の画素信号列をそれぞれ形成する複数の画素信号の各々をディジタル信号に変換する変換手段をさらに備え、
    前記異常な画素信号の信号値は、前記変換手段による前記ディジタル信号の最大信号値であることを特徴とする焦点検出装置。
  6. 請求項2または3に記載の焦点検出装置において、
    前記欠陥焦点検出画素の位置情報を記憶する記憶手段をさらに備え、
    前記位相差式焦点検出手段は、前記記憶手段に記憶された前記欠陥焦点検出画素の位置情報に基づき前記部分画素信号列を選定することを特徴とする焦点検出装置。
  7. 請求項4または5に記載の焦点検出装置において、
    前記異常な画素信号を特定する特定手段をさらに備え、
    前記位相差式焦点検出手段は、前記特定手段により特定された前記異常な画素信号に基づき前記部分画素信号列を選定することを特徴とする焦点検出装置。
  8. 請求項7に記載の焦点検出装置において、
    前記特定手段は、前記複数の正常な画素信号の各々が取り得る信号値の範囲以外の信号値を持つ画素信号を前記異常な画素信号として特定することを特徴とする焦点検出装置。
  9. 請求項1〜8のいずれか1項に記載の焦点検出装置と、
    前記撮影光学系と、
    前記撮影光学系による像を撮像する撮像素子と、
    電荷蓄積制御手段と、を更に備え、
    前記撮像素子には、前記撮影光学系の射出瞳を通過する撮影光束を受光して撮像信号を出力する複数の撮像画素と前記複数の焦点検出画素とが2次元的に配置され、
    前記複数の撮像画素と前記複数の焦点検出画素とは、それぞれ電荷蓄積型光電変換素子を有し、
    前記電荷蓄積制御手段は、前記複数の撮像画素の有する前記電荷蓄積型光電変換素子と前記複数の焦点検出画素が有する前記電荷蓄積型光電変換素子とを、電荷蓄積時間が互いに等しくなるように共通的に制御することを特徴とするカメラ。
  10. 撮影光学系の一対の瞳をそれぞれ通過する一対の焦点検出光束のうちのケラレの相対的に大きい方の焦点検出光束を受光して第1の画素信号列を出力すると共に、前記一対の焦点検出光束のうちのケラレの相対的に小さい方のまたはケラレのない焦点検出光束を受光して第2の画素信号列を出力する複数の焦点検出画素と、
    前記第2の画素信号列を固定画素信号列として、前記第2の画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行う位相差式焦点検出手段とを備え、
    前記位相差式焦点検出手段は、前記第2の画素信号列中に異常な画素信号が含まれるときに、前記異常な画素信号の一方の側で連続する複数の正常な画素信号からなる画素信号列を固定画素信号列として、当該固定画素信号列に対して前記第1の画素信号列をシフトさせながら相関演算を行うことを特徴とする焦点検出装置。
JP2010182300A 2010-08-17 2010-08-17 焦点検出装置およびカメラ Active JP5699480B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010182300A JP5699480B2 (ja) 2010-08-17 2010-08-17 焦点検出装置およびカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010182300A JP5699480B2 (ja) 2010-08-17 2010-08-17 焦点検出装置およびカメラ

Publications (2)

Publication Number Publication Date
JP2012042597A JP2012042597A (ja) 2012-03-01
JP5699480B2 true JP5699480B2 (ja) 2015-04-08

Family

ID=45899024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010182300A Active JP5699480B2 (ja) 2010-08-17 2010-08-17 焦点検出装置およびカメラ

Country Status (1)

Country Link
JP (1) JP5699480B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5751946B2 (ja) * 2011-06-15 2015-07-22 キヤノン株式会社 焦点調節装置およびその制御方法
JP6144878B2 (ja) * 2012-04-27 2017-06-07 キヤノン株式会社 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム
JP5950679B2 (ja) * 2012-05-07 2016-07-13 キヤノン株式会社 焦点検出装置、撮像装置及び焦点検出方法
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置
JP6004768B2 (ja) * 2012-06-14 2016-10-12 キヤノン株式会社 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置
JP5997541B2 (ja) * 2012-08-10 2016-09-28 キヤノン株式会社 画像信号処理装置およびその制御方法
US9167151B2 (en) 2013-03-07 2015-10-20 Canon Kabushiki Kaisha Focus detection apparatus, focus detection method, and image capturing apparatus
JP5946421B2 (ja) 2013-03-19 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP6332951B2 (ja) * 2013-11-29 2018-05-30 キヤノン株式会社 画像処理装置および画像処理方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346926B2 (ja) * 2003-02-27 2009-10-21 キヤノン株式会社 ストロボ撮影システムおよび撮像装置
JP4867552B2 (ja) * 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
JP2008185821A (ja) * 2007-01-30 2008-08-14 Nikon Corp 測光装置および撮像装置
JP2008300957A (ja) * 2007-05-29 2008-12-11 Sony Corp 撮像装置および欠陥画素検出方法
JP5399627B2 (ja) * 2007-12-21 2014-01-29 株式会社ニコン 焦点検出装置、焦点調節装置および撮像装置
JP5159520B2 (ja) * 2008-08-29 2013-03-06 キヤノン株式会社 撮像装置、自動焦点検出装置及びその制御方法
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP4494505B1 (ja) * 2009-02-13 2010-06-30 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2012042597A (ja) 2012-03-01

Similar Documents

Publication Publication Date Title
JP5699480B2 (ja) 焦点検出装置およびカメラ
US9756237B2 (en) Focus detection device and image-capturing apparatus
JP5092685B2 (ja) 撮像素子および撮像装置
JP5045350B2 (ja) 撮像素子および撮像装置
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
JP5157400B2 (ja) 撮像装置
JP5817154B2 (ja) 撮像装置
JP5565105B2 (ja) 撮像装置
EP1975695A2 (en) Focus detection device, focusing state detection method and imaging apparatus
JP2008085738A (ja) 撮像装置
JP2009128892A (ja) 撮像素子および撮像装置
US9357121B2 (en) Image capturing apparatus and control method thereof
JP5609098B2 (ja) 撮像装置
JP5609232B2 (ja) 撮像装置
JP2012237769A (ja) 撮像装置
JP5747510B2 (ja) 撮像装置
JP5962830B2 (ja) 焦点検出装置
JP5407314B2 (ja) 焦点検出装置および撮像装置
JP5804104B2 (ja) 焦点調節装置
JP5724208B2 (ja) 撮像装置
JP5440585B2 (ja) デジタルカメラ
JP5685892B2 (ja) 焦点検出装置、焦点調節装置および撮像装置
JP5949893B2 (ja) 撮像装置
JP2015148819A (ja) 撮像装置
JP2010039106A (ja) 撮像素子、焦点検出装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

R150 Certificate of patent or registration of utility model

Ref document number: 5699480

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250