JP5507764B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5507764B2
JP5507764B2 JP2013529923A JP2013529923A JP5507764B2 JP 5507764 B2 JP5507764 B2 JP 5507764B2 JP 2013529923 A JP2013529923 A JP 2013529923A JP 2013529923 A JP2013529923 A JP 2013529923A JP 5507764 B2 JP5507764 B2 JP 5507764B2
Authority
JP
Japan
Prior art keywords
light receiving
receiving element
element group
characteristic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013529923A
Other languages
English (en)
Other versions
JPWO2013027488A1 (ja
Inventor
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013529923A priority Critical patent/JP5507764B2/ja
Application granted granted Critical
Publication of JP5507764B2 publication Critical patent/JP5507764B2/ja
Publication of JPWO2013027488A1 publication Critical patent/JPWO2013027488A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は撮像装置に係り、特に多様な特性の画像を取得することができる撮像装置に関する。
特許文献1には、所定の分光透過特性を有する第1のレンズ部と、当該所定の分光透過特性とは実質的に異なる分光透過特性を有する第2のレンズ部とが同芯状に配置され、かつ第1のレンズ部と第2のレンズ部の焦点距離が異なるカメラの撮影レンズが提案されている。そして、照明用の光源によって前記第1のレンズ部及び第2のレンズ部のいずれか一方の分光透過特性に応じた分光放射特性を有する照明光を被写体に照射することにより、前記第1のレンズ部又は第2のレンズ部を透過した被写体を撮像できるようにしている。
特許文献2には、瞳分割型位相差焦点調節に使用される光検出素子が設けられた撮像素子が提案されている。具体的には、撮像素子の焦点検出を行うための領域に、複数の画素に対して1つのマイクロレンズを配設した画素対を規則的に配置し、複数の画素対の画像の位相ずれによりピントずれを検出できるようにしている。
また、特許文献3には、シーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて2つに分離することによって相関法を用いて距離情報を求めることのできる3次元撮像装置が提案されている。
特開2003−98426号公報 特開2007−317951号公報 特開2002−191060号公報
特許文献1には、第1のレンズ部を通過した光束と第2のレンズ部を通過した光束とを瞳分割し、それぞれ1つの撮像素子内の第1の画素群と第2の画素群とに入射させ、1つの撮像素子から別々の画像として読み出す技術は記載されていない。
一方、特許文献2に記載の発明は、複数の画素対からそれぞれ別々の画像を読み出すことができるが、これらの画像は、画像間の位相ずれ(ピントずれ)を検出するためのものである。したがって、ピントずれによる位相差の検出が可能な画素対は、ピント合わせを行う領域のみに配設されており、他の領域には通常の画素が配置されている。
また、特許文献3には、左右方向に瞳分割された画像をそれぞれ取得することができる撮像素子が開示されているが、この撮像素子の各セルは、左右の視差画像が得られるように撮像素子全面に一様に配置されている。
したがって、特許文献1に記載の発明に、特許文献2、3に記載の技術を組み合わせる動機付けはない。
本発明は、複数の特性を有する撮影光学系の各特性に対応する画像を、各特性に応じて重み付けされた画像として取得することができる撮像装置を提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る撮像装置は、第1の特性を有する第1の領域と第1の特性とは異なる第2の特性を有する第2の領域とを有する撮影光学系と、2次元配列された第1の受光素子群及び第2の受光素子群を有する撮像素子と、撮像素子の第1の受光素子群及び第2の受光素子群にそれぞれ対応して設けられ、撮影光学系の第1の領域を通過した光束のみを第1の受光素子群に受光させ、撮影光学系の第2の領域を通過した光束のみを第2の受光素子群に受光させる光学要素と、撮像素子の第1の受光素子群又は第2の受光素子群からそれぞれ第1の撮像信号又は第2の撮像信号を取得して第1の画像又は第2の画像を生成する画像生成部とを備え、撮像素子の第1の受光素子群と第2の受光素子群とは、それぞれ撮影光学系の第1の特性及び第2の特性に応じて、重み付けの異なる第1の画像と第2の画像とを取得できるように構成されている。
本発明の一の態様によれば、撮影光学系の異なる特性を有する第1の領域及び第2の領域を通過した光束をそれぞれ撮像素子の第1の受光素子群及び第2の受光素子群に入射させ、第1の受光素子群及び第2の受光素子群からそれぞれ第1の撮像信号及び第2の撮像信号を取得して第1の画像及び第2の画像を生成する。このため、撮影光学系の第1の特性及び第2の特性に対応する第1の画像及び第2の画像をそれぞれ取得することができる。また、第1の受光素子群と第2の受光素子群とは、情報獲得能力に重み付けがされている。これにより、撮影光学系の第1の特性及び第2の特性に応じて重み付けされた第1の画像及び第2の画像を取得することができる。
本発明の他の態様に係る撮像装置において、撮影光学系の第1の領域と第2の領域は、焦点距離、透過する波長域、及び空間周波数特性のうちの少なくとも1つが異なっている。
本発明の更に他の態様に係る撮像装置において、撮像素子の第1の受光素子群と第2の受光素子群とは、撮影光学系の第1の特性及び第2の特性のうちの重要視する特性に対応する受光素子の配置数が、他の受光素子の配置数よりも多く割り当てられている。これにより、重要視する特性に対応する画像か否かに応じて異なる画像サイズの画像を取得することができる。
本発明の更に他の態様に係る撮像装置において、撮影光学系は、撮影距離が一般距離用の第1の特性と接写用の第2の特性とを有し、撮像素子の第1の受光素子群の画素数は、第2の受光素子群の画素数よりも多いことが好ましい。これにより、撮影距離が一般距離用の画像の画像サイズを、接写用の画像の画像サイズよりも大きくすることができる。
本発明の更に他の態様に係る撮像装置において、撮像素子の第1の受光素子群と第2の受光素子群とは、撮像素子の位置に応じて第1の受光素子群の配置密度と第2の受光素子群の配置密度とが異なるように構成されている。これにより、撮影光学系の第1の特性及び第2の特性に応じた解像度の画像を取得することができる。
本発明の更に他の態様に係る撮像装置において、撮影光学系は、該撮影光学系の光軸を中心とする円形状の第1の領域及び円環形状の第2の領域を有する。第1の領域は、撮影距離が一般距離用の第1の特性を有し、第2の領域は、接写用の第2の特性を有する。撮像素子の第1の受光素子群の配置密度は、撮像素子の中央部よりも周辺部の配置密度が高く、第2の受光素子群の配置密度は、撮像素子の周辺部よりも中心部の配置密度が高くなっている。接写用の画像は、撮像素子(撮影画面)の中央部が重要なため、その重要な部分の解像度を高くすることができる。一方、一般距離用の画像は、撮像素子(撮影画面)全体にわたって、まんべんなく解像度を維持することができる。
本発明の更に他の態様に係る撮像装置において、撮影光学系は、遠景に焦点が合う第1の特性と近景に焦点が合う第2の特性とを有し、撮像素子の第1の受光素子群の密度は、撮像素子の上部領域よりも下部領域の方が高く、第2の受光素子群の密度は、撮像素子の下部領域よりも上部領域の方が高いことが好ましい。遠景の被写体は撮影画面の上方(撮像素子の下方)に存在することが多く、近景の被写体は撮影画面の下方(撮像素子の上方)に存在することが多い。このため、これらの遠景の被写体が合焦する第1の受光素子群と近景の被写体が合焦する第2の受光素子群の密度を、撮像素子の上下方向に位置に応じて変更するようにしている。
本発明の更に他の態様に係る撮像装置において、撮像素子の第1の受光素子群と第2の受光素子群とは、撮影感度が異なるように構成されている。これにより、より光量を必要とする特性に対応する受光素子群の感度を上げることができ、光量を必要としない特性に対応する受光素子群の感度を通常の感度にすることができる。
本発明の更に他の態様に係る撮像装置において、撮像素子の第1の受光素子群と第2の受光素子群とは、光が入射する開口サイズ、又は各受光素子に光を集光させるマイクロレンズのサイズが異なるように構成されている。
本発明の更に他の態様に係る撮像装置において、撮影光学系は、撮影距離が一般距離用の第1の特性を有する第1の領域と、接写用の第2の特性に対応する第2の領域とを有し、撮像素子の第2の受光素子群の撮影感度は、第2の受光素子群の撮影感度よりも高いことが好ましい。
本発明によれば、撮影光学系の異なる特性を有する第1の領域及び第2の領域を通過した光束をそれぞれ撮像素子の第1の受光素子群及び第2の受光素子群に入射させ、前記第1の第1の受光素子群及び第2の受光素子群からそれぞれ第1の撮像信号又は第2の撮像信号を取得して第1の画像又は第2の画像を生成するようにした。このため、前記撮影光学系の第1の特性及び第2の特性に対応する第1の画像及び第2の画像をそれぞれ取得することができる。特に第1の受光素子群と第2の受光素子群とは、情報獲得能力に重み付けがされている。このため、前記撮影光学系の第1の特性及び第2の特性に応じて重み付けされた第1の画像及び第3の画像を取得することができる。
本発明に係る撮像装置の全体構成の実施形態を示すブロック図 図1に示した撮影レンズと撮像素子の関係を示す図 図1に示した撮影レンズを示す正面図 瞳指向性をもたせるための光学要素の一例を説明するために用いた撮像素子の要部断面図 撮像素子に配置される瞳指向性の異なる2種類の受光セルの重み付け配置(配置数)の実施形態を示す図 撮像素子に配置される瞳指向性の異なる3種類の受光セルを構成する遮光部材の第1の例を示す図 撮像素子に配置される瞳指向性の異なる3種類の受光セルを構成する遮光部材の第2の例を示す図 撮像素子に配置される瞳指向性の異なる3種類の受光セルを構成する遮光部材の第3の例を示す図 撮像素子に配置される瞳指向性の異なる2種類の受光セルの重み付け配置(配置密度)の実施形態を示す図 撮像素子に配置される瞳指向性の異なる2種類の受光セルの重み付け配置(配置密度)の他の実施形態を示す図 撮像素子に配置される瞳指向性の異なる2種類の受光セルの撮影感度(開口サイズ)が重み付けされている実施形態を示す図 撮像素子に配置される瞳指向性の異なる2種類の受光セルの撮影感度(マイクロレンズのサイズ)が重み付けされている実施形態を示す図 撮影レンズの領域毎に空間周波数特性が異なる撮影レンズの一例を示す図 撮影レンズの領域毎に空間周波数特性が異なる撮影レンズにおいて空間周波数とMTF特性の関係を示すグラフ
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
<撮像装置>
図1は本発明に係る撮像装置の全体構成の実施形態を示すブロック図である。
この撮像装置1は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU(Central Processing Unit))40によって統括制御される。
撮像装置1には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキーを含む操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置1の各回路を制御する。CPU40は、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ(LCD(Liquid Crystal Display))30の表示制御などを行う。
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する2段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択操作用の操作部材である。
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせるときなどに使用される。
撮影モード時において、被写体光は、撮影光学系、及び瞳指向性をもたせるための光学要素12を介してCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子16の受光面に結像される。
撮影光学系は、撮影レンズ10、絞り、フィルタ等を含んで構成されている。図1には、撮影光学系の構成要素のうち撮影レンズ10のみが示されている。
この実施形態の撮影レンズ10は、図2Aおよび図2Bに示すように近接撮影(例えば、数10cm以内の接写撮影)用の焦点距離を有する領域10aと、遠距離撮影用(例えば、1m〜無限までの一般距離用)の焦点距離を有する領域10bとを有する2焦点レンズである。領域10aは撮影レンズ10の光軸を中心とする円形状に形成され、領域10bは円環形状に形成されている。また、領域10aと領域10bとの間には、後述する瞳分割された光束間でクロストークが生じないように遮光帯が設けられている。
撮像素子16は、多数の受光セル(受光素子)が2次元配列されており、各受光セルの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧(または電荷)に変換される。
撮像素子16の前面には、図3に示すように瞳指向性をもたせるための光学要素12が配設されている。この光学要素12は、集光及び結像用のマイクロレンズ12aと、受光セル16a、16bの開口を規制する遮光部材12bとから構成されている。尚、各マイクロレンズ12aの下方には、赤(R)、緑(G)、青(B)のカラーフィルタ13が配設されている。
受光セル16aは遮光部材12bによりその開口の周辺部が遮光され、一方、受光セル16bは遮光部材12bにその開口の中心部が遮光されている。これにより、撮影レンズ10の中央部の領域10aを通過した光束は、マイクロレンズ12a及び遮光部材12bにより瞳分割されて受光セル16aに入射し、一方、撮影レンズ10の周辺部の領域10bを通過した光束は、マイクロレンズ12a及び遮光部材12bにより瞳分割されて受光セル16bに入射する。
撮影レンズ10の2つの領域10a,10bを通過する光束をそれぞれ受光する受光セル16aと受光セル16bとは、それぞれ2次元配列されているが、受光セル16aの画素群と受光セル16bの画素群とは、後述するように重み付け配置されており、撮影レンズ10の領域10a,10bの特性に応じた情報獲得能力が得られるようになっている。
図1に戻って、入射した入射光は、その光量に応じた電荷に変換され、受光セルそのものもしくは付設されたキャパシタに蓄えられる。撮像素子16に蓄積された電荷は、センサ制御部32からの駆動信号に従って、電荷量に応じた電圧信号として読み出されて、当該画素位置に関する情報とともに保持される。上記画素ごとの電圧信号は、例えば、X−Yアドレス方式を用いたMOS型撮像素子(いわゆるCMOSセンサ)の手法を用いて、読み出し対象の画素位置の選択情報とともに読み出される。
これにより、図2Aに示すように撮像素子16からは、受光セル16aの画素群に対応する撮像信号と、受光セル16bの画素群に対応する撮像信号とが別々に読み出すことができる。例えば、操作部38での操作により接写モードが設定された場合には、受光セル16aの画素群に対応する撮像信号が読み出され、接写モード以外の通常の撮影モードでは、受光セル16bの画素群に対応する撮像信号が読み出される。
撮像素子16から読み出された撮像信号(電圧信号)には、相関2重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減するための処理。具体的には、撮像素子16の1画素毎の出力信号に含まれるフィードスルー成分レベル(信号レベルがゼロのゼロレベル期間の信号)と画素信号成分レベルとの差をとることにより正確な画素データを得る処理)により各画素毎のR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器21に加えられる。A/D変換器21は、順次入力されるアナログの電圧信号(R、G、B信号)をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理(R,G,Bの色信号を輝度信号および色差信号に変換する処理)等の所定の信号処理を行う。
また、画像処理部25は、以下の処理を行うが、画像処理部25が行う処理は必須ではない。
後述するように、撮像素子16には接写用の受光セル16aが9画素(3×3画素)に1画素の割合で含まれる(図4参照)ため、通常撮影距離用の受光セル16bから読み出された画像データから生成した画像は、接写用の受光セル16aが存在する画素のデータが欠落している。したがって、受光セル16aの存在による欠落画素については、周囲の受光セル16bの画像データに基づいて補間処理を行い、欠落画素を埋める処理を行う(自己補間処理)。補間処理については公知であるため、説明を省略する。尚、補間に用いる列数や重みづけの態様は適宜選択可能である。
また、撮像素子16の受光セル16aには、撮影レンズ10の領域10aを通過する光束が入射するが、瞳指向性をもたせるための光学要素12の精度誤差により、瞳分割された光束間でクロストークが生じ、領域10bを通過する光束の一部が入射する場合がある。同様に、撮像素子16の受光セル16bには、撮影レンズ10の領域10bを通過する光束が入射するが、領域10aを通過する光束の一部が入射する場合がある。画像処理部25は、このようなクロストークの発生による画像のボケやコントラスト劣化を補正する画像処理を行う。
画像処理部25で処理され画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30に出力される。これにより、被写体像が液晶モニタ30の表示画面上に表示される。
操作部38のシャッタボタンの第1段階の押下(半押し)があると、CPU40は、自動焦点調整(AE)動作を開始させ、A/D変換器21から出力される画像データは、AE検出部44に取り込まれる。
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出する。CPU40は、この撮影Ev値に基づいて絞りの絞り値及び撮像素子16の電子シャッタ(シャッタスピード)を所定のプログラム線図に従って決定する。そして、CPU40は、その決定した絞り値に基づいて絞りを制御し、決定したシャッタスピードに基づいてセンサ制御部32を介して撮像素子16での電荷蓄積時間を制御する。
AE動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器21から出力される画像データが画像入力コントローラ22からメモリ(SDRAM(Synchronous Dynamic Random Access Memory))48に入力され、一時的に記憶される。この実施形態では、撮影者の指示により接写モードが設定されている場合には、受光セル16aの画素群に対応する画像データが読み出され、接写モード以外の通常の撮影モードでは、受光セル16bの画素群に対応する画像データが読み出される。尚、受光セル16aの画素群に対応する画像データと、受光セル16bの画素群に対応する画像データとを同時に読み出すようにしてもよい。
メモリ48に一時的に記憶された画像データは、デジタル信号処理部24及び画像処理部25により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。
前記メモリ48に記憶されたYCデータは、それぞれ圧縮伸張処理部26に出力され、JPEG(joint photographic experts group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ52を介してメモリカード54に記録される。これにより、接写画像又は一般距離用の画像を撮影記録することができる。
次に、前記撮像素子16における受光セル16aと受光セル16bの重み付け配置について説明する。
[配置数]
図4は受光セル16aと受光セル16bの重み付け配置の実施形態を示す図であり、撮像素子16の受光面の一部を模式的に示した図である。
図4に示すように、撮像素子16は、3×3画素の配置パターンが水平方向及び垂直方向に繰り返し配列されて構成されており、3×3画素の中心の1画素として受光セル16aが配置され、3×3画素のうちの受光セル16a以外の8画素として受光セル16bが配置されている。
したがって、接写用の受光セル16aと一般距離用の受光セル16bとは、その画素数の割合が1:8となっており、それぞれまんべんなく撮像素子16の全領域に配置されている。
本実施形態では、一般距離用の受光セル16bの配置数を、接写用の受光セル16aの配置数よりも多くした第1の理由は、一般距離用の画像の方が撮影の頻度が高く、より重要視する画像である場合が多いからである。また、この撮像装置1が搭載されたカメラ付き携帯電話において、接写撮影を行うシーンとしては、主にバーコード(一次元バーコード、又は二次元バーコード(QR(Quick Response)コード))を読み取るシーンが想定される。上記のことから、一般距離用の受光セル16bの配置数を、接写用の受光セル16aの配置数よりも多くした第2の理由は、バーコードの読み取りが可能な解像度が確保されればよく、一般の写真のような画質が要求されないからである。
尚、この実施形態の撮影レンズ10は、図2に示したように2焦点レンズであるが、これに限らず、例えば、一般撮影距離、食べ物や商品の撮影距離、及び接写撮影距離にそれぞれ適した焦点距離を有する円形及びドーナツ状の領域を有する3焦点レンズを適用することができる。この場合、撮像素子の各受光セルの受光面を、図5A〜図5Cに示すような遮光部材により遮光することにより、上記撮影レンズの各領域を通過する光束をそれぞれ受光する、瞳指向性の異なる3種類の受光セルを構成することがきる。また、一般撮影距離、食べ物や商品の撮影距離、及び接写撮影距離に対応する3種類の受光セルの配置数の割合としては、例えば、4:4:1にすることができる。
[配置密度]
図6は撮像素子161の受光面の一部を模式的に示した図であり、受光セル161aと受光セル161bの配置密度に重み付けした実施形態を示す図である。
図6の(a)部に示すように、撮像素子161の受光面は中央部と周辺部の2つの領域に区分される。撮像素子161の中央部の領域には、接写用の受光セル161aの密度が一般距離用の受光セル161bの密度よりも高くなるように受光セル161aと受光セル161bとが配置される(図6の(b)部)。一方、周辺部の領域には、接写用の受光セル161aの密度が一般距離用の受光セル161bの密度よりも低くなるように受光セル161aと受光セル161bとが配置されている(図6の(c)部)。
即ち、重要な領域にその特性に対応する受光セルの配置密度が高くなるように割り当てられている。具体的には、受光セル161aと受光セル161bとの配置密度は、撮像素子161の中央部(光軸近傍)と周辺部とで異なっており、中央部の領域では接写用の受光セル161aの密度が高く、周辺部の領域では一般距離用の受光セル161bの密度が高くなるように配置されている。
ここで、撮像素子161の中央部の領域における接写用の受光セル161aの配置密度を高くした理由は、一般の接写撮影では、撮影画面の中央部に主要被写体を位置させて撮影を行う場合が多く、この中央部の画質(解像度)を高くすることが好ましいからである。
また、接写用の受光セル161aは、撮像素子161の中央部の領域のみ密度高く割り当て、周辺部の領域では一般距離用の受光セル161bのみを割り当てるようにしてもよい。例えば、撮像装置1が搭載されたカメラ付き携帯電話において、バーコード読み取りを行う場合、適切な撮影距離でのバーコード撮影を促すように、液晶モニタ上に所定の大きさでバーコードが表示されるようにアシストする表示枠を表示するものがあり、この場合、接写用の受光セル161aは、バーコードを撮影する範囲のみに配置されていればよい。
図7は撮像素子162の受光面の一部を模式的に示した図であり、受光セル162aと受光セル162bの配置密度に重み付けした他の実施形態を示す図である。
図7の(a)部に示すように、撮像素子162の受光面は上部と下部の2つの領域に区分される。上部の領域には、被写体距離の近い近距離用の受光セル162aの密度が、被写体距離の遠い遠距離用の受光セル162bの密度よりも高くなるように受光セル162aと受光セル162bとが配置される(図7の(b)部)。一方、下部の領域には、遠距影用の受光セル162bの密度が、近距離用の受光セル162aの密度よりも高くなるように受光セル162aと受光セル162bとが配置されている(図7の(c)部)。
尚、撮影レンズ(図示せず)は、近距離の被写体に合焦する焦点距離を有する領域と遠距離の被写体に合焦する焦点距離を有する領域とが、撮影レンズの上下2分割された領域にそれぞれ形成されているものが好ましい。前記撮像素子162の近距離用の受光セル162aと遠距離用の受光セル162bは、それぞれ前記撮影レンズの近距離用の領域を通過した光束及び遠距離用の領域を通過した光束をそれぞれ受光するものとする。
図7に示したように撮像素子162の上部の領域において近距離用の受光セル16aの配置密度を多くし、下部の領域において遠距離用の受光セル16bの配置密度を多くした理由は、近距離の被写体は撮影画面の下方(撮像素子の上部)に存在する場合が多く、一方、遠距離の被写体は撮影画面の上方(撮像素子の下部)に存在する場合が多いからである。
[開口サイズ]
図8は瞳指向性をもたせるための光学要素121と撮像素子163の要部断面図である。
光学要素121は、集光及び結像用のマイクロレンズ121aと、受光セル163a、163bの開口を規制する遮光部材121bとから構成されている。尚、撮影レンズ10(図2参照)の2つの領域10a,10bを通過する光束をそれぞれ受光する受光セル163aと受光セル163bとは、それぞれ2次元配列されている。
受光セル163aは遮光部材121bによりその開口の周辺部が遮光される。一方、受光セル163bは遮光部材121bにその開口の中心部が遮光されている。これにより、撮影レンズ10の中央部の領域10aを通過した光束は、マイクロレンズ121a及び遮光部材121bにより瞳分割されて受光セル163aに入射する。一方、撮影レンズ10の周辺部の領域10bを通過した光束は、マイクロレンズ121a及び遮光部材121bにより瞳分割されて受光セル163bに入射する。
図8に示すように前記受光セル163aと受光セル163bとは、それぞれ遮光部材121bにより遮光される位置及び面積が異なっている。受光セル163aの開口サイズは、受光セル163bの開口サイズよりも大きくなっている。
これにより、マイクロレンズ121aを介して同じ光量が受光セル163a、163bに入射する場合、受光セル163aは、受光セル163bよりも多くの光量を受光することができ、撮影感度が高いものとなっている。
受光セル163aの画素群から取得することができる画像は、撮影感度が高く、受光セル163bの画素群から取得することができる画像は、通常の撮影感度とすることができる。
そして、撮影レンズ10の接写用の領域10aを通過した光束は、光学要素121を介して受光セル163aに入射し、一般距離用の領域10bを通過した光束は、光学要素121を介して受光セル163bに入射する。これにより、受光セル163aの画素群から取得可能な接写撮影された画像は、撮影感度の高い画像になり、受光セル163bの画素群から取得可能な一般距離用の画像は、通常の撮影感度の画像になる。
このように撮影レンズ10の異なる特性に合わせて、開口サイズの異なる受光セル163a、受光セル163bを割り当てることにより、その特性に合った撮影感度の画像を得ることができる。
この実施の形態では、より光量を必要とする特性に大きな開口サイズの受光セル163aを割り当てるようにしている。このように接写用のレンズ特性に対応する受光セル163aの開口サイズを大きくすることにより、例えば、接写撮影時に被写体が撮像装置の影に入って暗くなる場合でも明るい画像として取得することができる。
図9は瞳指向性をもたせるための光学要素122と撮像素子164の要部断面図である。
光学要素122は、集光及び結像用のマイクロレンズ122a、122aと、受光セル164a、164bの開口を規制する遮光部材122bとから構成されている。尚、撮影レンズ10(図2参照)の2つの領域10a,10bを通過する光束をそれぞれ受光する受光セル164aと受光セル164bとは、それぞれ2次元配列されている。
受光セル164aは遮光部材121bによりその開口の周辺部が遮光される。一方、受光セル164bは遮光部材12bにその開口の中心部が遮光される。これにより、撮影レンズ10の中央部の領域10aを通過した光束は、マイクロレンズ122a及び遮光部材122bにより瞳分割されて受光セル164aに入射する。一方、撮影レンズ10の周辺部の領域10bを通過した光束は、マイクロレンズ122a及び遮光部材122bにより瞳分割されて受光セル164bに入射する。
ここで、マイクロレンズ122aとマイクロレンズ122aとは、レンズサイズ(レンズ径)が異なり、マイクロレンズ122aは、マイクロレンズ122aよりも多くの光量を集光して受光セル164aに入射させることができる。これにより、図8に示した実施形態と同様に、撮影感度の異なる画像を取得することができる。
[その他]
本実施の形態では、撮影レンズとして異なる焦点距離の領域を有する多焦点レンズを使用したが、撮影レンズはこの形態に限られない。例えば、透過波長域が異なる複数の領域を有するレンズや、色の異なる様々な複数の領域を有するレンズ等の多様特性レンズを用いることができる。
例えば、赤外カット領域と可視光カット領域とを有する撮影レンズ(撮影レンズとフィルタからなる撮影光学系)を使用し、撮像素子には、RGBのカラーフィルタを有する受光セルと、カラーフィルタのない受光セルとを2次元配列する。瞳指向性をもたせるための光学要素により赤外カット領域を通過した光束を、カラーフィルタを有する受光セルに入射させ、可視カット領域を通過した光束を、カラーフィルタのない受光セルに入射させる。これによれば、通常のカラー画像と赤外線画像とを撮影することができる。
この場合、通常のカラー画像に対応する受光セルの配置数は、赤外線画像に対応する受光セルの配置数よりも多くする。一般に通常のカラー画像に比べて赤外線画像は画質(解像度)が低いからである。また、赤外線画像に対応する受光セルの開口サイズは、カラー画像に対応する受光セルの開口サイズよりも大きくする。赤外線画像は、暗い撮影条件下で使用されることが多いからである。
また、撮影レンズの他の例としては、図10に示すように領域105a、105b、105cに応じて空間周波数特性の異なる撮影レンズ105を適用することができる。この場合、レンズ性能の高い領域(例えば、MTF(Modulation Transfer Function)の高い領域)に対応する受光セルの配置数の割合を、レンズ性能の低い領域に対応する受光セルの配置数の割合よりも高くすることが好ましい。
更に、撮影レンズの特性の異なる領域に対応する各受光セルの配置数、配置密度及び開口サイズ(撮影感度)のうちの2つ以上を適宜組み合わせて、その特性に対して重み付けを行うようにしてもよい。
更にまた、瞳指向性をもたせるための光学要素は、本実施の形態のマイクロレンズと遮光部材の組み合わせによるものに限らず、例えば、マイクロスプリットプリズムを使用するもの(特許文献3)、瞳分割偏光素子を使用するもの(特開2009−162847号公報)等を適用することができる。
また、本実施の形態では、撮像素子にCMOSを用いた例で説明したが、CMOSに限定されるものではなく、CCD(Charge Coupled Device)等他のイメージセンサも適用可能である。
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1…撮像装置、10…撮影レンズ、12…光学要素、12a、121a、122a、122a…マイクロレンズ、12b、121b,122b…遮光部材、16a、16b、161a、161b、162a、162b、163a、163b、164a、164b…受光セル、24…デジタル信号処理部、25…画像処理部、40…中央処理装置(CPU)

Claims (10)

  1. 第1の特性を有する第1の領域と前記第1の特性とは異なる第2の特性を有する第2の領域とを有する撮影光学系と、
    2次元配列された第1の受光素子群及び第2の受光素子群を有する撮像素子と、
    前記撮像素子の第1の受光素子群及び第2の受光素子群にそれぞれ対応して設けられ、前記撮影光学系の第1の領域を通過した光束のみを前記第1の受光素子群に受光させるとともに、前記撮影光学系の第2の領域を通過した光束のみを前記第2の受光素子群に受光させる光学要素と、
    前記撮像素子の第1の受光素子群又は第2の受光素子群からそれぞれ第1の撮像信号又は第2の撮像信号を取得して第1の画像又は第2の画像を生成する画像生成部とを備え、
    前記撮像素子の第1の受光素子群と第2の受光素子群とは、それぞれ前記撮影光学系の第1の特性及び第2の特性に応じて、重み付けの異なる前記第1の画像と第2の画像とを取得できるように構成されている撮像装置。
  2. 前記撮影光学系の前記第1の領域と第2の領域は、焦点距離、透過する波長域、及び空間周波数特性のうちの少なくとも1つが異なる請求項1に記載の撮像装置。
  3. 前記撮像素子の第1の受光素子群と第2の受光素子群とは、前記撮影光学系の第1の特性及び第2の特性のうちの重要視する特性に対応する受光素子の配置数が、他の受光素子の配置数よりも多く割り当てられている請求項1又は2に記載の撮像装置。
  4. 前記撮影光学系は、撮影距離が一般距離用の第1の特性と接写用の第2の特性とを有し、
    前記撮像素子の第1の受光素子群の画素数は、前記第2の受光素子群の画素数よりも多い請求項3に記載の撮像装置。
  5. 前記撮像素子の第1の受光素子群と第2の受光素子群とは、前記撮像素子の位置に応じて前記第1の受光素子群の配置密度と第2の受光素子群の配置密度とが異なるように構成されている請求項1又は2に記載の撮像装置。
  6. 前記撮影光学系は、該撮影光学系の光軸を中心とする円形状の第1の領域及び円環形状の第2の領域であって、撮影距離が一般距離用の第1の特性を有する前記第1の領域と、接写用の第2の特性に対応する前記第2の領域とを有し、
    前記撮像素子の第1の受光素子群の配置密度は、前記撮像素子の中央部よりも周辺部の配置密度が高く、前記第2の受光素子群の配置密度は、前記撮像素子の周辺部よりも中心部の配置密度が高い請求項5に記載の撮像装置。
  7. 前記撮影光学系は、遠景に焦点が合う第1の特性と近景に焦点が合う第2の特性とを有し、
    前記撮像素子の第1の受光素子群の密度は、前記撮像素子の上部領域よりも下部領域の方が高く、前記第2の受光素子群の密度は、前記撮像素子の下部領域よりも上部領域の方が高い請求項5に記載の撮像装置。
  8. 前記撮像素子の第1の受光素子群と第2の受光素子群とは、撮影感度が異なるように構成されている請求項1又は2に記載の撮像装置。
  9. 前記撮像素子の第1の受光素子群と第2の受光素子群とは、光が入射する開口サイズ、又は各受光素子に光を集光させるマイクロレンズのサイズが異なるように構成されている請求項8に記載の撮像装置。
  10. 前記撮影光学系は、撮影距離が一般距離用の第1の特性を有する前記第1の領域と、接写用の第2の特性に対応する前記第2の領域とを有し、
    前記撮像素子の第2の受光素子群の撮影感度は、前記第2の受光素子群の撮影感度よりも高い請求項8又は9に記載の撮像装置。
JP2013529923A 2011-08-24 2012-06-29 撮像装置 Active JP5507764B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013529923A JP5507764B2 (ja) 2011-08-24 2012-06-29 撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011183038 2011-08-24
JP2011183038 2011-08-24
PCT/JP2012/066683 WO2013027488A1 (ja) 2011-08-24 2012-06-29 撮像装置
JP2013529923A JP5507764B2 (ja) 2011-08-24 2012-06-29 撮像装置

Publications (2)

Publication Number Publication Date
JP5507764B2 true JP5507764B2 (ja) 2014-05-28
JPWO2013027488A1 JPWO2013027488A1 (ja) 2015-03-19

Family

ID=47746241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529923A Active JP5507764B2 (ja) 2011-08-24 2012-06-29 撮像装置

Country Status (5)

Country Link
US (1) US8823858B2 (ja)
EP (2) EP3267677B1 (ja)
JP (1) JP5507764B2 (ja)
CN (1) CN103782586B (ja)
WO (1) WO2013027488A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5710835B2 (ja) * 2012-03-21 2015-04-30 富士フイルム株式会社 撮像装置
JP6051568B2 (ja) * 2012-04-09 2016-12-27 株式会社ニコン 撮像素子および撮像装置
JP6396638B2 (ja) 2013-03-29 2018-09-26 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
JP6077967B2 (ja) 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
JP6151632B2 (ja) * 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6214481B2 (ja) * 2014-06-27 2017-10-18 富士フイルム株式会社 撮像装置
JP6165680B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 撮像装置
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
CN107079087B (zh) * 2014-10-31 2021-01-26 富士胶片株式会社 摄像装置及对象物识别方法
JP6324879B2 (ja) * 2014-11-18 2018-05-16 富士フイルム株式会社 撮像装置及びその制御方法
JP6397048B2 (ja) * 2014-11-20 2018-10-03 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
WO2016080078A1 (ja) * 2014-11-20 2016-05-26 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
JP6367360B2 (ja) 2014-11-20 2018-08-08 富士フイルム株式会社 撮像装置、撮像方法及び画像処理プログラム
JP6291595B2 (ja) 2014-11-21 2018-03-14 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
CN113363268A (zh) 2014-12-18 2021-09-07 索尼公司 成像器件和移动设备
US11166494B2 (en) * 2015-08-14 2021-11-09 Philip Morris Products S.A. Electrically operated smoking device including a compact system for identifying smoking articles in the device
JP6545829B2 (ja) * 2016-01-18 2019-07-17 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
JP6585195B2 (ja) * 2016-01-26 2019-10-02 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
WO2017199557A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
EP3461127B1 (en) * 2016-05-17 2024-03-06 FUJIFILM Corporation Stereo camera and stereo camera control method
CN111149347B (zh) * 2017-10-11 2021-08-06 富士胶片株式会社 摄像装置及图像处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324354A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像素子及び撮像装置
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161051A (en) * 1990-12-13 1992-11-03 Hughes Aircraft Company Simultaneous dual field of view sensor
JP3753201B2 (ja) * 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP3554703B2 (ja) * 2000-10-12 2004-08-18 リバーベル株式会社 情報端末装置
JP4472166B2 (ja) 2000-12-22 2010-06-02 オリンパス株式会社 3次元撮像装量
JP2003098426A (ja) 2001-09-20 2003-04-03 Olympus Optical Co Ltd 撮影レンズ、その撮影レンズを用いたカメラ及びそのカメラにおける絞り
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7068432B2 (en) * 2004-07-27 2006-06-27 Micron Technology, Inc. Controlling lens shape in a microlens array
JP4952060B2 (ja) 2006-05-26 2012-06-13 株式会社ニコン 撮像装置
CN101861542B (zh) * 2007-08-04 2016-04-20 全视技术有限公司 多区域成像***
JP5320735B2 (ja) 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
CN101631194A (zh) * 2008-06-18 2010-01-20 株式会社理光 摄像装置
US9258569B2 (en) * 2008-06-26 2016-02-09 Gvbb Holdings S.A.R.L. Moving image processing method, program and apparatus including slice switching
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
US8860833B2 (en) * 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
WO2012017577A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置および撮像方法
JP5466766B2 (ja) * 2010-10-01 2014-04-09 富士フイルム株式会社 撮像装置
JP5480393B2 (ja) * 2010-10-01 2014-04-23 富士フイルム株式会社 撮像デバイス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324354A (ja) * 2005-05-17 2006-11-30 Fujifilm Holdings Corp 撮像素子及び撮像装置
JP2007306406A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器

Also Published As

Publication number Publication date
US8823858B2 (en) 2014-09-02
EP2750374A4 (en) 2015-07-22
JPWO2013027488A1 (ja) 2015-03-19
EP2750374A1 (en) 2014-07-02
EP3267677A1 (en) 2018-01-10
WO2013027488A1 (ja) 2013-02-28
EP3267677B1 (en) 2019-08-28
EP2750374B1 (en) 2018-03-28
US20140168498A1 (en) 2014-06-19
CN103782586B (zh) 2015-06-17
CN103782586A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5507764B2 (ja) 撮像装置
JP5361535B2 (ja) 撮像装置
CN102292974B (zh) 摄像设备
US8525917B2 (en) Image sensing apparatus with plural focus detection pixel groups
CN102687499B (zh) 摄像设备
JP5421829B2 (ja) 撮像装置
JP5276374B2 (ja) 焦点検出装置
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5525107B2 (ja) 撮像装置
CN103843318A (zh) 摄像设备及其控制方法
JP5507761B2 (ja) 撮像装置
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5525109B2 (ja) 撮像装置
US7158183B1 (en) Digital camera
JP6974599B2 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2007140176A (ja) 電子カメラ
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP2011197278A (ja) 立体撮像装置
JP6686191B2 (ja) 焦点検出装置、撮像装置、及び焦点検出方法
JP7079161B2 (ja) 撮像装置及びその制御方法
JP2014063190A (ja) 撮像装置
JP6234097B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140319

R150 Certificate of patent or registration of utility model

Ref document number: 5507764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250