JP2011151448A - Imaging apparatus and electronic device - Google Patents
Imaging apparatus and electronic device Download PDFInfo
- Publication number
- JP2011151448A JP2011151448A JP2010008856A JP2010008856A JP2011151448A JP 2011151448 A JP2011151448 A JP 2011151448A JP 2010008856 A JP2010008856 A JP 2010008856A JP 2010008856 A JP2010008856 A JP 2010008856A JP 2011151448 A JP2011151448 A JP 2011151448A
- Authority
- JP
- Japan
- Prior art keywords
- aberration
- optical system
- aberration control
- control optical
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子を用い、光学系を備えた撮像装置および電子機器に関するものである。 The present invention relates to an imaging apparatus and an electronic apparatus that include an imaging device and includes an optical system.
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。 In response to the digitization of information, which has been rapidly developing in recent years, the response in the video field is also remarkable.
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。 In particular, as symbolized by a digital camera, a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor, which is a solid-state image sensor, is used in most cases instead of a conventional film.
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。 As described above, an imaging lens device using a CCD or CMOS sensor as an imaging element is for taking an image of a subject optically by an optical system and extracting it as an electrical signal by the imaging element. In addition to a digital still camera, It is used in video cameras, digital video units, personal computers, mobile phones, personal digital assistants (PDAs), image inspection devices, industrial cameras for automatic control, and the like.
図１７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 FIG. 17 is a diagram schematically illustrating a configuration and a light flux state of a general imaging lens device.
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。 The imaging lens device 1 includes an optical system 2 and an imaging element 3 such as a CCD or CMOS sensor.
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。 In the optical system, the object side lenses 21 and 22, the diaphragm 23, and the imaging lens 24 are sequentially arranged from the object side (OBJS) toward the image sensor 3 side.
撮像レンズ装置１においては、図１７に示すように、ベストフォーカス面を撮像素子面上に合致させている。 In the imaging lens device 1, as shown in FIG. 17, the best focus surface is matched with the imaging device surface.
図１８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。 FIGS. 18A to 18C show spot images on the light receiving surface of the imaging element 3 of the imaging lens device 1.
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。 In addition, imaging devices have been proposed in which light beams are regularly dispersed by a phase plate and restored by digital processing to enable imaging with a deep depth of field (for example, Non-Patent Documents 1 and 2 and Patent Documents). 1-5).
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。 In addition, an automatic exposure control system for a digital camera that performs filter processing using a transfer function has been proposed (see, for example, Patent Document 6).
また、ＣＣＤ、ＣＭＯＳなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。 In addition, in an apparatus having an image input function such as a CCD or CMOS, it is often very useful to read a close still image such as a barcode together with a desired image such as a landscape.
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてＦ値を絞ることで被写界深度を広げて固定ピントとしているものがある。 For barcode reading, for example, as a first example, a technique for focusing by auto-focusing that extends a lens, and as a second example as a depth expansion technique, the depth of field is expanded by, for example, reducing the F value in a camera. Some have fixed focus.
上述した技術では、画像復元処理が前提となっていて画像処理に伴うノイズ、コストの増加が問題となる。さらに復元処理には光学的伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ
Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が物体距離に依存してはならないため、アウトフォーカスしてもＯＴＦが一定となる光学系を設計しなければならない。
In the technique described above, image restoration processing is premised, and noise and cost increase associated with image processing are problematic. Furthermore, an optical transfer function (OTF: Optical) is used for the restoration process.
Since (Transfer Function) must not depend on the object distance, an optical system in which the OTF remains constant even after out-of-focus must be designed.
また、ある特性のＦ値に対し深度拡張を実現しても、通常、絞り径を変化させることで、深度拡張作用は失われる、もしくは効率が著しく落ちるという不利益があるが、一般的な撮影において様々な環境条件に対応するためには、絞り径を可変させることは非常に重要な要素である。特に近接撮影を要する場合は絞り径を可変とすることにより更なる深度の拡張が可能となり、撮影の幅を広げることが期待できる。 Also, even if depth expansion is realized for an F value of a certain characteristic, there is a disadvantage that the depth expansion action is usually lost or the efficiency is remarkably reduced by changing the aperture diameter. In order to cope with various environmental conditions, it is very important to vary the aperture diameter. In particular, when close-up photography is required, it is possible to expand the depth further by making the aperture diameter variable, and it can be expected to widen the photographing range.
本発明は、絞り径を変化させても深度拡張機能の低下を防止し、特に近接撮影においても必要な深度を得ること可能な撮像装置および電子機器を提供することにある。 It is an object of the present invention to provide an imaging apparatus and an electronic apparatus that can prevent a decrease in depth expansion function even when the aperture diameter is changed, and can obtain a necessary depth even in close-up photography.
本発明の第１の観点の撮像装置は、収差を発生させる収差制御機能を有する収差制御部を含む収差制御光学系と、前記収差制御光学系を通過する光束を制限し、開口径の大きさを変更可能な絞りと、前記収差制御光学系を通過した被写体像を撮像する撮像素子と、複数の撮影モードを選択可能な撮影モード選択部と、を有し、前記絞りは前記撮影モードの選択に応じて開口径を設定し、かつ前記収差制御光学系の収差特性は、前記絞りの有効径内に複数の変曲点を有して、前記絞りを開放より絞り込んだ状態においても深度拡張効果を発現する。 An imaging apparatus according to a first aspect of the present invention includes an aberration control optical system including an aberration control unit having an aberration control function for generating aberrations, and restricts a light beam that passes through the aberration control optical system, and a size of an aperture diameter. An aperture that can change the image, an image sensor that captures the subject image that has passed through the aberration control optical system, and a shooting mode selection unit that can select a plurality of shooting modes. The aperture selects the shooting mode. And the aberration characteristic of the aberration control optical system has a plurality of inflection points within the effective diameter of the diaphragm, and the depth expansion effect even when the diaphragm is further narrowed from the open position. Is expressed.
好適には、前記撮影モードには近接撮影を要する撮影モードが含まれ、
前記撮影モードの選択部によって前記近接撮影を要する撮影モードが選択された場合に、前記絞りは開放より絞り込んだ状態にする。
Preferably, the shooting mode includes a shooting mode that requires close-up shooting,
When the shooting mode that requires close-up shooting is selected by the shooting mode selection unit, the aperture is set to a state of being narrowed from the open position.
好適には、前記収差制御光学系のディフォーカスに対するＭＴＦ特性において、任意の周波数の主像面シフト領域で複数のピークを持つ。 Preferably, the aberration control optical system has a plurality of peaks in the main image plane shift region of an arbitrary frequency in the MTF characteristic against defocus of the aberration control optical system.
好適には、前記収差制御部は、球面収差を発生させることによって深度を拡張させる機能を含む。 Preferably, the aberration control unit includes a function of expanding the depth by generating spherical aberration.
好適には、前記収差制御光学系は、前記収差制御機能を有する収差制御部が前記絞りに隣接して配置されている。 Preferably, in the aberration control optical system, an aberration control unit having the aberration control function is disposed adjacent to the stop.
前記収差制御光学系は、前記絞りの開口径が何れの大きさであっても深度拡張効果を有する。 The aberration control optical system has a depth expansion effect regardless of the aperture diameter of the stop.
好適には、前記収差制御光学系の収差特性は、前記可変絞りが開放の口径の場合に光線が通過する領域から前記収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する。 Preferably, the aberration characteristic of the aberration control optical system is such that the light beam passes from the region through which the light beam passes when the variable diaphragm has an open aperture, when the aperture diameter is minimum and has a depth extending effect by the aberration control function. One or more inflection points are provided in the region excluding the region to be operated.
好適には、前記収差制御光学系の収差特性は、前記絞りの開口径内で生じる球面収差カーブに３つ以上の変曲点を有する。 Preferably, the aberration characteristic of the aberration control optical system has three or more inflection points in a spherical aberration curve generated within the aperture diameter of the stop.
好適には、前記球面収差カーブの振幅量は、中心部から周辺部にかけて、徐々に大きくなる特性を有する。 Preferably, the amount of amplitude of the spherical aberration curve has a characteristic of gradually increasing from the central part to the peripheral part.
好適には、前記撮像素子で得られた画像信号に対して画像処理を施し、前記収差制御光学系の収差により低下した画像特性を向上させる画像処理部を有する。 Preferably, the image processing unit includes an image processing unit that performs image processing on an image signal obtained by the imaging device and improves image characteristics that are deteriorated due to the aberration of the aberration control optical system.
本発明の第２の観点の電子機器は、撮像装置を有し、前記撮像装置は、収差を発生させる収差制御機能を有する収差制御部を含む収差制御光学系と、前記収差制御光学系を通過する光束を制限し、開口径の大きさを変更可能な絞りと、前記収差制御光学系を通過した被写体像を撮像する撮像素子と、複数の撮影モードを選択可能な撮影モード選択部と、を有し、前記絞りは前記撮影モードの選択に応じて開口径を設定し、かつ前記収差制御光学系の収差特性は、前記絞りの有効径内に複数の変曲点を有して、前記絞りを開放より絞り込んだ状態においても深度拡張効果を発現する。 An electronic apparatus according to a second aspect of the present invention includes an imaging device, and the imaging device passes through the aberration control optical system including an aberration control optical system including an aberration control unit having an aberration control function for generating aberration. A diaphragm capable of limiting the luminous flux to be changed and changing the size of the aperture diameter, an image sensor that captures a subject image that has passed through the aberration control optical system, and a shooting mode selection unit that can select a plurality of shooting modes. The aperture has an aperture diameter set according to the selection of the shooting mode, and the aberration characteristic of the aberration control optical system has a plurality of inflection points within the effective diameter of the aperture, Depth expansion effect is exhibited even when the aperture is narrowed from the open position.
本発明によれば、光学系を簡単化でき、コスト低減を図ることができることはもとより、画像復元処理を施さなくても深度拡張することができ、撮影モードの選択に応じて絞り径を変化させても深度拡張機能の低下を防止することができる。 According to the present invention, not only can the optical system be simplified and the cost can be reduced, but also the depth can be expanded without performing image restoration processing, and the aperture diameter can be changed according to the selection of the shooting mode. However, it is possible to prevent the depth extension function from being lowered.
以下、本発明の実施形態を添付図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図１は、本発明の実施形態に係る電子機器としての情報コード読取装置の一例を示す外観図である。 FIG. 1 is an external view showing an example of an information code reader as an electronic apparatus according to an embodiment of the present invention.
図２（Ａ）〜（Ｃ）は、情報コードの例を示す図である。 2A to 2C are diagrams illustrating examples of information codes.
図３は、図１の情報コード読取装置に適用可能な撮像装置の構成例を示すブロック図である。 FIG. 3 is a block diagram illustrating a configuration example of an imaging apparatus applicable to the information code reading apparatus in FIG.
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。 Here, an information code reader is illustrated as an apparatus to which the imaging apparatus of the present embodiment is applicable.
本実施形態に係る情報コード読取装置１００は、図１に示すように、本体１１０がケーブル１１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物１２０に印刷された反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。 As shown in FIG. 1, the information code reader 100 according to the present embodiment has a main body 110 connected to a processing device such as an electronic register (not shown) via a cable 111, for example, a reflectance printed on a reading object 120. It is a device that can read the information code 121 such as a different symbol or code.
読み取り対象の情報コードとしては、たとえば図２（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。 As an information code to be read, for example, a one-dimensional bar code 122 such as a JAN code as shown in FIG. 2A, a stack-type CODE 49 as shown in FIGS. 2B and 2C, Alternatively, a two-dimensional barcode 123 such as a matrix type QR code can be used.
本実施形態に係る情報コード読取装置１００は、本体１１０内に、図示しない照明光源と、図３に示すような撮像装置２００とが配置されている。 In the information code reading apparatus 100 according to the present embodiment, an illumination light source (not shown) and an imaging apparatus 200 as shown in FIG.
撮像装置２００は、後で詳述するように、光学系に収差制御部（収差制御面、または収差制御素子）を適用し、収差制御部により収差（本実施形態においては球面収差）を意図的に発生させ、深度拡張機能を有し、かつ、可変絞りの口径を変化させても深度拡張機能を持続する収差制御光学系システムというシステムを採用し、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。 As will be described in detail later, the imaging apparatus 200 applies an aberration control unit (aberration control surface or aberration control element) to the optical system, and intentionally applies aberration (spherical aberration in the present embodiment) by the aberration control unit. The system uses an aberration control optical system that has a depth expansion function and maintains the depth expansion function even if the aperture of the variable aperture is changed. An information code such as a two-dimensional bar code such as a QR code can be accurately read with high accuracy.
また、撮像装置２００は、上記構成に加えて、ディフォーカスに対する変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）において、任意の周波数の主像面シフト領域で１つではなく、２つ以上のピークを持たせることで、ＭＴＦピーク値の低下を抑えつつ深度拡張を可能にする収差制御光学系システムを採用し、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。 In addition to the above configuration, the imaging apparatus 200 has two or more peaks instead of one in the main image plane shift region of an arbitrary frequency in a modulation transfer function (MTF) for defocus. By adopting an aberration control optical system that enables depth expansion while suppressing a decrease in the MTF peak value, a one-dimensional barcode such as a JAN code and a two-dimensional barcode such as a QR code are used. A simple information code can be accurately read with high accuracy.
情報コード読取装置１００の撮像装置２００は、図３に示すように、収差制御光学系２１０、撮像素子２２０、アナログフロントエンド部（ＡＦＥ）２３０、画像処理装置２４０、カメラ信号処理部２５０、画像表示メモリ２６０、画像モニタリング装置２７０、操作部２８０、および制御装置２９０を有している。 As shown in FIG. 3, the imaging apparatus 200 of the information code reading apparatus 100 includes an aberration control optical system 210, an imaging element 220, an analog front end unit (AFE) 230, an image processing device 240, a camera signal processing unit 250, and an image display. A memory 260, an image monitoring device 270, an operation unit 280, and a control device 290 are provided.
図４は、本実施形態に係る収差制御光学系を形成する撮像レンズユニットの基本構成を示す図である。 FIG. 4 is a diagram showing a basic configuration of an imaging lens unit forming the aberration control optical system according to the present embodiment.
収差制御光学系２１０Ａは、被写体物体ＯＢＪを撮影した像を撮像素子２２０に供給する。また、収差制御光学系２１０Ａは、物体側から順に、第１レンズ２１１、第２レンズ２１２、第３レンズ２１３、可変絞り２１４、第４レンズ２１５、第５レンズ２１６が配置されている。 The aberration control optical system 210 </ b> A supplies an image obtained by photographing the subject object OBJ to the image sensor 220. In the aberration control optical system 210A, a first lens 211, a second lens 212, a third lens 213, a variable aperture 214, a fourth lens 215, and a fifth lens 216 are arranged in order from the object side.
本実施形態の収差制御光学系２１０Ａは、第４レンズ２１５と第５レンズ２１６が接続されている。すなわち、本実施形態の収差制御光学系２１０Ａのレンズユニットは、接合レンズを含んで構成されている。 In the aberration control optical system 210A of this embodiment, a fourth lens 215 and a fifth lens 216 are connected. That is, the lens unit of the aberration control optical system 210A of the present embodiment is configured to include a cemented lens.
そして、本実施形態の収差制御光学系２１０Ａは、収差を意図的に発生させる収差制御機能を有する収差制御面を適用した光学系として構成されている。 The aberration control optical system 210A of the present embodiment is configured as an optical system to which an aberration control surface having an aberration control function for intentionally generating aberration is applied.
本実施形態においては、球面収差のみを発生させるために、収差制御面を挿入する必要がある。なお、収差制御効果は別素子の収差制御素子を挿入しても良い。 In this embodiment, it is necessary to insert an aberration control surface in order to generate only spherical aberration. As an aberration control effect, an aberration control element as a separate element may be inserted.
その例を示すと図４のようになり、通常の光学系に収差制御面(第３レンズＲ２面)を含んだ形となっている。 An example of this is shown in FIG. 4 and includes a normal optical system including an aberration control surface (third lens R2 surface).
ここでいう収差制御面とは、収差制御素子の持つ収差制御効果をレンズ面に内包したものをいう。好適には収差制御面２１３ａは可変絞り２１４に隣接していることが好ましい。 The aberration control surface here refers to a lens surface that includes the aberration control effect of the aberration control element. The aberration control surface 213a is preferably adjacent to the variable stop 214.
そして、本実施形態の収差制御光学系２１０Ａの収差特性は、可変絞り２１４の口径が変化しても深度拡張効果（機能）を有する。 The aberration characteristics of the aberration control optical system 210A of the present embodiment have a depth expansion effect (function) even if the aperture of the variable diaphragm 214 changes.
ここで、収差制御光学系２１０Ａは、可変絞り２１４の口径を変化させることで複数のＦ値が選択可能であり、選択可能なＦ値のいずれにおいても、収差制御素子または収差制御面の効果により深度拡張を行うことが可能である。 Here, the aberration control optical system 210A can select a plurality of F values by changing the aperture of the variable stop 214, and any of the selectable F values depends on the effect of the aberration control element or the aberration control surface. It is possible to perform depth extension.
本実施形態の収差制御光学系２１０Ａの収差特性は、可変絞り２１４の有効径内に複数（２つ以上）の変曲点を有する。 The aberration characteristic of the aberration control optical system 210 </ b> A of the present embodiment has a plurality (two or more) inflection points within the effective diameter of the variable stop 214.
さらに、本実施形態の収差制御光学系２１０Ａの収差特性は、可変絞り２１４が開放の口径の場合に光線が通過する領域から収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する。 Furthermore, the aberration characteristics of the aberration control optical system 210A of the present embodiment are such that when the variable stop 214 has an open aperture, the light beam is transmitted from the region where the light beam passes to the minimum aperture diameter that has a depth expansion effect by the aberration control function. It has one or more inflection points in the area excluding the passing area.
換言すると、本実施形態の収差制御光学系２１０Ａの収差特性は、深度拡張作用を期待されるＦ値の中で、最も明るいＦ値の時に光線が通過する収差制御面の領域と最も暗いＦ値の時に光線が通過する収差制御面の領域の間で、一つ以上の変曲点を有する。 In other words, the aberration characteristics of the aberration control optical system 210A of this embodiment are the F value expected to have a depth expansion effect, the region of the aberration control surface through which the light beam passes at the brightest F value, and the darkest F value. And having one or more inflection points between the regions of the aberration control surface through which the light beam passes.
本実施形態の収差制御光学系２１０Ａにおいては、収差制御機能を有する収差制御面を内包する収差制御光学系を用いてＰＳＦを２画素以上にまたがるようにし、所定の周波数において偽解像しない主像面シフト領域でディフォーカスに対するＭＴＦ特性が２つ以上のピークを持つ深度拡張光学系として構成される。 In the aberration control optical system 210A of the present embodiment, the main image that is not pseudo-resolved at a predetermined frequency is set such that the PSF spans two or more pixels by using an aberration control optical system including an aberration control surface having an aberration control function. This is configured as a depth extension optical system having two or more peaks with respect to defocusing in the surface shift region.
一般的な光波面変調機能を用いた深度拡張光学系ではＭＴＦ特性において１つのピークの裾野を広げて深度を拡張するが、これではそれと引き換えにＭＴＦ特性のピーク値が下がってしまう。 In a depth extension optical system using a general optical wavefront modulation function, the base of one peak is expanded in the MTF characteristics to expand the depth. In exchange for this, the peak value of the MTF characteristics decreases.
本実施形態においては、収差制御機能を用いてピークを複数持つようにすることで、ピーク値の低下を抑えつつ深度拡張を実現できる。 In the present embodiment, by having a plurality of peaks using the aberration control function, depth extension can be realized while suppressing a decrease in peak value.
球面収差を適切に制御することで画像復元処理を施さなくても深度拡張することができる。 By appropriately controlling the spherical aberration, it is possible to extend the depth without performing image restoration processing.
具体的には、本実施形態の収差制御光学系２１０Ａは、主に球面収差を発生させる収差制御素子、または収差制御面によりディフォーカスに対するＭＴＦのピークを複数に分ける（ここでは２分する）ことでアウトフォーカスにおけるＯＴＦの変化を制御でき、深度を拡張することができる。そして、ピークを分割させるために、球面収差に変曲点を持たせる。 Specifically, the aberration control optical system 210A of the present embodiment divides the MTF peak for defocus into a plurality of parts (here, divided into two) by an aberration control element that mainly generates spherical aberration or an aberration control surface. Can control the change of OTF in the out-of-focus state and can extend the depth. In order to divide the peak, an inflection point is given to the spherical aberration.
上述したように、球面収差に２つ以上の変曲点を適切に持たせることで複数の絞り口径の選択に対し、深度拡張を実現することができる。 As described above, it is possible to realize depth expansion with respect to selection of a plurality of aperture diameters by appropriately giving two or more inflection points to the spherical aberration.
そして、上述したように、深度拡張作用を期待されるＦ値の中で、最も明るいＦ値の時に光線が通過する収差制御面の領域と最も暗いＦ値の時に光線が通過する収差制御面の領域の間で、ひとつ以上の変曲点を有することが望ましい。 As described above, among the F values expected to have a depth expansion effect, the region of the aberration control surface through which the light beam passes at the brightest F value and the aberration control surface through which the light beam passes at the darkest F value. It is desirable to have one or more inflection points between regions.
この構成を採用することにより、Ｆ値を変化させた場合でも効率よく深度拡張作用を得られる。 By adopting this configuration, even when the F value is changed, it is possible to efficiently obtain the depth extending action.
以下、この収差制御光学系２１０Ａの特徴的な構成、機能についてさらに詳述する。 Hereinafter, the characteristic configuration and function of the aberration control optical system 210A will be described in more detail.
図５(Ａ)、(Ｂ)および図６(Ａ)，(Ｂ)は、本実施形態に係る収差制御光学系の球面収差発生量について説明するための図である。図５は撮像素子(センサ)を固定したときのセンサとＰＳＦとの関係を示し、図６は収差制御光学系を固定したときのセンサとＰＳＦとの関係を示している。 FIGS. 5A and 5B and FIGS. 6A and 6B are diagrams for explaining the spherical aberration generation amount of the aberration control optical system according to the present embodiment. FIG. 5 shows the relationship between the sensor and the PSF when the imaging element (sensor) is fixed, and FIG. 6 shows the relationship between the sensor and the PSF when the aberration control optical system is fixed.
たとえば、撮像素子２２０はある画素ピッチを有するセンサであるとする。その場合に、本実施形態では、球面収差を発生させてＰＳＦを１画素ＰＸＬより大きくする必要がある。 For example, it is assumed that the image sensor 220 is a sensor having a certain pixel pitch. In this case, in the present embodiment, it is necessary to generate spherical aberration and make the PSF larger than one pixel PXL.
図５（Ａ）および図６（Ａ）に示すように、１画素ＰＸＬの中にＰＳＦが納まってしまうサイズで球面収差を発生させてもそれは通常の光学系と同じである。通常光学系では一般的にピント位置の中心ＰＳＦのサイズが最小となる。 As shown in FIGS. 5 (A) and 6 (A), even if spherical aberration is generated with a size that allows the PSF to be accommodated in one pixel PXL, it is the same as a normal optical system. In the normal optical system, the size of the center PSF at the focus position is generally minimum.
これに対して、本実施形態に係る収差制御光学系２１０Ａでは、図５（Ｂ）に示すように、ＰＳＦはアウトフォーカスに限らずピント位置までも１画素ＰＸＬに収まらないサイズに制御される。 On the other hand, in the aberration control optical system 210A according to the present embodiment, as shown in FIG. 5B, the PSF is controlled to a size that does not fit in one pixel PXL not only in the out-of-focus state but also in the focus position.
換言すれば、本実施形態に係る収差制御光学系２１０Ａは、ディフォーカスに対するＭＴＦ特性において２つ以上のピークを持つことで被写界深度を拡張する。 In other words, the aberration control optical system 210A according to the present embodiment extends the depth of field by having two or more peaks in the MTF characteristics with respect to defocus.
次に、収差制御光学系に適した撮像素子（センサ）選定について説明する。 Next, selection of an image sensor (sensor) suitable for the aberration control optical system will be described.
たとえばあるＰＳＦサイズを持った収差制御光学系があるとすると、図６（Ｂ）に示すように、センサの画素ピッチがＰＳＦのサイズより小さいものを選ぶことが好ましい。 For example, if there is an aberration control optical system having a certain PSF size, it is preferable to select a sensor whose pixel pitch is smaller than the size of the PSF, as shown in FIG.
仮に画素ピッチがＰＳＦより大きいものを選んだとすると通常光学系と同じとなってしまい、そこがピントとなってしまう。よって、その場合、収差制御光学系の球面収差の効果を有効に得ることができない。 If a pixel pitch larger than the PSF is selected, it becomes the same as the normal optical system, which is in focus. Therefore, in this case, the effect of spherical aberration of the aberration control optical system cannot be obtained effectively.
図７（Ａ）〜（Ｃ）は、通常光学系および本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦの状態を示す図である。 FIGS. 7A to 7C are diagrams illustrating the MTF state with respect to the defocus of the normal optical system and the aberration control optical system according to the present embodiment.
図７（Ａ）は通常光学系のディフォーカスに対するＭＴＦの状態を示し、図７（Ｂ）は本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦの状態を示し、図７(
Ｃ)は１つのピークを拡大したディフォーカスに対するＭＴＦの状態を示している。
FIG. 7A shows the MTF state with respect to the defocus of the normal optical system, and FIG. 7B shows the MTF state with respect to the defocus of the aberration control optical system according to the present embodiment.
C) shows the state of the MTF with respect to defocus in which one peak is enlarged.
通常の光学系では、図７（Ａ）に示すように、ピント位置が一つで中心にある。両サイ
ドにある二つ目の山は落ちきって反転しているため、偽解像となる。
In a normal optical system, as shown in FIG. 7A, there is one focus position at the center. The second mountain on both sides falls and flips, resulting in false resolution.
そのため、解像する領域は網掛けで示す主像面シフト領域ＭＳＡＲとなる。通常光学系の１つのピークを深度拡張すると、図７(Ｃ)に示すように、ＭＴＦは大きく劣化してしまう。 Therefore, the area to be resolved is a main image plane shift area MSAR indicated by shading. When the depth of one peak of the normal optical system is extended, the MTF is greatly degraded as shown in FIG.
そこで、本実施形態に係る収差制御光学系のディフォーカスに対するＭＴＦでは、図７(Ｂ)に示すように、通常光学系において一つのピークＰＫ１であったのを２つのピークＰＫ１１、ＰＫ１２に分割させている。 Therefore, in the MTF for the defocus of the aberration control optical system according to the present embodiment, as shown in FIG. 7B, the single peak PK1 in the normal optical system is divided into two peaks PK11 and PK12. ing.
ＭＴＦは若干劣化するが、深度は２つに分割したことによって２倍程度に伸びていて、さらにひとつのピークを深度拡張するより劣化を抑えていることがわかる。 It can be seen that although the MTF is slightly degraded, the depth is increased by about 2 times due to the division into two, and the degradation is suppressed more than the depth extension of one peak.
図８（Ａ）〜（Ｃ）および図９（Ａ）〜（Ｃ）は、本実施形態の収差制御光学系において、球面収差曲線（カーブ）によって任意の周波数でディフォーカスに対するＭＴＦが２分できることを説明する。 FIGS. 8A to 8C and FIGS. 9A to 9C show that the MTF for defocus can be divided into two at an arbitrary frequency by the spherical aberration curve (curve) in the aberration control optical system of the present embodiment. Will be explained.
図８（Ａ）〜（Ｃ）は、高周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示しており、図８（Ａ）が球面収差カーブを示し、図８（Ｂ）が低周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示し、図８（Ｃ）が高周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示している。 8A to 8C show that the MTF for defocus can be divided into two at an arbitrary frequency in the aberration control optical system in which the high-frequency OTF fluctuation is suppressed, and FIG. 8A shows the spherical aberration curve. 8B shows the state of the MTF peak in the main image plane shift area area MSAR at a low frequency, and FIG. 8C shows the state of the MTF peak in the main image plane shift area area MSAR at a high frequency. Is shown.
図９（Ａ）〜（Ｃ）は、低周波のＯＴＦ変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するＭＴＦが２分できることを示しており、図９（Ａ）が球面収差カーブを示し、図９（Ｂ）が低周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示し、図９（Ｃ）が高周波での主像面シフト領域エリアＭＳＡＲのＭＴＦのピークの状態を示している。 FIGS. 9A to 9C show that the MTF for defocus can be divided into two at an arbitrary frequency in the aberration control optical system in which the low-frequency OTF fluctuation is suppressed, and FIG. 9A shows the spherical aberration curve. 9B shows the state of the MTF peak in the main image plane shift area area MSAR at a low frequency, and FIG. 9C shows the MTF peak state in the main image plane shift area area MSAR at a high frequency. Indicates the state.
図９(Ａ)〜（Ｃ）からわかるように、低周波の深度を伸ばすためには、球面収差の振幅を大きくすれば良い。 As can be seen from FIGS. 9A to 9C, in order to extend the depth of the low frequency, the amplitude of the spherical aberration may be increased.
振幅の大きさをコントロールすることによって任意の周波数のディフォーカスＭＴＦを２分割することができる。つまり任意の周波数の深度を拡張することができる。 A defocus MTF having an arbitrary frequency can be divided into two by controlling the amplitude. That is, the depth of an arbitrary frequency can be expanded.
なお、本実施形態において、ディフォーカスに対する低周波および高周波とは次のように定義する。 In the present embodiment, the low frequency and high frequency for defocus are defined as follows.
使用する固体撮像素子（撮像素子２２０）の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。 A frequency that is half or more of the Nyquist frequency determined from the pixel pitch of the solid-state imaging device to be used (imaging device 220) is a high frequency, and a frequency that is lower than half is a low frequency.
ただし、ナイキスト周波数は下記の通りに定義する。 However, the Nyquist frequency is defined as follows.
ナイキスト周波数＝１／（固体撮像素子の画素ピッチ×２）
図１０（Ａ）〜（Ｃ）は、撮影モードに応じた絞り径の違いによる球面収差とディフォーカスＭＴＦ、および本光学系と通常光学系と深度を比較して示す図である。
Nyquist frequency = 1 / (pixel pitch of solid-state image sensor × 2)
FIGS. 10A to 10C are diagrams showing a comparison of spherical aberration and defocus MTF due to a difference in aperture diameter depending on the photographing mode, and the depths of the present optical system and the normal optical system.
図１０（Ａ）は絞りを開放した状態を示し、図１０（Ｂ）は例えば遠景撮影モードに応じて絞りを中間に絞った状態を示し、図１０（Ｃ）は例えば近接撮影を要する撮影モードに応じて絞りを最小に絞った状態を示している。 10A shows a state in which the aperture is opened, FIG. 10B shows a state in which the aperture is stopped in the middle according to, for example, a distant shooting mode, and FIG. 10C shows a shooting mode that requires close-up shooting, for example. The state in which the aperture is reduced to the minimum is shown.
遠景撮影モードや近接撮影を要する撮影モード（情報コード読み取り撮影モードやマクロ撮影モード）においては、更なる深度拡張効果をねらって、他の撮影モードの場合より絞り径を小さくする。 In a distant view shooting mode or a shooting mode that requires close-up shooting (information code reading shooting mode or macro shooting mode), the aperture diameter is made smaller than in other shooting modes in order to further increase the depth.
遠景撮影モードのように被写体の距離のばらつき範囲は広いもののある程度決まった焦点深度の範囲内に収まることが期待できる場合は、その範囲に合わせた被写界深度となるように絞り径の大きさの程度を設定することが可能である。 If the range of subject distance is wide but can be expected to be within a certain depth of focus range, as in the far-field shooting mode, the aperture diameter must be large so that the depth of field matches that range. It is possible to set the degree.
近接撮影を要する撮影モードのように被写体距離の違いによって像面でのピント位置が大きく異なるような場合は、絞り径を最小にして深度拡張効果を最大限に引き出すと言ったような設定を行うことも可能である。 If the focus position on the image plane varies greatly depending on the subject distance, such as in a shooting mode that requires close-up shooting, set the aperture diameter to the minimum to maximize the depth expansion effect. It is also possible.
絞りを最も開放した状態では、図１０（Ａ）に示すように、複数の変曲点を持つ絞り近傍の収差制御面において光線が通過するために、球面収差カーブにおいても複数の変曲点を持つ。 In the state where the diaphragm is opened most, as shown in FIG. 10A, since light rays pass through the aberration control surface near the diaphragm having a plurality of inflection points, a plurality of inflection points are also formed in the spherical aberration curve. Have.
そこから絞りを狭めても、図１０（Ｂ）および（Ｃ）に示すように、変曲点が少なくともひとつ以上残る状態まで深度拡張作用を持続できる。 Even if the aperture is narrowed from there, as shown in FIGS. 10B and 10C, the depth expansion action can be continued until at least one inflection point remains.
以上では、主として球面収差曲線（カーブ）に２つの変曲点を持つ場合について説明したが、球面収差カーブに３つ以上の変曲点を持たせることも可能であり、３つ以上の変曲点を持たせる場合、以下に示すような利点がある。 In the above description, the case where the spherical aberration curve (curve) has two inflection points has been mainly described. However, the spherical aberration curve may have three or more inflection points, and three or more inflection points may be provided. In the case of having a point, there are the following advantages.
２つ以下の変曲点では、像高に対する変曲点領域の割り振りが偏るために、深度拡張する際に周波数毎にピーク位置がずれる現象が生じてしまう。 At two or less inflection points, the allocation of the inflection point area with respect to the image height is biased, so that when the depth is expanded, a phenomenon occurs in which the peak position is shifted for each frequency.
こうしたケースの場合、物体距離ごとにＰＳＦに含まれる周波数成分の割合が異なるため、物体距離に対応するレンズの特性と合わせた画像処理が必要になる可能性がある。 In such a case, since the ratio of the frequency component included in the PSF is different for each object distance, there is a possibility that image processing combined with the characteristics of the lens corresponding to the object distance may be required.
そこで、球面収差カーブの変曲点を３つ以上とすることにより、ディフォーカスＭＴＦにおけるピークを複数持たせ、また、球面収差カーブの振幅量を中心部から周辺部にかけて徐々に大きくすることで、周波数制御のバランスをとった深度拡張を実現できる。 Therefore, by setting the inflection point of the spherical aberration curve to three or more, a plurality of peaks in the defocus MTF are provided, and the amplitude of the spherical aberration curve is gradually increased from the central portion to the peripheral portion, Depth expansion that balances frequency control can be realized.
図１１（Ａ）および（Ｂ）は、球面収差カーブにおける変曲点の数の違いによる球面収差とディフォーカスＭＴＦを比較して示す図である。 FIGS. 11A and 11B are diagrams showing a comparison of spherical aberration and defocus MTF due to a difference in the number of inflection points in the spherical aberration curve.
図１１（Ａ）は変曲点の数が２つの場合を、図１１（Ｂ）は変曲点の数が４つの場合を示している。 FIG. 11A shows a case where the number of inflection points is two, and FIG. 11B shows a case where the number of inflection points is four.
図１１（Ａ）に示すように、変曲点２つでは、高周波と低周波でピーク位置が異なる。 As shown in FIG. 11A, at two inflection points, the peak positions are different between the high frequency and the low frequency.
これに対して、図１１（Ｂ）に示すように、変曲点４つを適切な振幅量で配置した場合、ピークの位置が周波数によらず同じ位置になる。 On the other hand, as shown in FIG. 11B, when the four inflection points are arranged with an appropriate amplitude amount, the peak position is the same regardless of the frequency.
すなわち、変曲点が４つの場合、周波数制御のバランスをとった深度拡張を実現できる。 That is, when there are four inflection points, it is possible to realize depth extension that balances frequency control.
以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。 The characteristic configuration, function, and effect of the optical system according to the present embodiment have been described above.
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。 Hereinafter, the configuration and functions of other components such as the image sensor and the image processing unit will be described.
撮像素子２２０は、たとえば図４に示すように、第５レンズ２１６側から、ガラス製の平行平面板（カバーガラス）２２１と、ＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面２２２が順に配置されている。 For example, as shown in FIG. 4, the imaging element 220 includes a glass parallel plane plate (cover glass) 221 and an imaging surface 222 of an imaging element made up of a CCD or a CMOS sensor, in order from the fifth lens 216 side. ing.
収差制御光学系２１０Ａを介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。 Light from the subject OBJ via the aberration control optical system 210A is imaged on the imaging surface 222 of the imaging element 220.
なお、撮像素子２２０で撮像される被写体分散像は、収差制御面２１３ａにより撮像素子２２０上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。 Note that the subject dispersion image captured by the image sensor 220 is an image in which a deep light beam and a blurred portion are formed without being focused on the image sensor 220 by the aberration control surface 213a.
そして、図３に示すように撮像素子２２０は、収差制御光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部２３０を介して画像処理装置２４０に出力するＣＣＤやＣＭＯＳセンサからなる。 As shown in FIG. 3, the image sensor 220 forms an image captured by the aberration control optical system 210, and uses the analog front-end unit 230 as the primary image signal FIM of the electrical primary image information. Via a CCD or a CMOS sensor that is output to the image processing device 240.
図３においては、撮像素子２２０を一例としてＣＣＤとして記載している。 In FIG. 3, the imaging element 220 is described as a CCD as an example.
アナログフロントエンド部２３０は、タイミングジェネレータ２３１、アナログ／デジタル（Ａ／Ｄ）コンバータ２３２と、を有する。 The analog front end unit 230 includes a timing generator 231 and an analog / digital (A / D) converter 232.
タイミングジェネレータ２３１では、撮像素子２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置２４０に出力する。 The timing generator 231 generates the drive timing of the CCD of the image sensor 220, and the A / D converter 232 converts an analog signal input from the CCD into a digital signal and outputs it to the image processing device 240.
信号処理部の一部を構成する画像処理装置２４０は、前段のＡＦＥ２３０からくる撮像画像のデジタル信号を入力し、エッジ強調等の画像処理を施し、収差制御光学系２０１Ａの収差により低下したコントラストを向上させ、後段のカメラ信号処理部（ＤＳＰ）２５０に渡す。 The image processing device 240 constituting a part of the signal processing unit inputs a digital signal of a captured image coming from the AFE 230 in the previous stage, performs image processing such as edge enhancement, and reduces the contrast reduced by the aberration of the aberration control optical system 201A. The signal is improved and passed to the camera signal processing unit (DSP) 250 in the subsequent stage.
カメラ信号処理部（ＤＳＰ）２５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ２６０への格納や画像モニタリング装置２７０への画像表示等を行う。 The camera signal processing unit (DSP) 250 performs processing such as color interpolation, white balance, YCbCr conversion processing, compression, and filing, and stores the data in the memory 260 and displays the image on the image monitoring device 270.
制御装置２９０は、露出制御を行うとともに、操作部２８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ２３０、画像処理装置２４０、ＤＳＰ２５０、可変絞り２１４等を制御し、システム全体の調停制御を司るものである。 The control device 290 performs exposure control and has operation inputs such as the operation unit 280. The control device 290 determines the operation of the entire system according to those inputs, and includes the AFE 230, the image processing device 240, the DSP 250, the variable aperture 214, and the like. It controls the mediation control of the entire system.
操作部２８０にはモード選択手段が含まれ、モード選択手段を操作された場合には可変絞り２１４の開口径を設定する。特にモード選択手段によって近接撮影を要する撮影モードが選択された場合には可変絞り２１４の開口径を開放より絞り込む設定をする制御を行う。近接撮影を要する撮影モードとはマクロ撮影モードや情報コードの読み取り撮影モードといったような撮影モードを指す。これらの近接撮影を要する撮影モードでは被写体距離の違いによって像面でのピント位置が大きく異なる。そのために収差制御素子による深度拡張に加えて絞りの口径を小さくすることで、より一層の深度拡張効果が期待できる。 The operation unit 280 includes mode selection means. When the mode selection means is operated, the opening diameter of the variable diaphragm 214 is set. In particular, when a shooting mode that requires close-up shooting is selected by the mode selection unit, control is performed so that the aperture diameter of the variable diaphragm 214 is narrowed from the open position. The shooting mode that requires close-up shooting refers to a shooting mode such as a macro shooting mode or an information code reading shooting mode. In these shooting modes that require close-up shooting, the focus position on the image plane varies greatly depending on the subject distance. Therefore, a further depth expansion effect can be expected by reducing the aperture diameter in addition to the depth expansion by the aberration control element.
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的に説明する。 Hereinafter, the configuration and functions of the optical system and the image processing apparatus according to the present embodiment will be described in detail.
本実施形態においては、収差制御光学系を採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。 In the present embodiment, an aberration control optical system is employed to obtain high-definition image quality, and the optical system can be simplified and the cost can be reduced.
画像処理装置２４０は、上述したように、撮像素子２２０による１次画像ＦＩＭを受けて、エッジ強調等の画像処理を施し、収差制御光学系２０１Ａの収差により低下したコントラストを向上させる処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。 As described above, the image processing apparatus 240 receives the primary image FIM from the image sensor 220, performs image processing such as edge enhancement, and performs processing to improve the contrast reduced by the aberration of the aberration control optical system 201A. To form a high-definition final image FNLIM.
画像処理装置２４０のＭＴＦ補正処理は、たとえば図１２の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１２中曲線Ｂで示す特性に近づく（達する）ような補正を行う。 The MTF correction processing of the image processing device 240 is performed after edge enhancement, chroma enhancement, etc., using the MTF of the primary image, which is essentially a low value, as shown by a curve A in FIG. In the process, correction is performed so as to approach (reach) the characteristics indicated by the curve B in FIG.
図１２中曲線Ｂで示す特性は、たとえば本実施形態のように、収差制御面または収差制御光学素子を用いずに波面を変形させない場合に得られる特性である。 A characteristic indicated by a curve B in FIG. 12 is a characteristic obtained when the wavefront is not deformed without using the aberration control surface or the aberration control optical element as in the present embodiment.
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。 It should be noted that all corrections in the present embodiment are based on spatial frequency parameters.
本実施形態においては、図１２に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１３に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。 In this embodiment, as shown in FIG. 12, in order to achieve the MTF characteristic curve B to be finally realized with respect to the MTF characteristic curve A with respect to the optically obtained spatial frequency, each spatial frequency is On the other hand, as shown in FIG. 13, strength such as edge enhancement is added, and the original image (primary image) is corrected.
たとえば、図１２のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１３に示すようになる。 For example, in the case of the MTF characteristic of FIG. 12, the curve of edge enhancement with respect to the spatial frequency is as shown in FIG.
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。 That is, a desired MTF characteristic curve B is virtually realized by performing correction by weakening edge enhancement on the low frequency side and high frequency side within a predetermined spatial frequency band and strengthening edge enhancement in the intermediate frequency region. To do.
このように、実施形態に係る撮像装置２００は、基本的に、１次画像を形成する収差制御光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、収差制御素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を収差制御用に成形したものを設けることにより、球面収差を意図的に発生させて結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置２４０を通して高精細画像を得る画像形成システムである。 As described above, the imaging apparatus 200 according to the embodiment basically includes the aberration control optical system 210 and the imaging element 220 that form the primary image, and the image processing apparatus 140 that forms the primary image into a high-definition final image. In this optical system, spherical aberration is intentionally achieved by providing a new aberration control element or by shaping the surface of the optical element such as glass or plastic for aberration control. The generated wavefront is deformed (modulated), and such a wavefront is imaged on the imaging surface (light receiving surface) of the imaging element 220 including a CCD or a CMOS sensor, and the primary image is subjected to image processing. The image forming system obtains a high-definition image through the device 240.
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２４０で行う。 In the present embodiment, the primary image from the image sensor 220 has a light flux condition with a very deep depth. For this reason, the MTF of the primary image is essentially a low value, and the MTF is corrected by the image processing device 240.
次に、本実施形態および通常光学系のＭＴＦのレスポンスについて考察する。 Next, the response of the MTF of this embodiment and the normal optical system will be considered.
図１４は、通常の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 FIG. 14 is a diagram showing MTF responses when the object is at the focal position and when the object is out of the focal position in the case of a normal optical system.
図１５は、収差制御素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 FIG. 15 is a diagram showing the MTF response when the object is at the focal position and when the object is out of the focal position in the optical system of the present embodiment having the aberration control element.
また、図１６は、本実施形態に係る撮像装置の画像処理後のＭＴＦのレスポンスを示す図である。 FIG. 16 is a diagram illustrating a response of the MTF after image processing of the imaging apparatus according to the present embodiment.
図からもわかるように、収差制御面または収差制御素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が収差制御面または収差制御素子を挿入してない光学系よりも少なくなる。 As can be seen from the figure, in the case of an optical system having an aberration control surface or an aberration control element, even if the object deviates from the focal position, the change in the response of the MTF does not insert the aberration control surface or the aberration control element. Less than.
この光学系によって結像された画像を、後段の画像処理装置２４０によって画像処理することにより、ＭＴＦのレスポンスを向上させることができる。 The image formed by the optical system is subjected to image processing by the subsequent image processing device 240, whereby the MTF response can be improved.
ただし、画像処理を行うとノイズが増加してしまう場合には、好適にはＭＴＦのレスポンスを向上させるような画像処理は行わないようにすることも可能である。 However, if noise increases when image processing is performed, it is preferable not to perform image processing that preferably improves the response of the MTF.
上述したように、目的に応じて意図的に収差を発生させる光学系を収差制御光学系という。 As described above, an optical system that intentionally generates aberration according to the purpose is referred to as an aberration control optical system.
図１５に示した、収差制御光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。 The absolute value (MTF) of the OTF of the aberration control optical system shown in FIG. 15 is preferably 0.1 or more at the Nyquist frequency.
なぜなら、図１６に示した復元後のＯＴＦを達成するためには画像処理でゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに画像処理を行うことが好ましい。 This is because, in order to achieve the OTF after restoration shown in FIG. 16, the gain is increased by image processing, but the noise of the sensor is also increased at the same time. Therefore, it is preferable to perform image processing without increasing the gain as much as possible at high frequencies near the Nyquist frequency.
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。 In the case of a normal optical system, resolution is achieved if the MTF at the Nyquist frequency is 0.1 or more.
したがって、画像処理前のＭＴＦが０．１以上あれば、画像処理でナイキスト周波数でのゲインを上げずに済む。画像処理前のＭＴＦが０．１未満であると、画像処理後の画像がノイズの影響を大きく受けた画像になるため好ましくない。 Therefore, if the MTF before image processing is 0.1 or more, it is not necessary to increase the gain at the Nyquist frequency in image processing. If the MTF before image processing is less than 0.1, the image after image processing becomes an image greatly affected by noise, which is not preferable.
以上説明したように、本実施形態によれば、可変絞り２１４、収差を意図的に発生させる収差制御機能を有する収差制御光学系２１０、撮像素子２２０、および１次画像を高精細な最終画像に形成する画像処理装置２４０を含み、収差制御光学系２１０Ａの収差特性は、可変絞り２１４の口径が変化しても深度拡張効果（機能）を有する。 As described above, according to the present embodiment, the variable aperture 214, the aberration control optical system 210 having an aberration control function for intentionally generating aberration, the image sensor 220, and the primary image are converted into a high-definition final image. The aberration characteristics of the aberration control optical system 210A including the image processing device 240 to be formed have a depth expansion effect (function) even if the aperture of the variable stop 214 changes.
収差制御光学系２１０Ａは、可変絞り２１４の口径を変化させることで複数のＦ値が選択可能である。 The aberration control optical system 210A can select a plurality of F values by changing the aperture of the variable stop 214.
また、本実施形態の収差制御光学系２１０Ａの収差特性は、可変絞り２１４の有効径内に複数（２つ以上）の変曲点を有する。 Further, the aberration characteristic of the aberration control optical system 210A of the present embodiment has a plurality (two or more) inflection points within the effective diameter of the variable stop 214.
本実施形態の収差制御光学系２１０Ａの収差特性は、可変絞り２１４が開放の口径の場合に光線が通過する領域から収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する。 The aberration characteristics of the aberration control optical system 210A of the present embodiment are such that the light beam passes from the region where the light beam passes when the variable stop 214 has an open aperture to the minimum aperture diameter having a depth expansion effect by the aberration control function. It has one or more inflection points in the area excluding the area.
すなわち、本実施形態の収差制御光学系２１０Ａの収差特性は、深度拡張作用を期待されるＦ値の中で、最も明るいＦ値の時に光線が通過する収差制御面の領域と最も暗いＦ値の時に光線が通過する収差制御面の領域の間で、ひとつ以上の変曲点を有する。 That is, the aberration characteristic of the aberration control optical system 210A of the present embodiment is that the aberration control surface region through which the light beam passes and the darkest F value among the F values expected to have a depth expansion effect. Sometimes there is one or more inflection points between the areas of the aberration control surface through which the light passes.
したがって、本実施形態によれば、可変絞り２１４の口径を変化させることで複数のＦ値が選択可能であり、選択可能なＦ値のいずれにおいても、収差制御素子または収差制御面の効果により深度拡張を行うことが可能である。 Therefore, according to the present embodiment, a plurality of F values can be selected by changing the aperture of the variable diaphragm 214, and any of the selectable F values has a depth due to the effect of the aberration control element or the aberration control surface. Extensions can be made.
また、球面収差に２つ以上の変曲点を適切に持たせることで複数の絞り口径の選択に対し、深度拡張を実現することができる。 Further, by appropriately providing two or more inflection points in the spherical aberration, it is possible to realize depth extension for selection of a plurality of aperture diameters.
また、Ｆ値を変化させた場合でも効率よく深度拡張作用を得ることが可能となる。 In addition, even when the F value is changed, it is possible to obtain a depth extending action efficiently.
すなわち、本実施形態によれば、画像復元処理を施さなくても深度拡張することができ、絞り径を変化させても深度拡張機能の低下を防止することができる。 That is, according to the present embodiment, depth expansion can be performed without performing image restoration processing, and deterioration of the depth expansion function can be prevented even if the aperture diameter is changed.
また、本実施形態によれば、収差制御光学系２１０Ａは、収差を意図的に発生させる収差制御機能を持つ収差制御素子を含む、もしくは収差制御機能を有する収差制御面を内包する収差制御光学系を用いてＰＳＦを２画素以上にまたがるようにし、所定の周波数において偽解像しない主像面シフト領域でディフォーカスに対するＭＴＦ特性が２つ以上のピークを持つ深度拡張光学系として形成されていることから、以下の効果を得ることができる。 Further, according to the present embodiment, the aberration control optical system 210A includes an aberration control element having an aberration control function for intentionally generating an aberration, or includes an aberration control surface having an aberration control function. Is used to extend the PSF over two or more pixels, and is formed as a depth expansion optical system having two or more peaks with MTF characteristics for defocus in a main image plane shift region that is not falsely resolved at a predetermined frequency. Therefore, the following effects can be obtained.
本実施形態においては、収差制御機能を用いてディフォーカスに対するＭＴＦ特性において２つ以上のピークを複数持つようにすることで、ピーク値の低下を抑えつつ、収差制御素子を持たない一般的な光学系よりも深度を拡張できる。 In this embodiment, by using the aberration control function to have a plurality of two or more peaks in the MTF characteristic for defocus, a general optical without an aberration control element while suppressing a decrease in peak value. Can extend the depth more than the system.
すなわち、本実施形態によれば、球面収差を適切に制御することで、画像復元処理を施さなくても深度を拡張することができ、適切な画質の、ノイズの影響が小さい良好な画像を得ることが可能となる。 That is, according to the present embodiment, by appropriately controlling the spherical aberration, the depth can be expanded without performing the image restoration process, and a good image with appropriate image quality and less influence of noise is obtained. It becomes possible.
また、本実施形態によれば、球面収差カーブの変曲点を３つ以上とすることにより、ディフォーカスＭＴＦにおけるピークを複数持たせ、また、球面収差カーブの振幅量を中心部から周辺部にかけて徐々に大きくすることで、周波数制御のバランスをとった深度拡張を実現できる。 In addition, according to the present embodiment, by providing three or more inflection points of the spherical aberration curve, a plurality of peaks in the defocus MTF are provided, and the amplitude of the spherical aberration curve is increased from the central portion to the peripheral portion. By gradually increasing the depth, it is possible to achieve depth expansion that balances frequency control.
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。 Further, there is an advantage that a natural image can be obtained without requiring an optical lens that is difficult, expensive, and large in size, and without driving the lens.
そして、本実施形態に係る撮像装置２００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストに考慮が必要な光学システムに使用することが可能である。 The imaging apparatus 200 according to the present embodiment can be used in an optical system that requires consideration for the small size, light weight, and cost of consumer devices such as digital cameras and camcorders.
また、収差制御光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。 In addition, the configuration of the aberration control optical system 210 can be simplified, manufacturing becomes easy, and cost reduction can be achieved.
なお、本実施形態に係る撮像装置１００が適用可能な電子機器としては、情報読み取り装置の他に、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、ＰＤＡ、画像検査装置、自動制御用産業カメラ等に適用可能である。 As an electronic apparatus to which the imaging apparatus 100 according to the present embodiment can be applied, in addition to an information reading apparatus, in addition to a digital still camera, a video camera, a digital video unit, a personal computer, a mobile phone, a PDA, and an image inspection apparatus It can be applied to industrial cameras for automatic control.
２００・・・撮像装置
２１０・・・収差制御光学系
２１１・・・第１レンズ
２１２・・・第２レンズ
２１３・・・第３レンズ
２１３ａ・・・収差制御面
２１４・・・可変絞り
２１５・・・第４レンズ
２２０・・・撮像素子
２３０・・・アナログフロントエンド部（ＡＦＥ）
２４０・・・画像処理装置
２５０・・・カメラ信号処理部
２８０・・・操作部
２９０・・・制御装置
ＭＳＡＲ・・・主像面シフト領域。
200 ... Imaging device 210 ... Aberration control optical system 211 ... First lens 212 ... Second lens 213 ... Third lens 213a ... Aberration control surface 214 ... Variable aperture 215- .... Fourth lens 220 ... Image sensor 230 ... Analog front end (AFE)
240 ... Image processing device 250 ... Camera signal processing unit 280 ... Operation unit 290 ... Control device MSAR ... Main image plane shift area.
Claims (11)
前記収差制御光学系を通過する光束を制限し、開口径の大きさを変更可能な絞りと、
前記収差制御光学系を通過した被写体像を撮像する撮像素子と、
複数の撮影モードを選択可能な撮影モード選択部と、を有し、
前記絞りは前記撮影モードの選択に応じて開口径を設定し、かつ
前記収差制御光学系の収差特性は、
前記絞りの有効径内に複数の変曲点を有して、前記絞りを開放より絞り込んだ状態においても深度拡張効果を発現する
撮像装置。 An aberration control optical system including an aberration control unit having an aberration control function for generating aberration;
A diaphragm that limits the luminous flux passing through the aberration control optical system and can change the size of the aperture diameter;
An image sensor that captures a subject image that has passed through the aberration control optical system;
A shooting mode selection unit capable of selecting a plurality of shooting modes;
The aperture sets an aperture diameter according to the selection of the shooting mode, and the aberration characteristic of the aberration control optical system is:
An imaging apparatus that has a plurality of inflection points within an effective diameter of the diaphragm and exhibits a depth expansion effect even in a state where the diaphragm is further narrowed from an open position.
前記撮影モードの選択部によって前記近接撮影を要する撮影モードが選択された場合に、前記絞りは開放より絞り込んだ状態にする
請求項１に記載の撮像装置。 The shooting mode includes a shooting mode that requires close-up shooting,
The imaging apparatus according to claim 1, wherein when the shooting mode that requires the close-up shooting is selected by the shooting mode selection unit, the aperture is in a state of being narrowed down from the open position.
請求項１または２に記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein the aberration control optical system has a plurality of peaks in a main image plane shift region of an arbitrary frequency in MTF characteristics with respect to defocusing.
球面収差を発生させることによって深度を拡張させる機能を含む
請求項１から３のいずれか一に記載の撮像装置。 The aberration control unit is
The imaging apparatus according to claim 1, further comprising a function of expanding a depth by generating a spherical aberration.
前記収差制御機能を有する収差制御部が前記絞りに隣接して配置されている
請求項１から４のいずれか一に記載の撮像装置。 The aberration control optical system is
The imaging apparatus according to claim 1, wherein an aberration control unit having the aberration control function is disposed adjacent to the diaphragm.
前記絞りの
開口径が何れの大きさであっても深度拡張効果を有する
請求項１から５のいずれか一に記載の撮像装置。 The aberration control optical system is
The imaging apparatus according to any one of claims 1 to 5, which has a depth expansion effect regardless of the aperture diameter of the diaphragm.
前記可変絞りが開放の口径の場合に光線が通過する領域から前記収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する
請求項１から６のいずれか一に記載の撮像装置。 The aberration characteristics of the aberration control optical system are:
One or more inflection points in the region excluding the region where the light beam passes from the region where the light beam passes when the variable aperture is an open aperture to the minimum aperture diameter having the depth extension effect by the aberration control function. The imaging apparatus according to any one of claims 1 to 6.
前記絞りの開口径内で生じる球面収差カーブに３つ以上の変曲点を有する
請求項１から７のいずれか一に記載の撮像装置。 The aberration characteristics of the aberration control optical system are:
The imaging apparatus according to claim 1, wherein the spherical aberration curve generated within the aperture diameter of the diaphragm has three or more inflection points.
請求項８に記載の撮像装置。 The imaging apparatus according to claim 8, wherein the spherical aberration curve has an amplitude amount that gradually increases from a central portion to a peripheral portion.
請求項１から９のいずれか一に記載の撮像装置。 10. The imaging according to claim 1, further comprising: an image processing unit that performs image processing on an image signal obtained by the imaging element and improves image characteristics that are deteriorated due to an aberration of the aberration control optical system. apparatus.
前記撮像装置は、
収差を発生させる収差制御機能を有する収差制御部を含む収差制御光学系と、
前記収差制御光学系を通過する光束を制限し、開口径の大きさを変更可能な絞りと、
前記収差制御光学系を通過した被写体像を撮像する撮像素子と、
複数の撮影モードを選択可能な撮影モード選択部と、を有し、
前記絞りは前記撮影モードの選択に応じて開口径を設定し、かつ
前記収差制御光学系の収差特性は、
前記絞りの有効径内に複数の変曲点を有して、前記絞りを開放より絞り込んだ状態においても深度拡張効果を発現する
電子機器。 Having an imaging device;
The imaging device
An aberration control optical system including an aberration control unit having an aberration control function for generating aberration;
A diaphragm that limits the luminous flux passing through the aberration control optical system and can change the size of the aperture diameter;
An image sensor that captures a subject image that has passed through the aberration control optical system;
A shooting mode selection unit capable of selecting a plurality of shooting modes;
The aperture sets an aperture diameter according to the selection of the shooting mode, and the aberration characteristic of the aberration control optical system is:
An electronic apparatus that has a plurality of inflection points within the effective diameter of the diaphragm and exhibits a depth expansion effect even when the diaphragm is further narrowed from the open position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010008856A JP5479123B2 (en) | 2010-01-19 | 2010-01-19 | Imaging apparatus and electronic apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010008856A JP5479123B2 (en) | 2010-01-19 | 2010-01-19 | Imaging apparatus and electronic apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011151448A true JP2011151448A (en) | 2011-08-04 |
| JP5479123B2 JP5479123B2 (en) | 2014-04-23 |
Family
ID=44538074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010008856A Active JP5479123B2 (en) | 2010-01-19 | 2010-01-19 | Imaging apparatus and electronic apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5479123B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013172030A1 (en) * | 2012-05-16 | 2013-11-21 | 京セラ株式会社 | Image pick-up device, image pick-up lens unit, and image pick-up unit |
| EP2816799A1 (en) | 2013-06-21 | 2014-12-24 | Ricoh Company, Ltd. | Image capturing apparatus, image capturing system and image capturing method |
| EP4102293A1 (en) * | 2021-06-07 | 2022-12-14 | Sick Ag | Camera and method for detecting objects moving through a surveillance area |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009069752A1 (en) * | 2007-11-29 | 2009-06-04 | Kyocera Corporation | Imaging device and electronic apparatus |
| JP2009181367A (en) * | 2008-01-30 | 2009-08-13 | Kyocera Corp | Imaging apparatus and electronic device |
| JP2011028166A (en) * | 2009-07-29 | 2011-02-10 | Olympus Corp | Optical device, imaging apparatus using the same, and imaging system |
-
2010
- 2010-01-19 JP JP2010008856A patent/JP5479123B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009069752A1 (en) * | 2007-11-29 | 2009-06-04 | Kyocera Corporation | Imaging device and electronic apparatus |
| JP2009181367A (en) * | 2008-01-30 | 2009-08-13 | Kyocera Corp | Imaging apparatus and electronic device |
| JP2011028166A (en) * | 2009-07-29 | 2011-02-10 | Olympus Corp | Optical device, imaging apparatus using the same, and imaging system |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013172030A1 (en) * | 2012-05-16 | 2013-11-21 | 京セラ株式会社 | Image pick-up device, image pick-up lens unit, and image pick-up unit |
| JP2013238779A (en) * | 2012-05-16 | 2013-11-28 | Kyocera Corp | Image capturing device, image capturing lens unit, and image capturing unit |
| US9237260B2 (en) | 2012-05-16 | 2016-01-12 | Kyocera Corporation | Imaging apparatus, photographic lens unit, and imaging unit having an aberration control element for generating a predetermined aberration |
| EP2816799A1 (en) | 2013-06-21 | 2014-12-24 | Ricoh Company, Ltd. | Image capturing apparatus, image capturing system and image capturing method |
| US9247188B2 (en) | 2013-06-21 | 2016-01-26 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method that performs inverse transform processing on an image using an inverse transform filter |
| EP4102293A1 (en) * | 2021-06-07 | 2022-12-14 | Sick Ag | Camera and method for detecting objects moving through a surveillance area |
| US11743602B2 (en) | 2021-06-07 | 2023-08-29 | Sick Ag | Camera and method for detecting objects moved through a detection zone |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5479123B2 (en) | 2014-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2009069752A1 (en) | Imaging apparatus and electronic apparatus | |
| JP4712631B2 (en) | Imaging device | |
| JP4663737B2 (en) | Imaging apparatus and image processing method thereof | |
| US8773778B2 (en) | Image pickup apparatus electronic device and image aberration control method | |
| JP4743553B2 (en) | Lens unit, imaging device, and electronic device | |
| JP4749984B2 (en) | Imaging device, manufacturing apparatus and manufacturing method thereof | |
| US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
| JP4818957B2 (en) | Imaging apparatus and method thereof | |
| JP2007322560A (en) | Imaging apparatus, and apparatus and method of manufacturing the same | |
| JP2007300208A (en) | Imaging apparatus | |
| JP4658162B2 (en) | Imaging apparatus and electronic apparatus | |
| JP2008245266A (en) | Imaging apparatus and method | |
| JP5479123B2 (en) | Imaging apparatus and electronic apparatus | |
| JP2009086017A (en) | Imaging device and imaging method | |
| JP5809387B2 (en) | Imaging apparatus and electronic apparatus | |
| JP2009033607A (en) | Imaging apparatus and image processing method | |
| JP2009134023A (en) | Imaging device and information code reading device | |
| JP2010109625A (en) | Image capturing apparatus and electronic apparatus | |
| JP2011133593A (en) | Imaging apparatus | |
| JP2009008935A (en) | Imaging apparatus | |
| JP2008167040A (en) | Imaging apparatus, manufacturing apparatus and manufacturing method therefor, and information code reader | |
| JP2009181367A (en) | Imaging apparatus and electronic device | |
| JP4722748B2 (en) | Imaging apparatus and image generation method thereof | |
| JP2009010783A (en) | Imaging apparatus | |
| JP2011114722A (en) | Imaging apparatus, and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5479123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |