JP5515589B2 - Photometric device and imaging device - Google Patents
Photometric device and imaging device Download PDFInfo
- Publication number
- JP5515589B2 JP5515589B2 JP2009232378A JP2009232378A JP5515589B2 JP 5515589 B2 JP5515589 B2 JP 5515589B2 JP 2009232378 A JP2009232378 A JP 2009232378A JP 2009232378 A JP2009232378 A JP 2009232378A JP 5515589 B2 JP5515589 B2 JP 5515589B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- analysis
- frame
- index
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、測光装置および撮像装置に関する。 The present invention relates to a photometric device and an imaging device.
従来、様々な一眼レフタイプのデジタルカメラが考えられている。例えば、特許文献１では、ファインダの像を画像センサによって取り込み、シーンの解析を行う一眼レフカメラが、開示されている。 Conventionally, various single-lens reflex digital cameras have been considered. For example, Patent Document 1 discloses a single-lens reflex camera that takes a finder image by an image sensor and analyzes a scene.
ところで、一眼レフタイプのデジタルカメラには、ファインダの光路中に、オートフォーカス（以下、「ＡＦ」と称する）の検出点を示すＡＦ枠やＡＦエリアの指標などをスーパーインポーズ表示する部材が設けられているものがある。 By the way, a single-lens reflex digital camera is provided with a member that superimposes an AF frame indicating an autofocus (hereinafter referred to as “AF”) or an AF area index in the optical path of the finder. There is something that has been.
このようなデジタルカメラでは、ＡＦ枠やＡＦエリアの指標などの像が、測光などを目的とした解析用画像センサで撮像された画像に写り込んでしまう場合がある。このような場合、シーン解析などの画像解析結果に影響を与える場合がある。 In such a digital camera, an image such as an AF frame or an AF area index may appear in an image captured by an analysis image sensor for the purpose of photometry. In such a case, image analysis results such as scene analysis may be affected.
上記従来技術が有する問題に鑑み、本発明の目的は、指標などをスーパーインポーズ表示する部材が光学系に設けられている場合であっても、その影響を受けることなく好適な画像処理の結果を得ることができる技術を提供することにある。 In view of the above-described problems of the prior art, the object of the present invention is to obtain a result of suitable image processing without being affected even when a member for superimposing and displaying an index or the like is provided in an optical system. It is to provide a technique capable of obtaining the above.
本発明を例示する測光装置の一態様は、光学系による像に重畳して指標を表示する指標表示部と、指標表示部によって表示される指標を光学系による像に重畳した像を撮像して第１画像を生成する撮像部と、第１画像内の指標の像を補正した第２画像を生成する補正部と、所定の条件に基づいて、第１画像と第２画像との少なくとも一方の画像を用いて、光学系による像の情報を処理する処理部と、指標表示部による指標の表示位置が変化したか否かを判定する判定部と、を備え、処理部は、判定部が指標の表示位置が変化していないと判定した場合、第２画像を用いて処理を行う。 An aspect of a photometric device that exemplifies the present invention includes an index display unit that superimposes an image displayed by an optical system and displays an index, and an image obtained by superimposing an index displayed by the index display unit on an image generated by the optical system. An imaging unit that generates a first image, a correction unit that generates a second image obtained by correcting an index image in the first image, and at least one of the first image and the second image based on a predetermined condition using an image, comprising: a processing unit for processing the information of the image formed by the optical system, a determination section for determining whether or not the display position of the index is changed by the indicator display unit, a processing unit, determining unit indicator When it is determined that the display position has not changed, processing is performed using the second image .
本発明を例示する測光装置の別態様は、光学系による像に重畳して指標を表示する指標表示部と、指標表示部によって表示される指標を光学系による像に重畳した像を撮像して第１画像を生成する撮像部と、第１画像内の指標の像を補正した第２画像を生成する補正部と、所定の条件に基づいて、第１画像と第２画像との少なくとも一方の画像を用いて、光学系による像の情報を処理する処理部と、指標表示部による指標の表示位置が変化したか否かを判定する判定部と、を備え、処理部は、判定部が指標の表示位置が変化したと判定した場合、第１画像を用いて処理を行う。
Another aspect of the photometric device that exemplifies the present invention includes an index display unit that displays an index superimposed on an image by an optical system, and an image in which the index displayed by the index display unit is superimposed on an image by an optical system. An imaging unit that generates a first image, a correction unit that generates a second image obtained by correcting an index image in the first image, and at least one of the first image and the second image based on a predetermined condition using an image, comprising: a processing unit for processing the information of the image formed by the optical system, a determination section for determining whether or not the display position of the index is changed by the indicator display unit, a processing unit, determining unit indicator when the display position of is determined to have changed, it intends row processing using the first image.
また、処理部は、像の情報の処理の結果に応じて、第１画像および第２画像のうちの異なる画像を用いて処理を行っても良い。 Further, the processing unit may perform processing using a different image of the first image and the second image according to the result of the processing of the image information.
また、処理部は、異なる画像に対する像の情報の処理を、指標を含む所定の大きさの画像に対して行っても良い。 The processing unit may perform image information processing for different images on an image having a predetermined size including an index.
本発明の撮像装置は、本発明の測光装置と、光学系による像を撮像する撮像素子と、を備える。 The imaging device of the present invention includes the photometric device of the present invention and an imaging element that captures an image by an optical system.
本発明によれば、指標などをスーパーインポーズ表示する部材が光学系に設けられている場合であっても、その影響を受けることなく好適な画像処理の結果を得ることができる。 According to the present invention, even if a member for superimposing and displaying an index or the like is provided in the optical system, a suitable image processing result can be obtained without being affected by the effect.
≪第１の実施形態≫
図１は、本発明の第１の実施形態に係るカメラ１００の機能ブロック図である。
<< First Embodiment >>
FIG. 1 is a functional block diagram of a
本実施形態に係るカメラ１００は、一眼レフデジタルカメラである。図１に示すように、カメラ１００は、レンズ部分と本体部分とからなり、レンズ部分は、繰出し可能な撮影レンズ１、絞り２、撮影レンズ１を駆動するレンズ駆動部３、撮影レンズ１の焦点距離を検出する距離検出部４、絞り２を制御する絞り制御部５、レンズ部分の各部を制御するレンズ側マイコン６を備える。また、カメラ１００は、レンズ部分と本体部分とを電気的に接続する電気接点７を備える。
The
レンズ駆動部３は、焦点調節のために撮影レンズ１を繰出し、距離検出部４は、撮影レンズ１のレンズ繰出し量を検出し、撮影レンズ１が像を結ぶ距離を検出する。以上説明した各機能は、レンズ側マイコン６によって制御される。
The lens driving unit 3 extends the photographing lens 1 for focus adjustment, and the
また、カメラ部分は、撮影レンズ１からの光束を分岐するためのクイックリターンミラー１１、焦点板１２、ＡＦ枠表示板１３、ＡＦ枠表示板１３を照明するためのＬＥＤ１４、ペンタプリズム１５を備える。そして、焦点板１２で投影される被写体からの光束の一部は、構図確認に用いるための接眼レンズ１６へ、残りの光束は、後述する被写体の情報の取得するための再結像レンズ１７および解析用撮像素子１８へ入射される。
The camera portion also includes a
ＡＦ枠表示板１３は、例えば、透明板に透明電極と高分子分散液晶（ＰＮ液晶）を挟んだ構造を有し、後述する表示板制御部２８からの指示に基づいて電圧をＯＮ／ＯＦＦ制御されることにより、図２に示されるＡ１〜Ａ１５のＡＦ枠の各々が、表示（例えば、ＡＦ枠Ａ８の黒枠表示）と非表示（例えば、ＡＦ枠Ａ１など）との切り換えが可能な液晶表示素子である。また、ＬＥＤ１４を点灯することにより、暗い視野において黒枠で表示されているＡＦ枠を、光らせる（照明する）ことができる。例えば、ＬＥＤ１４として赤色ＬＥＤを用いる場合、ＡＦ枠表示板１３に表示されたＡＦ枠Ａ８は赤く点灯表示される。
The AF
また、解析用撮像素子１８は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどのイメージセンサである。解析用撮像素子１８の画素には、赤、緑、青などのオンチップカラーフィルタが、例えばベイヤ配列の配列で設けられる。そして、この解析用撮像素子１８により、色情報を含む画像情報を得ることができる。
The
また、カメラ部分は、被写体を撮像するための画像用撮像素子１９、シャッタ２０を備えるとともに、焦点検出に用いる光束を導くサブミラー２１を備える。また、各部の制御に関わるボディ側マイコン２２、焦点検出部２３、シャッタ２０を制御するシャッタ制御部２４を備える。また、解析用撮像素子１８を駆動する撮像素子駆動部２５と、画像用撮像素子１９を駆動する撮像素子駆動部２７とを備える。また、解析用撮像素子１８または画像用撮像素子１９により得られた画像に画像処理を施すための画像処理部２６、ＡＦ枠表示板１３の表示を制御する表示板制御部２８、ＬＥＤ１４を駆動するＬＥＤ駆動部２９を備える。
Further, the camera portion includes an
解析用撮像素子１８によって撮像された画像の情報は、適宜画像処理部２６による画像処理が施されて、シーン解析、測光演算、ボディ制御演算などに用いられる。
Image information captured by the
被写体からの光束は撮影レンズ１および絞り２を通過して、クイックリターンミラー１１に導かれる。撮影時にはクイックリターンミラー１１が跳ね上がり、シャッタ２０が開放されることにより、被写体からの光束は撮影レンズ１により画像用撮像素子１９の撮像面上に結像される。そして、画像用撮像素子１９からの画像信号は不図示のＡ／Ｄ変換器によってデジタル信号化され、画像処理部２６によって画像処理が施された後に、不図示のＲＡＭなどの記憶装置に記録される。
The light beam from the subject passes through the photographing lens 1 and the
撮影時以外、すなわち構図確認中などには、クイックリターンミラー１１は下がり、被写体からの光束の一部は、クイックリターンミラー１１により反射され、焦点板１２上に結像する。この像はＡＦ枠表示板１３およびペンタプリズム１５を介して、光束の一部は接眼レンズ１６に到達する。ユーザは、接眼レンズ１６を介してこの像を観察することにより、構図を確認することができる。一方、残りの光束は、再結像レンズ１７を介して解析用撮像素子１８上に結像する。したがって、解析用撮像素子１８は、クイックリターンミラー１１が下がり、シャッタ２０が閉じていて画像用撮像素子１９による撮像が行われていない状態でも、被写体の画像を生成することができる。なお、接眼レンズ１６を介してユーザにより観察される像、および解析用撮像素子１８上に結像する像には、ＡＦ枠表示板１３が表示するＡＦ枠の像が重畳される。また、本実施形態における解析用撮像素子１８は、１０〜２０ｆｐｓで画像を撮像生成するものとする。
Other than during photographing, that is, during composition confirmation, the
さらに、解析用撮像素子１８は、露出制御用センサ、ホワイトバランス制御用センサなどの測光／測色センサおよび後述する被写体解析用センサを兼ねる。解析用撮像素子１８からの画像信号は不図示のＡ／Ｄ変換器によってデジタル信号化され、ボディ側マイコン２２に備えられる不図示のＲＡＭなどのメモリに記憶される。
Further, the
ところで、撮影時以外、すなわち構図確認中などに、下がった状態のクイックリターンミラー１１を透過した、被写体からの光束の一部は、サブミラー２１によって焦点検出部２３に導かれる。焦点検出部２３は、撮影レンズ１を通過する光束を用いて、視差を有する被写体の２像を１対のイメージセンサアレー上に導き、イメージセンサアレーの画像出力から像の相対的ずれ量を算出して合焦状態を判別する、いわゆる位相差方式の焦点検出を行う。
By the way, a part of the luminous flux from the subject that has passed through the
ここまで説明した各部は、基本的に、ボディ側マイコン２２によって制御される。ボディ側マイコン２２の各制御プログラムは、不図示のＲＯＭなどに予め記憶されている。また画像用撮像素子１９により生成されて記憶された画像は、メモリカードなどの外部記憶装置などにファイルとして出力され、ユーザの利用に供される。また、ボディ側マイコン２２は、電気接点７を介して、レンズ側マイコン６と相互に接続される。そして、ボディ側マイコン２２は、電気接点７を介して、レンズ側マイコン６を制御する。
Each part described so far is basically controlled by the
以上説明した構成のカメラ１００において、解析用撮像素子１８による画像情報は、上述したように、シーン解析、測光演算、ボディ制御演算などに用いられる。しかし、解析用撮像素子１８には、ＡＦ枠表示板１３が表示するＡＦ枠やＡＦエリアの指標などの像が重畳する場合がある。このような場合には、解析用撮像素子１８による画像情報に誤差が発生することになり、この画像情報に基づくシーン解析、測光演算、ボディ制御演算などの信頼性が低下してしまう。
In the
そこで、本実施形態におけるボディ側マイコン２２は、解析用撮像素子１８に重畳したＡＦ枠やＡＦエリアの指標などの像を補正することにより、解析用撮像素子１８による画像情報における誤差の影響を抑えて、シーン解析、測光演算、ボディ制御演算などの信頼性低下の回避を図る。
Therefore, the
以下において、図４（ａ）に示すように、被写体である人物とともに、ＡＦ枠表示板１３のＡＦ枠Ａ４が解析用撮像素子１８によって撮像された解析用画像３０に対する、ボディ側マイコン２２によるシーン解析、測光演算、ボディ制御演算などの処理について、図３のフローチャートを参照して説明する。なお、以下の説明におけるボディ側マイコン２２による処理として、シーン解析の１つである顔検出と測光演算とを例に説明する。また、この処理において、ＬＥＤ１４を点灯させずに、ＡＦ枠の像が黒枠で表示される場合を例に説明するが、合焦状態となって、ＬＥＤ１４が点灯されＡＦ枠の像が赤く表示される場合でも同様の処理が行われる。
In the following, as shown in FIG. 4A, a scene by the body-
ユーザにより、操作部材（不図示）の電源釦が押され、または、レリーズ釦が半押しされることで、カメラ１００に電源が投入される。そして、ボディ側マイコン２２は、ステップＳ１からの処理を開始する。
When the user presses a power button on an operation member (not shown) or presses the release button halfway, the
ステップＳ１：ボディ側マイコン２２は、撮像素子駆動部２５に対して、解析用撮像素子１８の撮像面に結像される被写体の撮像指示を出力する。撮像素子駆動部２５は、解析用撮像素子１８に、図４（ａ）に示すような、ＡＦ枠表示板１３のＡＦ枠Ａ４の像が重畳した被写体の像を撮像させる。解析用撮像素子１８は、第１画像である解析用画像３０を生成する。なお、解析用画像３０には、表示板制御部２８によって、ＡＦ枠表示板１３のＡＦ枠Ａ１〜ＡＦ１５のいずれかが黒枠で表示される。本実施形態では、図４（ａ）に示すように、被写体である人物の顔の部分に位置するＡＦ枠Ａ４の像が表示されるものとする。
Step S <b> 1: The
ステップＳ２：ボディ側マイコン２２は、撮像素子駆動部２５に対して、解析用撮像素子１８に解析用画像３０の画像信号を出力させる指示を出す。その解析用画像３０の画像信号は、ボディ側マイコン２２に備えられたメモリ（不図示）に記録される。
Step S2: The
ステップＳ３：ボディ側マイコン２２は、メモリ（不図示）に記録された解析用画像３０に対するシーン解析を行うために、解析用画像３０を画像処理部２６へ転送する。画像処理部２６は、解析用画像３０に対してシーン解析の１つである顔検出を行う。なお、本実施形態における顔検出の手法は、目、鼻、口などの形に基づいて行われるパターンマッチングによる周知の手法を用いても良い。
Step S3: The
ステップＳ４：ボディ側マイコン２２は、ステップＳ３において、図４（ａ）に示すように、解析用画像３０に重畳するＡＦ枠Ａ４の像が被写体である人物の顔にかかるような場合、顔検出できないことがあり、ＡＦ枠Ａ４の像を除去するなどの補正処理を行う。具体的には、ボディ側マイコン２２は、解析用画像３０に重畳するＡＦ枠Ａ４の像に対応する画素の値を、その画素に隣接しＡＦ枠Ａ４の像が重畳していない画素の値で補間をして、第２画像である補正画像を生成する。
Step S4: The
ステップＳ５：ボディ側マイコン２２は、ステップＳ４において、生成した補正画像に対するシーン解析を行うために、補正画像を画像処理部２６へ転送する。画像処理部２６は、補正画像に対して顔検出を再度行う。ただし、本実施形態における画像処理部２６は、補正画像に対する顔検出を画像全体に対して行わず、図４（ａ）および（ｂ）に示すように、ＡＦ枠Ａ４の位置を中心とした所定の大きさの画像領域４０における補正画像の画素値を用いて、顔検出を行う。なお、本実施形態における画像領域４０の大きさは、解析用画像３０の１／３などの大きさであるとする。
Step S5: In step S4, the
ステップＳ６：ボディ側マイコン２２は、解析用画像３０または補正画像を用いて、測光演算を行う。具体的には、ボディ側マイコン２２は、解析用画像３０または補正画像をいくつかの領域に分割して輝度を測定する分割測光を行い、ステップＳ３またはステップＳ５において顔検出された領域の人物の顔の輝度に応じて補正する測光演算を行う。これにより、本実施形態に係るカメラ１００は、シーンに適した露出制御を行うことができる。
Step S6: The
なお、解析用画像３０または補正画像のいずれの画像を用いて測光演算を行うかは、例えば、ＬＥＤ１４によってＡＦ枠Ａ４が赤く光っていない場合には、解析用画像３０および補正画像のいずれを用いて行っても良く、ＡＦ枠Ａ４が赤く光っている場合には、補正画像を用いることが好ましい。理由は、ＡＦ枠Ａ４が明るく光ることにより、測光演算に基づく露出制御において、正確な露出時間や絞り値などの露出条件を算出することが困難になるからである。あるいは、ＬＥＤ１４によってＡＦ枠Ａ４が赤く光っている場合、ボディ側マイコン２２は、ステップＳ６における測光演算を行う前に、ＬＥＤ駆動部２９に対して、ＬＥＤ１４を消灯させる指示をすることが好ましい。
Note that which of the
ステップＳ７：ボディ側マイコン２２は、ユーザによって操作部材（不図示）の電源釦が再度押された、または、所定の時間が経過したことにより、カメラ１００がＯＦＦ状態であるか否かを判定する。ボディ側マイコン２２は、カメラ１００がＯＦＦ状態であると判定した場合（ＹＥＳ側）、一連の処理を終了する。一方、ボディ側マイコン２２は、カメラ１００がＯＮ状態と判定した場合、ステップＳ１（ＮＯ側）へ移行して、解析用撮像素子１８によって撮像される次の解析用画像３０に対して、ステップＳ１〜ステップＳ７の処理を行う。そして、もしユーザによって操作部材（不図示）のレリーズ釦が全押しされた場合、ボディ側マイコン２２は、求めた露出条件に基づいてシャッタや絞りなどを制御して、画像用撮像素子１９による撮像を行う。
Step S7: The
このように、本実施形態では、ＡＦ枠表示板１３のＡＦ枠Ａ１〜Ａ１５の像が重畳した解析用画像３０に対して、ＡＦ枠の像を除去するなどの補正処理を施した補正画像に基づいてシーン解析などの処理を行うことにより、解析用撮像素子１８にＡＦ枠表示板１３のＡＦ枠の像が重畳したとしても、より確度高くシーン解析などの処理を行うことができる。
As described above, in the present embodiment, a correction image obtained by performing correction processing such as removing the image of the AF frame on the
また、ＡＦ枠の像が重畳した解析用画像３０に対する補正処理は、ＡＦ枠の像の画素の値を、その画素に隣接してＡＦ枠の像が重畳していない画素の値で補間することで行われるが、その補正処理によって、補正画像が元の解析用画像３０よりも不自然な画像となり、シーン解析などの処理が困難な場合、解析用画像３０と補正画像との両方に対してシーン解析などの処理を施すことにより、補正画像のみに対してシーン解析などの処理を行う場合と比べて、補正による悪影響を小さくすることができる。
Further, the correction processing for the
さらに、補正画像に対してシーン解析などの処理を行う時に、補正を行ったＡＦ枠付近の画像領域４０に対してのみシーン解析などの処理を行うことで、補正画像全体について再度シーン解析などの処理を行う場合に比べて、演算量の徒な増加を回避することができる。
≪第２の実施形態≫
本発明の第２の実施形態に係るカメラは、図１の第１の実施形態に係るカメラ１００と同じ構成を有し、各構成要素の詳細な説明は省略する。
Further, when processing such as scene analysis is performed on the corrected image, scene analysis or the like is performed again on the entire corrected image by performing processing such as scene analysis only on the
<< Second Embodiment >>
The camera according to the second embodiment of the present invention has the same configuration as the
本実施形態に係るカメラ１００と第１の実施形態に係るものと異なる点は、第１の実施形態では、図４（ａ）に示す解析用画像３０に重畳するＡＦ枠Ａ４は、解析用撮像素子１８による解析用画像３０の露出時間の間、他のＡＦ枠（Ａ３やＡ５など）に移動しなかったが、本実施形態では、例えば、スポーツなどの撮影のように被写体を追尾などして撮像する場合、たとえ短い露出時間の間としても、表示されるＡＦ枠がＡ４からＡ３やＡ５などに切り替わって移動してしまう点にある。
The difference between the
即ち、上述のように、表示されるＡＦ枠が、解析用撮像素子１８の露出時間の間に切り替わって移動する場合、解析用撮像素子１８によって撮像された解析用画像３０には、複数のＡＦ枠の像がぼけて重畳してしまう。その結果、複数のＡＦ枠の像がぼけて重畳した解析用画像３０に基づく、シーン解析、測光演算、ボディ制御演算などの演算結果の信頼性が低下してしまう。
That is, as described above, when the displayed AF frame is switched during the exposure time of the
そこで、本実施形態において、ボディ側マイコン２２は、解析用撮像素子１８に重畳したＡＦ枠やＡＦエリアの指標などの像を補正するにあたり、表示されるＡＦ枠が切り替わって移動したか否かに応じて、解析用画像３０に対する補正画像を行うか否かを判定し、シーン解析、測光演算、ボディ制御演算などの信頼性低下の回避を図る。
Therefore, in the present embodiment, the
具体的には、被写体の追尾撮像などによって、解析用撮像素子１８で撮像された解析用画像３０に対する、ボディ側マイコン２２によるシーン解析、測光演算、ボディ制御演算などの処理について、図５のフローチャートを参照して説明する。なお、以下の説明におけるボディ側マイコン２２による処理として、シーン解析と測光演算とを例に説明する。また、この処理において、ＬＥＤ１４を点灯させずに、ＡＦ枠の像が黒枠で表示される場合を例に説明するが、合焦状態となって、ＬＥＤ１４が点灯されＡＦ枠が赤く表示される場合でも同様の処理が行われる。また、ボディ側マイコン２２は、表示板制御部２８からＡＦ枠表示板１３のＡＦ枠Ａ１〜Ａ１５のうち、どのＡＦ枠が表示されたかの表示ＡＦ枠の位置情報を受け取り、自身に備えられた不図示のメモリに記録するものとする。
Specifically, the flowchart of FIG. 5 shows processing such as scene analysis, photometry calculation, and body control calculation performed by the body-
本実施形態における図５のフローチャートは、第１の実施形態における図３のフローチャートと、基本的に同じである。ただし、図５のフローチャートが、図３のフローチャートと異なる点は、解析用画像３０に重畳したＡＦ枠の像が複数あるか否か、即ち、解析用撮像素子１８の露出時間の間に、表示されるＡＦ枠が切り替わって移動して位置が変化したか否かを、ボディ側マイコン２２が、表示板制御部２８からの表示ＡＦ枠の位置情報に基づいて判定するステップＳ１４が追加されたことにある。
The flowchart of FIG. 5 in the present embodiment is basically the same as the flowchart of FIG. 3 in the first embodiment. However, the flowchart of FIG. 5 differs from the flowchart of FIG. 3 in that whether there are a plurality of AF frame images superimposed on the
つまり、ステップＳ１４において、ボディ側マイコン２２は、ＡＦ枠の位置が変化しなかった（即ち、重畳したＡＦ枠の像は１つ）と判定した場合、ステップＳ１５（ＮＯ側）へ移行して、解析用画像３０に重畳したＡＦ枠の像を除去するなどの補正処理を行い、補正画像を生成する。ボディ側マイコン２２は、ステップＳ１６において、補正画像に対する処理を、画像処理部２６に行わせる。
That is, in step S14, when the
一方、ボディ側マイコン２２は、ＡＦ枠の位置が変化した（即ち、重畳したＡＦ枠の像が複数）と判定した場合、解析用画像３０に対する補正処理を行わず、ステップＳ１７（ＹＥＳ側）へ移行する。
On the other hand, if the
このように、本実施形態では、表示されるＡＦ枠が切り替わることによって、表示ＡＦ枠の位置が変化する場合、複数のＡＦ枠の像が重畳した解析用画像３０に対するＡＦ枠の像の補正処理を行わないことで、演算量の徒な増加を回避し、ＡＦ枠の像の影響を軽減した解析演算を行うことができる。
As described above, in the present embodiment, when the position of the display AF frame is changed by switching the displayed AF frame, the AF frame image correction process for the
また、表示ＡＦ枠の位置が変化していないと判定された場合には、ＡＦ枠の像が重畳した解析用画像３０に対して、そのＡＦ枠の像を除去するなどの補正処理を施した補正画像に基づいてシーン解析などの処理を行うことで、解析用撮像素子１８にＡＦ枠表示板１３のＡＦ枠の像が重畳したとしても、より確度高くシーン解析などの処理を行うことができる。
In addition, when it is determined that the position of the display AF frame has not changed, the
また、表示ＡＦ枠の位置が変化していないと判定された場合、ＡＦ枠の像が重畳した解析用画像３０に対する補正処理は、ＡＦ枠の像の画素の値を、その画素に隣接してＡＦ枠の像が重畳していない画素の値で補間することで行われるが、その補正処理によって、補正画像が元の解析用画像３０よりも不自然な画像となり、シーン解析などの処理が困難な場合、解析用画像３０と補正画像との両方に対してシーン解析などの処理を施すことにより、補正画像のみに対してシーン解析などの処理を行う場合と比べて、補正による悪影響を小さくすることができる。
If it is determined that the position of the display AF frame has not changed, the correction processing for the
さらに、補正画像に対してシーン解析などの処理を行う時に、補正を行ったＡＦ枠付近の画像領域４０に対してのみシーン解析などの処理を行うことで、補正画像全体について再度シーン解析などの処理を行う場合に比べて、演算量の徒な増加を回避することができる。
≪第３の実施形態≫
本発明の第３の実施形態に係るカメラは、第１の実施形態および第２の実施形態に係るカメラ１００と同じ構成を有し、各構成要素の詳細な説明は省略する。
Further, when processing such as scene analysis is performed on the corrected image, scene analysis or the like is performed again on the entire corrected image by performing processing such as scene analysis only on the
<< Third Embodiment >>
The camera according to the third embodiment of the present invention has the same configuration as the
本実施形態に係るカメラ１００と第２の実施形態に係るものと異なる点は、画像処理部２６が解析用画像３０に対してシーン解析などの処理を行った後、ボディ側マイコン２２が、解析用画像３０に対するＡＦ枠の像の補正処理を行うか否かの判定を、表示ＡＦ枠の位置情報とともに、解析用画像３０に対するシーン解析の処理によってシーンが特定できたか否かに基づいて判定する点にある。
The difference between the
そこで、被写体の追尾などによって、解析用撮像素子１８で撮像された解析用画像３０に対する、ボディ側マイコン２２によるシーン解析、測光演算、ボディ制御演算などの処理について、図６のフローチャートを参照して説明する。なお、以下の説明におけるボディ側マイコン２２による処理として、シーン解析と測光演算とを例に説明する。また、この処理において、ＬＥＤ１４を点灯させずに、ＡＦ枠の像が黒枠で表示される場合を例に説明するが、合焦状態となって、ＬＥＤ１４が点灯されＡＦ枠が赤く表示される場合でも同様の処理が行われる。また、ボディ側マイコン２２は、表示板制御部２８からＡＦ枠表示板１３のＡＦ枠Ａ１〜Ａ１５のうち、どのＡＦ枠が表示されたかの表示ＡＦ枠の位置情報を受け取り、自身に備えられた不図示のメモリに記録するものとする。
Therefore, with reference to the flowchart of FIG. 6, processing such as scene analysis, photometry calculation, and body control calculation by the
本実施形態における図６のフローチャートは、第２の実施形態における図５のフローチャートと、基本的に同じである。ただし、図６のフローチャートが、図５のフローチャートと異なる点は、ボディ側マイコン２２が、画像処理部２６による解析用画像３０に対するシーン解析によって、シーンが特定できたか否かを判定するステップＳ２５が追加された点にある。
The flowchart in FIG. 6 in the present embodiment is basically the same as the flowchart in FIG. 5 in the second embodiment. However, the flowchart of FIG. 6 is different from the flowchart of FIG. 5 in that the
即ち、ステップＳ２５において、ボディ側マイコン２２は、解析用画像３０のシーンが特定できなかったと判定した場合、ステップＳ２６（ＮＯ側）へ移行して、解析用画像３０に重畳したＡＦ枠の像を除去するなどの補正処理を行い、補正画像を生成する。ボディ側マイコン２２は、補正画像に対するステップＳ２７の処理を、画像処理部２６に行わせる。
That is, in step S25, when the
一方、ボディ側マイコン２２は、シーンが特定できたと判定した場合、解析用画像３０に対する補正処理を行わず、ステップＳ２８（ＹＥＳ側）へ移行する。
On the other hand, if the
このように、本実施形態では、ＡＦ枠の像の補正処理を行う前に、解析用画像３０に対するシーン解析などの処理が、ＡＦ枠の像の影響を受けずに処理できた場合、ＡＦ枠の像の補正処理および補正画像によるシーン解析などの処理を行わないことで、演算量の徒な増加を回避し、シーン解析などの処理の確立を維持することができる。
As described above, in the present embodiment, before the AF frame image correction processing is performed, if the processing such as scene analysis on the
また、表示ＡＦ枠の位置が変化せず、シーンなどが特定できないと判定された場合には、ＡＦ枠の像が重畳した解析用画像３０に対して、そのＡＦ枠の像を除去するなどの補正処理を施した補正画像に基づいてシーン解析などの処理を行うことで、解析用撮像素子１８にＡＦ枠表示板１３のＡＦ枠の像が重畳したとしても、より確度高くシーン解析などの処理を行うことができる。
When it is determined that the position of the display AF frame does not change and a scene or the like cannot be specified, the AF frame image is removed from the
また、ＡＦ枠の位置が変化せず、シーンなどが特定できないと判定された場合、ＡＦ枠の像が重畳した解析用画像３０に対する補正処理は、ＡＦ枠の像の画素の値を、その画素に隣接してＡＦ枠の像が重畳していない画素の値で補間することによって行われるが、その補正処理によって、補正画像が元の解析用画像３０よりも不自然な画像となり、シーン解析などの処理が困難な場合、解析用画像３０と補正画像との両方に対してシーン解析などの処理を施すことにより、補正画像のみに対してシーン解析などの処理を行う場合と比べて、補正による悪影響を小さくすることができる。
When it is determined that the position of the AF frame does not change and the scene or the like cannot be specified, the correction processing for the
さらに、補正画像に対してシーン解析などの処理を行う時に、補正を行ったＡＦ枠付近の画像領域４０に対してのみシーン解析などの処理を行うことで、補正画像全体について再度シーン解析などの処理を行う場合に比べて、演算量の徒な増加を回避することができる。
≪第４の実施形態≫
本発明の第４の実施形態に係るカメラは、図１の第１の実施形態に係るカメラ１００と同じ構成を有し、各構成要素の詳細な説明は省略する。
Further, when processing such as scene analysis is performed on the corrected image, scene analysis or the like is performed again on the entire corrected image by performing processing such as scene analysis only on the
<< Fourth Embodiment >>
The camera according to the fourth embodiment of the present invention has the same configuration as the
本実施形態に係るカメラ１００と第１の実施形態に係るものと異なる点は、最初に、ボディ側マイコン２２が、解析用撮像素子１８によって撮像された解析用画像３０に重畳したＡＦ枠の像の補正処理を行い、画像処理部２６に補正画像に対するシーン解析などの処理を行わせ、その処理の結果に応じて、画像処理部２６に解析用画像３０に対するシーン解析などの処理を行わせるか否かを判定する点にある。
The difference between the
以下において、図４（ａ）に示すように、被写体である人物とともに、ＡＦ枠表示板１３のＡＦ枠Ａ４が解析用撮像素子１８によって撮像された解析用画像３０に対する、ボディ側マイコン２２によるシーン解析、測光演算、ボディ制御演算などの処理について、図７のフローチャートを参照して説明する。なお、以下の説明におけるボディ側マイコン２２による処理として、シーン解析の１つである顔検出と測光演算とを例に説明する。また、この処理において、ＬＥＤ１４を点灯させずに、ＡＦ枠の像が黒枠で表示される場合を例に説明するが、合焦状態となって、ＬＥＤ１４が点灯されＡＦ枠の像が赤く表示される場合でも同様の処理が行われる。
In the following, as shown in FIG. 4A, a scene by the body-
ユーザにより、操作部材（不図示）の電源釦が押され、または、レリーズ釦が半押しされることで、カメラ１００に電源が投入される。そして、ボディ側マイコン２２は、ステップＳ３１からの処理を開始する。
When the user presses a power button on an operation member (not shown) or presses the release button halfway, the
ステップＳ３１：ボディ側マイコン２２は、撮像素子駆動部２５に対して、解析用撮像素子１８の撮像面に結像される被写体の撮像指示を出力する。撮像素子駆動部２５は、解析用撮像素子１８に、図４（ａ）に示すような、ＡＦ枠表示板１３のＡＦ枠Ａ４の像が重畳した被写体を撮像させる。解析用撮像素子１８は、解析用画像３０を生成する。
Step S <b> 31: The
ステップＳ３２：ボディ側マイコン２２は、撮像素子駆動部２５に対して、解析用撮像素子１８に解析用画像３０の画像信号を出力させる指示を出す。その解析用画像３０の画像信号は、ボディ側マイコン２２に備えられたメモリ（不図示）に記録される。
Step S32: The
ステップＳ３３：ボディ側マイコン２２は、メモリ（不図示）に記録された解析用画像３０に対して、重畳したＡＦ枠Ａ４の像を除去するなどの補正処理を行い、補正画像を生成する。
Step S33: The
ステップＳ３４：ボディ側マイコン２２は、ステップＳ３３において、生成した補正画像に対するシーン解析を行うために、その補正画像を画像処理部２６へ転送する。画像処理部２６は、補正画像に対してシーン解析の１つである顔検出を行う。
Step S34: In step S33, the
ステップＳ３５：ボディ側マイコン２２は、ステップＳ３４において、画像処理部２６により補正画像から顔検出できたか否かを判定する。ボディ側マイコン２２は、顔検出ができたと判定した場合、ステップＳ３７（ＹＥＳ側）へ移行する。一方、ボディ側マイコン２２は、顔検出ができなかったと判定した場合、ステップＳ３６（ＮＯ側）へ移行する。
Step S35: In step S34, the
ステップＳ３６：ボディ側マイコン２２は、解析用画像３０に対するシーン解析を行うために、解析用画像３０を画像処理部２６へ転送する。画像処理部２６は、解析用画像３０に対して顔検出を再度行う。ただし、本実施形態における画像処理部２６は、解析用画像３０に対する顔検出を画像全体に対して行わず、図４（ａ）および（ｂ）に示すように、ＡＦ枠Ａ４の位置を中心とした所定の大きさの画像領域４０における解析用画像３０の画素値を用いて、顔検出を行う。なお、本実施形態における画像領域４０の大きさは、元の解析用画像３０の１／３などの大きさであるとする。
Step S <b> 36: The
ステップＳ３７： ボディ側マイコン２２は、解析用画像３０または補正画像を用いて、測光演算を行う。
Step S37: The
ステップＳ３８：ボディ側マイコン２２は、ユーザによって操作部材（不図示）の電源釦が再度押された、または、所定の時間が経過したことにより、カメラ１００がＯＦＦ状態であるか否かを判定する。ボディ側マイコン２２は、カメラ１００がＯＦＦ状態であると判定した場合（ＹＥＳ側）、一連の処理を終了する。一方、ボディ側マイコン２２は、カメラ１００がＯＮ状態と判定した場合、ステップＳ３１（ＮＯ側）へ移行して、解析用撮像素子１８によって撮像される次の解析用画像３０に対して、ステップＳ３１〜ステップＳ３８の処理を行う。そして、もしユーザによって操作部材（不図示）のレリーズ釦が全押しされた場合、ボディ側マイコン２２は、求めた露出条件に基づいてシャッタや絞りなどを制御して、画像用撮像素子１９による撮像を行う。
Step S38: The
このように、本実施形態では、ＡＦ枠表示板１３のＡＦ枠Ａ１〜Ａ１５の像が重畳した解析用画像３０に対して、ＡＦ枠の像を除去するなどの補正処理を施した補正画像に基づいてシーン解析などの処理を行うことにより、解析用撮像素子１８にＡＦ枠表示板１３のＡＦ枠の像が重畳したとしても、より確度高くシーン解析などの処理を行うことができる。
As described above, in the present embodiment, a correction image obtained by performing correction processing such as removing the image of the AF frame on the
また、ＡＦ枠の像が重畳した解析用画像３０に対する補正処理は、ＡＦ枠の像の画素の値を、その画素に隣接してＡＦ枠の像が重畳していない画素の値で補間することで行われるが、その補正処理によって、補正画像が元の解析用画像３０よりも不自然な画像となり、シーン解析などの処理が困難な場合、解析用画像３０と補正画像との両方に対してシーン解析などの処理を施すことにより、補正画像のみに対してシーン解析などの処理を行う場合と比べて、補正による悪影響を小さくすることができる。
Further, the correction processing for the
さらに、解析用画像３０に対してシーン解析などの処理を行う時に、重畳しているＡＦ枠の像付近の画像領域４０に対してのみシーン解析などの処理を行うことで、解析用画像３０全体について再度シーン解析などの処理を行う場合に比べて、演算量の徒な増加を回避することができる。
≪実施形態の補足事項≫
第１の実施形態ないし第４の実施形態では、画像処理部２６の処理として、測光演算と、シーン解析、特に、顔検出とを説明したが、本発明はこれに限定されず、他の解析演算を行っても良い。例えば、記憶した被写体の色や輝度パターン情報を記憶して、次々入力される解析用画像３０の中で、記憶した情報と最も類似する部分を検索する、テンプレートマッチングによる追尾演算を解析演算として行うことができ、ＡＦ枠の重畳の影響を小さくしてより正確に演算を行うことができる。
Furthermore, when processing such as scene analysis is performed on the
≪Supplementary items of embodiment≫
In the first to fourth embodiments, photometric calculation and scene analysis, particularly face detection, have been described as the processing of the
なお、第１の実施形態ないし第４の実施形態では、図２に示したＡＦ枠表示板１３におけるＡＦ枠の配置は一例であり、これ以外のレイアウトやサイズであっても、本発明を同様に適用することができる。
In the first to fourth embodiments, the arrangement of the AF frames on the AF
また、ＡＦ枠表示板１３およびＬＥＤ１４の構成や組み合わせについても一例であり、これ以外の構成や組み合わせであっても、本発明を同様に適用することができる。例えば、ＬＥＤ１４に代えて、複数のＡＦ枠のそれぞれを独立に照明可能な照明装置を備えても良いし、照明の色を変更可能な照明装置を備えても良い。この場合、例えば、ユーザに対してエラーを報知する際などに、ＡＦ枠を照明する照明の色を変更することにより報知を行うことができる。また、ＡＦ枠表示板１３およびＬＥＤ１４に代えて、ＡＦ枠の表示および照明を同時に行うことが可能な自発光型の表示素子を備えても良い。
Further, the configuration and combination of the AF
なお、第１の実施形態ないし第４の実施形態では、図４（ａ）および（ｂ）に示した画像領域４０の大きさを、元の解析用画像３０や補正画像の１／３としたが、本発明はこれに限定されず、画像領域４０の大きさは、ボディ側マイコン２２や画像処理部２６の処理能力などに応じて適宜決めることが好ましい。
In the first to fourth embodiments, the size of the
なお、第１の実施形態ないし第４の実施形態では、ボディ側マイコン２２と画像処理部２６とは別々の構成要素として扱ったが、本発明はこれに限定されず、１つのマイコンで処理できるようにしても良い。
In the first to fourth embodiments, the
なお、第１の実施形態ないし第４の実施形態では、解析用撮像素子１８のフレームレートを１０〜２０ｆｐｓとしたが、本発明はこれに限定されず、解析用撮像素子１８の撮像能力、ボディ側マイコン２２や画像処理部２６の処理能力などに応じて適宜決めることが好ましい。
In the first to fourth embodiments, the frame rate of the
また、第１の実施形態ないし第４の実施形態で例示したカメラ１００は、一例であり、測光装置や他の構成のカメラにも本発明を同様に適用することができる。例えば、銀塩カメラや、レンズとボディとが一体となって構成されたカメラにも本発明を同様に適用することができる。
The
１ 撮像レンズ、２ 絞り、３ レンズ駆動部、４ 距離検出部、５ 絞り制御部、６ レンズ側マイコン、７ 電気接点、１１ クイックターンミラー、１２ 焦点板、１３ ＡＦ枠表示板、 １４ ＬＥＤ、 １５ ペンタプリズム、１６ 接眼レンズ、１７ 再結像レンズ、１８ 解析用撮像素子、１９ 画像用撮像素子、２０ シャッタ、２１ サブミラー、２２ ボディ側マイコン、２３ 焦点検出部、２４ シャッタ制御部、２５、２７ 撮像素子駆動部、２６ 画像処理部、２８ 表示板制御部、２９ ＬＥＤ駆動部
DESCRIPTION OF SYMBOLS 1 Imaging lens, 2 Aperture, 3 Lens drive part, 4 Distance detection part, 5 Aperture control part, 6 Lens side microcomputer, 7 Electrical contact, 11 Quick turn mirror, 12 Focus plate, 13 AF frame display board, 14 LED, 15 Penta prism, 16 eyepiece lens, 17 re-imaging lens, 18 image sensor for analysis, 19 image sensor for image, 20 shutter, 21 submirror, 22 body side microcomputer, 23 focus detection unit, 24 shutter control unit, 25, 27 Element driving unit, 26 image processing unit, 28 display panel control unit, 29 LED driving unit
Claims (5)
前記指標表示部によって表示される前記指標を前記光学系による像に重畳した画像を撮像して第１画像を生成する撮像部と、
前記第１画像内の前記指標の像を補正した第２画像を生成する補正部と、
所定の条件に基づいて、前記第１画像と前記第２画像との少なくとも一方の画像を用いて、前記光学系による像の情報を処理する処理部と、
前記指標表示部による前記指標の表示位置が変化したか否かを判定する判定部と、を備え、
前記処理部は、
前記判定部が前記指標の表示位置が変化していないと判定した場合、前記第２画像を用いて処理を行う
ことを特徴とする測光装置。 An index display unit that displays an index superimposed on an image by the optical system;
An imaging unit that captures an image in which the index displayed by the index display unit is superimposed on an image of the optical system to generate a first image;
A correction unit that generates a second image obtained by correcting the image of the index in the first image;
A processing unit that processes image information by the optical system using at least one of the first image and the second image based on a predetermined condition;
A determination unit that determines whether or not the display position of the index by the index display unit has changed,
The processor is
If the determination unit determines that the display position of the index has not changed, the second image is used for processing.
Photometric device comprising a call.
前記指標表示部によって表示される前記指標を前記光学系による像に重畳した画像を撮像して第１画像を生成する撮像部と、
前記第１画像内の前記指標の像を補正した第２画像を生成する補正部と、
所定の条件に基づいて、前記第１画像と前記第２画像との少なくとも一方の画像を用いて、前記光学系による像の情報を処理する処理部と、
前記指標表示部による前記指標の表示位置が変化したか否かを判定する判定部と、を備え、
前記処理部は、
前記判定部が前記指標の表示位置が変化したと判定した場合、前記第１画像を用いて処理を行う
ことを特徴とする測光装置。 An index display unit that displays an index superimposed on an image by the optical system ;
An imaging unit that captures an image in which the index displayed by the index display unit is superimposed on an image of the optical system to generate a first image;
A correction unit that generates a second image obtained by correcting the image of the index in the first image;
A processing unit that processes image information by the optical system using at least one of the first image and the second image based on a predetermined condition;
And a determination unit configured to determine whether or not the display position of the index is changed by the indicator display unit,
The processor is
When the determination unit determines that the display position of the index is changed, the photometric apparatus and performs a process using the first image.
前記処理部は、
前記像の情報の処理の結果に応じて、前記第１画像および前記第２画像のうちの異なる画像を用いて処理を行う
ことを特徴とする測光装置。 In the photometric device according to claim 1 or 2 ,
The processor is
A photometric device characterized in that processing is performed using a different image of the first image and the second image in accordance with a result of processing of the image information .
前記処理部は、
前記異なる画像に対する像の情報の処理を、前記指標を含む所定の大きさの画像に対して行う
ことを特徴とする測光装置。 The photometric device according to claim 3 ,
The processor is
The processing of information of an image for the different image, a photometric apparatus and performs for a given size of the image containing the index.
前記光学系による像を撮像する撮像素子と、
を備えることを特徴とする撮像装置。 A metering device according to any one of claims 1 to claim 4,
An image sensor for capturing an image by the optical system;
Imaging device, characterized in that it comprises a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009232378A JP5515589B2 (en) | 2009-10-06 | 2009-10-06 | Photometric device and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009232378A JP5515589B2 (en) | 2009-10-06 | 2009-10-06 | Photometric device and imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011082740A JP2011082740A (en) | 2011-04-21 |
| JP5515589B2 true JP5515589B2 (en) | 2014-06-11 |
Family
ID=44076348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009232378A Expired - Fee Related JP5515589B2 (en) | 2009-10-06 | 2009-10-06 | Photometric device and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5515589B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5423836B2 (en) | 2011-08-15 | 2014-02-19 | 株式会社ニコン | Viewfinder unit, imaging device, and display control program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311126A (en) * | 2005-04-27 | 2006-11-09 | Olympus Imaging Corp | Imaging apparatus |
-
2009
- 2009-10-06 JP JP2009232378A patent/JP5515589B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011082740A (en) | 2011-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8259215B2 (en) | Image pickup apparatus having focus control using phase difference detection | |
| US7944499B2 (en) | Single lens reflex type electronic imaging apparatus | |
| JP5676988B2 (en) | Focus adjustment device | |
| US8345147B2 (en) | Image pickup apparatus | |
| JP2009267566A (en) | Image pickup apparatus | |
| JP4745077B2 (en) | Imaging device | |
| JP2010014788A (en) | Imaging element and imaging device | |
| JP5515589B2 (en) | Photometric device and imaging device | |
| JP5110043B2 (en) | Imaging device | |
| JP2009044382A (en) | Display of camera | |
| JP2010224290A (en) | Camera | |
| JP2005024858A (en) | Digital single lens reflex camera | |
| JP5347269B2 (en) | Imaging device | |
| JP5672922B2 (en) | Imaging device | |
| JP2015018194A (en) | Focus detection unit and image capturing device | |
| JP2007036951A (en) | Camera having electronic viewfinder | |
| JP2005345501A (en) | Electronic camera | |
| JP2003029137A (en) | Automatic focusing detector | |
| JP2012063681A (en) | Focus detecting device and camera | |
| JP2005006217A (en) | Digital single lens reflex camera | |
| JP2009037031A (en) | Display device and camera equipped with it | |
| JP2007057933A (en) | Camera having electronic view finder | |
| JP2005055768A (en) | Focus detector | |
| JP2007156249A (en) | Focus detector | |
| JP2010072284A (en) | Focusing unit for camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5515589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |