JP5515541B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5515541B2
JP5515541B2 JP2009209833A JP2009209833A JP5515541B2 JP 5515541 B2 JP5515541 B2 JP 5515541B2 JP 2009209833 A JP2009209833 A JP 2009209833A JP 2009209833 A JP2009209833 A JP 2009209833A JP 5515541 B2 JP5515541 B2 JP 5515541B2
Authority
JP
Japan
Prior art keywords
photometric
light
image
area
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009209833A
Other languages
English (en)
Other versions
JP2011061559A (ja
Inventor
信介 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009209833A priority Critical patent/JP5515541B2/ja
Publication of JP2011061559A publication Critical patent/JP2011061559A/ja
Application granted granted Critical
Publication of JP5515541B2 publication Critical patent/JP5515541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。
特許文献1には、高速なフレームレート(例えば90fps)で各フレームごとに光量が異なるフラッシュ撮影を行って複数枚の画像を撮影し、これらを合成することにより手前から奥まで露光を適正とする撮像装置が開示されている。
特開2006−033049号公報
撮像装置との距離が異なる複数の被写体を撮影する場合、複数の被写体からの各々の反射光の光量は、撮像装置との距離に反比例して異なる。そのため、光束を照射して撮影した複数の被写体の画像信号の出力レベルのすべてを適正にすることは難しい。しかしながら、特許文献1の撮像装置では、複数のフラッシュ撮影が必要となるため、電力の消費が大きいという課題があった。
本発明は、上記課題に鑑みなされたものであり、電力消費を低減して近景から遠景の被写体の画像信号の出力レベルが適正となるように撮影を行うことができる撮像装置を提供することを目的とする。
本撮像装置は、光学系(109)による被写体(160)の像を撮像して画像信号を出力する撮像手段(106)と、前記被写体からの光束を、複数の測光領域に分割して測光する測光手段(117)と、前記被写体に対して光束を照射する光源(119)と、前記複数の測光領域のうちの第1測光領域に対する前記測光手段の測光結果に基づいて前記光源の光量を決定する光量決定手段(201)と、前記光量決定手段により決定された光量で前記光源からの光束が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第1測光領域とは異なる第2測光領域に対応する領域の画像信号を補正する補正手段(201)と、を備え、前記補正手段は、前記測光手段の測光結果に基づく第1補正値と、前記撮像手段からの出力に基づく第2補正値とに基づいて、前記第2測光領域に対応する領域の画像信号を補正する。
上記撮像装置において、前記光源は、第1発光及び第2発光を行って前記被写体に対して光束を照射し、前記光量決定手段は、前記複数の測光領域のうちの第1測光領域に対する前記測光手段の測光結果に基づいて前記第2発光の発光量を決定し、前記補正手段は、前記第2発光の発光量が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第1測光領域とは異なる第2測光領域に対応する領域の画像信号を、前記第1発光を行ったときの前記測光手段の測光結果に基づく第1補正値と、前記第2発光を行ったときの前記撮像手段からの出力に基づく第2補正値とに基づいて補正することとしてもよい。この場合、前記第1補正値は、前記第1発光の発光量と前記第2発光の発光量との差に基づいて算出され、前記第2補正値は、前記被写体を前記撮像手段によって撮像して得られた輝度値に基づいて算出されてもよい。また、前記光学系の像面内に設定された複数の焦点検出位置(152)に対する前記光学系の焦点状態を検出する焦点検出手段(108)を備え、前記光量決定手段は、前記複数の焦点検出位置のうち前記焦点状態が合焦であると判定された焦点検出位置に対応する測光領域を前記第1測光領域として、前記光源の光量を決定してもよい。
上記撮像装置において、前記補正手段は、前記焦点検出位置が存在しない第3測光領域に対応する領域の画像信号を補正の対象から除外してもよい。
上記撮像装置において、前記光量決定手段は、前記光源の照射を行って前記被写体からの光束を測光した結果と、前記光源の照射を行わずに前記被写体からの光束を測光した結果と、に基づく前記測光結果に基づいて前記光源の光量を決定してもよい。
本撮像装置によれば、画像信号の出力レベルが適正となるように撮影を行うことができる。
図1は、実施例1に係る撮像装置の構成を示す図である。 図2は、実施例1に係る測光画像と測光領域及びフォーカスポイントの位置との関係を示す図である。 図3は、実施例1に係る測光画像と撮影画像とを重ねた状態を示す図である。 図4は、実施例1に係る撮像装置の機能ブロック図である。 図5は、実施例1に係る撮影の状況の一例を示す図である。 図6は、実施例1に係る被写体の撮影を開始してから撮影画像の各画素の輝度値を補正するまでの処理を示すフローチャートである。 図7(a)は、実施例1に係る予備発光による測光画像を示す図であり、図7(b)は、実施例1に係る定常光による測光画像を示す図であり、図7(c)は、実施例1に係る定常光除去画像を示す図である。 図8は、実施例1に係る被写体領域への領域番号の割り当てを行うサブ処理を示すフローチャートである。 図9は、2値画像の一例を示す図である。 図10は、実施例1に係る2値画像の走査の様子を示す図である。 図11は、実施例1に係る2値画像の同一の行における同一の被写体領域に含まれる画素の位置関係を示す図である。 図12は、実施例1に係る2値画像の隣接する行における同一の被写体領域に含まれる画素の位置関係を示す図である。 図13は、実施例1に係るステップS502による2値画像の各画素への領域番号の割り当ての一例を示す図である。 図14は、実施例1に係るステップS504による2値画像の各画素への領域番号の割り当ての一例を示す図である。 図15は、実施例1に係るステップS506による2値画像の各画素への領域番号の割り当ての一例を示す図である。 図16は、実施例1に係る定常光除去画像の各被写体領域の測光結果を示す図である。 図17は、実施例1に係る撮影画像の各画素の補正前の輝度値を示す図である。 図18は、実施例1に係る撮影画像の各画素の補正後の輝度値を示す図である。
以下、図面を参照して本発明の実施例を説明する。
図1は、実施例1に係る撮像装置100の構成を示す図である。図1のように、撮像装置100は、レンズ光学系109、撮影レンズ102、絞り118、クイックリターンミラー103、コンデンサレンズ111、ペンタプリズム112、接眼レンズ113、ファインダー121、レリーズスイッチ101、サブミラー104、シャッター105、第1撮像素子106、焦点検出光学系107、測距素子108、拡散スクリーン110、測光用プリズム115、測光用レンズ116、第2撮像素子117、ストロボ(以下、SBと記す)119及び筐体120を備えている。撮影者114が撮像装置100により被写体160の撮影を行う。撮像装置100は、撮影レンズ102を交換可能な構造である。第1撮像素子106及び第2撮像素子117としては、例えばCCD(Charge Coupled Device)やCMOS(Complimentary Metal Oxide Semiconductor)イメージセンサが用いられる。
図1中の破線132で示すように、撮影者114は、撮影前にファインダー121を通して被写体160を確認することができる。まず、被写体160からの反射光の光束が、撮影レンズ102及び絞り118を有するレンズ光学系109に入射する。入射した光束はクイックリターンミラー103により反射され、拡散スクリーン110に結像する。この像は、コンデンサレンズ111、ペンタプリズム112及び接眼レンズ113を順に通過して、撮影者114により観測される。
撮影者114がレリーズスイッチ101を半押しすることにより撮影が開始される。まず、焦点検出が行われる。例えば、瞳分割位相差方式により焦点検出を行う。瞳分割位相差方式では、図1中の破線130で示すように、クイックリターンミラー103を通過した光束は、サブミラー104で反射され、焦点検出光学系107において2分割される。分割された光束は、測距素子108にて結像され位相差が検出される。分割された光束の位相差がない場合が合焦状態に対応する。測距素子108は、CCDラインセンサで受光された像に応じた焦点検出信号を出力する。レンズ光学系109は、焦点検出信号に応じて駆動する。なお、焦点検出は瞳分割位相差方式の他に、例えば、第1撮像素子106においてコントラストを検出する方式を用いてもよい。
続いて、SB119の発光が行われる。以下、SB119の撮影時の発光より前の発光を予備発光と記す。図1中の破線134で示すように、予備発光による被写体からの反射光の光束の一部は、拡散スクリーン110によって拡散され、コンデンサレンズ111、ペンタプリズム112、測光用プリズム115及び測光用レンズ116を順に通過して、第2撮像素子117に結像される。以下、第2撮像素子117に結像された画像を測光画像と記す。第2撮像素子117の各素子は、測光画像の各画素に対応している。以下、測光画像の各画素を測光領域と記す。第2撮像素子117の各素子は、受光した光量をA/D変換して、0〜255の256階調で表した輝度値を出力する。
撮影者114がレリーズスイッチ101を半押し状態からさらに押下することにより、SB119の発光が行われる。以下、SB119の撮影時の発光を本発光と記す。このとき、クイックリターンミラー103及びサブミラー104は撮影光路外に退避され、シャッター105が開放され、絞り118が絞り込まれる。被写体像は撮影レンズ102により第1撮像素子106に結像される。以下、第1撮像素子106に結像された画像を撮影画像と記す。第1撮像素子106の各素子は、撮影画像の各画素に対応している。第1撮像素子106の各素子は、受光した光量をA/D変換して、0〜255の256階調で表した輝度値を出力する。
図2は、測光画像と、測光領域及びフォーカスポイントの位置との関係を示す図である。図2のように、測光画像150の各測光領域は測光画像150の1画素に対応する。本実施例では、測光画像150が、横方向に14個及び縦方向に10個の画素で構成される例を説明する。測光画像150の総画素数は140である。また、図2中の太線の十字記号で示すように、測光画像150には5つのフォーカスポイント152が設定されている。フォーカスポイント152を含む測光領域の焦点状態が、測距素子108により検出される。
図3は、測光画像と撮影画像とを重ねた状態を示す図である。図3のように、測光画像と撮影画像とは、撮影される被写界の範囲は同一のため、重ねた場合に一致する。本実施例では、測光画像の1画素は、それぞれ撮影画像の100画素に対応する。測光画像の総画素数は、先に説明したように140であるので、撮影画像の総画素数は14000である。測光画像における左上端の画素の位置を基準位置として、基準位置から右方向へi番目及び下方向へj番目となる画素の位置を[i、j]と表す。i及びjの取り得る値は、それぞれi=0〜13、j=0〜9である。同様に、撮影画像の画素の位置を[x、y]と表す。x及びyの取り得る値は、それぞれx=0〜139、y=0〜99である。x及びyは、i、j及びk(k=0〜9)を用いて、それぞれ以下の式(1)及び(2)のように表すことができる。
x = 10・i + k 式(1)
y = 10・j + k 式(2)
図4を参照して、測光画像及び撮影画像の撮影時の撮像装置100の動作をより詳細に説明する。図4は、撮像装置100の機能ブロック図である。図4において、図1と同一の構成には、同一の符号を付して説明を省略する。
図4のように、カメラマイコン201は、撮像装置100の全体の制御を行う。メモリ202は、カメラマイコン201の処理に必要な各種情報を記憶する。カメラマイコン201が行う主な制御は、測光制御、オートフォーカス制御及びマスターSB制御である。
測光制御について説明する。カメラマイコン201は、第2撮像素子117に指示して、予備発光による被写体からの反射光の光束を測光する。第2撮像素子117は測光を行って、測光画像の各画素の輝度値をカメラマイコン201へ出力する。
カメラマイコン201は、測光画像、レンズ情報及び感度情報等に基づいて、定常光露出に関する輝度値(以下、LVと記す)を算出する。レンズ情報は、撮影レンズ102の開放F値、焦点距離及び射出瞳位置等の情報であり、撮影レンズ102に設けられたレンズマイコン203に格納されている。感度情報は、第1撮像素子106から出力される。カメラマイコン201は、輝度値LVに基づいて、絞り値及びシャッター値を算出して、絞り制御部204及びシャッター205へそれぞれ出力する。絞り制御部204は、レリーズスイッチ101からのレリーズ信号に応じて、絞り118の絞り込みや復帰の制御を行う。
オートフォーカス制御について説明する。測距素子108は、測光画像において、図2に示すようなフォーカスポイント152を含む領域の焦点状態を検出する。カメラマイコン201は、検出された焦点状態に関する情報に基づいて、レンズ駆動量を算出して、レンズ駆動部210へ出力する。レンズ駆動部210は、レンズ駆動量に基づいて、フォーカスポイント152を含む領域の焦点状態が合焦状態となるようにレンズ光学系109を駆動する。以下、合焦状態となったフォーカスポイント152を含む領域を合焦領域と記す。
撮影レンズ102には、レンズ駆動量に対応した距離環の回転角に応じた信号を出す距離エンコーダ212が設けられている。レンズマイコン203は、距離エンコーダ212からの信号を処理して、距離情報を得る。距離情報は、レンズマイコン203からカメラマイコン201に通知される。カメラマイコン201は、距離情報に基づいて、各種の演算や制御を行う。
マスターSB制御について説明する。SB119を使用する場合、カメラマイコン201は、測光値、絞り値、感度値及び距離値等に基づいて、発光量を算出する。その後、カメラマイコン201は、SBマイコン207に発光量を設定して閃光発光部208を予備発光させる。第2撮像素子117は、測光画像の各画素の輝度値をカメラマイコン201へ出力する。カメラマイコン201は、測光画像の各画素の輝度値に基づいて本発光の光量を算出し、算出した本発光の光量をSBマイコン207へ設定する。カメラマイコン201は、SB119本体内のSBマイコン207を通じて閃光発光部208を本発光させる。第1撮像素子106は、本発光により撮影した撮影画像をカメラマイコン201に出力する。
以下、具体的な撮影の状況を例に挙げて、撮像装置100により、被写体の撮影を開始してから撮影画像の輝度値を補正するまでの処理を詳細に説明する。
図5を参照して、撮影の状況の一例を説明する。図5は、撮影の状況の一例を示し、撮像装置、被写体及び光源の位置関係を示す図である。図5のように、被写体503は撮像装置100に近い位置に配置され、被写体501及び502は撮像装置100から離れた位置に配置されている。被写体501及び502と撮像装置100との距離はそれぞれ等しい。光源504、505及び506が、被写体501、502及び503を照明するように配置されている。
図6を参照して、実施例1に係る撮影画像の各画素の輝度値を補正する処理を説明する。図6は、被写体の撮影を開始してから撮影画像の各画素の輝度値を補正するまでの処理を示すフローチャートである。
撮影者114によりレリーズスイッチが半押しされると、撮影が開始する。まず、カメラマイコン201は、測距素子108により、焦点の検出を行う(ステップS401)。
カメラマイコン201は、SBマイコン207に指示して、予備発光を行う(ステップS402)。SB119本体内のSBマイコン207は、閃光発光部208により、所定の光量による予備発光を行う。
カメラマイコン201は、第2撮像素子117により、予備発光による被写体からの反射光を測光する(ステップS403)。このとき、測光される反射光は、予備発光による反射光に加え、光源504、505及び506からの光を含む定常光による反射光を含む。第2撮像素子117は、カメラマイコン201へ予備発光による測光画像Aを出力する。測光画像Aを図7(a)に示す。図7(a)において、測光領域701a〜703aは、それぞれ図5に示す被写体501〜503が撮像された測光領域に対応する。測光画像Aが光源504、505及び506からの光の影響を受けていることを示すために、図7(a)中に光源704a〜706aを記している。測光領域701a及び702aは、フォーカスポイント152と重なるため、合焦領域である。測光画像Aの各測光領域の輝度値をVoymon[i、j]と表す。カメラマイコン201は、輝度値Voymon[i、j]をメモリ202に記憶する。
カメラマイコン201は、第2撮像素子117により、光量を蓄積する時間をステップS403において予備発光による測光を行ったときと同じにして、予備発光を行わずに、光源504、505及び506からの光を含む定常光のみによる被写体からの反射光を測光する(ステップS404)。第2撮像素子117は、カメラマイコン201へ定常光による測光画像Bを出力する。測光画像Bを図7(b)に示す。図7(b)の測光領域701b〜703b及び光源704b〜706bについては、図7(a)と同様のため説明を省略する。測光画像Bは予備発光せずに測光されるため、測光領域701b〜703bの輝度値は、図7(a)の測光領域701a〜703aの輝度値に比べて小さい。測光画像Bの各測光領域の輝度値をVoyback[i、j]と表す。カメラマイコン201は、輝度値Voyback[i、j]をメモリ202に記憶する。
カメラマイコン201は、以下の式(3)のように、輝度値Voymon[i、j]と輝度値Voyback[i、j]との差を算出することにより、定常光の影響を取り除いた輝度値Voy[i、j]を算出する(ステップS405)。
Voy[i、j]
=Voymon[i、j]−Voyback[i、j] 式(3)
カメラマイコン201は、輝度値Voy[i、j]をメモリ202に記憶する。以下、各画素の輝度値がVoy[i、j]となる画像を、定常光除去画像Cと記す。定常光除去画像Cを図7(c)に示す。図7(c)において、測光領域701c〜703cは、それぞれ測光領域701a〜703aの輝度値と測光領域701b〜703bの輝度値との差を各画素の輝度値とする測光領域である。図7(c)のように、定常光除去画像Cでは、光源504、505及び506からの光を含む定常光の影響が除去されている。
カメラマイコン201は、ステップS405により得られた定常光除去画像Cの各被写体の領域に対応する各測光領域に、領域番号を割り当てる(ステップS406)。以下、被写体の領域に対応する測光領域を、被写体領域と記す。
図8を参照して、ステップS406の処理の詳細を説明する。図8は、ステップS406のサブ処理を示すフローチャートである。まず、カメラマイコン201は、定常光除去画像Cの各画素の輝度値Voy[i、j]に基づいて、2値画像Dを生成する(ステップS500)。以下では、輝度値がX以上か否かに基づいて2値画像Dを生成する場合を説明する。輝度値Xは0〜255のいずれかとする。2値画像Dの輝度値をVoybin[i、j]とする。カメラマイコン201は、Voy[i、j]がX以上の場合、Voybin[i、j]=1と設定する。また、Voy[i、j]がX未満の場合、Voybin[i、j]=0と設定する。カメラマイコン201は、Voybin[i、j]を記憶する。これにより、2値画像Dの生成が終了する。図9は、図7(c)の定常光除去画像Cの被写体領域の輝度値がX以上か否かに基づいて生成された2値画像Dを示す。図9において、白色で示す領域901、902及び903の画素(以下、白画素と記す)の輝度値がX以上であり、ハッチで示す領域900の画素(以下、黒画素と記す)は輝度値がX未満であることを示している。
カメラマイコン201は、2値画像Dの各行の各画素を順に走査して、各画素に領域番号を割り当てる(ステップS502)。画素が白画素である場合に、初期値を1とする領域番号を割り当てる。画素が黒画素である場合に、領域番号0を割り当てる。次の行へ移動するとき、領域番号をインクリメントする。2値画像の走査の様子を図10に示す。図10に示す矢印800のように、各行を上から順に走査する。各行の各画素を左から右へ走査する。行の走査が終了後、1つ下の行へ移動する。これを全ての画素の走査が終わるまで繰り返す。
図11に、2値画像の同一の行における同一の被写体領域に含まれる画素の位置関係を示す。カメラマイコン201は、ステップS502において、図11のように、注目している白画素mの1画素前の画素lが白画素である場合、画素lと白画素mとは同一の被写体領域に含まれると判定して、白画素mの領域番号に画素lの領域番号と同一の領域番号を割り当てる。注目している白画素mの1画素前の画素lが黒画素である場合、白画素mの領域番号にインクリメントした領域番号を割り当てる。
図12に、2値画像の隣接する行における同一の被写体領域に含まれる画素の位置関係を示す。カメラマイコン201は、図10に示す矢印800のように走査して、図12のように、走査において注目している白画素mの左上の画素p、上の画素q及び右上の画素rのいずれかが同一の被写体領域に含まれる場合、領域番号を再割り当てする(ステップS504)。例えば、図12において、画素pが白画素の場合、画素pと白画素mとは同一の被写体領域に含まれると判定して、白画素mの領域番号に画素pの領域番号と同一の領域番号を再割り当てする。
ステップS504に続いて、カメラマイコン201は、図10に示す矢印800のように走査して、各被写体領域に割り当てられた領域番号が連続となるように、領域番号を再割り当てする(ステップS506)。以上で、図8に示すフローチャートの処理が終了する。
図9、13、14及び15を参照して、ステップS502、S504及びS506の処理の具体例を説明する。図13、14及び15は、図9に示す2値画像Dに対して、ステップS502、S504及びS506を順に適用した結果を示す図である。図13、14及び15において、各画素の枠内に記した数字は、それぞれステップS502、S504及びS506の処理により割り当てられた領域番号を示している。図13、14及び15の領域900、901、902及び903は、図9に示す各領域と同じ領域を示す。
ステップS502について、j=3である行を走査する場合を例に説明する。図9を参照して、カメラマイコン201は、位置[0、3]の黒画素の領域番号には0を割り当てる。位置[1、3]の白画素の領域番号には1を割り当てる。位置[2、3]の白画素の領域番号には、位置[2、3]の白画素の1画素前の位置[1、3]の画素が白画素であるため、位置[1、3]の白画素と位置[2、3]の白画素とは同一の被写体領域に含まれると判定して、位置[1、3]の白画素の領域番号と同一の領域番号である1を割り当てる。同様に、位置[3、3]の白画素の領域番号にも1を割り当てる。位置[4、3]から[9、3]の黒画素の領域番号には0を割り当てる。位置[10、3]の白画素の領域番号には、位置[10、3]の白画素の1画素前の位置[9、3]の画素が黒画素であるため、インクリメントした領域番号である2を割り当てる。位置[11、3]の白画素の領域番号には、位置[11、3]の白画素の1画素前の位置[10、3]の画素が白画素であるため、位置[10、3]の白画素と位置[11、3]の白画素とは同一の被写体領域に含まれると判定して、位置[10、3]の白画素の領域番号と同一の領域番号である2を割り当てる。同様に、位置[12、3]の白画素の領域番号にも2を割り当てる。位置[13、3]の黒画素の領域番号には0を割り当てる。以上で、j=3である行の走査が終了する。j=4である行に移動するとき領域番号をインクリメントして4とする。このような処理を2値画像D全体に適用した結果が図13である。
ステップS504について、位置[1、4]の白画素の領域番号を再割り当てする場合を例に説明する。図13を参照して、位置[1、4]の白画素の領域番号は3である。カメラマイコン201は、位置[1、4]の白画素の上の位置[1、3]の画素と右上の位置[2、3]の画素とが白画素であるため、位置[1、4]の白画素と、位置[1、3]及び[2、3]の画素とは同一の被写体に含まれると判定する。よって、位置[1、4]の白画素の領域番号に、位置[1、3]及び[2、3]の画素の領域番号と同一の領域番号である1を再割り当てする。以上で、位置[1、4]の白画素の領域番号の再割り当てが終了する。このような処理を2値画像D全体に適用した結果が図14である。
ステップS506について、位置[5、4]の白画素の領域番号を再割り当てする場合を例に説明する。図14を参照して、位置[5、4]の白画素の1つ手前の画素までの走査において、確認された領域番号は0、1及び2である。位置[5、4]の白画素の領域番号は4である。よって、位置[5、4]の白画素の領域番号には、2と連続となる領域番号である3を再割り当てする。以上で、位置[5、4]の白画素の領域番号の再割り当てが終了する。同様に、位置[5、4]の白画素以外の領域番号が4である白画素の領域番号にも3を再割り当てする。このような処理を2値画像D全体に適用した結果が図15である。
図15より、図9に示す2値画像Dから被写体501、502及び503に対応する3つの被写体領域901、902及び903が抽出され、それぞれに領域番号1、2及び3が割り当てられている。被写体領域901、902及び903を除く領域900には、領域番号0が割り当てられている。以下、領域番号0の領域を背景領域と記す。
ここで、定常光除去画像Cの各画素の領域番号をGrpNum[i、j]=tと表す。抽出された被写体領域の領域数をnとすると、tの取り得る値は0〜nである。
図6の説明に戻る。ステップS406に続いて、カメラマイコン201は、測光領域の測光結果を算出する(ステップS407)。測光領域の測光結果は、各被写体領域の輝度値の平均値とする。測光領域の測光結果をRM[t]と表す。
本実施例では、図15に示す領域番号の割り当ての結果より、tは0〜3となる。図5に示す撮影の状況に基づいて、各RM[t](ただしt=0を除く)の例を以下の式(4)、(5)及び(6)で表す値とする。
RM[1]=2 式(4)
RM[2]=2 式(5)
RM[3]=16 式(6)
図16を参照して、定常光除去画像Cにおいて抽出された被写体領域901、902及び903と測光結果との関係を説明する。図16は、定常光除去画像Cの各被写体領域の測光結果を示す図である。図16において、各被写体領域中に示す数字は、対応する上記の各RM[t]を示している。また、各被写体領域に対応する領域番号GrpNum[i、j]を示している。図16のように、被写体領域901、902及び903の各RM[t]はそれぞれ2、2及び16である。
カメラマイコン201は本発光の光量を決定する(ステップS408)。まず、各被写体領域の本発光におけるSB119の光量と予備発光におけるSB119の光量との段数差(以下、発光量段数差と記す)をKGNApex[t]とする。カメラマイコン201は、S407で算出したRM[t]を用いて、KGNApex[t]を以下の式(7)により算出する。
KGNApex[t]=
−logRM[t]−Av0+Av+KGNCONST 式(7)
式(7)の定数KGNCONSTは、反射率が18%である標準反射板等の被写体に対して、SB119を本発光したときに、撮像画像の緑成分の輝度値が適正となるための発光量段数差を示す。Av0は撮影レンズ102の開放F値を示す。Avは撮影レンズ102の撮影時の絞りF値を示す。
本実施例では、図16に示す各被写体領域に対応するKGNApex[t]は、以下の式(8)、(9)及び(10)のように表すことができる。
KGNApex[1]=−1−Av0+Av+KGNCONST 式(8)
KGNApex[2]=−1−Av0+Av+KGNCONST 式(9)
KGNApex[3]=−4−Av0+Av+KGNCONST 式(10)
続いて、カメラマイコン201は、合焦領域と判断される領域が複数検出され、かつ、それら複数の合焦領域がそれぞれ被写体領域と重なる場合、各被写体領域の輝度値の平均値RM[t]の平均値RMaveを求める。なお、合焦領域と判断される領域が1つ検出され、かつ、その合焦領域が1つの被写体領域と重なる場合、その被写体領域の輝度値の平均値RM[t]をRMaveとする。ここで、被写体領域に含まれる画素が合焦領域であるか否かを示す変数focus[i、j](i=0〜13、j=0〜9)を用意する。カメラマイコン201は、focus[i、j]に被写体領域に含まれる画素が合焦領域である場合に1、それ以外の場合に0を設定する。
本実施例では、図7(a)の説明のとおり、合焦領域と判断される領域が2つあり、それぞれ領域番号が1及び2の被写体領域と重なっている。よって、平均値RMaveは、以下の式(11)のようになる。
RMave=(RM[1]+RM[2])/2 = 2 式(11)
合焦領域の輝度値が適正となる発光量段数差をKGNApexHonとする。カメラマイコン201は、KGNApexHonを以下の式(12)により算出する。
KGNApexHon=
−logRMave−Av0+Av+KGNCONST 式(12)
ここで、カメラマイコン201は、背景領域の発光量段数差であるKGNApex[0]をKGNApexHonに設定する。本実施例では、KGNApexHonは以下のようになる。
KGNApexHon= −1−Av0+Av+KGNCONST 式(13)
予備発光におけるSB119の光量及び本発光におけるSB119の光量をそれぞれGNMon及びGNHonとする。カメラマイコン201は、GNMon及びKGNApexHonを用いて、GNHonを以下の式(14)により決定する。
Figure 0005515541
カメラマイコン201は本発光の処理を行う(ステップS410)。まず、SB119本体内のSBマイコン207を通じて閃光発光部208の本発光を指示する。閃光発光部208は、ステップS408により決定した光量GNHonによる本発光を行う。このとき、カメラマイコン201は、クイックリターンミラー103およびサブミラー104を撮影光路外に退避させ、輝度値LVに基づいて算出したシャッター値及び絞り値に基づいて、シャッター105を開放し、絞り118を絞り込む。
カメラマイコン201は撮影の処理を行う(ステップS411)。まず、撮影レンズ102により第1撮像素子106に被写体像を結像させる。このとき、第1撮像素子106への光量の蓄積が開始する。SBマイコン207は、SB119の光量が光量GNHonに達した時点でSB119の発光を停止する。カメラマイコン201は、所定の露光期間が経過すると、シャッター105を閉じて、クイックリターンミラー103を下げる。第1撮像素子106は撮影画像Eをカメラマイコン201へ出力する。撮影画像Eの各画素の輝度値の赤、緑及び青成分を、それぞれImage_R[x、y]、Image_G[x、y]及びImage_B[x、y]とする。カメラマイコン201は、focus[i、j]=1を満たす値i及びjと、式(1)及び(2)より、撮影画像Eの画素の位置を示す値x及びyの組み合わせを算出する。カメラマイコン201は、算出したx及びyの各組み合わせに対応する各Image_G[x、y]を第1撮像素子106から取得して、取得したImage_G[x、y]の平均値を算出する。以下、Image_G[x、y]の平均値をImage_G_focusと表す。
本実施例では、ステップS411において撮影した撮影画像Eは図17のようになる。図17は、被写体501、502及び503を撮影した撮影画像Eを示す図である。図17において、被写体が撮像された領域中に示す数字は、各画素の補正前の輝度値の緑成分Image_G[x、y]を示している。被写体501、502及び503が撮像された領域911、912及び913のImage_G[x、y]の値の例をそれぞれ16、16及び160とする。
カメラマイコン201は、予備発光に基づく補正値を算出する(ステップS412)。まず、定常光除去画像Cの各画素の輝度の補正値(以下、輝度補正値と記す)を算出する。輝度補正値をCorr_img2[i、j]とする。カメラマイコン201は、定常光除去画像Cの各画素の領域番号GrpNum[i、j]を用いて、以下の式(15)より、Corr_img2[i、j]を算出する。
Figure 0005515541
なお、合焦領域及び背景領域に対応する画素の輝度はいずれもKGNApexHonとなるため、式(15)においてCorr_img2[i、j]=0となる。すなわち、カメラマイコン201は、合焦領域及び背景領域に対応する画素を補正の対象から除外する。撮影画像Eの各画素の輝度補正値をCorr_img1とする。カメラマイコン201は、Corr_img2[i、j]を用いて、以下の式(16)より、Corr_img1[x、y]を決定する。
Corr_img1[x、y]=Corr_img2[i、j] 式(16)
本実施例では、領域番号が1及び2である被写体領域についてCorr_img2[i、j]=0となる。領域番号が3である被写体領域のCorr_img2[i、j]の値は以下の式(17)のように算出される。
Corr_img2[i、j]=KGNApex[3]−KGNApexHon
=−4−(−1)=−3 式(17)
式(16)及び(17)より、Corr_img1[x、y]を決定する。
カメラマイコン201は、本発光に基づく補正値を算出する(ステップS413)。被写体からの反射光の光量を受光したときに第1撮像素子106から出力される輝度値の緑成分の目標値をImage_G_targetとする。本発光に基づく補正値を、2を底とするImage_G_focusとImage_G_targetとの比の対数とし、以下、Hoseiと記す。カメラマイコン201は、Hoseiを以下の式(18)により算出する。
Figure 0005515541
Hoseiが正となるのは、Image_G_focusがImage_G_targetより小さい場合である。この場合、実際に本発光して得られた撮影画像において、被写体の緑成分の輝度値が目標値よりも小さく、アンダーと考えられる。そのため、明るくなるように補正する。逆に、Hoseiが負となるのは、Image_G_focusがImage_G_targetより大きい場合である。この場合、実際に本発光して得られた撮影画像において、被写体の緑成分の輝度値が目標値よりも大きく、オーバーと考えられる。そのため、暗くなるように補正する。この補正は、撮影時のレンズの絞り込みによる誤差、SBの発光量誤差及び定常光による影響等、すべての誤差要因を含めた撮影画像の輝度値補正のために行う。
カメラマイコン201は、式(16)により算出した予備発光に基づく補正値Corr_img1と、式(18)により算出した本発光に基づく補正値Hoseiとを用いて、以下の式(19)、(20)及び(21)により撮影画像Eの各画素の輝度値を補正する(ステップS414)。
Figure 0005515541
撮影画像Eの各画素の輝度値を補正した後の画像を、撮影画像Fとする。ここで、ImageHon_R[x、y]、ImageHon_G[x、y]及びImageHon_B[x、y]は、それぞれ撮影画像Fの各画素の輝度値の赤、緑及び青成分を示す。以上で、図6に示すフローチャートの処理が終了する。
本実施例では、ImageHon_R[x、y]、ImageHon_G[x、y]及びImageHon_B[x、y]は、それぞれ以下のようになる。
ImageHon_R[x、y]
=Image_R[x、y]・2−3+Hosei 式(22)
ImageHon_G[x、y]
=Image_G[x、y]・2−3+Hosei 式(23)
ImageHon_B[x、y]
=Image_B[x、y]・2−3+Hosei 式(24)
ここで、例えば、実際の本発光の光量が、予備発光に基づいて算出した光量と等しかったとして、本発光に基づく補正値Hoseiを0とする。このとき、撮影画像Fの各画素の輝度値は、補正前の輝度値の2−3=1/8倍となる。画素の輝度値の緑成分を例に説明する。領域番号が3の被写体領域に対応する撮影画像Fの各画素の輝度値の緑成分ImageHon_G[x、y]は以下の式(25)のように算出される。
ImageHon_G[x、y]=160/8=20 式(25)
図18は、図17に示す撮影画像Eの画像信号を補正した後の撮影画像Fを示す図である。図18において、被写体が撮像された領域中に示す数字は、上記で算出した補正後の輝度値の緑成分であるImageHon_G[x、y]を示している。図18のように、被写体503が撮像された領域913の各画素のImageHon_G[x、y]の値は、式(25)より20となる。領域番号が0、1及び2の被写体領域に対応する各画素は補正の対象から除外される。よって、被写体501及び502が撮像された領域911及び912の各画素のImageHon_G[x、y]の値は、補正されず16のままとなる。
図17のような撮影画像Eにおいて、焦点を合わせた奥の被写体501及び502が撮像された領域911及び912の輝度値に比べて、手前の被写体503が撮像された領域913の輝度値が高くなると、撮影者は違和感を覚える場合がある。そのような場合でも、カメラマイコン201は、図18のように、手前の被写体503が撮像された領域913の輝度値を補正することができる。よって、撮影者は違和感を軽減した撮影画像Fを撮影することができる。
実施例1の撮像装置100によれば、カメラマイコン201は、図6のステップS407のように、図16に示す定常光除去画像Cの領域番号が1、2及び3の被写体領域901、902及び903のうちの領域番号が1及び2の被写体領域901及び902を第1測光領域として、図6のステップS408のように、第1測光領域に対する測光結果に基づいて、SB119の光量GNHonを決定する。カメラマイコン201は、図6のステップS414のように、ステップS408で決定された光量GNHonでSB119からの光束が照射された被写体を撮像して得られた撮影画像Eの画像信号のうち、図16に示す定常光除去画像Cの被写体領域のうち第1測光領域とは異なる領域、すなわち、領域番号が3の被写体領域903を第2測光領域として、図17に示す第2測光領域に対応する領域913の画像信号を補正する。これにより、撮像装置との距離が各々異なる複数の被写体を撮影する場合、撮影画像全体の画像信号が適正となるように撮影を行うことができる。よって、撮影者は、SBを用いたことによる違和感を軽減した、見た目に自然な撮影画像Fを撮影することができる。また、実施例1によれば、特許文献1の撮像装置と比較して、SBの発光回数を1回に抑えることができるため、SBのエネルギーの消費量を低減することができる。また、複数枚の画像を保存する必要がないため、メモリの使用量を抑えることができる。よって、コストの低減に効果がある。
実施例1において、カメラマイコン201が、図6のステップS408のように、フォーカスポイント152のうち焦点状態が合焦であると判定されたフォーカスポイント152に対応する測光領域である領域番号が1及び2の被写体領域を第1測光領域として、SB119の光量GNHonを決定する例を説明した。これにより、焦点状態が合焦であると判定された測光領域に対応する撮影画像の領域の画像信号が適正となるように本発光の光量を決定することができる。また、焦点状態が合焦であると判定された測光領域を除く領域に対応する撮影画像の領域の画像信号が適正となるように補正することができる。撮影者にとって、合焦である被写体の画像信号が適正であることが好ましいため、利便性の向上に効果がある。他に、例えば、焦点状態が合焦ではないと判定された測光領域を第1測光領域としてもよい。また、撮影者が選択した領域を第1測光領域としてもよい。
実施例1において、カメラマイコン201が、ステップS411のように、第1測光領域及び第2測光領域に対する第2撮像素子117の測光結果である図16に示すようなRM[1]、RM[2]及びRM[3]に基づいて、図17に示す第2測光領域に対応する領域913の画像信号を補正する例を説明した。これにより、測光結果に基づいてより適正な補正を行うことができる。実施例1では、各被写体領域の輝度値の平均値を測光結果とする例を説明したが、例えば、コントラストの平均値を測光結果としてもよい。
実施例1において、カメラマイコン201が、ステップS411のように、第1測光領域に対する第1測光結果であるRM[1]及びRM[2]に基づく発光量段数差KGNApexHonと、第2測光領域に対する第2測光結果であるRM[3]に基づく発光量段数差KGNApex[3]との差Corr_img2[i、j]に対応するCorr_img1[x、y]に基づいて、図17に示す第2測光領域に対応する領域913の画像信号を補正する例を説明した。これにより、SBの光量の差に基づいてより適正な補正を行うことができる。実施例1では、第1撮像素子106、第2撮像素子117の入出力特性が線形として、光量の差に基づく式(6)により画像信号を補正する例を説明した。第1撮像素子106、第2撮像素子117の入出力特性が非線形の場合、その影響を考慮した光量の差に基づいて画像信号を補正してもよい。
実施例1において、カメラマイコン201が、ステップS411のように、フォーカスポイント152が存在しない領域番号が0の被写体領域を第3領域として、第3領域に対応する領域の画像信号を補正の対象から除外する例を説明した。第3領域は、背景領域に対応する。フォーカスポイント152が存在しない背景領域は概して撮影者の注目する領域ではないため、補正をしなくても十分である場合が多い。背景領域を補正の対象から除外することにより、カメラマイコン201の処理量を削減して、撮影開始から完了までの処理時間の短縮に効果がある。
実施例1において、カメラマイコン201が、ステップS403のようにSB119の照射を行って被写体からの光束を測光した結果である測光画像Aと、ステップS404のようにSB119の照射を行わずに被写体からの光束を測光した結果である測光画像Bとに基づく測光結果である定常光除去画像Cに基づいて、ステップS408のようにSB119の光量を決定する例を説明した。定常光除去画像Cは予備発光のみによる被写体からの光束を測光した結果である。よって、測光画像Aや測光画像Bではなく定常光除去画像Cを用いる方が、本発光の光量をより精度よく決定することができる。
実施例1において、撮影画像の各画素の画像信号を補正する一例として、画像信号の輝度値を補正する例を説明した。輝度値の他に、コントラスト値等を補正してもよい。
図6のステップS414において、予備発光に基づく補正値Corr_img1と本発光に基づく補正値Hoseiとを用いて、撮影画像の各画素の輝度値を補正する例を説明した。例えば、本発光に基づく補正値Hoseiを用いず、予備発光に基づく補正値Corr_img1のみで補正してもよい。
ステップS500において、輝度値がX以上か否かにより2値画像を生成する例を説明した。例えば、輝度値が所定の範囲内であるか否かにより2値画像を生成してもよい。任意の輝度値ごとに2値画像を生成してもよい。任意の輝度値ごとに生成した複数の2値画像をマージして2値画像を生成してもよい。
ステップS408において、式(4)の定数KGNCONSTは、撮像画像の画素の緑成分の輝度値が適正となるための発光量段数差である例を説明した。例えば、撮像画像の画素の輝度値のうち、赤、青成分や補色成分が適正となるための発光量段数差を定数KGNCONSTに用いてもよい。
ステップS413において、撮影画像の画素の輝度値の緑成分に対応するImage_G_focus及びImage_G_targetを用いて、Hoseiを算出する例を説明した。例えば、撮影画像の画素の輝度値のうち、赤、青成分や補色成分に対応する同様の各値を用いてHoseiを算出してもよい。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
100 撮像装置
106 第1撮像素子
107 焦点検出光学系
108 測距素子
109 レンズ光学系
116 測光用レンズ
117 第2撮像素子
119 SB
201 カメラマイコン
203 レンズマイコン
204 絞り制御部
207 SBマイコン
208 閃光発光部

Claims (6)

  1. 光学系による被写体の像を撮像して画像信号を出力する撮像手段と、
    前記被写体からの光束を、複数の測光領域に分割して測光する測光手段と、
    前記被写体に対して光束を照射する光源と、
    前記複数の測光領域のうちの第1測光領域に対する前記測光手段の測光結果に基づいて前記光源の光量を決定する光量決定手段と、
    前記光量決定手段により決定された光量で前記光源からの光束が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第1測光領域とは異なる第2測光領域に対応する領域の画像信号を補正する補正手段と、を備え、
    前記補正手段は、前記測光手段の測光結果に基づく第1補正値と、前記撮像手段からの出力に基づく第2補正値とに基づいて、前記第2測光領域に対応する領域の画像信号を補正することを特徴とする撮像装置。
  2. 前記光源は、第1発光及び第2発光を行って前記被写体に対して光束を照射し、
    前記光量決定手段は、前記複数の測光領域のうちの第1測光領域に対する前記測光手段の測光結果に基づいて前記第2発光の発光量を決定し、
    前記補正手段は、前記第2発光の発光量が照射された前記被写体を前記撮像手段によって撮像して得られた画像信号のうち、前記第1測光領域とは異なる第2測光領域に対応する領域の画像信号を、前記第1発光を行ったときの前記測光手段の測光結果に基づく第1補正値と、前記第2発光を行ったときの前記撮像手段からの出力に基づく第2補正値とに基づいて補正することを特徴とする請求項1に記載の撮像装置。
  3. 前記第1補正値は、前記第1発光の発光量と前記第2発光の発光量との差に基づいて算出され、
    前記第2補正値は、前記被写体を前記撮像手段によって撮像して得られた輝度値に基づいて算出されることを特徴とする請求項2に記載の撮像装置。
  4. 前記光学系の像面内に設定された複数の焦点検出位置に対する前記光学系の焦点状態を検出する焦点検出手段を備え、
    前記光量決定手段は、前記複数の焦点検出位置のうち前記焦点状態が合焦であると判定された焦点検出位置に対応する測光領域を前記第1測光領域として、前記光源の光量を決定することを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。
  5. 前記補正手段は、前記焦点検出位置が存在しない第3測光領域に対応する領域の画像信号を補正の対象から除外することを特徴とする請求項に記載の撮像装置。
  6. 前記光量決定手段は、前記光源の照射を行って前記被写体からの光束を測光した結果と、前記光源の照射を行わずに前記被写体からの光束を測光した結果と、に基づく前記測光結果に基づいて前記光源の光量を決定することを特徴とする請求項1からのいずれか一項に記載の撮像装置。
JP2009209833A 2009-09-10 2009-09-10 撮像装置 Active JP5515541B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009209833A JP5515541B2 (ja) 2009-09-10 2009-09-10 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009209833A JP5515541B2 (ja) 2009-09-10 2009-09-10 撮像装置

Publications (2)

Publication Number Publication Date
JP2011061559A JP2011061559A (ja) 2011-03-24
JP5515541B2 true JP5515541B2 (ja) 2014-06-11

Family

ID=43948677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009209833A Active JP5515541B2 (ja) 2009-09-10 2009-09-10 撮像装置

Country Status (1)

Country Link
JP (1) JP5515541B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398315B2 (ja) * 2014-05-20 2018-10-03 リコーイメージング株式会社 撮影装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092955A (ja) * 1999-09-21 2001-04-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP4275344B2 (ja) * 2002-01-22 2009-06-10 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
JP2011061559A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
JP2004212385A (ja) 撮影装置とその撮影装置の撮影方法及び制御方法
JP5424708B2 (ja) 焦点検出装置
JP5618712B2 (ja) 自動焦点調節装置および撮像装置
JP2014044345A (ja) 撮像装置
US11539874B2 (en) Image-capturing apparatus and control method thereof
JP6425571B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008164731A (ja) 撮影装置及びその制御方法
JP2007072013A (ja) 撮像装置および撮像方法
JP2017102637A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015034850A (ja) 撮影装置および撮影方法
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5515541B2 (ja) 撮像装置
JP4432479B2 (ja) 画像処理装置
CN109387992B (zh) 能够充分确保发光精度的摄像设备及其控制方法
JP2012063664A (ja) 測光装置及び電子カメラ
JP2012168429A (ja) 撮像装置
JP2022012301A (ja) 情報処理装置、撮像装置、制御方法およびプログラム
JP2015225256A (ja) 撮影装置
JP6477770B2 (ja) 撮像装置
JP6725030B2 (ja) 撮像装置
JP5521429B2 (ja) 発光量制御装置および発光量制御方法
JP7171265B2 (ja) 撮像装置およびその制御方法
JP2010272966A (ja) 測光装置及び撮像装置
JP7195783B2 (ja) 撮像装置、アクセサリ装置およびそれらの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140317

R150 Certificate of patent or registration of utility model

Ref document number: 5515541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250