JP2003224771A - 画像処理方法、画像処理装置及び電子カメラ - Google Patents
画像処理方法、画像処理装置及び電子カメラInfo
- Publication number
- JP2003224771A JP2003224771A JP2002020738A JP2002020738A JP2003224771A JP 2003224771 A JP2003224771 A JP 2003224771A JP 2002020738 A JP2002020738 A JP 2002020738A JP 2002020738 A JP2002020738 A JP 2002020738A JP 2003224771 A JP2003224771 A JP 2003224771A
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness
- contrast
- captured image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 24
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000003321 amplification Effects 0.000 claims description 52
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 abstract description 27
- 238000011156 evaluation Methods 0.000 abstract description 15
- 238000000034 method Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000003702 image correction Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
- Image Input (AREA)
Abstract
撮像画像を、撮像画像に含まれる主要被写体が適正な明
るさの画像として得る。 【解決手段】 撮像画像の明るさの積算値を求め(10
0)、重みを付した評価値Eを算出し(102)、撮像
画像のコントラスト(明るさの平均値と最大値の比)を
求め(104)、評価値Eを用いて画像信号のゲインG
を求めた後に(106〜118)、被写体の明るさを適
正に補正するために、コントラストに応じてゲインGを
抑制する値が変動する抑制ゲインCGを求め(12
0)、上記ゲインG及び抑制ゲインCGを用いて最終的
に画像を補正するための補正ゲインGallを算出し
(122)、ゲイン調整回路により画像信号を増幅して
撮像画像を補正する(124)。
Description
像処理装置及び電子カメラ、特に、CCDなど固体撮像
素子を用いて画像を撮像するときに、撮像画像に対して
自動的に補正を加える画像処理方法、画像処理装置及び
電子カメラに関する。
撮影する場合には、ストロボ装置(ストロボ発光装置)
の発光が必要であるが、被写体までの距離に対してスト
ロボ装置の発光能力が低い場合には、被写体まで発光し
た光が到達せずに光量不足の画像が得られてしまう。
での距離情報を得て、この距離情報に応じて発光量を決
定したり、受光センサ(調光センサ)によりストロボ装
置の反射光を感知し、適切な光量に達した時にストロボ
発光を停止させる制御を行う、所謂オートストロボが知
られている。
度が要求され、撮影時に適切な発光量を得るためには、
複雑な制御や機構が必要である。
幅することによって、精度よく画像の明るさを制御する
技術が知られている(特開2001−169178号公
報参照)。この技術では、ストロボ発光時の撮像画像の
画像データを用いて求めた明るさの加重平均値からスト
ロボ発光時の被写体までの光の到達性を判別し、画像信
号の増幅率を変更している。
の画像データから求めた値が小さい場合であっても、対
象となる被写体にストロボ装置からの発光が到達してい
る場合がある。すなわち、対象となる被写体の撮像画像
上の領域が小さい場合には、それを平均することによっ
て、撮像画像としては暗いと判別される場合がある。こ
の場合には、必要以上に増幅率が増加され、対象となる
被写体の画像が適切な明るさで表示したり記録したりす
るときの画像形成がなされない。本発明はこのような事
情に鑑みてなされたもので、電子スチルカメラのストロ
ボ撮影時に精度よく映像信号の光量不足を補正し、主要
被写体が適正な明るさの画像を得ることができる画像処
理方法及び装置並びにその装置を搭載した電子カメラを
提供することを目的とする。
発光装置の発光を伴う撮影時にその撮像画像を、撮像画
像に含まれる主要被写体が適正な明るさの画像として得
ることができる画像処理方法、画像処理装置及び電子カ
メラを得ることが目的である。
に本発明の画像処理方法は、ストロボ発光装置の発光を
伴う撮影時に撮像素子より得られた画像信号に基づいて
撮像画像の明るさの度合いを求める工程と、前記撮像画
像の明るさの度合いから撮像画像のコントラストを求め
る工程と、前記撮像画像の求めた明るさの度合い及びコ
ントラストに基づいて、前記画像信号の増幅率を決定
し、前記決定した増幅率によって前記画像信号を増幅す
る工程と、含んでいる。
ボ発光装置の発光を伴う撮影時に撮像素子より得られた
画像信号に基づいて撮像画像の明るさの度合いを求め
る。撮像画像の明るさの度合いとは、撮像画像全体の明
るさの分布から求まる特徴値をいい、撮像時の被写体及
び周囲光源からの光によって定まるものである。次に、
撮像画像の明るさの度合いから撮像画像のコントラスト
を求める。ここでいうコントラストとは、撮像画像の明
暗の比率をいい、明るい部位と暗い部位との明るさの度
合いの差や比が大きくなるに従って、コントラストが大
きくなる。例えば、暗闇で単一の人物をストロボ発光を
伴って撮像したときにストロボ光が人物に到達した場合
には、被写体である人物では明るくなり、他は暗くなる
ので、コントラストは大きくなる。
びコントラストに基づいて、画像信号の増幅率を決定
し、決定した増幅率によって画像信号を増幅する。この
増幅率の決定は、撮像画像に含まれる被写体の画像が最
適な明るさとして提供されるように、決定する。すなわ
ち、明るさの度合いが小さいときであってもコントラス
トが大きい場合には、ストロボ発光によって適度に光が
照明された被写体の画像を撮像画像が含んでいることが
多い。そこで、明るさの度合いが小さくコントラストが
大きいときには、撮像画像に含まれる明るさの度合いが
大きい領域を基準として増幅率を決定することで、スト
ロボ撮影時の被写体の撮像画像に適した増幅率を定める
ことができ、適正な明るさの画像を得ることができる。
画像の明るさの度合いとして明るさの最大値と予め定め
た所定値(最小値や平均値)との比を用いることを特徴
とする。
は、撮像画像全体の明るさの分布から求まる特徴値であ
る。この特徴値を簡便に求めるには、明るさの最大値と
予め定めた所定値(最小値や平均値)との比を用いれば
よい。
記撮像素子より得られた画像信号の明るさの度合いに基
づいて前記画像信号の増幅率を決定しかつ、前記撮像画
像のコントラストが予め定めたコントラスト値を越えた
場合に、前記コントラストに基づいて前記増幅率を抑制
する抑制率をさらに決定し、前記決定した抑制率を付加
した増幅率によって前記画像信号を増幅することを特徴
とする。
から求めれば、被写体や環境光源、及び周囲環境によら
ず、平均的な増幅率が定まる。この場合、明るさの度合
いが小さくコントラストが大きいとき、例えば、暗闇で
人物のみをストロボ撮影したとき、撮像画像に含まれる
明るさの度合いが大きい領域である被写体の画像領域に
対しては増幅率が増加傾向にある。そこで、コントラス
トに基づき増幅率を抑制する抑制率を決定し、決定した
抑制率を付加した増幅率によって画像信号を増幅すなわ
ち増幅率が増加するに従って抑制率を増加すれば、スト
ロボ撮影時の被写体の撮像画像に適した増幅率を定める
ことができ、適正な明るさの画像を得ることができる。
値の少なくとも一方が設定されていることを特徴とす
る。
補正しないように、または撮影された画像を不必要に明
るくする方向に補正しないように、前記決定される抑制
率に上限値や下限値を設定することが好ましい。特に、
上限値を1に設定することが好ましい。
るさの平均値、または、予め定めた撮像画像の位置を基
準とする明るさの加重平均値であることを特徴とする。
撮影画像の光量の適否を評価することが可能である。す
なわちストロボ光が十分に照射されなかった場合など、
撮影シーンに対してストロボ光量が不適切であると、光
量不足であるが、その判定に、撮像画像の明るさの平均
値、または、予め定めた撮像画像の位置を基準とする明
るさの加重平均値を用いることができる。これにより、
ストロボ撮影時の光量などの明るさを精度よく特定で
き、適正な明るさの画像を得ることができる。
合、撮像画像を複数のブロックに分割しかつ、各ブロッ
ク毎に明るさの度合いを求め、求めた明るさの度合いの
各々に基づいて前記明るさの度合いを求めることを特徴
とする。
るさを求めて最終的に撮像画像の明るさの度合いを求め
れば、より正確な値を求めることが可能であるが、処理
が複雑になる。そこで、前記撮像画像の明るさの度合い
を求める手法として、撮影画面を複数のブロックに分割
し、各ブロック毎に明るさの度合い例えば各ブロック毎
の明るさを示す数値を求め、それらの値の各々に基づい
て前記明るさの度合いを求めることが好ましい。
に応じた重み係数を定め、明るさの度合いの特徴値は、
各ブロック毎に画像信号を積算した積算値とする。そし
て、明るさの度合いは、各ブロックごとの積算値と該当
する重み係数の乗算値を全てのブロックについて加算
し、その全加算値を重み係数の総和で除算することによ
って求めることができる。撮影画面内の重み係数の分布
により、主要被写体が適正な明るさになるように増幅率
を決定することができる。
値の少なくとも一方が設定されていることを特徴とす
る。特に、前記下限値を1に設定することができる。
/Nが劣化するので、適度な増幅を行うべく、前記決定
される増幅率に上限値を設定しておくことが好ましい。
また、撮影された画像を不必要に暗くする方向に補正し
ないように、前記決定される増幅率に下限値を設定して
おく態様もある。特に、画像を暗くする方向の補正を禁
止する場合は、前記下限値を1に設定する。
よって容易に実現できる。詳細には、画像処理装置は、
ストロボ発光装置の発光を伴う撮影時に撮像素子により
得られた画像信号に基づいて撮像画像の明るさの度合い
を求める明るさ演算手段と、前記撮像画像の明るさの度
合いから撮像画像のコントラストを求めるコントラスト
演算手段と、前記撮像画像の求めた明るさの度合い及び
コントラストに基づいて、前記画像信号の増幅率を決定
する決定手段と、前記決定した増幅率によって前記画像
信号を増幅する増幅手段と、含むことを特徴とする。
ラなどの電子カメラにその機能を搭載することで、より
効果的な画像を提供できる。詳細には、電子カメラは、
撮像素子と、撮影時に被写体に補助光を与えるようにス
トロボ発光装置を制御するストロボ制御手段と、前記撮
像素子を介して取得した画像信号を記憶する記憶手段
と、前記記憶手段に格納されている画像信号を増幅する
増幅手段と、 前記撮像画像の明るさの度合いを求め、
前記撮像画像の明るさの度合いから撮像画像のコントラ
ストを求め、前記撮像画像の求めた明るさの度合い及び
コントラストに基づいて、前記画像信号の増幅率を決定
し、前記決定した増幅率に従って前記増幅手段の増幅率
可変制御を行う制御手段と、前記増幅手段によって増幅
した結果得られた画像を記録媒体に記録する記録手段
と、備えたことを特徴とする。
施の形態の一例を詳細に説明する。本実施の形態はデジ
タルカメラに本発明を適用したものである。
ルカメラのブロック図を示した。このカメラ10の撮影
光学系12は撮影レンズ14及び絞り16を含む。撮影
レンズ14は1枚又は複数枚のレンズで構成され、単一
の焦点距離(固定焦点)のレンズでも良いし、ズームレ
ンズや望遠/広角の二焦点切替式レンズの如く焦点距離
可変のものでもよい。
面に結像された被写体像は、各センサで入射光量に応じ
た量の信号電荷に変換される。このようにして蓄積され
た信号電荷は、CCD駆動回路20から加えられるCC
D駆動パルスによって読み出され、信号電荷に応じた電
圧信号(アナログ画像信号)として順次CCD18から
出力される。
てシャッタードレインが設けられており、シャッターゲ
ートをシャッターゲートパルスによって駆動することに
より、蓄積した信号電荷をシャッタードレインに掃き出
すことができる。すなわち、CCD18は、シャッター
ゲートパルスによって各センサに蓄積される電荷の蓄積
時間(シャッタースピード)を制御する、いわゆる電子
シャッター機能を有している。
S回路22において相関二重サンプリング(CDS)処
理されるとともに、R,G,Bの各色信号に色分離処理
され、各色信号の信号レベルの調整(プリホワイトバラ
ンス処理)が行われる。
信号は、A/D変換器24に加えられ、該A/D変換器
24によりR,G,Bのデジタル信号に変換された後、
メモリ26に格納される。
CPU30からのコマンドに応じてCCD駆動回路2
0、CDS回路22及びA/D変換器24に対して適宜
のタイミング信号を与えており、各回路はタイミング信
号発生回路28から加えられるタイミング信号により同
期して駆動されるようになっている。
制御する制御部(制御手段)であり、バス32を介して
ゲイン調整回路34、ガンマ補正回路36、輝度・色差
信号処理回路(YC処理回路という。)38、圧縮伸張
回路40、メモリカード42のカードインターフェース
44、及び表示部46を駆動する表示用ドライバー48
等と接続されている。
基づいて対応する回路ブロックを制御するとともに、撮
影レンズ14のズーミング動作や自動焦点調節(AF)
動作の制御、並びに自動露出調節(AE)の制御等を行
う。
与えるレリーズボタン、カメラのモード選択手段、ズー
ム操作手段その他の各種の入力手段が含まれる。これら
入力手段は、スイッチボタン、ダイヤル、スライド式ツ
マミなど種々の形態があり、タッチパネルや液晶モニタ
表示部の画面上において設定メニューや選択項目を表示
してカーソルで所望の項目を選択する態様もある。操作
部50はカメラ本体に配設されていてもよいし、リモコ
ン送信機としてカメラ本体と分離した構成にすることも
可能である。
力手段の1つに、フォーカス位置設定ボタン51をさら
に含んでいる。このフォーカス位置設定ボタン51は、
カメラ10により被写体を撮影するときに、画面内の主
要被写体の位置を指示するためのものである。
が位置することを想定して、画面中心の被写体にフォー
カスする設定にされている。ところが、ユーザの想定し
た構図(シーン)で、画面の中央部からはずれた位置に
主要被写体を位置させて撮影する場合もある。この場
合、主要被写体に焦点が合致せずに、中央部の被写体に
焦点が合致する。そこで、本実施の形態では、画面の中
央部からはずれた位置に主要被写体が位置する撮影シー
ンで、フォーカス位置を設定することが可能な構成とさ
れている。
の概念構成を示した。フォーカス位置設定ボタン51
は、フォーカス位置を初期位置から上部へ移動指示する
ための指示ボタン51U、フォーカス位置を初期位置か
ら下部へ移動指示するための指示ボタン51D、フォー
カス位置を初期位置から左部へ移動指示するための指示
ボタン51L、フォーカス位置を初期位置から右部へ移
動指示するための指示ボタン51R、そして、フォーカ
ス領域を選択指示するための指示ボタン51Eから構成
されている。なお、フォーカス位置設定ボタン51は、
タッチパネルや液晶モニタ表示部の画面上において設定
メニューや選択項目を表示してカーソルで所望の項目を
選択するようにしてもよい。
ファインダ内の画像)60に対してフォーカス位置を示
したものである。この例では、フォーカス領域62が、
初期設定された画面中心の位置を示し、フォーカス領域
62aが、指示ボタン51R及び指示ボタン51Dの押
圧指示によって、初期設定された画面中心のフォーカス
領域62の位置から、フォーカス位置が指示フォーカス
領域62aの位置に変更された状態を示している。ま
た、フォーカス領域62の大きさは、指示ボタン51E
の押圧により、予め定めた1または複数のフォーカス領
域の大きさから選択指示が可能である。これにより、主
要被写体の大きさに応じてフォーカス領域の大きさを変
更することもできる。
れる画像信号に基づいて、焦点評価演算やAE演算など
の各種演算を行い、その演算に基づいて、撮影レンズ1
4及び絞り16の駆動手段(例えば、AFモータやアイ
リスモータ等)52を制御してフォーカスレンズを合焦
位置に移動させるとともに、絞り16を適正絞り値に設
定する。
分が最大になるようにフォーカスレンズを移動させるコ
ントラストAF方式が採用される。AE制御には、1フ
レームのR、G、B信号を積算した積算値に基づいて被
写体輝度(撮影EV)を求め、この撮影EVに基づいて
絞り値とシャッタースピードを決定し、駆動手段52を
介して絞り16を駆動するとともに、決定したシャッタ
ースピードとなるように電子シャッターによってCCD
18の電荷の蓄積時間を制御する。したがって、カメラ
10の撮影レンズ14を被写体に向けるだけで、最適な
露出調整が行われるとともに、ピント合わせが自動的に
行われる。
「半押し」時に上述した測光動作を複数回繰り返して正
確な撮影EVを求め、この撮影EVに基づいて撮影時の
絞り値とシャッタースピードを最終的に決定する。そし
て、レリーズボタンの「全押し」時に前記最終的に決定
した絞り値になるように絞り16を駆動し、また、決定
したシャッタースピードとなるように電子シャッターに
よって電荷の蓄積時間を制御する。なお、AE、AFは
CCD18から取得される画像信号に基づいて制御する
方法の他、周知の測光センサやAF投光/受光センサか
らなる測距センサ等を用いてもよい。
54と、調光用の受光素子56を有し、操作部50に含
まれるストロボモード設定ボタンの操作に応じて、低輝
度時にストロボ発光装置54を自動的に発光させる「低
輝度自動発光モード」、被写体輝度にかかわらずストロ
ボ発光装置54を発光させる「強制発光モード」、又は
ストロボ発光装置54の発光を禁止させる「発光禁止モ
ード」等に設定される。
モードに応じて、ストロボ発光装置54のメインコンデ
ンサの充電制御や、発光管(例えば、キセノン管)への
放電(発光)タイミングを制御するとともに、受光素子
56からの測定結果に基づいて発光停止の制御を行う。
受光素子56はストロボの発光によって照らされる被写
体からの反射光を受光し、受光量に応じた電気信号に変
換する。受光素子56の信号は図示せぬ積分回路により
積算され、積算受光量が所定の適正受光量に達した時に
ストロボの発光が停止される。
前記メモリ26に格納されるとともに、積算回路60に
加えられる。積算回路60は、撮影画面を複数のブロッ
ク(例えば、8×8の64個のブロック)に分割し、各
ブロック毎に受入したG信号の積算演算を行う。なお、
R、G、Bのデータから輝度信号(Y信号)を生成し
て、輝度信号の積算演算を行ってもよい。また、積算回
路60はAE演算回路で兼用することもできる。積算回
路60で得られた積算値の情報(演算結果)はCPU3
0に入力される。
報に基づき、後述のアルゴリズムに従って撮影画面の評
価値Eを算出し、求めた評価値Eを用いてゲイン調整回
路34におけるゲイン値(増幅率)を決定する。CPU
30は決定したゲイン値に従ってゲイン調整回路34に
おけるゲイン量を制御する。
データはゲイン調整回路34に送られ、ここで増幅処理
される。増幅処理された画像データは、ガンマ補正回路
36において、ガンマ補正処理が施された後、YC処理
回路38へ送られ、RGBデータから輝度信号(Y信
号)及び色差信号(Cr,Cb信号)に変換される。
・色差信号(YC信号と略記する)は、メモリ26に書
き戻される。メモリ26に記憶されたYC信号は表示用
ドライバー48に供給され、所定方式の信号(例えば、
NTSC方式のカラー複合映像信号)に変換されて表示
部46に出力される。表示部46には液晶ディスプレイ
その他のカラー表示可能な表示装置が用いられる。な
お、表示部46はYC信号入力対応のタイプのものを適
用してもよいし、RGB信号入力タイプのものを適用し
てもよく、表示装置に対応したドライバーが適用され
る。
て画像データが定期的に書き換えられ、その画像データ
から生成される映像信号が表示部46に供給されること
により、CCD18が捉える画像がリアルタイムに動画
像(ライブ画像)として、又はリアルタイムではない
が、ほぼ連続した画像として表示部46に表示される。
て利用でき、撮影者は表示部46の表示画像又は図示せ
ぬ光学ファインダーによって撮影画角を確認することが
できる。レリーズボタンの押下操作など所定の記録指示
(撮影開始指示)操作に呼応して、記録用の画像データ
の取り込みが開始される。
入力すると、CPU30は必要に応じて圧縮伸張回路4
0にコマンドを送り、これにより圧縮伸張回路40はメ
モリ26上のYCデータをJPEGその他の所定の形式
に従って圧縮する。圧縮された画像データはカードイン
ターフェース44を介してメモリカード42に記録され
る。
圧縮モード)が選択されている場合には、前記圧縮伸張
回路40による圧縮処理を実施せずに、非圧縮のまま画
像データがメモリカード42に記録される。
を保存する手段としてメモリカード42が用いられてい
る。具体的には、例えばスマートメディア等の記録メデ
ィアが適用される。記録メディアの形態は上記のものに
限らず、PCカード、マイクロドライブ、マルチメディ
アカード(MMC)、磁気ディスク、光ディスク、光磁
気ディスク、メモリスティックなど種々の形態が可能で
あり、使用される媒体に応じた信号処理手段とインター
フェースが適用される。
から読み出された画像データが圧縮伸張回路40によっ
て伸張処理され、ドライバー48を介して表示部46に
出力される。
カード42は、本発明の記憶手段に相当し、CPU30
は本発明のストロボ制御手段、及び制御手段の機能を含
んでいる。また、ゲイン調整回路34は本発明の増幅手
段に相当し、メモリカード42への画像データの記録処
理が本発明の記録手段の機能に相当する。
ける画像補正について説明する。
て撮影画面は8×8のブロックに分割される。そして、
各ブロックBi(i=0,1,2,・・・、63)毎
に、画像信号におけるG(緑)信号の積算値Siが算出
される。また、図3に示すように、各ブロックにはそれ
ぞれ重み係数Wi(i=0,1,2,・・・、63)が
定められている。重み係数Wiは画面中央部分が相対的
に大きい値に定められており、中心から遠ざかるにつれ
て小さい値に設定されている。
る場合が多いため、図3に示すような重み係数の分布に
設定しておくことで、画面中央部分の被写体の状態を十
分に反映させた評価が可能となる。なお、本発明は、図
3に示す重み係数の配置に限定されるものではなく、主
要な被写体をどのように扱うか予め定めた画面の分布に
応じて定めた重み係数の配置を採用できる。
カス位置設定ボタン51によるフォーカス位置の指示)
により、フォーカス位置を変更した場合には、図3に示
す重み係数の分布を、変更したフォーカス位置に対応し
て移動配置する。これにより、ユーザの指示が反映され
た主要被写体を把握することができる。
説明する。図6は本実施の形態にかかる画像補正の流れ
について示したフローチャートである。ストロボ撮影に
よって撮影画像が取り込まれる図6に示す画像補正ルー
チンが実行される。先ず、ステップ100では、撮像画
像の明るさの積算値を算出する。すなわち、CPU30
は、積算回路60からの情報に基づいて各ブロックBi
(i=0,1〜63)内に含まれる画像信号におけるG
(緑)信号の積算値Siを算出する。各ブロック毎の積
算値Siの算出が終了すると、次のステップ102へ進
み、重み係数Wi(図3参照)を用いて、次式(1)に
従って評価値Eを算出する。
との積算値Siと重み係数Wiの乗算値(Si×Wi)を全
てのブロックi=0〜63について加算し、その全加算
値を重み係数Wiの総和で除算する(加重平均を算出す
る)ことによって求められる。
さの平均値及び最大値を算出する。これは、撮像画像の
コントラストの傾向を求めるための要素データ算出処理
であり、コントラストの傾向の値(以下、コントラスト
値Ctという。)は、撮像画像の明るさに対する変動率
に相当する。本実施の形態では、次の(2)式に示す、
撮像画像に含まれる明るさの最大値と、撮像画像の明る
さの平均値との比をコントラスト値に採用する。 Ct=Cave/Cmax ・・・(2) 但し、Cmaxは、撮像画像に含まれる明るさの最大
値、Caveは、撮像画像の明るさの平均値を示す。
小値や予め定めた関数により求まる平均的なレベルまた
は低レベルの明るさを表す規定値でもよい。また、本実
施の形態では、ブロックi=0〜63についての画像信
号におけるG(緑)信号の積算値Siを用いてコントラ
スト値Ctを算出する。この場合、主要な画像(主要被
写体の画像)が撮像画像の中央部付近に分布することが
多いことなどから、撮像画像の中央部のブロックについ
て明るさの最大値、及び平均値を求めることが好まし
い。
カス位置設定ボタン51によるフォーカス位置の指示)
により、フォーカス位置を変更した場合には、変更した
フォーカス位置の領域を主要画像の領域として、変更し
たフォーカス領域のブロックについて明るさの最大値、
及び平均値を求める。これにより、ユーザの指示が反映
された主要被写体のコントラストを把握することができ
る。
算出結果である評価値Eが「1」未満か否かを判断し、
評価値Eが「1」未満で肯定判断のときには、ステップ
108へ進み、評価値Eを「1」に置き換え、ステップ
110へ進む。すなわち、評価値Eが1より小さい場
合、E=1にクリップする。一方、ステップ106で否
定判断すなわち評価値Eが「1」以上で否定判断のとき
には、そのままステップ110に進む。
出された評価値Eを用いて、次の(3)式に従って画像
信号の増幅度を表すゲインGを算出する。 G=L/E ・・・(3) 但し、Lは所定の目標レベルを示す値である。
限値(GU、例えば2.0)と下限値(GL、例えば
1.0)の間の値に収容(クリップ)する。まず、ステ
ップ112では、算出したゲインGに対して、下限値G
L未満か否かを判断し、ゲインGが下限値GL未満で肯
定判断のときには、ステップ114へ進み、ゲインGを
下限値GLに置き換え、ステップ120へ進む。すなわ
ち、ゲインGが下限値GLより小さい場合、G=GLに
クリップする。
ゲインGが下限値GL以上で否定判断のときには、ステ
ップ116に進む。ステップ116では、ゲインGが上
限値GUを越えるか否かを判断し、ゲインGが上限値G
Uを越えて肯定判断のときには、ステップ118へ進
み、ゲインGを上限値GUに置き換え、ステップ120
へ進む。すなわち、ゲインGが上限値GUより大きい場
合、G=GUにクリップする。
きすぎると画像のS/Nが劣化するため、適度なゲイン
量までで増幅を制限するものである。上限値GUの具体
的な設定は様々であるが、例えば、画像信号を8ビット
で表す場合には、増幅率の上限を3倍までと定める。ま
た、画像を暗くする方向に補正したくない場合には、下
限値GLを1に設定すればよい。
出する。抑制ゲインCGは、撮像画像のコントラストが
大きいとき、明るさにより一義的に画像補正するゲイン
Gを抑制することによって、例えば背景が暗い撮影シー
ンであっても、被写体の明るさを適正に補正するための
ものである。
制ゲインCGは、コントラスト値Ctによって定まる。
すなわち、抑制ゲインCGとコントラスト値Ctとの関
係を表す特性CCを予め定めておき、上記ステップ10
4で求めたコントラスト値Ctに対応する抑制ゲインC
Gを算出する。特性CCは、予め定めたコントラスト値
Ctaまで、抑制ゲインCGが上限値1.0を維持し、
コントラスト値Ctの最大値Ctbまで抑制ゲインCG
が徐々に減少する特性である。すなわち、上記の(2)
式の算出結果が大きくなるに従って、抑制ゲインCGは
小さくなる。これは撮像画像のコントラストが小さくな
るに従って抑制ゲインCGが小さくなるまたは、撮像画
像のコントラストが大きくなるに従って抑制ゲインCG
が大きくなることに相当する。
抑制量が大きすぎると画像に対する本来のゲイン量を確
保出来ない場合が想定され、適度なゲイン量まで抑制を
制限するものである。
写体まで到達していないことが想定される境界のコント
ラスト値Ctであり、上記ステップ110で算出したゲ
インGで補正しても、被写体の画像に影響が少ないと判
別されるコントラスト値Ctを実験などによって求めた
平均値や統計値である。本実施の形態では、コントラス
ト値Ctaまで抑制ゲインCGが1.0を維持する特性
CCを用いた場合を説明するが、本発明はこれに限定さ
れるものではない。例えば、コントラスト値Ctが大き
くなるに従って徐々に抑制ゲインCGが小さくなる特性
CCaを採用することもできる。
10で算出したゲインG、及びステップ120で算出し
た抑制ゲインCGと、次の(4)式を用いて、最終的に
画像を補正するときの補正ゲインGallを算出する。 Gall=(G−1.0)・CG+1.0 ・・・(4) ステップ122で算出する補正ゲインGallは、コン
トラスト値Ctの大小によりゲインGを抑制した補正値
を求めるものである。すなわちコントラストが大きいと
きにはストロボ光が到達して被写体に適度の明るさの撮
像画像が得られたものとして、明るさから求まるゲイン
Gを抑制して、主要な被写体の画像に対する画像補正量
を緩和するゲインを求める。
の数式は、上記(4)式に限定されるものではない。例
えば、ストロボ光が到達して被写体に適度の明るさの撮
像画像が得られたが画像に対して、明るさから求まるゲ
インGを抑制して、主要な被写体の画像に対する画像補
正量を緩和するゲインを求めるものであればよく、多項
式や任意の関数を用いて構成すればよい。
22で決定された補正ゲインGallに従ってゲイン調
整回路34により画像信号を増幅し、撮像画像を補正し
て、本ルーチンを終了する。
ステップ102の処理は、本発明の明るさ演算手段の機
能に相当し、ステップ104の処理は本発明のコントラ
スト演算手段の機能に相当する。また、ステップ106
乃至ステップ122の処理は、本発明の決定手段の機能
に相当し、ステップ124の処理が増幅手段の気のうに
相当する。
よれば、評価値Eに基づいて撮影画像が光量不足である
場合には、その不足の程度に応じてゲイン調整回路34
により画像信号が増幅されるので、ストロボ発光装置の
発光量不足、及び発光量の制御精度の不足を補って、主
要被写体が適正な明るさの画像(例えば、表示部46に
表示させたときに主要被写体たる人物の顔を見ることが
できるような明るさの画像)を得ることができる。
トラストを算出し、そのコントラストに応じてゲイン調
整回路34で増幅する画像信号のゲインを定めている。
すなわち、コントラストにより、主要な被写体にストロ
ボ光が到達しているか否かを判別し、判別結果値(コン
トラスト値)から、撮影画像の明るさにより定まるゲイ
ンGを抑制している。これによって、コントラストが大
きいときにはストロボ光が到達して被写体に適度の明る
さの撮像画像が得られたものとして、明るさから求まる
ゲインGを抑制して、主要な被写体の画像に対する画像
補正量を緩和することができ、周囲が暗い環境下で撮影
した場合であっても、主要被写体が適正な明るさの画像
(例えば、表示部46に表示させたときに主要被写体な
どの人物の顔を見ることができるような明るさの画像)
を得ることができる。
影画像の明るさの度合い及びコントラストに基づいて増
幅率を決定することで、ストロボ撮影時の被写体の撮像
画像に適した増幅率を定めることができ、適正な明るさ
の画像を得ることができる、という効果がある。
ブロック図である。
画面の分割形態の一例を示すイメージ図である。
重み係数Wiの一例を示すイメージ図である。
イメージ図である。
ーカス領域がhんこうされる過程を示すイメージ図であ
る。
正の処理の流れを示すフローチャートである。
図である。
Claims (3)
- 【請求項1】 ストロボ発光装置の発光を伴う撮影時に
撮像素子より得られた画像信号に基づいて撮像画像の明
るさの度合いを求める工程と、 前記撮像画像の明るさの度合いから撮像画像のコントラ
ストを求める工程と、 前記撮像画像の求めた明るさの度合い及びコントラスト
に基づいて、前記画像信号の増幅率を決定し、前記決定
した増幅率によって前記画像信号を増幅する工程と、を
含むことを特徴とする画像処理方法。 - 【請求項2】 ストロボ発光装置の発光を伴う撮影時に
撮像素子により得られた画像信号に基づいて撮像画像の
明るさの度合いを求める明るさ演算手段と、 前記撮像画像の明るさの度合いから撮像画像のコントラ
ストを求めるコントラスト演算手段と、 前記撮像画像の求めた明るさの度合い及びコントラスト
に基づいて、前記画像信号の増幅率を決定する決定手段
と、 前記決定した増幅率によって前記画像信号を増幅する増
幅手段と、を含むことを特徴とする画像処理装置。 - 【請求項3】 撮像素子と、 撮影時に被写体に補助光を与えるようにストロボ発光装
置を制御するストロボ制御手段と、 前記撮像素子を介して取得した画像信号を記憶する記憶
手段と、 前記記憶手段に格納されている画像信号を増幅する増幅
手段と、 前記撮像画像の明るさの度合いを求め、前記撮像画像の
明るさの度合いから撮像画像のコントラストを求め、前
記撮像画像の求めた明るさの度合い及びコントラストに
基づいて、前記画像信号の増幅率を決定し、前記決定し
た増幅率に従って前記増幅手段の増幅率可変制御を行う
制御手段と、 前記増幅手段によって増幅した結果得られた画像を記録
媒体に記録する記録手段と、を備えたことを特徴とする
電子カメラ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002020738A JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
US10/352,910 US7310448B2 (en) | 2002-01-29 | 2003-01-29 | Image processing method, image processing apparatus, and electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002020738A JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003224771A true JP2003224771A (ja) | 2003-08-08 |
JP3805259B2 JP3805259B2 (ja) | 2006-08-02 |
Family
ID=27606292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002020738A Expired - Fee Related JP3805259B2 (ja) | 2002-01-29 | 2002-01-29 | 画像処理方法、画像処理装置及び電子カメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US7310448B2 (ja) |
JP (1) | JP3805259B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007019685A (ja) * | 2005-07-06 | 2007-01-25 | Sony Corp | 撮像装置、制御方法、およびプログラム |
JP2008011323A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動作速度検出装置 |
JP2010172013A (ja) * | 2010-04-26 | 2010-08-05 | Nikon Corp | 電子カメラおよび画像処理プログラム |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
US7551223B2 (en) * | 2002-12-26 | 2009-06-23 | Sony Corporation | Apparatus, method, and computer program for imaging and automatic focusing |
US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
US7532206B2 (en) | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
US7417683B2 (en) * | 2003-03-26 | 2008-08-26 | Canon Kabushiki Kaisha | Auto-focusing optical apparatus with focus detection area setting capability |
JP3835433B2 (ja) * | 2003-05-23 | 2006-10-18 | セイコーエプソン株式会社 | 画像生成履歴情報を用いた画像処理 |
US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
JP2006080942A (ja) * | 2004-09-10 | 2006-03-23 | Seiko Epson Corp | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 |
JP2006157450A (ja) * | 2004-11-29 | 2006-06-15 | Sony Corp | 撮像装置及び画像処理方法 |
US9442607B2 (en) * | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
WO2008128096A2 (en) | 2007-04-11 | 2008-10-23 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
CA2697856A1 (en) | 2007-08-30 | 2009-03-05 | Next Holdings, Inc. | Low profile touch panel systems |
KR20100055516A (ko) | 2007-08-30 | 2010-05-26 | 넥스트 홀딩스 인코포레이티드 | 개선된 조광을 가진 광학 터치 스크린 |
US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
US20090278795A1 (en) * | 2008-05-09 | 2009-11-12 | Smart Technologies Ulc | Interactive Input System And Illumination Assembly Therefor |
US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
US20110095989A1 (en) * | 2009-10-23 | 2011-04-28 | Smart Technologies Ulc | Interactive input system and bezel therefor |
CN116405783A (zh) * | 2020-07-31 | 2023-07-07 | 华为技术有限公司 | 一种拍摄的补光方法及相关装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5541028A (en) * | 1995-02-02 | 1996-07-30 | Eastman Kodak Company | Constructing tone scale curves |
US6694052B1 (en) * | 1995-10-31 | 2004-02-17 | Fuji Photo Film Co., Ltd. | Image reproducing method and apparatus |
US6493468B1 (en) * | 1998-05-06 | 2002-12-10 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US6694051B1 (en) * | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
US6628830B1 (en) * | 1998-06-24 | 2003-09-30 | Canon Kabushiki Kaisha | Image processing method and apparatus and storage medium |
US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
JP3849333B2 (ja) | 1998-12-17 | 2006-11-22 | コニカミノルタホールディングス株式会社 | デジタルスチルカメラ |
JP2000236442A (ja) * | 1999-02-15 | 2000-08-29 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
JP2001169178A (ja) | 1999-12-06 | 2001-06-22 | Fuji Photo Film Co Ltd | 画像処理方法及び装置並びに電子カメラ |
JP2001298660A (ja) * | 2000-04-13 | 2001-10-26 | Minolta Co Ltd | デジタルカメラ、画像処理装置、画像処理方法および記録媒体 |
US7113649B2 (en) * | 2002-06-24 | 2006-09-26 | Eastman Kodak Company | Enhancing the tonal characteristics of digital images |
-
2002
- 2002-01-29 JP JP2002020738A patent/JP3805259B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-29 US US10/352,910 patent/US7310448B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007019685A (ja) * | 2005-07-06 | 2007-01-25 | Sony Corp | 撮像装置、制御方法、およびプログラム |
JP2008011323A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動作速度検出装置 |
JP2010172013A (ja) * | 2010-04-26 | 2010-08-05 | Nikon Corp | 電子カメラおよび画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US7310448B2 (en) | 2007-12-18 |
US20030142880A1 (en) | 2003-07-31 |
JP3805259B2 (ja) | 2006-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3805259B2 (ja) | 画像処理方法、画像処理装置及び電子カメラ | |
JP4198449B2 (ja) | デジタルカメラ | |
US8264585B2 (en) | Imaging apparatus capable of readily specifying undesirable photographing parameters form auto photographing parameters | |
JP4644883B2 (ja) | 撮像装置 | |
JP4615458B2 (ja) | 露出制御方法及び撮像装置 | |
US7973830B2 (en) | Imaging apparatus and exposure control method | |
US8018498B2 (en) | Image pickup apparatus and exposure control method | |
US8593566B2 (en) | Method and apparatus for controlling light emission of flash and digital photographing apparatus using the method and apparatus | |
JP2004236300A (ja) | デジタルカメラ | |
US8253850B2 (en) | Imaging apparatus and program thereof | |
JP4181620B2 (ja) | デジタルカメラ | |
JP2007057974A (ja) | 撮影装置 | |
JP3943470B2 (ja) | デジタルカメラ | |
JP2007318534A (ja) | 撮像装置 | |
JP2007199907A (ja) | 画像ノイズ低減方法および撮像装置 | |
JP2022170553A (ja) | 撮像装置、その制御方法とプログラム | |
JP2003319246A (ja) | デジタルカメラ | |
JP3510063B2 (ja) | スチルビデオカメラの露光量制御装置 | |
JP2001169178A (ja) | 画像処理方法及び装置並びに電子カメラ | |
JP2003222787A (ja) | デジタルカメラ | |
JP2003295044A (ja) | デジタルカメラ | |
JP2003319234A (ja) | デジタルカメラ | |
JP2003319231A (ja) | デジタルカメラ | |
JP2022170552A (ja) | 撮像装置、その制御方法とプログラム | |
JP2006229627A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060509 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3805259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140519 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |