JP4320998B2 - 電子カメラ - Google Patents
電子カメラ Download PDFInfo
- Publication number
- JP4320998B2 JP4320998B2 JP2002025712A JP2002025712A JP4320998B2 JP 4320998 B2 JP4320998 B2 JP 4320998B2 JP 2002025712 A JP2002025712 A JP 2002025712A JP 2002025712 A JP2002025712 A JP 2002025712A JP 4320998 B2 JP4320998 B2 JP 4320998B2
- Authority
- JP
- Japan
- Prior art keywords
- control value
- state information
- previous
- electronic camera
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Exposure Control For Cameras (AREA)
Description
【発明の属する技術分野】
本発明は、生成した画像に対する補正処理や、撮影時の露光制御を行う電子カメラに関する。
【0002】
【従来の技術】
電子カメラでは、様々な被写体の条件(例えば、被写体を照明する光源や、コントラストなど)に適応した画像を得るため、撮像素子などを介して生成した画像に対し、ホワイトバランス調整、階調補正、色補正などの種々の補正処理が施される。
【0003】
従来の電子カメラには、被写体を照明する光源の色温度を検出する色温度検出部を備えたものがあり、このような電子カメラでは、色温度検出部によって検出される色温度を制御値として用いたホワイトバランス調整(場合によっては、色補正)が実現されている。また、被写体のコントラストを検出するコントラスト検出部を備え、このようなコントラスト検出部によって検出されるコントラストを制御値として階調補正を実現する電子カメラもある。
【0004】
これらの電子カメラでは、レリーズボタンが押下された時点(または、その直前)の画像を用いて色温度やコントラストが検出され、このような検出により得られる最新の色温度やコントラストに基づいて各補正処理が行われる。
そのため、連写撮影のように、同じ被写体を短時間に連続して撮影する際には、被写体の条件が微妙に変化する場合であっても、このような変化に追従しつつ、各補正処理を行うことが可能である。
【0005】
【発明が解決しようとする課題】
しかし、同じ被写体を連続して撮影する過程において、画角内における被写体の位置がずれると、実際の色温度が変化していないにも拘わらず、色温度検出部によって検出される色温度が変動してしまうことがある。
このように色温度の検出結果が変動してしまうと、同一の被写体に対する画像であっても、被写体の位置がずれてしまった画像については、ホワイトバランスが他の画像と相違してしまうという問題が発生する。そのため、これらの画像を順次再生する場合、非常に不自然な印象をユーザに与えてしまうことになる。特に、赤色の被写体は、ホワイトバランス調整の影響を受け易いため、走行中の赤い自動車を画角内に捉えながら連写撮影が行われる場合、上記の問題が顕著に現れる。
【0006】
また、同様の問題は、ホワイトバランス調整に限らず、階調補正や色補正であっても発生する。
なお、各補正処理の安定を図る方法として、制御値の変化量を所定の範囲に制限する方法が従来から考えられている。しかし、このような方法では、例えば、走行中の自動車が日向から日陰へ移動したり、日陰から日向へ移動した場合などのように、被写体の条件が実際に変化する場合には、その変化に追従して各補正処理を行うことが困難である。
【0007】
すなわち、従来の補正処理では、安定性を高めると追従性が損なわれ、追従性を高めると安定性が損なわれてしまう。
ところで、電子カメラには、測光センサなどにより繰り返し検出される輝度に基づき、追従性の高い露光制御(アナログ画像信号のゲイン調整を含む)を実現しているものがある。このような電子カメラでは、同じ被写体を連続して撮影する過程において、被写体の条件が撮影者の意図に関係なく一時的に変化してしまった場合であっても、その変化に応じて露光制御が行われてしまう。
【0008】
すなわち、従来の露光制御では、追従性と安定性とを同時に兼ね備えることは困難である。
そこで、本発明は、追従性と安定性とを同時に兼ね備えた補正処理や露光制御を行うことができる電子カメラを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、被写体の状態を示す状態情報を検出する状態情報検出手段と、前記状態情報検出手段によって過去に検出された状態情報を記録する記録手段と、前記記録手段に記録されている過去の状態情報と、前記状態情報検出手段によって検出される最新の状態情報とに基づいて、前記撮像手段によって生成される画像に対して行う補正処理に用いる制御値を算出する制御値算出部と、前記制御値を用いて、前記画像に対して補正処理を行う補正処理手段とを有し、前記記録手段は、前記制御値算出部によって算出された前回の制御値を記録し、前記制御値算出部は、過去の状態情報と最新の状態情報との変化に応じて、前記記録手段に記録されている前回の制御値と最新の状態情報に基づいて得られる制御値とを合成して、新たな制御値を算出することを特徴とする。
【0010】
なお、好ましくは、前記状態情報検出手段は、前記補正処理手段によってホワイトバランス調整または色補正が行われる場合には、前記状態情報として少なくとも色温度を検出し、前記補正処理手段によって階調補正が行われる場合には、前記状態情報として少なくともコントラストを検出し、前記補正処理手段によって色補正が行われる場合には、画角内における主要な色を定量的に示す色彩情報を検出しても良い。
【0012】
また、好ましくは、前記状態情報は、被写体の輝度を含み、前記制御値算出部は、輝度の変化量が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、輝度の変化量が下限値未満である場合、前回の制御値を新たな制御値としても良い。
【0013】
また、好ましくは、前記撮像手段によって画像が生成される度に、撮影時刻を取得する撮影時刻取得手段を備え、前記制御値算出部は、前記撮像手段によって前記画像が生成される度に、前記制御値を算出し、前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、前記制御値算出部は、前記撮影時刻取得手段によって取得される撮影時刻に基づき、前回の撮影から最新の撮影までの経過時間が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、該経過時間が下限値未満である場合、前記記録手段に記録されている前回の制御値を新たな制御値としても良い。
【0014】
また、好ましくは、閃光を発する閃光装置を備え、前記制御値算出部は、前記撮像手段によって前記画像が生成される度に、前記制御値を算出し、前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、前記制御値算出部は、前回の撮影と最新の撮影とで閃光装置の発光の有無が変化した場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、閃光装置の発光の有無が変化していない場合、前記記録手段に記録されている前回の制御値を新たな制御値としても良い。
【0015】
また、好ましくは、前記制御値算出部は、前回の撮影と最新の撮影とで閃光装置の発光の有無が変化した場合、前記記録手段に記録されている前回の制御値と過去の状態情報とを初期化しても良い。
【0016】
また、好ましくは、前記状態情報検出手段は、被写体の状態を示す状態情報を繰り返し検出し、前記制御値算出手段は、前記制御値を、前記記録手段に記録されている過去の状態情報と、前記状態情報検出手段によって検出される最新の状態情報とに基づいて繰り返し算出し、前記補正処理手段は、前記撮像手段によって画像が生成される直前に算出された制御値を用いて、補正処理を行っても良い。
【0017】
また、好ましくは、前記状態情報検出手段は、前記補正処理手段によってホワイトバランス調整または色補正が行われる場合には、前記状態情報として少なくとも色温度を検出し、前記補正処理手段によって階調補正が行われる場合には、前記状態情報として少なくともコントラストを検出し、前記補正処理手段によって色補正が行われる場合には、画角内における主要な色を定量的に示す色彩情報を検出しても良い。
【0018】
また、好ましくは、前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、前記制御値算出手段は、過去の状態情報と最新の状態情報との変化に応じて、前記記録手段に記録されている前回の制御値と最新の状態情報に基づいて得られる制御値とを合成して、新たな制御値を算出しても良い。
【0019】
また、好ましくは、前記状態情報は、被写体の輝度を含み、前記制御値算出手段は、輝度の変化量が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、輝度の変化量が下限値未満である場合、前回の制御値を新たな制御値としても良い。
【0020】
また、好ましくは、前記撮像手段によって画像が生成される度に、撮影時刻を取得する撮影時刻取得手段を備え、前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、前記制御値算出手段は、前記撮影時刻取得手段によって取得される撮影時刻に基づき、前回の撮影から最新の撮影までの経過時間が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、該経過時間が下限値未満である場合、前記記録手段に記録されている前回の制御値を新たな制御値としても良い。
【0021】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
《第1の実施形態》
図1は、第1の実施形態の電子カメラの機能ブロック図である。
図1において、電子カメラ1は、撮影光学系や絞りや撮像素子などから成り被写体の画像を生成する撮像部11と、撮像部11によって生成された画像をディジタル化するA/D変換部12と、ディジタル化された画像に対してホワイトバランス調整、階調補正、色補正などの種々の補正処理を施す画像処理部13と、種々の補正処理が施された画像を圧縮して所定の記録媒体に記録する記録部14とを備えている。さらに、電子カメラ1は、色温度を検出する色温度検出部15と、コントラストを検出するコントラスト検出部16と、画角内における主要な色を定量的に示す色彩情報を検出する色彩検出部17と、輝度を検出する測光センサ18と、閃光を発して被写体を照明する閃光装置19と、撮影時刻などを計測するタイマ20とを備えている。
【0022】
電子カメラ1において、画像処理部13は、種々の補正処理を実現するための制御値を算出する制御値算出部30と、前回の撮影の際に制御値算出部30によって算出された制御値(以下、「前回制御値」と称する)や状態情報の過去値(詳細は後述する)などを記録するためのメモリ31と、制御値算出部30によって新たに算出される制御値を用いて種々の補正処理を画像に施す補正処理部32とを有している。
【0023】
制御値算出部30とメモリ31とは、相互に接続され、前回制御値や状態情報の過去値などをやりとりする。また、制御値算出部30には、前述した色温度検出部15、コントラスト検出部16、色彩検出部17、測光センサ18によって個別に検出される色温度、コントラスト、色彩情報、輝度とが状態情報の最新値(詳細は後述する)として供給されると共に、閃光装置19の発光の有無を示す情報(以下、「閃光情報」と称する)と、タイマ20によって計測される撮影時刻とが供給される。
【0024】
以上説明したような構成の電子カメラ1は、制御値算出部30の動作、および、色補正の制御値として色彩情報が用いられる点を除き、既存の電子カメラと同様に動作する。また、第1の実施形態の特徴は、色補正の処理の仕方では無く、種々の補正処理を実現するための制御値の算出の仕方にある。そこで、以下では、制御値算出部30以外の各部については詳細な説明を省略する。
【0025】
また、第1の実施形態では、説明を簡単にするため、色温度検出部15、コントラスト検出部16、色彩検出部17によって個別に検出される色温度、コントラスト、色彩情報は、ホワイトバランス調整、階調補正、色補正に用いられる制御値に適するように規格化されており、特に、色彩情報は、画角内における色差に基づいて算出され、主要な色を1〜15に規格化した値であるとする。
【0026】
図2は、第1の実施形態における制御値算出部30の動作フローチャートであり、特に、レリーズボタンが押されて撮影が行われた際の動作を示す。
以下、第1の実施形態の電子カメラ1のうち、本発明の特徴である制御値算出部30の動作について、図2を参照して説明する。
制御値算出部30は、撮影が行われる度に、状態情報の最新値と閃光情報と撮影時刻とを取得する(図2S1)。
【0027】
ここで、状態情報の最新値とは、最新の撮影が行われた際の色温度、コントラスト、色彩情報、輝度である。このような状態情報の最新値に対し、状態情報の過去値は、過去に撮影が行われた際の色温度、コントラスト、色彩情報、輝度であり、制御値算出部30により、撮影時刻に対応付けられてメモリ31に記録される。
【0028】
なお、第1の実施形態では、最新の撮影から数えて3世代前までの3回分の撮影に対する過去値がメモリ31に記録される。また、メモリ31には、1世代前の撮影における閃光情報が記録されている。
次に、制御値算出部30は、閃光情報が変化したか否かを判定する(図2S2)。なお、このような判定は、メモリ31に記録されている1世代前の撮影における閃光情報と、最新の撮影における閃光情報とを比較することによって実現できる。
【0029】
そして、制御値算出部30は、閃光情報が変化している場合、メモリ31に記録されている前回制御値と状態情報の過去値とをリセットし(図2S3)、状態情報の最新値(輝度を除く)を新たな制御値とする(図2S4)。さらに、制御値算出部30は、前回制御値と状態情報の過去値とを再構成する(図2S5)。すなわち、閃光情報が変化している場合、制御値算出部30は、閃光装置19がオンからオフに変えられた、または、オフからオンに変えられたと認識し、被写体の条件が実際に変化したと判断する。そして、補正処理部32において、被写体の条件の変化に追従した補正処理が行えるように、最新の色温度をホワイトバランス調整用の制御値とし、最新のコントラストを階調補正用の制御値とし、最新の色彩情報を色補正用の制御値とする。また、次に行われる撮影に備えて、前回制御値および状態情報の過去値を再構成する。
【0030】
なお、ここで行われる前回制御値および状態情報の過去値の再構成は、本来、新たな制御値を前回制御値とし、状態情報の最新値を1世代前の過去値としてメモリ31に記録することを意味する。しかし、後述する処理では、複数世代分の状態情報の過去値を平均する処理が行われるので、過去値の再構成では、このような処理に備えて、状態情報の最新値を全ての世代の過去値としてメモリ31に記録する必要がある。
【0031】
一方、閃光情報が変化していない場合、制御値算出部30は、前回制御値と状態情報の過去値とがリセット済みか否かを判定する(図2S6)。
そして、制御値算出部30は、前回制御値と状態情報の過去値とがリセット済みの場合、状態情報の最新値(輝度を除く)を新たな制御値とし(図2S4)、前回制御値と状態情報の過去値とを再構成する(図2S5)。
【0032】
すなわち、閃光情報が変化せず、かつ、前回制御値と状態情報の過去値とがリセット済みの場合、制御値算出部30は、何からの理由(例えば、工場からの出荷時の初期化、タイマ20の設定動作に伴う初期化など)で前回制御値と状態情報の過去値とがリセットされたと判断する。そして、補正処理部32において、現在の被写体の条件に応じて補正処理が行えるように、状態情報の最新値として取得した色温度、コントラスト、色彩情報を各々の補正処理に対応する制御値とする。また、次に行われる撮影に備えて、前回制御値および状態情報の過去値を再構成する。
【0033】
一方、前回制御値と状態情報の過去値とがリセット済みでない場合、制御値算出部30は、状態情報の過去値および最新値に基づき状態情報の変化量を算出する(図2S7)。
以下、状態情報の変化量として、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量を算出する例を説明する。
【0034】
ただし、第1の実施形態では、色彩情報として1〜15の値を用いており、1と15とを連続的に取り扱う必要があるため、以下では、色彩情報の変化量を他の変化量と若干異なる方法で算出する例を示す。
また、以下では、説明を簡単にするため、1世代前から3世代前までの撮影における各々の撮影時刻をTIME(1),TIME(2),TIME(3)と示し、最新の撮影における撮影時刻をTIME(0)と示す。また、同様に、各世代および最新の撮影における色温度をPK(1),PK(2),PK(3),PK(0)と示し、コントラストをPCN(1),PCN(2),PCN(3),PCN(0)と示し、色彩情報をPC(1),PC(2),PC(3),PC(0)と示し、輝度をPLA(1),PLA(2),PLA(3),PLA(0)と示す。さらに、撮影間隔を評価するための一定期間をTHと示す。
【0035】
制御値算出部30は、下記の条件1が成り立つ場合、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量を下記の式1〜式4によって算出する。
TIME(0)-TIME(3)<TH ・・・条件1
色温度の変化量=|(PK(1)+PK(2)+PK(3))/3-PK(0)| ・・・式1
コントラストの変化量=|(PCN(1)+PCN(2)+PCN(3))/3-PCN(0)| ・・・式2
色彩情報の変化量=(色彩変化量1+色彩変化量2+色彩変化量3)/3 ・・・式3
輝度の変化量=|(PLA(1)+PLA(2)+PLA(3))/3-PLA(0)| ・・・式4
ただし、式3において、色彩変化量1,色彩変化量2,色彩変化量3は、下記の式5〜式7によって算出される値であり、8を上回るものについては補数へ変換される。したがって、このような値を用いて算出される色彩情報の変化量は、0〜8で規格化された数となる。
【0036】
色彩変化量1=|PC(1)-PC(0)| ・・・式5
色彩変化量2=|PC(2)-PC(0)| ・・・式6
色彩変化量3=|PC(3)-PC(0)| ・・・式7
また、制御値算出部30は、下記の条件2が成り立つ場合、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量を下記の式8〜式11によって算出する。
【0037】
TIME(0)-TIME(2)<TH ・・・条件2
色温度の変化量=|(PK(1)+PK(2))/2-PK(0)| ・・・式8
コントラストの変化量=|(PCN(1)+PCN(2))/2-PCN(0)| ・・・式9
色彩情報の変化量=(色彩変化量1+色彩変化量2)/2 ・・・式10
輝度の変化量=|(PLA(1)+PLA(2))/2-PLA(0)| ・・・式11
ただし、式10において、色彩変化量1,色彩変化量2は、上記の式5および式6によって算出される値であり、8を上回るものについては補数へ変換される。
【0038】
さらに、制御値算出部30は、上記の条件1および条件2が成り立たない場合、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量を式12〜式15によって算出する。
色温度の変化量=|PK(1)-PK(0)| ・・・式12
コントラストの変化量=|PCN(1)-PCN(0)| ・・・式13
色彩情報の変化量=色彩変化量1 ・・・式14
輝度の変化量=|PLA(1)-PLA(0)| ・・・式15
ただし、式14において、色彩変化量1は、上記の式5によって算出される値であり、8を上回るものについては補数へ変換される。
【0039】
以上説明したように、制御値算出部30は、最新の撮影を含め3回以上の撮影が一定期間内に行われた場合、その期間内に行われた撮影における状態情報の過去値を平均し、その結果得られた平均値と状態情報の最新値との差の絶対値を、状態情報の変化量とする。また、一定期間内に行われた撮影が2回以下である場合、1世代前の状態情報の過去値と状態情報の最新値との差の絶対値を、状態情報の変化量とする。
【0040】
すなわち、短時間に撮影が繰り返し行われた場合には、1世代前の状態情報の過去値の他、2世代前や3世代前の状態情報の過去値を用いて、状態情報の変化量が算出されることになり、状態情報の変化量の安定性が向上される。
次に、制御値算出部30は、状態情報の変化量と、前回の撮影(1世代前の撮影)から最新の撮影までの経過時間とに基づき、加重率を決定する(図2S8)。
【0041】
ここで、加重率とは、後述する新たな制御値の算出処理において、前回制御値と状態情報の最新値(輝度を除く)とを合成する際に用いられる加重率であり、このような加重率は、補正処理部32によって行われる種々の補正処理に対応する制御値毎に決定される。
すなわち、制御値算出部30では、ホワイトバランス調整用の制御値を算出する際に用いられる最新の色温度の加重率(以下、「色温度加重率」と称する)と、階調補正用の制御値を算出する際に用いられる最新のコントラストの加重率(以下、「コントラスト加重率」と称する)と、色補正用の制御値を算出する際に用いられる最新の色彩情報の加重率(以下、「色彩情報加重率」と称する)とが決定される。
【0042】
ただし、第1の実施形態では、説明を簡単にするため、状態情報の変化量と、前回の撮影から最新の撮影までの経過時間とに応じて、各々の加重率が対応付けられたLUT(Look Up Table)が制御値算出部30内に予め記録されており、加重率は、このようなLUTを参照して決定されるとする。
図3は、色温度加重率を決定する際に参照されるLUTの例を示す図であり、図4は、コントラスト加重率を決定する際に参照されるLUTの例を示す図であり、図5は、色彩情報加重率を決定する際に参照されるLUTの例を示す図である。
【0043】
図3〜図5において、色彩情報の変化量は、前述したように、0〜8で表される数値に規格化されている。また、色温度の変化量は、0〜255で表される数値に規格化され、コントラストの変化量は、0〜6で表される数値に規格化され、輝度の変化量は、0〜255で表される数値に規格化されている。
【0044】
図3〜図5に示すLUTによれば、輝度の変化量が多い場合や、前回の撮影から最新の撮影までの経過時間が長い場合や、各々の状態情報の変化量が一定以上の変化を示す場合のように、被写体の条件が実際に変化した可能性が高くて追従性の高い補正処理を実現する必要がある場合には、色温度加重率、コントラスト加重率、色彩情報加重率は100%となる。
【0045】
一方、輝度が殆ど変化しない場合や、前回の撮影から最新の撮影までの経過時間が非常に短い場合や、各々の状態情報の変化量が微少である場合のように、同じ被写体を連続して撮影している可能性が高くて安定性の高い補正処理を実現する必要がある場合には、色温度加重率、コントラスト加重率、色彩情報加重率は0%となる。
【0046】
また、輝度の変化量や、前回の撮影から最新の撮影までの経過時間や、全体的な状態情報の変化量が段階的に評価され、その評価の結果により、色温度加重率、コントラスト加重率、色彩情報加重率が20%〜80%の何れかに決定されることになる。
次に、制御値算出部30は、以上説明したようにして決定した加重率によって、前回制御値と状態情報の最新値(輝度を除く)とを合成して新たな制御値を算出する(図2S9)。
【0047】
すなわち、色温度加重率、コントラスト加重率、色彩情報加重率が100%の場合には、状態情報の最新値として取得した色温度、コントラスト、色彩情報が新たな制御値となり、色温度加重率、コントラスト加重率、色彩情報加重率が0%の場合には、前回制御値が新たな制御値となる。また、色温度加重率、コントラスト加重率、色彩情報加重率が20%〜80%の場合には、状態情報の最新値として取得した色温度、コントラスト、色彩情報と、前回制御値とがバランス良く合成されて、新たな制御値が算出されることになる。
【0048】
そして、制御値算出部30は、次に行われる撮影に備えて、前回制御値と状態情報の過去値とを更新する(図2S10)。すなわち、制御値算出部30は、新たな制御値を前回制御値とし、状態情報の過去値を1世代ずつ更新し、状態情報の最新値を1世代前の過去値とする。
以上説明したように、第1の実施形態では、最新の撮影によって生成された画像に対する補正処理に用いられる最新の制御値は、前回制御値と状態情報の最新値とを、状態情報の変化量に応じて合成することによって算出される。このような合成では、上述したようにして決定される加重率が用いられ、追従性の高い補正処理の必要性が高い程、状態情報の最新値の加重が高められ、安定性の高い補正処理の必要性が高い程、前回制御値の加重が高められることになる。したがって、第1の実施形態における補正処理によれば、追従性と安定性とが実現される。
【0049】
また、第1の実施形態では、閃光情報が変化している場合には、被写体の条件が実際に変化したと判断され、状態情報の最新値により新たな制御値が算出され、前回制御値と状態情報の過去値とがリセットされる。そのため、閃光情報が変化する前の状態情報の過去値が、次に行われる撮影の際に算出される制御値に影響を及ぼすことがなく、補正処理の追従性が向上する。
【0050】
《第2の実施形態》
以下、本発明の第2の実施形態について説明する。
第2の実施形態では、レリーズボタンが押下された際に電子カメラ内の撮像部において行われる露光制御用の制御値や、ディジタル化された画像に対する各種の補正処理(ホワイトバランス調整、階調補正、色補正など)用の制御値の算出の仕方に特徴がある。このような制御値の算出は、図1のような構成の電子カメラ1においては、制御値算出部30によって実現することが可能である。
【0051】
そこで、第2の実施形態では、電子カメラの機能ブロック図として図1を用い、第1の実施形態と異なる部分について説明を行う。
第2の実施形態の電子カメラ1おいて、制御値算出部30では、レリーズボタンの押下に関係なく、予め決められた時間間隔で、制御値が繰り返し算出される。また、色温度検出部15、コントラスト検出部16、色彩検出部17、測光センサ18では、制御値の算出に合わせて色温度、コントラスト、色彩情報、輝度が繰り返し検出される。そして、撮像部11では、レリーズボタンが押下されると、その直前に算出された最新の制御値を用いて露光制御が行われる。また、同様に、補正処理部32でも、レリーズボタンが押下される直前に算出された最新の制御値を用いて各種の補正処理が行われる。
【0052】
なお、第2の実施形態では、色温度検出部15、コントラスト検出部16、色彩検出部17、測光センサ18における最新の検出から数えて3世代前までの3回分の検出結果が、状態情報の過去値としてメモリ31に記録されるとする。また、第2の実施形態の電子カメラ1における測光センサ18によって検出される輝度は、露光制御に用いられる制御値に適するように規格化されている。
【0053】
図6は、第2の実施形態における制御値算出部30の動作フローチャートである。
以下、第2の実施形態の電子カメラ1のうち、本発明の特徴である制御値算出部30の動作について、図6を参照して説明する。
制御値算出部30は、予め決められた時間(例えば、1秒〜2秒)が経過したか否かを繰り返し判定し(図6S1)、予め決められた時間が経過するまで待機する。
【0054】
そして、制御値算出部30は、予め決められた時間が経過すると、状態情報の最新値を取得し(図6S2)、状態情報の過去値および最新値に基づき状態情報の変化量を算出する(図6S3)。すなわち、制御値算出部30は、メモリ31に記録されている3世代分の状態情報の過去値を平均し、その結果得られた平均値と状態情報の最新値との差の絶対値を、状態情報の変化量とする。
【0055】
次に、制御値算出部30は、状態情報の変化量と、前回の撮影(1世代前の撮影)からの経過時間とに基づき、加重率を決定する(図6S4)。
ここで、加重率とは、後述する新たな制御値の算出処理において、前回制御値と状態情報の最新値とを合成する際に用いられる加重率であり、色温度加重率、コントラスト加重率、色彩情報加重率の他、露光制御用の制御値を算出する際に用いられる最新の輝度の加重率(以下、「輝度加重率」と称する)が含まれる。
【0056】
第2の実施形態では、説明を簡単にするため、状態情報の変化量と、前回の撮影からの経過時間とに応じて、各々の加重率が対応付けられたLUTが制御値算出部30内に予め記録されており、加重率は、このようなLUTを参照して決定されるとする。
また、第2の実施形態では、色温度加重率、コントラスト加重率、色彩情報加重率を決定する際に参照されるLUTについては、第1の実施形態と同様に、図3ないし図5に示したLUTを用いることが可能であるため、図示および説明は省略する。
【0057】
図7は、輝度加重率を決定する際に参照されるLUTの例を示す図である。
図7において、各々の変化量は、図3ないし図5と同様に規格化されている。
図7に示すLUTによれば、図3ないし図5と同様に、被写体の条件が実際に変化した可能性が非常に高くて追従性の高い補正処理を実現する必要がある場合には、輝度加重率は100%となり、同じ被写体を連続して撮影している可能性が非常に高くて安定性の高い補正処理を実現する必要がある場合には、輝度加重率は0%となる。また、輝度の変化量や、前回の撮影から最新の撮影までの経過時間や、全体的な状態情報の変化量が段階的に評価され、その評価の結果により、色温度加重率、コントラスト加重率、色彩情報加重率が20%〜80%の何れかに決定されることになる。
【0058】
次に、制御値算出部30は、以上説明したようにして決定した加重率によって、前回制御値と状態情報の最新値とを合成して新たな制御値を算出する(図6S5)。
【0059】
すなわち、加重率が100%の場合には、状態情報の最新値が新たな制御値となり、加重率が0%の場合には、前回制御値が新たな制御値となる。また、加重率が20%〜80%の場合には、状態情報の最新値と前回制御値とがバランス良く合成されて、新たな制御値が算出されることになる。
そして、制御値算出部30は、前回制御値と状態情報の過去値とを更新し(図6S6)、その後、図6S1以降の処理を繰り返す。
【0060】
以上説明したように、第2の実施形態では、次に行われる撮影に備えて、露光制御用の制御値や補正処理用の制御値が繰り返し算出されるが、このような制御値は、前回制御値と状態情報の最新値とを、状態情報の変化量に応じて合成することによって算出される。このような合成では、第1の実施形態と同様に、追従性の高い補正処理の必要性が高い程、状態情報の最新値の加重が高められ、安定性の高い補正処理の必要性が高い程、前回制御値の加重が高められることになる。したがって、第2の実施形態における露光制御や補正処理によれば、追従性と安定性とが図られる。
【0061】
【発明の効果】
以上説明したように、本発明の電子カメラによれば、追従性と安定性とを同時に兼ね備えた補正処理や露光制御を行うことができる。
【図面の簡単な説明】
【図1】第1の実施形態の電子カメラの機能ブロック図である。
【図2】第1の実施形態における制御値算出部の動作フローチャートである。
【図3】色温度加重率を決定する際に参照されるLUTの例を示す図である。
【図4】コントラスト加重率を決定する際に参照されるLUTの例を示す図である。
【図5】色彩情報加重率を決定する際に参照されるLUTの例を示す図である。
【図6】第2の実施形態における制御値算出部の動作フローチャートである。
【図7】輝度加重率を決定する際に参照されるLUTの例を示す図である。
【符号の説明】
1 電子カメラ
11 撮像部
12 A/D変換部
13 画像処理部
14 記録部
15 色温度検出部
16 コントラスト検出部
17 色彩検出部
18 測光センサ
19 閃光装置
20 タイマ
30 制御値算出部
31 メモリ
32 補正処理部
Claims (11)
- 被写体像を撮像して画像を生成する撮像手段と、
被写体の状態を示す状態情報を検出する状態情報検出手段と、
前記状態情報検出手段によって過去に検出された状態情報を記録する記録手段と、
前記記録手段に記録されている過去の状態情報と、前記状態情報検出手段によって検出される最新の状態情報とに基づいて、前記撮像手段によって生成される画像に対して行う補正処理に用いる制御値を算出する制御値算出部と、
前記制御値を用いて、前記画像に対して補正処理を行う補正処理手段とを有し、
前記記録手段は、前記制御値算出部によって算出された前回の制御値を記録し、
前記制御値算出部は、過去の状態情報と最新の状態情報との変化に応じて、前記記録手段に記録されている前回の制御値と最新の状態情報に基づいて得られる制御値とを合成して、新たな制御値を算出する
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記状態情報検出手段は、前記補正処理手段によってホワイトバランス調整または色補正が行われる場合には、前記状態情報として少なくとも色温度を検出し、前記補正処理手段によって階調補正が行われる場合には、前記状態情報として少なくともコントラストを検出し、前記補正処理手段によって色補正が行われる場合には、画角内における主要な色を定量的に示す色彩情報を検出する
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記状態情報は、被写体の輝度を含み、
前記制御値算出部は、輝度の変化量が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、輝度の変化量が下限値未満である場合、前回の制御値を新たな制御値とする
ことを特徴とする電子カメラ。 - 請求項1または請求項2に記載の電子カメラにおいて、
前記撮像手段によって画像が生成される度に、撮影時刻を取得する撮影時刻取得手段を備え、
前記制御値算出部は、前記撮像手段によって前記画像が生成される度に、前記制御値を算出し、
前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、
前記制御値算出部は、前記撮影時刻取得手段によって取得される撮影時刻に基づき、前回の撮影から最新の撮影までの経過時間が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、該経過時間が下限値未満である場合、前記記録手段に記録されている前回の制御値を新たな制御値とする
ことを特徴とする電子カメラ。 - 請求項1または請求項2に記載の電子カメラにおいて、
閃光を発する閃光装置を備え、
前記制御値算出部は、前記撮像手段によって前記画像が生成される度に、前記制御値を算出し、
前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、
前記制御値算出部は、前回の撮影と最新の撮影とで閃光装置の発光の有無が変化した場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、閃光装置の発光の有無が変化していない場合、前記記録手段に記録されている前回の制御値を新たな制御値とする
ことを特徴とする電子カメラ。 - 請求項5に記載の電子カメラにおいて、
前記制御値算出部は、前回の撮影と最新の撮影とで閃光装置の発光の有無が変化した場合、前記記録手段に記録されている前回の制御値と過去の状態情報とを初期化する
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記状態情報検出手段は、被写体の状態を示す状態情報を繰り返し検出し、
前記制御値算出手段は、前記制御値を、前記記録手段に記録されている過去の状態情報と、前記状態情報検出手段によって検出される最新の状態情報とに基づいて繰り返し算出し、
前記補正処理手段は、前記撮像手段によって画像が生成される直前に算出された制御値を用いて、補正処理を行う
を備えたことを特徴とする電子カメラ。 - 請求項7に記載の電子カメラにおいて、
前記状態情報検出手段は、前記補正処理手段によってホワイトバランス調整または色補正が行われる場合には、前記状態情報として少なくとも色温度を検出し、前記補正処理手段によって階調補正が行われる場合には、前記状態情報として少なくともコントラストを検出し、前記補正処理手段によって色補正が行われる場合には、画角内における主要な色を定量的に示す色彩情報を検出する
ことを特徴とする電子カメラ。 - 請求項7または請求項8に記載の電子カメラにおいて、
前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、
前記制御値算出手段は、過去の状態情報と最新の状態情報との変化に応じて、前記記録手段に記録されている前回の制御値と最新の状態情報に基づいて得られる制御値とを合成して、新たな制御値を算出する
ことを特徴とする電子カメラ。 - 請求項9に記載の電子カメラにおいて、
前記状態情報は、被写体の輝度を含み、
前記制御値算出手段は、輝度の変化量が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、輝度の変化量が下限値未満である場合、前回の制御値を新たな制御値とする
ことを特徴とする電子カメラ。 - 請求項7または請求項8に記載の電子カメラにおいて、
前記撮像手段によって画像が生成される度に、撮影時刻を取得する撮影時刻取得手段を備え、
前記記録手段は、前記制御値算出手段によって算出された前回の制御値を記録し、
前記制御値算出手段は、前記撮影時刻取得手段によって取得される撮影時刻に基づき、前回の撮影から最新の撮影までの経過時間が上限値以上である場合、最新の状態情報に基づいて得られる制御値を新たな制御値とし、該経過時間が下限値未満である場合、前記記録手段に記録されている前回の制御値を新たな制御値とする
ことを特徴とする電子カメラ。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025712A JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
US10/352,201 US7355635B2 (en) | 2002-02-01 | 2003-01-28 | Electronic camera capable of having results of previous image pickup processing reflected in current image pickup processing |
EP03001865A EP1335590B1 (en) | 2002-02-01 | 2003-01-29 | Electronic camera using previous image pickup settings for current image pickup |
AT03001865T ATE357813T1 (de) | 2002-02-01 | 2003-01-29 | Elektronische kamera mit benutzung von vorhergehenden bildaufnahmeeinstellungen zur aktuellen bildaufnahme |
DE60312575T DE60312575T2 (de) | 2002-02-01 | 2003-01-29 | Elektronische Kamera mit Benutzung von vorhergehenden Bildaufnahmeeinstellungen zur aktuellen Bildaufnahme |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025712A JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003230156A JP2003230156A (ja) | 2003-08-15 |
JP4320998B2 true JP4320998B2 (ja) | 2009-08-26 |
Family
ID=27606470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002025712A Expired - Fee Related JP4320998B2 (ja) | 2002-02-01 | 2002-02-01 | 電子カメラ |
Country Status (5)
Country | Link |
---|---|
US (1) | US7355635B2 (ja) |
EP (1) | EP1335590B1 (ja) |
JP (1) | JP4320998B2 (ja) |
AT (1) | ATE357813T1 (ja) |
DE (1) | DE60312575T2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890973B2 (en) | 2012-04-24 | 2014-11-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8149291B2 (en) * | 2004-05-21 | 2012-04-03 | Canon Kabushiki Kaisha | Image capture apparatus, control method thereof, program, and storage medium |
JP4800591B2 (ja) * | 2004-05-26 | 2011-10-26 | オリンパス株式会社 | 撮影システム |
KR100849007B1 (ko) * | 2004-05-26 | 2008-07-30 | 올림푸스 가부시키가이샤 | 촬영 시스템 |
CN100413322C (zh) * | 2004-06-14 | 2008-08-20 | 富士胶片株式会社 | 图像处理***及其方法 |
JP4680639B2 (ja) * | 2005-03-16 | 2011-05-11 | 富士フイルム株式会社 | 画像処理装置およびその処理方法 |
US20060268119A1 (en) * | 2005-05-27 | 2006-11-30 | Akiyoshi Sugawara | Television camera, television camera system and image pickup control method |
KR100849846B1 (ko) * | 2006-09-21 | 2008-08-01 | 삼성전자주식회사 | 이미지 밝기 보정 장치 및 방법 |
KR100855470B1 (ko) * | 2006-09-28 | 2008-09-01 | 삼성전자주식회사 | 광원 추정 방법 및 장치 |
JP5253000B2 (ja) * | 2008-06-03 | 2013-07-31 | オリンパス株式会社 | 撮像装置 |
JP5629564B2 (ja) * | 2010-12-07 | 2014-11-19 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5693271B2 (ja) * | 2011-02-03 | 2015-04-01 | キヤノン株式会社 | 画像処理装置及び方法 |
GB2492956A (en) * | 2011-07-14 | 2013-01-23 | St Microelectronics Res & Dev | Method and system for image quality learning with solid state image sensors |
US9521315B2 (en) * | 2011-11-01 | 2016-12-13 | Nokia Technologies Oy | Apparatus and method for forming new images by determining stylistic settings of existing images |
US8698915B2 (en) | 2012-04-20 | 2014-04-15 | Hewlett-Packard Development Company, L.P. | Configuring an image capturing device based on a configuration image |
JP5956870B2 (ja) * | 2012-08-22 | 2016-07-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6446777B2 (ja) * | 2013-11-29 | 2019-01-09 | 株式会社ニコン | 撮像装置および電子機器 |
JP6750519B2 (ja) * | 2016-05-24 | 2020-09-02 | 株式会社Jvcケンウッド | 撮像装置、撮像表示方法および撮像表示プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568187A (en) * | 1987-09-10 | 1996-10-22 | Canon Kabushiki Kaisha | Image pickup apparatus including distance measurement |
JP3113259B2 (ja) * | 1989-07-18 | 2000-11-27 | 富士写真フイルム株式会社 | ビデオカメラの露出制御方法及び装置 |
JP3339876B2 (ja) * | 1992-04-28 | 2002-10-28 | 株式会社日立製作所 | 撮像装置 |
TW318316B (ja) * | 1996-04-02 | 1997-10-21 | Sony Co Ltd | |
DE19701484A1 (de) * | 1997-01-17 | 1998-07-23 | Bosch Gmbh Robert | Verfahren zur Regelung der Belichtung von Videokameras |
JP3595104B2 (ja) | 1997-04-16 | 2004-12-02 | コニカミノルタホールディングス株式会社 | カラー撮像装置のホワイトバランス調整方法 |
JP4063418B2 (ja) * | 1998-09-11 | 2008-03-19 | イーストマン コダック カンパニー | オートホワイトバランス装置 |
DE10064678C1 (de) * | 2000-12-22 | 2002-07-11 | Kappa Opto Electronics Gmbh | Verfahren zur Signalverbesserung in einer mit einer digitalen Farbvideokamera aufgenommenen Bilderfolge |
-
2002
- 2002-02-01 JP JP2002025712A patent/JP4320998B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-28 US US10/352,201 patent/US7355635B2/en active Active
- 2003-01-29 EP EP03001865A patent/EP1335590B1/en not_active Expired - Lifetime
- 2003-01-29 DE DE60312575T patent/DE60312575T2/de not_active Expired - Lifetime
- 2003-01-29 AT AT03001865T patent/ATE357813T1/de not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890973B2 (en) | 2012-04-24 | 2014-11-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
ATE357813T1 (de) | 2007-04-15 |
JP2003230156A (ja) | 2003-08-15 |
US7355635B2 (en) | 2008-04-08 |
DE60312575D1 (de) | 2007-05-03 |
EP1335590B1 (en) | 2007-03-21 |
DE60312575T2 (de) | 2007-11-29 |
US20030146983A1 (en) | 2003-08-07 |
EP1335590A1 (en) | 2003-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4320998B2 (ja) | 電子カメラ | |
JP4407514B2 (ja) | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム | |
JP4379129B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
TWI287928B (en) | Image pickup apparatus, exposure control method, and medium for computer program installed in the image pickup apparatus | |
JP3767541B2 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP5130675B2 (ja) | デジタルカメラ、および画像処理プログラム | |
JP4133052B2 (ja) | デジタル撮像システム | |
US20050207629A1 (en) | Imaging apparatus, image processing apparatus, image processing system and image processing method | |
US20060018653A1 (en) | Image capturing apparatus | |
US8159556B2 (en) | White balance control image sensing apparatus and method | |
JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
JP2005102177A (ja) | 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム | |
US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
JP2016076851A (ja) | 撮像装置、画像処理方法、及びプログラム | |
JP2005020048A (ja) | 撮像装置 | |
US20100302398A1 (en) | Digital camera dust error photographed image correction | |
US6982753B1 (en) | Image pickup apparatus | |
EP1578110A2 (en) | Image processing apparatus, image processing system and image processing method | |
JP2019184710A (ja) | 撮像装置及びその発光制御方法並びにプログラム | |
JP2004040417A (ja) | 撮像装置およびホワイトバランス補正方法 | |
JP5344152B2 (ja) | 電子機器 | |
KR101298639B1 (ko) | 먼지경고 기능을 구비한 디지털 영상 처리 장치 및 방법 | |
JP5147912B2 (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
JP2007166643A (ja) | カメラ | |
JP2008011560A (ja) | 電子カメラ装置およびストロボ色補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4320998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |