JP3862376B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP3862376B2
JP3862376B2 JP25267397A JP25267397A JP3862376B2 JP 3862376 B2 JP3862376 B2 JP 3862376B2 JP 25267397 A JP25267397 A JP 25267397A JP 25267397 A JP25267397 A JP 25267397A JP 3862376 B2 JP3862376 B2 JP 3862376B2
Authority
JP
Japan
Prior art keywords
call
imaging
image
illuminating
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP25267397A
Other languages
Japanese (ja)
Other versions
JPH1184491A (en
Inventor
信夫 手塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP25267397A priority Critical patent/JP3862376B2/en
Publication of JPH1184491A publication Critical patent/JPH1184491A/en
Application granted granted Critical
Publication of JP3862376B2 publication Critical patent/JP3862376B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Stroboscope Apparatuses (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ストロボ等の照明手段を有する撮像装置に関し、特に通信・通話機能を有する複合機構成の撮像装置の照明に関するものである。
【0002】
【従来の技術】
従来より、いわゆるストロボ等の照明手段を有した撮像装置が実用に供されている。又、ハロゲンランプ等の照明手段を有した8mmビデオ・テープを用いる小型撮像装置も実用に供されてきた。これらの撮像装置は、低照度の環境下あるいは主被写体が周辺よりも低輝度となるような状況下でも、被写体を照明することで高画質の画像の撮影を可能にしている。
【0003】
一方で、近年いわゆるPHS等の公衆無線網を利用し、音声だけではなく動画や静止画といった画像情報も送受できる撮像装置も提案されている。このような撮像装置では、装置自体にレンズ及びCCD等の撮像素子を使用したカメラ部を介して操作者自身の映像を撮影して送信したり、操作者以外の情景なども撮影して送信できる機能を搭載したものである。これらの撮像装置でも、低照度の環境下あるいは主被写体が周辺よりも低輝度となる状況下で、照明を併用することで高画質の画像を撮影し送信することができる。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、通話・通信機能を有する撮像装置の場合、通話中はカメラ部を操作者自身の主に顔に向けて操作者の顔の映像を通話相手に提供し、また非通話時には一般的な撮像装置と同様な使い方がされる。従って、ストロボ等の照明装置を併設した撮像装置では、一般の撮像装置と全く同様な使い方ができる。例えば、美術館などによっては照明を併用した撮影を禁止している所があるが、照明手段が作動しないモードにすることによって、照明の併用を禁じている館内でも楽に撮影することができるといった使い方もある。
【0005】
一方、通話状態でカメラ部を操作者自身に向けて撮影する際に照明を併用して撮影する場合は、操作者の顔の直前で照明装置が発光することになるために操作者が大変眩しく感じ、操作に支障を来す場合が生ずるという問題がある。
【0006】
また、連続的に発光させるような場合には、発光部より発熱が生じるために、やはり顔の近傍にて発熱部に対する不快感が生じるという問題がある。
【0007】
また、一般的な構成からこれらの通話・通信機能を有した撮像装置では通話状態時は、顔の下側から照明する構成になって照明される顔に不自然な照度差が生じ、照明することでかえって醜い劣悪画像となるという問題がある。
【0008】
このような問題点を回避するために、通話状態では手動で照明を不作動にすることも考えられるが、そのような操作は忘れたりしがちであり、特に咄嗟の通話時などにはよけいにその傾向に陥りやすい、といった問題がある。
【0009】
一方、下からの不自然な照明を回避するために照明装置の部分を本体に対して可動にし、照明角度を調整する方法等も考えられるが、装置自体が大きくなり操作性も損なわれるという問題がある。
【0010】
そこで、本発明の目的は、照明装置を装備した撮像装置、特に通話・通信機能を有する撮像装置で、通話状態での照明を制御することにより操作性の向上、携帯性の改善を図ることができる照明を有する撮像装置を提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の発明は、撮像手段と、前記撮像手段が被写体像を撮像する場合に、前記被写体像を照明することが可能な位置に設けられた照明手段と、通話とともに、前記撮像手段で撮像した画像を送信することを可能とする通話手段とを有し、前記通話手段によって、通話とともに前記撮像手段で撮像した画像を送信可能な通話モードでは前記照明手段の作動を禁止している。
【0012】
この構成によれば、通話状態では操作者の顔を撮影するものとして照明手段の作動を禁止して、操作者の眩しさ、不快感を減少できる。
【0013】
また、請求項2に記載の発明は、撮像手段と、前記撮像手段が被写体像を撮像する場合に、前記被写体像を照明することが可能な位置に設けられた照明手段と、通話とともに、前記撮像手段で撮像した画像を送信することを可能とする通話手段とを有し、前記通話手段によって、通話とともに前記撮像手段で撮像した画像を送信可能な通話モードでは前記照明手段の発光量を減少させている。
【0014】
この構成によれば、通話状態では操作者の顔を撮影するものとして発光量の少ない照明により画質を保ちながら、操作者の眩しさ、不快感を減少できる。
【0015】
また、請求項3に記載の発明は、前記撮像手段は、本体に対して前記照明手段とともに回動可能であり、前記撮像手段は、バックボード前面に折り畳み構造で収納されるカメラ部支持機構の前面に左右方向向きに回動可能に配置されている。
【0016】
この構成によれば、筐体を折り畳んで収納した状態で通話手段又は撮像装置として使用可能であり、折り畳み式の筐体を開いた状態では撮像手段を回動させて操作者を撮影しながら通話手段で通話することができる。
【0017】
また、請求項4に記載の発明は、前記撮像手段は、本体に対して前記照明手段とともに回動可能であり、前記撮像手段は、装置全体が一体構造の筐体上部に前後方向に回動可能に配置されている。
【0018】
この構成によれば、筐体はそのままの状態で撮像手段を回動させて操作者を撮影しながら、通話手段により通話することができる。
【0019】
【発明の実施の形態】
(第1の参考例
以下、本発明の基礎となる第1の参考例について図を参照して説明する。図1は本発明の第1の参考例に係る照明を有する撮像装置の斜視図である。図1には通信機能付撮像装置の外観を示す。図1(a)は撮像装置を折り畳んだ状態を、図1(b)には同装置を開いた状態を示している。
【0020】
図1において、1は通信機能付撮像装置全体を示し、2は同装置に搭載されたカメラ部を示している。カメラ部2は図1(b)に二点鎖線で示すように、軸aを中心に装置本体に対して左右方向へ、α+βで示される範囲回動可能となっている。このカメラ部2には撮影レンズ9と被写体を照明するための、例えば、フラッシュランプ等からなる照明部材10が配置されている。3段の折り畳み部分を構成している第1の構成部3は、カメラ部支持機構としてカメラ部2を支持すると共に、例えば、液晶等より構成される表示手段14を備えている。
【0021】
第2の構成部4は、図1(a)の状態ではその表面に通話ボタン、数字キー等の操作ボタン(又はスイッチ等)11が配置されている。その他、マイク12、スピーカ13も配置されている。
【0022】
第3の構成部5はバックボードの形態で、アンテナ6を収納し開口部15を有している。開口部15は図1(a)で示す折り畳んだ状態では、表示手段14が外部より観視可能な大きさ、位置に開設されている。又、12はマイク、13はスピーカで通話時の位置を示している。
【0023】
これら第1の構成部3、第2の構成部4、第3の構成部5はそれぞれヒンジ7及び8により回動可能に結合されていて、少なくとも図1(a)と図1(b)に示す状態の間を開閉可能となっている。なお、二点鎖線bは通常の左手保持による使用状態を示している。
【0024】
図3は図1に示す撮像装置の画像情報処理のブロック図である。図3において、2はカメラ部で、撮影レンズ9、絞り手段21およびCCD等よりなる撮像素子22を含む。23はサンプルホールド回路、24は自動利得制御回路である。25は信号処理回路で撮像素子22からの画像信号は、サンプルホールド回路23、自動利得制御回路24を通過後、信号処理回路25で輝度信号・色信号として生成される。
【0025】
26は露出制御回路であり自動利得制御回路24からの画像情報により、絞り手段21、撮像素子22の蓄積時間(露光時間)あるいは自動利得制御回路24のゲインを制御することで、適切な露光量が得られるように制御している。又、被写体が暗い場合には発光回路32を経由して照明部材10を発光させている。
【0026】
27は信号処理回路25により生成された画像信号を、例えば、JPEG等のプロセスを施すことにより圧縮したり、逆に圧縮された画像信号を復元する圧縮・伸張回路である。28は画像情報を蓄積するためのメモリであり、撮像装置1自体に対して固定あるいは取り外しの可否は問わない。29はエンコーダ回路で、画像情報を例えばNTSC信号に変換することで表示手段14に画像を表示する。
【0027】
30はプロトコル回路で本装置に対応する通信条件に対応するプロトコルに画像情報を変換したり、受信された情報を解読する。31は送受信回路であり、6はアンテナである。以上は画像情報の流れであるが、音声情報についても同様な処理が行われるが、ここでは省略する。
【0028】
このような構成で、画像としてはカメラ部2により撮影した画像、又はカメラ部2により撮影しメモリ28に記憶している画像、又は受信されメモリ28に記憶されている画像、又は受信中の画像あるいは、これらを組合わせた画像を見ることができる。
【0029】
33はカメラ部2の位相を検出するための検出手段であり、角度検出のエンコーダ等から構成される。この検出手段33によりカメラ部2の光軸が図1(b)に示すαの範囲かβの範囲かを検出して、露出制御回路26に検出情報が伝達される。
【0030】
つぎに動作について説明する。図1(a)に示す収納状態で、通常の電話機として使用する場合上述の操作ボタンスイッチ11を操作し、マイク12及びスピーカ13を使うことで一般の受話器として使用可能となっている。
【0031】
又、画像撮影機として使用する場合も、図1(a)の状態でカメラ部2を角度αの範囲で設定することで被写体を撮影できる。撮影する画像あるいは撮影した画像は、開口部15を通して表示手段14により確認可能となっている。音声についてはマイク12およびスピーカ13にて収録および聴講が可能となっている。従って、図1(a)のように折り畳んで収納した状態で、通話機と撮影機として使用できる。
【0032】
図1(b)の開いた状態では、通話機としてはマイク12'、スピーカ13'により受話器の機能が果たせるようになっている。更に近年無線電話等の回線スピードの向上により音声だけでなく画像も通信可能となっている。即ち、図1(b)に示す開いた状態では通話をしながら表示手段を覗き込み、相手から送信されてくる画像、既に自分が撮影しメモリに保存している画像、あるいは現時点で撮影している画像を観視しながら送信することも可能である。
【0033】
又、図1(b)に示す開いた状態で、カメラ部2をβに示す範囲に向ける場合に、通話者自身の映像を撮影することができる。この場合、相手に通話者の顔を確認させることと、表情を提示させることができ大変便利である。
【0034】
ところで被写体輝度の低い場合は、一般的な撮像装置ではストロボあるいはハロゲンランプ等(ストロボはデジタルカメラ等の静止画、ハロゲンランプは動画用カメラ等で使用されるが、静止画撮像にもハロゲンランプは使用できる)よりなる照明装置による発光を、被写体に浴びせることで綺麗な画像を撮影できる。
【0035】
従って、図1(a)の場合の一般的な撮像機として撮影する場合は、被写体がある一定輝度以下では照明部材10を作動させることで、適切な露光量を得て撮影を行うことができる。
【0036】
一方、図1(b)の場合は、通話者の顔を至近距離にて撮影するので、ごく真近で発光手段を作動させると通話者自身も非常に眩しく感じ操作に支障を来す。又、連続的に発光させる場合も、顔近くに発光手段が存在しているので発光部の発熱のために、やはり通話者に不快感を与えることになる。更に、図1(b)からも分かるように、通話者の顔を口元方向から照明することになり、大変不自然な輝度分布となる。従って、この期間は照明手段10の作動禁止、発光量の制限などの制限を設けている。
【0037】
図5は図1に示す撮像装置の撮影動作のフローチャートである。続いて、図5を参照して撮影動作を説明する。撮影開始時に、先ず、カメラ部2の位相がエンコーダ33により検出される(S1)。ここでカメラ部2の方向が一般被写体を映す方向であるα方向の場合、被写体の明るさが検出され(S2)、ある一定の明るさ以上の場合は通常の撮影が行われる(S3)。もしも被写体が一定の明るさよりも暗い場合は、照明部材10による発光により撮影が行われる(S4)。この場合、電子的画像撮影で自動利得制御回路24のゲインを上げる処理も考えられるが、一般的にはS/Nが悪くなるため、発光を用いた撮影の方が望ましい。
【0038】
S1の判定で、カメラ部2がβの方向を向いていると検出された場合は、その殆どの場合が操作者自身の顔の画像を撮影していると判断できる。この場合は、被写体の明るさを検出して(S5)、被写体の明るさがある一定以上の場合、通常の撮影が行われる(S3)。一方、明るさがある一定以下の場合は照明部材10を作動させず、自動利得制御回路24のゲインをアップして撮影する(S6)。先の場合には自動利得制御回路24のゲインアップによる撮影では、S/Nが悪くなり好ましくないと述べたが、操作者自身の顔の撮影の場合は、そのほとんどが相手の確認、ある程度の表情の伝達といった目的なので、S/Nの低下については余り考慮する必要はない。
【0039】
このように、第1の参考例によれば、通話者は眩しさや不快感なしに、自動利得のゲインアップによってハッキリした自身像を対話相手に伝送しながら通話することができる。
【0040】
(第2の参考例
次に、本発明の第2の参考例について図を参照して説明する。図6は本発明の第2の参考例に係る撮像装置の撮影動作のフローチャートである。なお、構成については前参考例の図1、図3が、第2の参考例の場合も共通となるので、図1、図3の構成についての重複する説明は省略する。
【0041】
つぎに図6を参照して動作について説明する。図6に示したフローチャートは、基本的には前参考例の図5のフローチャートと同様な処理であるが、同一処理となる同一ステップには、同一番号を付して、主に前参考例とは異なる処理の部分についてのみ説明する。
【0042】
被写体の明るさがある一定の値よりも暗いと判断された場合(S2)、通常撮影の場合(カメラ部2の方向がα方向の時)図5の前参考例と同様に、照明による撮影がなされる(S4)。
【0043】
一方、カメラ部2がβの方向を向いていて(S1)、被写体の明るさがある一定の明るさよりも暗い場合(S5)、照明部材10を発光させる(S10)。但しこの場合は発光量を少なくする。すなわち、被写体への発光量は被写体までの距離・レンズの明るさ(あるいは絞り値)・撮像素子の感度等により決められるが、例えば、カメラ部2がα方向を向いている場合での発光量に相当する量を「100」とすると、カメラ部2がβ方向を向いている時のそれを「50」等に設定する。その不足分はゲインアップを行って感度を補う。従って第2の参考例では、このS10の処理が前参考例とは異なる。
【0044】
このように、第2の参考例によれば、前参考例のように禁止するのではなく、弱い発光を行うものなので操作者自身は若干眩しさ、不快感は伴うがフル発光時に比べて我慢できないほどではなく、その分画質が向上する。
【0045】
(第の実施の形態)
次に、本発明の第の実施の形態について図を参照して説明する。図4は本発明の第の実施の形態に係る通信機能付撮像装置のブロック図である。図7は図4に示す通信機能付撮像装置の動作のフローチャートである。図4に示す通信機能付撮像装置の回路構成は、基本的には図3の前参考例の回路構成と同一である。図3と異なる点は図4には通話モード検出部34を設けている点であり、それ以外の構成は図3と全く同一である。通話モード検出部34の構成は、図1(a)に示す操作ボタン11中の通話開始ボタンスイッチが押されると、それを検出して露出制御回路26に伝達する機能を持つ。あるいは図1(a)の収納状態から図1(b)の開いた状態にした時点で、ヒンジ7,8の動作に連動させることで検出してもよい。なお、外観図の図1については第1,2参考例と、第の実施の形態共に共通に適用される。
【0046】
つぎに図7を参照して動作について説明する。先ず、通話モードか否かを判定して(S21)、非通話モードの場合、S2〜S4の処理となり、図5の場合のS2〜S4と同一処理となる。
【0047】
一方、通話モードの場合は、図5のS5〜S6の処理と同一処理となる。すなわち、被写体の明るさを検出して(S5)、ある一定以上の明るさがあれば、通常撮影へ移行する(S3)。明るさが一定以下なら照明部材10の作動を禁止して、自動利得制御回路24のゲインアップにより撮影する(S6)。
【0048】
第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。図8は本発明の第の実施の形態に係る通信機能付撮像装置の動作のフローチャートである。なお、第の実施の形態においては、構成上の外観図の図1およびブロック図の図4が前実施の形態と共通に適用されるので、構成に関する重複する説明は省略する。
【0049】
つぎに図8を参照して動作について説明する。先ず、通話モードか否かを判定して(S21)、非通話モードの場合は、前実施の形態と同じでS2〜S4の処理となる。
【0050】
一方、通話モードの場合はS5へ移行し、明るさの判定を行って一定以上の明るさがあれば通常撮影を行い(S3)、一定以下の場合は、発光量を例えば通常の50%に落として制限撮影を行う(S10)。
【0051】
第3の実施の形態)
次に、本発明の第3の実施の形態について図を参照して説明する。図2は本発明の第の実施の形態に係る照明を有する撮像装置の斜視図である。図2において、20は撮像装置本体であり図1の場合と異なり、筐体全体が折り畳み構造ではなく従来型の一体構造である。カメラ部2は本体最上部に本体20に対して軸aの周りにα+βの範囲で、装置本体に対して前後方向に回動可能な構造である。その他の構成は図1と同一なので、同一構成には同一符号を付して重複する説明は省略する。また、回路ブロック図も図3、図4共に共通に適用されるが、内容については先述の説明と重複するので説明は省略する。
【0052】
つぎに動作についても、図5〜図8のフローチャートの処理が、全てそのまま適用されるので重複する説明は省略する。効果についても同様である。
【0053】
(他の実施の形態)
本発明は、静止画、動画を区別するものではなく双方に適用される。また、図1ではカメラ部2の配置位置をカメラ部支持機構3の正面右側端としたが、これに限定せず、左側端部でも、上端部、下端部でもよい。また、図2ではカメラ部2を本体20の上端部に配置したが、下端部であってもよい。
【0054】
【発明の効果】
以上説明したように、本発明は、照明手段を有した撮像装置、特に通信・通話機能を有する撮像装置において、特に操作者自身を撮影している場合にその照明手段を自動的に制御することで、発光が操作の妨害等になるのを避けられるように構成したので、操作者の近くでの発光部の発熱量も軽減できるため不快感が生じ難く、限られた電源で使用する携帯機器では消費電力の削減にも貢献し、劣悪画像を作る不自然な照明も避けられ、操作性の向上と携帯性の改善を図ることができる。
【図面の簡単な説明】
【図1】 本発明の第1の参考例に係る照明を有する撮像装置の斜視図である。
【図2】 本発明の第の実施の形態に係る照明を有する撮像装置の斜視図である。
【図3】 図1に示す撮像装置の画像情報処理のブロック図である。
【図4】 本発明の第の実施の形態に係る通信機能付撮像装置のブロック図である。
【図5】 図1に示す撮像装置の撮影動作のフローチャートである。
【図6】 本発明の第2の参考例に係る撮像装置の撮影動作のフローチャートである。
【図7】 本発明の第の実施の形態に係る通信機能付撮像装置の動作のフローチャートである。
【図8】 本発明の第の実施の形態に係る通信機能付撮像装置の動作のフローチャートである。
【符号の説明】
1,20 撮像装置本体
2 カメラ部
3 カメラ部支持機構(第1の構成部)
4 第2の構成部
5 バックボード(第3の構成部)
6 アンテナ
7,8 ヒンジ
9 レンズ
10 照明部材
11 操作ボタン
12,12' マイク
13,13' スピーカ
14 表示手段
15 開口部
21 絞り
22 撮像素子
23 S/H回路
24 AGC回路
25 信号処理回路
26 露出制御回路
27 画像圧縮伸長回路
28 メモリ
29 エンコーダ
30 プロトコル回路
31 送・受信回路
32 発光回路
33 位相検出手段
34 通話モード検出手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup apparatus having an illuminating unit such as a strobe, and more particularly to illumination of an image pickup apparatus having a multifunction machine configuration having a communication / call function.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, imaging devices having illumination means such as a so-called strobe have been put to practical use. In addition, a small image pickup apparatus using an 8 mm video tape having illumination means such as a halogen lamp has been put into practical use. These image capturing apparatuses can shoot a high-quality image by illuminating the subject even in a low illuminance environment or in a situation where the main subject has lower brightness than the surroundings.
[0003]
On the other hand, in recent years, there has been proposed an imaging apparatus that uses a public wireless network such as a so-called PHS and can transmit and receive not only audio but also image information such as moving images and still images. In such an image pickup apparatus, an image of the operator himself can be taken and transmitted through a camera unit using an image pickup device such as a lens and a CCD in the apparatus itself, or a scene other than the operator can also be taken and sent. It is equipped with functions. Even in these imaging apparatuses, high-quality images can be taken and transmitted by using illumination together in a low-light environment or in a situation where the main subject has a lower brightness than the surroundings.
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional example, in the case of an imaging apparatus having a call / communication function, during a call, the camera unit is mainly directed to the face of the operator and the face image of the operator is provided to the call partner. During a call, it is used in the same way as a general imaging device. Therefore, an imaging apparatus equipped with a lighting device such as a strobe can be used in exactly the same way as a general imaging apparatus. For example, some museums prohibit shooting with lighting, but by using a mode in which lighting means do not work, you can also take pictures easily even in halls where lighting is prohibited. is there.
[0005]
On the other hand, when shooting with the camera unit facing the operator himself / herself in a call state, the lighting device emits light immediately before the operator's face, so the operator is very dazzled. There is a problem in that it may cause trouble in operation.
[0006]
In addition, when light is emitted continuously, heat is generated from the light emitting part, and there is a problem that discomfort to the heat generating part is generated in the vicinity of the face.
[0007]
In addition, an imaging device having such a call / communication function due to a general configuration is configured to illuminate from the lower side of the face when in a call state, and an unnatural illuminance difference is generated in the illuminated face, which illuminates. In other words, there is a problem that the image becomes ugly and inferior.
[0008]
In order to avoid such problems, it is possible to manually turn off the light in a call state, but such operations are often forgotten, especially when talking to a niece. There is a problem that it tends to fall into that tendency.
[0009]
On the other hand, in order to avoid unnatural lighting from the bottom, it is possible to adjust the illumination angle by making the part of the lighting device movable with respect to the main body, but the problem is that the device itself becomes large and the operability is impaired. There is.
[0010]
Accordingly, an object of the present invention is to improve operability and portability by controlling illumination in a talking state in an imaging device equipped with a lighting device, particularly an imaging device having a call / communication function. An object of the present invention is to provide an imaging device having illumination that can be used.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the invention described in claim 1 includes an imaging unit, and an illuminating unit provided at a position capable of illuminating the subject image when the imaging unit captures the subject image. , together with the call, and a call unit that makes it possible to transmit the image captured by the imaging unit, wherein the call unit, the transmittable call mode images captured by the imaging means together with the call, the lighting The operation of the means is prohibited.
[0012]
According to this configuration, it is possible to reduce the glare and uncomfortable feeling of the operator by prohibiting the operation of the illumination means as taking a picture of the operator's face in a call state.
[0013]
According to a second aspect of the present invention, there is provided an imaging unit, a lighting unit provided at a position where the subject image can be illuminated when the imaging unit captures a subject image, and a call unit that makes it possible to transmit an image captured by the imaging means, by the call means, in the image pickup means capable of transmitting an image captured in a call mode with a call, the light emission amount of the illumination means It is decreasing.
[0014]
According to this configuration, it is possible to reduce the glare and discomfort of the operator while maintaining the image quality by the illumination with a small amount of light emission as the photograph of the operator's face in the call state.
[0015]
According to a third aspect of the present invention, the imaging means is rotatable together with the illuminating means with respect to a main body, and the imaging means is a camera unit support mechanism housed in a folded structure on the front surface of the backboard. It is arranged on the front face so as to be turnable in the left-right direction.
[0016]
According to this configuration, the telephone can be used as a calling unit or an imaging device in a state in which the casing is folded and stored, and in a state in which the folding type casing is opened, the imaging unit is rotated to perform a call while photographing the operator. You can talk by means.
[0017]
According to a fourth aspect of the present invention, the imaging means can be rotated together with the illuminating means with respect to a main body, and the imaging means is rotated in the front-rear direction on the upper part of the integrally structured housing. Arranged to be possible.
[0018]
According to this configuration, it is possible to make a call with the calling unit while photographing the operator by rotating the imaging unit with the casing remaining as it is.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
(First reference example )
Hereinafter, a first reference example serving as a basis of the present invention will be described with reference to the drawings. FIG. 1 is a perspective view of an imaging apparatus having illumination according to a first reference example of the present invention. FIG. 1 shows the appearance of an imaging apparatus with a communication function. FIG. 1A shows a state in which the imaging apparatus is folded, and FIG. 1B shows a state in which the apparatus is opened.
[0020]
In FIG. 1, reference numeral 1 denotes the entire imaging apparatus with a communication function, and 2 denotes a camera unit mounted on the apparatus. As shown by a two-dot chain line in FIG. 1B, the camera unit 2 is rotatable in a range indicated by α + β in the left-right direction with respect to the apparatus main body about the axis a. The camera unit 2 is provided with a photographing lens 9 and an illumination member 10 such as a flash lamp for illuminating the subject. The first component 3 constituting the three-stage folded portion supports the camera unit 2 as a camera unit support mechanism and includes a display unit 14 made of, for example, liquid crystal.
[0021]
In the state of FIG. 1A, the second component 4 is provided with operation buttons (or switches, etc.) 11 such as a call button and numeric keys on the surface thereof. In addition, a microphone 12 and a speaker 13 are also arranged.
[0022]
The third component 5 is in the form of a backboard and houses the antenna 6 and has an opening 15. In the folded state shown in FIG. 1A, the opening 15 is opened at a size and position where the display means 14 can be viewed from the outside. Reference numeral 12 denotes a microphone, and reference numeral 13 denotes a speaker, which indicates a position during a call.
[0023]
The first component 3, the second component 4, and the third component 5 are rotatably coupled by hinges 7 and 8, respectively, and are at least shown in FIGS. 1 (a) and 1 (b). The state shown can be opened and closed. The two-dot chain line b indicates the use state with normal left hand holding.
[0024]
FIG. 3 is a block diagram of image information processing of the imaging apparatus shown in FIG. In FIG. 3, reference numeral 2 denotes a camera unit, which includes an image pickup element 9 including a photographing lens 9, a diaphragm means 21, a CCD, and the like. Reference numeral 23 is a sample and hold circuit, and 24 is an automatic gain control circuit. Reference numeral 25 denotes a signal processing circuit, and an image signal from the image sensor 22 is generated as a luminance signal / color signal by the signal processing circuit 25 after passing through the sample hold circuit 23 and the automatic gain control circuit 24.
[0025]
An exposure control circuit 26 controls the accumulation time (exposure time) of the aperture means 21 and the image sensor 22 or the gain of the automatic gain control circuit 24 based on the image information from the automatic gain control circuit 24, so that an appropriate exposure amount is obtained. Is controlled to obtain. Further, when the subject is dark, the illumination member 10 is caused to emit light via the light emitting circuit 32.
[0026]
Reference numeral 27 denotes a compression / decompression circuit that compresses the image signal generated by the signal processing circuit 25 by applying a process such as JPEG or restores the compressed image signal. Reference numeral 28 denotes a memory for storing image information, and it does not matter whether the image pickup apparatus 1 is fixed or removed. An encoder circuit 29 displays an image on the display means 14 by converting image information into, for example, an NTSC signal.
[0027]
A protocol circuit 30 converts image information into a protocol corresponding to communication conditions corresponding to this apparatus, and decodes received information. 31 is a transmission / reception circuit, and 6 is an antenna. The above is the flow of image information, but the same processing is performed for audio information, but is omitted here.
[0028]
With such a configuration, as an image, an image captured by the camera unit 2, an image captured by the camera unit 2 and stored in the memory 28, an image received and stored in the memory 28, or an image being received Alternatively, an image combining these can be viewed.
[0029]
Reference numeral 33 denotes detection means for detecting the phase of the camera unit 2 and is composed of an angle detection encoder or the like. The detection means 33 detects whether the optical axis of the camera unit 2 is in the range α or β shown in FIG. 1B, and the detection information is transmitted to the exposure control circuit 26.
[0030]
Next, the operation will be described. When used as a normal telephone in the housed state shown in FIG. 1A, it can be used as a general handset by operating the operation button switch 11 and using the microphone 12 and the speaker 13.
[0031]
Even when used as an image shooter, the subject can be photographed by setting the camera unit 2 within the range of the angle α in the state of FIG. The captured image or the captured image can be confirmed by the display means 14 through the opening 15. Audio can be recorded and listened to by the microphone 12 and the speaker 13. Therefore, it can be used as a telephone and a photographing device in a state of being folded and stored as shown in FIG.
[0032]
In the open state of FIG. 1B, the function of the handset can be performed by the microphone 12 ′ and the speaker 13 ′ as a telephone. In recent years, not only voice but also images can be communicated by improving the line speed of a wireless telephone or the like. That is, in the open state shown in FIG. 1 (b), while looking at the display means while talking, an image transmitted from the other party, an image that has already been taken and stored in the memory, or taken at the present time is taken. It is also possible to transmit while viewing the image.
[0033]
In addition, when the camera unit 2 is turned to the range indicated by β in the open state shown in FIG. 1B, it is possible to take a picture of the caller himself. In this case, it is very convenient that the other party can confirm the face of the caller and present an expression.
[0034]
By the way, when the subject brightness is low, a strobe or halogen lamp or the like is used in a general image pickup device (a strobe is used for a still image such as a digital camera and a halogen lamp is used for a moving image camera or the like. A beautiful image can be taken by exposing the subject to light emitted from the lighting device.
[0035]
Therefore, in the case of shooting as a general imaging device in the case of FIG. 1A, shooting can be performed with an appropriate exposure amount by operating the illumination member 10 when the subject is below a certain luminance. .
[0036]
On the other hand, in the case of FIG. 1B, since the face of the caller is photographed at a close distance, if the light emitting means is operated very close, the caller himself feels very dazzled and hinders the operation. In addition, even when the light is continuously emitted, the light emitting means is present near the face, so that the light emitting unit generates heat, which also causes discomfort to the caller. Further, as can be seen from FIG. 1B, the caller's face is illuminated from the mouth direction, resulting in a very unnatural luminance distribution. Therefore, during this period, restrictions such as prohibition of operation of the illumination means 10 and restriction of the amount of light emission are provided.
[0037]
FIG. 5 is a flowchart of the photographing operation of the imaging apparatus shown in FIG. Subsequently, the photographing operation will be described with reference to FIG. At the start of photographing, first, the phase of the camera unit 2 is detected by the encoder 33 (S1). Here, when the direction of the camera unit 2 is the α direction, which is a direction in which a general subject is projected, the brightness of the subject is detected (S2), and when the brightness is above a certain level, normal shooting is performed (S3). If the subject is darker than a certain brightness, photographing is performed by light emission from the illumination member 10 (S4). In this case, a process of increasing the gain of the automatic gain control circuit 24 in electronic image shooting is also conceivable. However, since S / N is generally deteriorated, shooting using light emission is preferable.
[0038]
If it is determined in S1 that the camera unit 2 is facing the direction of β, it can be determined that in most cases, an image of the operator's own face is captured. In this case, the brightness of the subject is detected (S5), and if the brightness of the subject is above a certain level, normal shooting is performed (S3). On the other hand, when the brightness is below a certain level, the illumination member 10 is not operated, and the gain of the automatic gain control circuit 24 is increased to photograph (S6). In the previous case, it has been described that the S / N ratio is unfavorable for shooting by increasing the gain of the automatic gain control circuit 24. However, in the case of shooting the face of the operator himself, most of them are confirmation of the other party, For the purpose of transmitting facial expressions, it is not necessary to take into account the decrease in S / N.
[0039]
As described above, according to the first reference example , the caller can make a call without transmitting glare or uncomfortable feeling while transmitting the self-portrait clear by the gain increase of the automatic gain to the conversation partner.
[0040]
(Second reference example )
Next, a second reference example of the present invention will be described with reference to the drawings. FIG. 6 is a flowchart of the photographing operation of the imaging apparatus according to the second reference example of the present invention. 1 and FIG. 3 in the previous reference example are common to the second reference example , and therefore, redundant description of the configuration in FIG. 1 and FIG. 3 is omitted.
[0041]
Next, the operation will be described with reference to FIG. The flowchart shown in FIG. 6 is basically the same process as the flowchart of FIG. 5 of the previous reference example , but the same steps that are the same process are denoted by the same reference numbers, and mainly the same as the previous reference example . Only the parts of the different processes will be described.
[0042]
When it is determined that the brightness of the subject is darker than a certain value (S2), in the case of normal shooting (when the direction of the camera unit 2 is the α direction), shooting with illumination is performed as in the previous reference example of FIG. Is made (S4).
[0043]
On the other hand, when the camera unit 2 is facing the direction of β (S1) and the brightness of the subject is darker than a certain brightness (S5), the illumination member 10 is caused to emit light (S10). However, in this case, the light emission amount is reduced. That is, the amount of light emitted to the subject is determined by the distance to the subject, the brightness of the lens (or the aperture value), the sensitivity of the image sensor, etc. For example, the amount of light emitted when the camera unit 2 faces the α direction. Is set to “50” or the like when the camera unit 2 is facing the β direction. The shortage compensates for sensitivity by increasing the gain. Therefore, in the second reference example , the process of S10 is different from the previous reference example .
[0044]
As described above, according to the second reference example , the operator himself does not prohibit the light emission as in the previous reference example. Not as much as it can, but the image quality is improved accordingly.
[0045]
(First Embodiment)
Next, a first embodiment of the present invention will be described with reference to the drawings. FIG. 4 is a block diagram of the imaging device with a communication function according to the first embodiment of the present invention. FIG. 7 is a flowchart of the operation of the imaging apparatus with a communication function shown in FIG. The circuit configuration of the imaging device with a communication function shown in FIG. 4 is basically the same as the circuit configuration of the previous reference example of FIG. FIG. 4 is different from FIG. 3 in that a call mode detection unit 34 is provided in FIG. 4, and the other configuration is exactly the same as FIG. The configuration of the call mode detection unit 34 has a function of detecting and transmitting to the exposure control circuit 26 when a call start button switch in the operation button 11 shown in FIG. Alternatively, detection may be performed by interlocking with the operation of the hinges 7 and 8 when the storage state in FIG. 1A is changed to the open state in FIG. Note that FIG. 1 of the external view is applied in common to both the first and second reference examples and the first embodiment.
[0046]
Next, the operation will be described with reference to FIG. First, it is determined whether or not the call mode is set (S21). In the case of the non-call mode, the processing of S2 to S4 is performed, and the same processing as S2 to S4 in the case of FIG. 5 is performed.
[0047]
On the other hand, in the call mode, the processing is the same as the processing from S5 to S6 in FIG. That is, the brightness of the subject is detected (S5), and if the brightness is above a certain level, the process shifts to normal shooting (S3). If the brightness is below a certain level, the operation of the illuminating member 10 is prohibited and photographing is performed by increasing the gain of the automatic gain control circuit 24 (S6).
[0048]
( Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 8 is a flowchart of the operation of the imaging device with a communication function according to the second embodiment of the present invention. In the second embodiment, FIG. 1 of the structural external view and FIG. 4 of the block diagram are applied in common with the previous embodiment, and therefore, redundant description regarding the configuration is omitted.
[0049]
Next, the operation will be described with reference to FIG. First, it is determined whether or not the call mode is set (S21), and in the non-call mode, the processes of S2 to S4 are performed in the same manner as the previous embodiment.
[0050]
On the other hand, if the call mode is selected, the process proceeds to S5, and the brightness is determined. If the brightness is above a certain level, normal shooting is performed (S3). Then, limited shooting is performed (S10).
[0051]
( Third embodiment)
Next, a third embodiment of the present invention will be described with reference to the drawings. FIG. 2 is a perspective view of an imaging apparatus having illumination according to the third embodiment of the present invention. In FIG. 2, reference numeral 20 denotes an imaging apparatus main body, and unlike the case of FIG. 1, the entire housing is not a folding structure but a conventional integrated structure. The camera unit 2 has a structure that is rotatable in the front-rear direction with respect to the apparatus main body within a range of α + β around the axis a with respect to the main body 20 at the uppermost part of the main body. Since other configurations are the same as those in FIG. 1, the same components are denoted by the same reference numerals and redundant description is omitted. The circuit block diagram is also applied to both FIGS. 3 and 4 in common, but the description is omitted because it overlaps with the above description.
[0052]
Next, as for the operation, the processing of the flowcharts of FIGS. The same applies to the effect.
[0053]
(Other embodiments)
The present invention does not distinguish between still images and moving images but applies to both. In FIG. 1, the arrangement position of the camera unit 2 is the front right end of the camera unit support mechanism 3, but is not limited thereto, and may be the left end, upper end, or lower end. Moreover, although the camera part 2 was arrange | positioned in the upper end part of the main body 20 in FIG. 2, a lower end part may be sufficient.
[0054]
【The invention's effect】
As described above, the present invention automatically controls an illuminating unit in an imaging apparatus having an illuminating unit, particularly an imaging apparatus having a communication / call function, particularly when the operator himself is photographed. Because it is configured to prevent the light emission from interfering with the operation, etc., the amount of heat generated by the light emitting unit near the operator can be reduced. This contributes to the reduction of power consumption, avoids unnatural lighting that produces poor images, and improves operability and portability.
[Brief description of the drawings]
FIG. 1 is a perspective view of an imaging apparatus having illumination according to a first reference example of the present invention.
FIG. 2 is a perspective view of an imaging apparatus having illumination according to a third embodiment of the present invention.
3 is a block diagram of image information processing of the imaging apparatus shown in FIG.
FIG. 4 is a block diagram of the imaging device with a communication function according to the first embodiment of the present invention.
FIG. 5 is a flowchart of a shooting operation of the imaging apparatus shown in FIG.
FIG. 6 is a flowchart of a shooting operation of the imaging apparatus according to the second reference example of the present invention.
FIG. 7 is a flowchart of the operation of the imaging device with a communication function according to the first embodiment of the present invention.
FIG. 8 is a flowchart of the operation of the imaging device with a communication function according to the second embodiment of the present invention.
[Explanation of symbols]
1,20 Imaging device body 2 Camera unit 3 Camera unit support mechanism (first component)
4 Second component 5 Backboard (third component)
6 Antenna 7, 8 Hinge 9 Lens 10 Illumination member 11 Operation button 12, 12 ′ Microphone 13, 13 ′ Speaker 14 Display means 15 Aperture 21 Aperture 22 Imaging element 23 S / H circuit 24 AGC circuit 25 Signal processing circuit 26 Exposure control Circuit 27 Image compression / decompression circuit 28 Memory 29 Encoder 30 Protocol circuit 31 Transmission / reception circuit 32 Light emitting circuit 33 Phase detection means 34 Call mode detection means

Claims (4)

撮像手段と、
前記撮像手段が被写体像を撮像する場合に、前記被写体像を照明することが可能な位置に設けられた照明手段と、
通話とともに、前記撮像手段で撮像した画像を送信することを可能とする通話手段と、を有し、
前記通話手段によって、通話とともに前記撮像手段で撮像した画像を送信可能な通話モードでは前記照明手段の作動を禁止することを特徴とする撮像装置。
Imaging means;
Illuminating means provided at a position capable of illuminating the subject image when the imaging means images a subject image;
A call means that enables transmission of an image picked up by the image pickup means together with a call;
Wherein the call means, a transmittable call mode the image captured by the imaging means with a call, you and inhibits the operation of the illuminating means imaging device.
撮像手段と、
前記撮像手段が被写体像を撮像する場合に、前記被写体像を照明することが可能な位置に設けられた照明手段と、
通話とともに、前記撮像手段で撮像した画像を送信することを可能とする通話手段と、を有し、
前記通話手段によって、通話とともに前記撮像手段で撮像した画像を送信可能な通話モードでは前記照明手段の発光量を減少させることを特徴とする撮像装置。
Imaging means;
Illuminating means provided at a position capable of illuminating the subject image when the imaging means images a subject image;
A call means that enables transmission of an image picked up by the image pickup means together with a call;
Wherein the call means, a transmittable call mode the image captured by the imaging means with a call, it characterized imaging device to reduce the emission amount of the illumination means.
前記撮像手段は、本体に対して前記照明手段とともに回動可能であり、
前記撮像手段は、バックボード前面に折り畳み構造で収納されるカメラ部支持機構の前面に左右方向向きに回動可能に配置されていることを特徴とする請求項1又は2記載の撮像装置。
The imaging means is rotatable together with the illumination means with respect to a main body,
The imaging means includes a camera unit IMAGING DEVICE according to claim 1 or 2, wherein the being rotatably arranged in the left-right direction facing the front of the support mechanism is accommodated in a structure folded backboard front.
前記撮像手段は、本体に対して前記照明手段とともに回動可能であり、
前記撮像手段は、装置全体が一体構造の筐体上部に前後方向に回動可能に配置されていることを特徴とする請求項1又は2記載の撮像装置。
The imaging means is rotatable together with the illumination means with respect to a main body,
The imaging means, the entire apparatus is an imaging apparatus according to claim 1 or 2, characterized in that it is arranged to be rotatable in the longitudinal direction in the housing upper part of the integral structure.
JP25267397A 1997-09-03 1997-09-03 Imaging device Expired - Lifetime JP3862376B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25267397A JP3862376B2 (en) 1997-09-03 1997-09-03 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25267397A JP3862376B2 (en) 1997-09-03 1997-09-03 Imaging device

Publications (2)

Publication Number Publication Date
JPH1184491A JPH1184491A (en) 1999-03-26
JP3862376B2 true JP3862376B2 (en) 2006-12-27

Family

ID=17240654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25267397A Expired - Lifetime JP3862376B2 (en) 1997-09-03 1997-09-03 Imaging device

Country Status (1)

Country Link
JP (1) JP3862376B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020012735A (en) * 2000-08-08 2002-02-20 김재명 Terminal equipment for image message with flash function being possible to equip as interior and exterior type and attachable and detachable type
KR100442362B1 (en) * 2001-11-02 2004-07-30 엘지전자 주식회사 Illumination apparatus for camera of video phone
KR20030054947A (en) * 2001-12-26 2003-07-02 (주)넥스지텔레콤 Equipment attached flash of a portable telephone having a photographic function
KR20030056113A (en) * 2001-12-27 2003-07-04 에스케이텔레텍주식회사 Mobile phone for photographing picture
KR100467894B1 (en) * 2002-10-11 2005-01-24 에스케이텔레텍주식회사 Mobile phone including flash for camera
JP4218301B2 (en) * 2002-10-11 2009-02-04 コニカミノルタホールディングス株式会社 Mobile phone with imaging device
US20070281749A1 (en) * 2004-04-05 2007-12-06 Tomoyuki Suga Electronic Imaging Device
US7599616B2 (en) 2005-09-30 2009-10-06 Sharp Kabushiki Kaisha Image shooting apparatus, display apparatus and image shooting and display apparatus
KR100826380B1 (en) 2007-06-13 2008-05-02 삼성전기주식회사 Mobile terminal for controlling brightness of light device

Also Published As

Publication number Publication date
JPH1184491A (en) 1999-03-26

Similar Documents

Publication Publication Date Title
WO2019184475A1 (en) Mobile terminal and control method therefor, and computer readable storage medium
JPWO2006046681A1 (en) Mobile phone equipment
JP2001320622A (en) Portable telephone set with camera
JP2006352661A (en) Videophone terminal, imaging method, and imaging program
JP2006237914A (en) Mobile terminal device
JP3862376B2 (en) Imaging device
JPWO2003065692A1 (en) Mobile phone
JP3929704B2 (en) Imaging device with communication function
JP2002335432A (en) Liquid crystal display device provided with digital camera
JP5233997B2 (en) Information communication terminal
JP4662902B2 (en) Shooting system
KR20040001170A (en) Method of taking and storing a picture image on digital-camera-enabled phone
JP2005323241A (en) Mobile telephone set
JP3810294B2 (en) Mobile phone
JP4281353B2 (en) Portable electronic device with imaging function
JP4257508B2 (en) Electronic camera
JP2004274777A (en) Portable multifunctional electronic apparatus
JP2004096635A (en) Digital image pickup device
JP4069681B2 (en) Mobile terminal and notification method thereof
JP2004104207A (en) Portable telephone with camera
JP2003219229A (en) Digital camera for portable telephone
KR100467894B1 (en) Mobile phone including flash for camera
JP2005184696A (en) Mobile terminal and flash control method
JP2005286440A (en) Information terminal having camera
JP2004159363A (en) Mobile phone

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060926

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091006

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101006

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101006

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121006

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131006

Year of fee payment: 7

EXPY Cancellation because of completion of term