JP4250437B2 - 信号処理装置、信号処理方法およびプログラム - Google Patents

信号処理装置、信号処理方法およびプログラム Download PDF

Info

Publication number
JP4250437B2
JP4250437B2 JP2003057628A JP2003057628A JP4250437B2 JP 4250437 B2 JP4250437 B2 JP 4250437B2 JP 2003057628 A JP2003057628 A JP 2003057628A JP 2003057628 A JP2003057628 A JP 2003057628A JP 4250437 B2 JP4250437 B2 JP 4250437B2
Authority
JP
Japan
Prior art keywords
signal processing
magnification
image
mode
zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003057628A
Other languages
English (en)
Other versions
JP2004266774A (ja
JP2004266774A5 (ja
Inventor
芳季 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003057628A priority Critical patent/JP4250437B2/ja
Priority to US10/790,930 priority patent/US7602425B2/en
Priority to CNB2004100074798A priority patent/CN100338940C/zh
Publication of JP2004266774A publication Critical patent/JP2004266774A/ja
Publication of JP2004266774A5 publication Critical patent/JP2004266774A5/ja
Application granted granted Critical
Publication of JP4250437B2 publication Critical patent/JP4250437B2/ja
Priority to US12/570,471 priority patent/US8350944B2/en
Priority to US13/721,954 priority patent/US8842207B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、光学ズーム手段および電子ズーム手段を備えた信号処理装置、信号記憶装置、画像記録装置、信号処理方法およびプログラムに関するものである。
【0002】
【従来の技術】
近年、デジタルビデオカメラやデジタルカメラなどの画像記録装置(または信号処理装置、画像データ生成装置)が一般家庭にも普及し広く用いられるようになっている。これらの画像記録装置ではユーザー操作により撮影画角を広角から望遠まで連続的に変更できるズーム機能を搭載したものが一般的である。また従来からあるズームレンズの光学系を用いた光学ズームに加え、撮影画像データを電子的に変倍する電子ズーム機能を併せ持った画像記録装置も多い。
【0003】
図26は、従来の光学ズーム機能および電子ズーム機能を備えた画像記録装置の概略構成を示す図である。図26において、2301は、レンズ光学系であり、入射光を撮像素子2302上に結像させるための光学レンズ、絞り、焦点制御、各種光学フィルタ及びその駆動機構を含んでいる。また、レンズ光学系2301は、光学的に画角を変更する光学ズーム可能なレンズ光学系であり、そのための駆動機構も含んでいる。
【0004】
尚、図26の画像記録装置に示すレンズ光学系2301における上述した光学機構は一般的なものであり説明を省略する。撮像素子2302は、レンズ光学系2301によって受光面に結像された光信号を電気信号に変換する素子であり、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)センサなどが知られている。
【0005】
2303は、A/D(アナログ/デジタル)回路であり、撮像素子2302によって電気信号に変換された撮像信号をデジタル撮像データ(以下、撮像データとする)に変換する。2304は、メモリ1であり、A/D回路2303が変換した撮像データを記憶する。この時点での撮像データは撮像素子固有(画素配列および色フィルタ配列などで異なる)の出力形式からなるデジタルデータである。2305は、カメラ信号処理回路であり、メモリ1・2304から供給される撮像データを画像データに変換するための各種処理を行う。2307は、ズーム制御回路であり、ズーム操作キー2310の入力に従い光学ズーム制御回路2306の制御を行う。更に、ズーム制御回路2307は、スイッチ2308を経由して拡大処理回路2309を制御する。光学ズーム制御回路2306は、ズーム制御回路2307からの制御に応じてレンズ光学系2301を制御して光学ズームを行う。また、拡大処理回路2309は、ズーム制御回路2307からの制御に応じて電子ズーム処理を行う。すなわち、ズーム制御回路2307は、光学ズームないし電子ズーム処理を行うことができる。
【0006】
また、2311は、電子ズームオン/オフスイッチであり、電子ズーム機能のオン/オフを行う。ここで、電子ズームオン/オフスイッチ2311がオフの場合には、上記のスイッチ2308をオフとし、拡大処理回路2309において拡大処理を行わないよう制御する。また、電子ズームオン/オフスイッチ3211がオンの場合には、スイッチ2308をオンとし、拡大処理回路2309において拡大処理を行う。尚、この電子ズームオン/オフスイッチ2311を設けた理由は、電子ズームの拡大による画質劣化を嫌う利用者のため、ズーム制御モードを光学ズームのみに設定して撮影可能にするためである。
【0007】
また、2312は、メモリ2であり、カメラ信号処理および拡大処理後の画像データを記憶する。2313は、記録信号処理回路であり、メモリ2・2312より読み出した画像データに対して圧縮符号化や記録フォーマット化、誤り訂正符号化、記録変調符号化などを行う。2314は、記録メディアであり、記録信号処理回路2313が処理後の画像データを記録する。
【0008】
次に、図26に示した画像記録装置における光学ズームおよび電子ズームの動作について説明する。
図27は、図26に示した画像記録装置の光学ズームと電子ズームの動作を示す図である。枠2401は、メモリ1に記憶される画像データの被写体(木、スキヤー、雲を含む)に対する範囲を示している(=画角を示している)。この枠2401は、光学ズームが広角側に移動するほど広がる。すなわち、光学ズームを行うズーム制御領域2406において、最も広角側にレンズ光学系2301を制御した場合は、枠2401が広がり広角画像2403に示す画像が得られる画角となる。これにより、広角画像2403に示す被写体の画像データがメモリ1に記憶される。また、ズーム制御領域2406において、最も望遠側にレンズ光学系2301を制御した場合は、枠2401は望遠画像2404に示す画像が得られる画角となる。これにより、望遠画像2404に示す被写体の画像データがメモリ1に記憶される。以上に示すように、図26の画像記録装置は、レンズ光学系2301を制御することで撮影画角(枠2401の範囲)を変更してズーム動作を行う。
【0009】
一方、電子ズームを行うズーム制御領域2407においては、最も望遠側の枠2401の範囲における被写体の画像データから、枠2402で示される、一部分の領域を切り出して拡大することにより、電子ズーム画像2405に示すような電子ズーム画像を得る。
このとき、上述したように、電子ズーム処理することによって多少の画質劣化が起こる。特に、電子ズームの倍率を高倍率にすると画質劣化が激しくなるため、一般的には電子ズームの倍率の上限を定めて制限している。
【0010】
また、電子ズーム処理によって画質が好ましくない劣化を起こす恐れがあるときは電子ズーム処理を規制または警告を表示するので、過度の電子ズーム処理による意図しない画質の劣化を防ぐことができる情報記録装置(画像記録装置)が開示されている(例えば、特許文献1参照。)。具体的には、画像を撮像する撮像ユニットと、撮像ユニットが撮像した取り込み画像の中から、所定の範囲の選択画像を取得し、所定の画素数の出力画像に変換する電子ズーム処理部とを備える情報記録装置であって、電子ズーム処理部は、出力画像の画素数を参照して選択画像が満たすべき条件を設定する選択範囲条件設定機能を有する。また、選択画像が条件を満たさないときに、条件を満たさないことを利用者へ告知する告知ユニットを更に備えている。以上の構成により、電子ズーム処理によって画質が好ましくない劣化を起こす恐れがあるときは電子ズーム処理を規制または警告を表示することができる。
【0011】
【特許文献1】
特開2001−197347号公報
【0012】
【発明が解決しようとする課題】
近年、静止画撮影機能を持ったデジタルビデオカメラの動画撮影モードのように、記録モードによっては撮像素子の画像サイズより小さい画像データに縮小して記録する信号処理装置および画像データ生成装置が登場している。このような信号処理装置および画像データ生成装置においては、光学ズームのみの設定にして撮影した場合でも、記録モードによってはさらに電子的に縮小して記録していることになる。すなわち、この電子的な縮小を考慮した、電子ズームの設定が行われていないという問題がある。別の表現を用いれば、電子ズームオン/オフ設定により、拡大処理による画質劣化を防ぐ撮影モードを設けるという本来の意図につながらないという問題がある。
【0013】
本発明は上記問題点を鑑みてなされたものであり、電子ズーム処理による画質劣化が少ないズームモードを利用者が選択できる信号処理装置、信号記憶装置、画像記録装置、信号処理方法およびプログラムを提供することを目的とする。
【0014】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による信号処理装置においては、撮像手段で取得した像の倍率を変化させる信号処理装置であって、像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理手段と、前記第1の信号処理と異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理手段と、望遠側または広角側の選択を検知する第1の検知手段と、前記第1の信号処理による像の倍率拡大の限界を検知する第2の検知手段と、第1のモードと第2のモードとを選択可能な選択手段と、前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示手段とを具備し、前記選択手段により、前記第1のモードが選択されたときは、前記第1の検知手段により望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知手段により検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知手段により検知された後更に前記第1の検知手段により望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、前記変倍率変化表示手段は、前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とする。
【0015】
また、本発明による信号処理方法においては、撮像手段で取得した像の倍率を変化させる信号処理方法であって、像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理ステップと、前記第1の信号処理ステップと異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理ステップと、望遠側または広角側の選択を検知する第1の検知ステップと、前記第1の信号処理ステップによる像の倍率拡大の限界を検知する第2の検知ステップと、第1のモードと第2のモードとを選択可能な選択ステップと、前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示ステップとを有し、前記選択ステップにおいて、前記第1のモードが選択されたときは、前記第1の検知ステップにおいて望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知ステップにおいて検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知ステップにより検知された後更に前記第1の検知ステップにおいて広角側から望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、前記変倍率変化表示ステップでは、前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とする。
【0016】
また、本発明のプログラムにおいては、コンピュータに撮像手段で取得した像の倍率を変化させる処理を実行させるためのプログラムであって、像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理ステップと、前記第1の信号処理ステップと異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理ステップと、望遠側または広角側の選択を検知する第1の検知ステップと、前記第1の信号処理ステップによる像の倍率拡大の限界を検知する第2の検知ステップと、第1のモードと第2のモードとを選択可能な選択ステップと、前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示ステップとを前記コンピュータに実行させ、前記選択ステップにおいて、前記第1のモードが選択されたときは、前記第1の検知ステップにおいて望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知ステップにおいて検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知ステップにより検知された後更に前記第1の検知ステップにおいて広角側から望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、前記変倍率変化表示ステップでは、前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とする。
【0018】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
まず、本発明の第1の実施形態であるデジタルビデオカメラ(画像記録装置または信号処理装置または画像データ生成装置)の概略構成について説明する。尚、本実施形態におけるデジタルビデオカメラは、静止画および動画の両方を撮影可能である。
図1は、本発明の第1の実施形態におけるデジタルビデオカメラの概略構成を示す図である。図1において、符号101は、レンズ光学系であり、入射光を撮像素子102上に結像させるための光学レンズ、絞り、焦点制御、各種光学フィルタ及びその駆動機構を含んでいる。また、レンズ光学系101は、光学的に画角を変更する光学ズーム可能なレンズ光学系であり、そのための駆動機構も含んでいる。尚、図1のデジタルビデオカメラに示すレンズ光学系101の上述した光学機構は一般的なものであり詳細な説明を省略する。
【0019】
撮像素子102は、レンズ光学系101によって受光面に結像された光信号を電気信号に変換する素子であり、例えばCCD(Charge CoupledDevice)、CMOS(Complementary Metal Oxide Semiconductor)センサなどである。103は、A/D(アナログ/デジタル)回路であり、撮像素子102によって電気信号に変換された撮像信号をデジタル撮像データ(以下、撮像データとする)にアナログ/デジタル変換する。この時点での撮像データは撮像素子102に固有(画素配列および色フィルタ配列や画素電荷の読み出し方法などで異なる)の出力形式からなるデジタルデータである。
【0020】
104は、カメラ信号処理回路であり、A/D回路103から供給される撮像データを画像データに変換するための各種処理を行う。更に、カメラ信号処理回路104は、光学ズームを行うためレンズ光学系101の光学ズーム駆動機構を制御する。尚、カメラ信号処理回路104が行う処理の詳細は後述する。105は、記録信号処理回路であり、カメラ信号処理回路104にて変換後の画像データに対して、圧縮符号化や記録フォーマット化、誤り訂正符号化、記録変調符号化などの処理を行い、記録媒体に記録するための記録画像データを出力する。106は、記録メディアであり、記録信号処理回路105が生成した記録画像データを記録する。尚、記録メディア106の具体例としては、フレキシブルディスクや磁気テープなどがある。
【0021】
107は、記録モードスイッチであり、記録モードを設定するために利用者が切り替え可能なスイッチである。本実施形態における記録モードとしては、記録する画像データの種類である静止画データ/動画データの切り替えや、記録画像サイズの変更を行う為のものである。尚、本実施形態における記録モードとは、静止画データ/動画データの切り替えや、記録画像サイズの変更を行うためのモードである。108は、記録モード制御回路であり、記録モードスイッチ107の設定に従い、撮像素子102の駆動回路、カメラ信号処理回路104、記録信号処理回路105の処理内容を制御する。尚、記録モード制御回路108の具体的な処理については後述する。
【0022】
109は、最大倍率設定回路であり、最大倍率選択スイッチ111の設定に応じてズーム操作における最大倍率を設定する。尚、最大倍率設定回路109における設定の詳細については後述する。110は、ズーム倍率表示回路であり、後述するビューファインダ114上にズーム倍率に関する情報を表示する。具体的には、図10に示すように、広角、望遠の両端を示すスケール上に現在のズーム倍率を示すキャラクタを表示(インジケータ表示)する。尚、図10については、詳細を後述する。112は、ズーム操作キーであり、操作者が広角、望遠間のズーム操作を入力するための操作キーである。
【0023】
113は、表示制御回路であり、カメラ信号処理回路104の出力する画像データを基に撮影中の映像をビューファインダ114に表示させたり、ズーム倍率表示回路110ズーム倍率をビューファインダ114に表示させたりする。114は、ビューファインダであり、表示制御回路113の制御により種々の情報を表示する表示回路であり、例えば、液晶表示回路などである。
尚、図1に示すデジタルビデオカメラは、図1に示したもの以外にもシステムコントローラや記録メディアの駆動回路、ユーザインターフェース回路などの一般的なデジタルビデオカメラが備える構成要素を、備えているが本発明の実施形態の説明には不要であるため省略している。
【0024】
ここで、図1に示したデジタルビデオカメラにおける記録モード制御回路108の具体的な処理について説明する。図1に示したデジタルビデオカメラは、上述したように静止画像を撮影する静止画モードと、動画像を撮影する動画モードを有する。また、記録モードスイッチ107を操作者が切り替えることで、記録モード制御回路108の制御により静止画/動画モードの変更を行うことができる。図8は、図1に示したデジタルビデオカメラにおける静止画/動画モード変更の概要を示す図である。
【0025】
図8において、801は、撮像画像サイズであり、撮像素子102が出力する撮像信号をA/D回路103でデジタルデータに変換した撮像データの画像サイズを示している。802は、静止画像サイズであり、記録モードが静止画モードである場合に、デジタルビデオカメラが、撮像データを基に生成する静止画像データの画像サイズを示している。803は、動画像サイズであり、記録モードが動画モードである場合に、デジタルビデオカメラが、撮像データを基に生成する動画像データの画像サイズを示している。尚、画像サイズは画像データが含む画素データの総数で定まる。図8に示すように、静止画像サイズ802は、撮像された撮像画像サイズ801の画像サイズと同じ画像サイズでカメラ信号処理を行うが、動画像サイズ803は、撮像画像サイズ801の画像サイズから動画データフォーマットに合わせて縮小した画像サイズでカメラ信号処理を行う。
【0026】
上述したように、動画モード時に画像サイズの縮小処理が必要となる理由について以下に説明する。例えばデジタルビデオフォーマット(以下、DVフォーマットとする)においては、動画像データの画像サイズが規定されている。そのため、撮像データの画像サイズが大きい場合は、規定された画像サイズまで縮小する必要がある。このため、図1に示したデジタルビデオカメラは、動画モード時にDVフォーマットに応じた画像サイズへの縮小を行う。
【0027】
これに対し、静止画モード時に撮影する静止画像データの画像サイズについては静止画フォーマットにおける規定は特に無く、各デジタルビデオカメラによって決まる最大の画像サイズまで記録することが可能である。また、以上に示すような静止画/動画モードの切り替えに応じた撮像素子102の駆動処理として、例えば動画モード時の加算読み出し、静止画モード時の非加算読み出しの切り替えなどがある。更に、静止画/動画モードの切り替えに応じた記録信号処理回路105における処理として、静止画/動画モードの設定より定まるDVフォマットや静止画フォーマットの各々に対応した圧縮符号化、記録フォーマット化、誤り訂正符号化、変調符号化などの切り替えを行う。
【0028】
尚、以下の説明では第1の記録モードを静止画モード、第2の記録モードを動画モードとする。また、第1、2の記録モードは、上述した限りではなく、電子的な拡大/縮小処理が異なる2つの記録モードであればよく、例えば、上述した第1の記録モード(静止画モード)に対して、第2の記録モードが静止画像データを電子的に縮小する静止画縮小記録モードであってもかまわない。
【0029】
次に、図1に示したカメラ信号処理回路104の詳細について説明する。
図2は、図1に示したカメラ信号処理回路104の詳細を示す図である。図2において、201は、撮像データ入力端子であり、A/D回路103の出力端子と接続され、A/D回路103が出力する撮像データが入力される。202は、メモリ1であり、撮像データ入力端子201に入力された撮像データを保持する記憶回路である。尚、メモリ1・202に保持される撮像データは、上述したように撮像素子102の構成や駆動方法によって異なる形式の撮像データとなる。具体的な撮像データの形式としては、カラー撮像素子の場合のカラーフィルタ配列より決まるデータ形式などがある。
【0030】
203は、撮像信号処理回路であり、メモリ1・202に保持された撮像データから記録のための画像データ形式ないしは次処理のための中間的な画像データ形式に変換する。具体的には、撮像信号処理回路203は、本実施形態の撮像素子102がカラー撮像素子であるので、撮像データからRGB形式の画像データやY(R−Y)(B−Y)形式の画像データへのマトリクス変換処理、カラーフィルタ配列の補間処理、ホワイトバランス処理、γ変換処理などを行う。また、これらの処理は、後述する記録モード入力端子210から供給される記録モードデータによって変換パラメータを制御される。
【0031】
204は、変倍処理回路であり、撮像信号処理回路203の出力する画像データに対して拡大/縮小処理を行い、変倍後画像データを出力する。具体的には、変倍処理回路204は、縮小処理回路205、拡大処理回路206、変倍処理選択回路207を具備する。縮小処理回路205は、画像データに対して縮小処理を行い、縮小画像データを出力する。画像データに対する縮小処理が限界に到達したかどうかを検知するとともに、限界に到達したと検知した場合には、拡大処理回路206は、画像データに対して拡大処理を行い、拡大画像データを出力する。変倍処理選択回路207は、モードに応じて画像データと縮小画像データと拡大画像データの何れかを選択して変倍後画像データを出力する。208は、メモリ2であり、変倍処理回路204が出力する変倍後画像データを保持する。209は、端子であり、メモリ2に保持される変倍後画像データ(第2の画像形式の画像データ)を出力するための端子である。
【0032】
210は、記録モード入力端子(以下、端子210とする)であり、図1の記録モード制御回路108から記録モードデータが入力される。具体的には、第1の記録モード(静止画記録モード)または第2の記録モード(動画モード)を指定する記録モードデータが入力される。尚、上述した撮像信号処理回路203は、端子210より入力される記録モードデータに応じた信号処理を行う。具体的には、第1の記録モード(静止画モード)に応じて撮像データより静止画像データを生成する処理や、第2の記録モード(動画モード)に応じて撮像データより縮小した動画像データを生成する処理を行う。また、後述するズーム制御回路211および電子変倍制御回路212においては、端子210より入力される記録モードデータに応じたズーム動作の制御を行う。
【0033】
211は、ズーム制御回路であり、ズーム操作キー入力端子213(以下、端子213とする)からのズーム操作キー入力データに応じてズーム倍率を決定し、後述する光学ズーム制御回路216および電子変倍制御回路212を決定したズーム倍率に応じたモードで制御しズーム動作を行う。また、電子変倍制御回路212は、ズーム制御回路211からの指示に応じて変倍処理回路204における変倍処理を制御する。更に、必要に応じて電子変倍制御回路212は、メモリ1・202からの撮像データの読み出し方法の制御も行う。尚、ズーム制御回路211および電子変倍制御回路212における処理の詳細については後述する。
【0034】
214は、最大倍率選択入力端子(以下、端子214とする)であり、図1の最大倍率設定回路109による最大倍率選択値が入力される。端子214に入力された最大倍率選択値はその選択値に対応するモードに応じてズーム制御回路211で処理される。215は、ズーム倍率表示出力端子(以下、端子215とする)であり、ズーム倍率表示回路110の入力端子に接続され、ズーム倍率表示回路110へズーム倍率表示データを出力する。次に、光学ズーム制御回路216は、ズーム制御回路211からの指示に応じてレンズ光学系101を制御することで光学ズームを行う。217は、光学ズーム出力端子(以下、端子217とする)であり、レンズ光学系101に接続され、光学ズーム制御回路216が出力する光学ズーム処理を制御するための光学ズームデータを、レンズ光学系101へ出力する。
【0035】
以上に示す構成により、カメラ信号処理回路104は、第1の記録モードに応じて撮像データを静止画形式の静止画像データに変換したり、第2の記録モードに応じて撮像データを動画形式の動画像データに変換したり、光学ズームや電子ズームに関する処理を行ったりする。
【0036】
次に、図2に示した縮小処理回路(第1の信号処理手段としての第1の電子変倍手段)205の構成例について説明する。図3は、図2に示した縮小処理回路205の概略構成を示す図である。図3において、301は、入力端子であり、図2の電子変倍制御回路212と接続され、電子変倍制御回路212より電子変倍制御データが入力される。302は、縮小制御回路であり、入力端子301を介して電子変倍制御回路212より入力されるモードに応じた電子変倍制御データより変倍率を特定して、後述するLPF(ローパスフィルタ)係数設定回路304を変倍率に応じて制御するとともに、後述するダウンサンプル回路306を変倍率に応じて制御する。
【0037】
303は、入力端子であり、図2の撮像信号処理回路203と接続され、撮像信号処理回路203より画像データが入力される。305は、可変空間LPF(ローパスフィルタ)であり、入力端子303を介して撮像信号処理回路203より入力される画像データに対して縮小処理によるエイリアシング(高周波成分の折り返り)防止の為の帯域制限を行う。また、LPF係数設定回路304は縮小制御回路302の制御により縮小率に応じたLPF係数を可変空間LPF305に設定する。
【0038】
ここで、縮小率に応じたLPF係数の設定方法について一例を説明する。図4は、縮小率に応じた水平方向の可変空間LPFの設定例を示す図である。一般に縮小後のナイキスト周波数に等価な周波数までの帯域制限によりエイリアシングが防止できるため、縮小率に応じて帯域制限する水平空間周波数を定め、LPF特性を設定する。具体的には、図4に示すように、縮小率が大きくなるほど、水平空間周波数の帯域が小さくなるようLPF特性を設定する。
【0039】
また、ダウンサンプル回路306は、縮小制御回路302からの変倍率を基に可変空間LPF305が帯域制限した画像データに対して縮小処理を行う。307は、出力端子であり、ダウンサンプル回路306が出力する縮小後の画像データを出力する。この出力端子307は、記録信号処理回路105の入力側に接続される。尚、縮小処理回路205におけるデジタル画像データの縮小方式としては、例えば2次のリサンプルフィルタを用いたBi−Cubic補間による縮小方式など、一般的に利用されている縮小方式を用いて好適である。
【0040】
次に、図2に示した拡大処理回路(第2の信号処理手段としての第2の電子変倍手段)206の構成例について説明する。図5は、図2に示した拡大処理回路206の概略構成を示す図である。501は、入力端子であり、図2の電子変倍制御回路212と接続され、電子変倍制御回路212より電子変倍制御データが入力される。502は、拡大制御回路であり、入力端子501を介して図2の電子変倍制御回路212より入力される電子変倍制御データから拡大率を特定し、後述するアップサンプル回路504および補正係数設定回路505を拡大率に応じて制御する。
【0041】
503は、入力端子であり、図2の撮像信号処理回路203と接続され、撮像信号処理回路203より画像データが入力される。アップサンプル回路504は、拡大制御回路502からの拡大率に応じて入力端子503から入力される画像データの拡大処理を行う。尚、拡大処理回路206におけるデジタル画像データの拡大方式としては、2次のリサンプルフィルタを用いたBi−Cubic補間による拡大方式など、一般的に利用されている拡大方式を用いて好適である。
【0042】
補正係数設定回路505は、拡大制御回路502からの拡大率に応じて後述するアパーチャ補正回路506で用いる補正係数を設定する。アパーチャ補正回路506は、拡大処理にともなう画像の尖鋭度の劣化を補正するアパーチャ補正処理を行う。ここで、アパーチャ補正処理の具体例としては、画像のエッジ成分を分離した信号を輪郭強調信号として、所定のゲインを乗じ、元画像に加算する方式などがある。以上に示すように、拡大制御回路502は、アップサンプル回路504の制御とともに、補正係数設定回路505を変倍率に応じて制御することによりアパーチャ補正回路506の特性を制御する。
【0043】
ここで、アパーチャ補正処理と拡大率の関係について説明する。図6は、アパーチャ補正処理時の輪郭強調信号のゲインを拡大率に比例して増加させる制御例を示す図である。補正係数設定回路505は、アパーチャ補正回路506に対して、図6に示すように、拡大率に比例して輪郭強調信号のゲインを増大させるよう補正係数を設定する。すなわち、拡大制御回路502が、拡大率に比例した補正係数を設定するよう補正係数設定回路505を制御する。
【0044】
次に、図1に示したデジタルビデオカメラにおける第2の記録モード(動画モード)時のズーム動作について説明する。尚、以下の説明において、被写体の撮影範囲(記録メディア106に記録される画像データにおける被写体の範囲)を画角とする。
図9は、図1に示したデジタルビデオカメラにおける第2の記録モードにおける像倍率およびズーム動作の概要を示す図である。図9において、901は、画角を示す枠であり、光学ズームが望遠端であるときの画角を示す。尚、本実施形態における電子ズーム時に、撮像素子102及びメモリ1・202はこの枠901に応じた画像サイズの撮像データを処理している。即ち、撮像素子102における有効画素領域の面(撮像面)における電荷読み出し範囲(走査範囲)が枠901に示す範囲である。
【0045】
902は、第2の記録モード時に等倍処理可能な画角を示す枠であり、枠901に示す撮像範囲となる撮像データより、第2の記録モード時に切り出す記録画像サイズと等しい部分の画像エリアを示す。903は、広角端の画角を示す枠であり、枠901よりも広角である光学ズームの広角端の画角を示す枠である。904は、電子ズームによる第2の信号処理としての拡大処理における画角を示す枠であり、枠901に示す画角の撮像データのうち拡大処理対象となる画像エリアを示す。以上の枠901〜904に示すように、光学ズーム、電子ズームを通して、広角側になるほど画角が大きく、望遠側になるほど画角が小さくなる。別言すれば、広角側になるほど像が小さく、望遠側になるほど像が大きくなる。
【0046】
また、905は、広角時の記録画像であり、枠903に示す画角で記録メディア106へ記録する場合の動画像データの画像を示す。906は、光学ズーム望遠端時の記録画像であり、枠901に示す画角で記録メディア106へ記録する場合の動画像データの画像を示す。907は、撮像データを等倍で処理時の記録画像であり、枠902に示す画角で記録メディア106へ記録する場合の動画像データの画像を示す。908は、電子ズームによる拡大処理時の記録画像であり、枠904に示す画角で記録メディア106へ記録する場合の動画像データの画像を示す。また、記録画像905〜908の大きさは、動画像データの画像サイズを示すものであり、DVフォーマットで定められた画像サイズとなっている。以上の記録画像905〜908に示すように、画角の変化に応じて変化する処理対象範囲の撮像データを基に、所定のフォーマットに定められる画像サイズの動画像データを生成して記録メディア106へ記録する。
【0047】
また、デジタルビデオカメラにおいて、上述した枠903から枠901までの画角の変化は、レンズ光学系101の制御により実現される。この画角の変化領域は、図9の光学ズーム領域910である。また、上述した枠901から枠902までの画角の変化は、カメラ信号処理回路104における電子ズーム処理(縮小処理)によって実現される。この画角の変化領域は、図9の電子ズーム1領域911である。また、上述した枠902から枠904までの画角の変化は、カメラ信号処理回路104における電子ズーム処理(第2の信号処理としての拡大処理)によって実現される。この画角の変化領域は、図9の電子ズーム2領域912である。
【0048】
尚、図8にも示したように、本実施形態のデジタルビデオカメラにおいては、第2の記録モードでは撮像データの画像サイズを縮小して動画象データとして記録するため、光学ズーム領域910の間であっても電子変倍処理(第1の信号処理としての縮小処理)は行われている。つまり、光学ズーム領域910となる光学ズームの望遠端から広角端までは一定の電子変倍(縮小)率のもとでレンズ光学系101による光学ズームが行われる。また、記録画像907の画像サイズは、枠902に示すように撮像データから切り出す画像サイズが等しいので、この場合は切り出しサイズと記録サイズが等しいため電子変倍率=1(等倍)である。
【0049】
ここで、変倍処理回路207は、電子変倍(縮小)率が限界に到達したと検知する。これは、電子変倍率=1の場合に電子変倍(縮小)率が限界に到達したと検知する。例えば320×240画素で画像を生成し記録する場合に、320×240画素に相当する撮影データを取得する場合である。なお、電子変倍率=1に近似する所定値に到達した場合に電子変倍(縮小)率が限界に到達したと検知するように構成しても構わない。
【0050】
また、本実施形態では説明のために電子変倍率=1については水平垂直とも等倍の例について説明を行うが、この限りではなく、例えば、第2の記録モードがDVフォーマットの記録モードであり、サンプリングが正方格子でない動画データの規格であり、撮像素子102が正方格子である場合は水平、垂直のうちのどちらかが等倍であり、他方は電子変倍処理により調整する必要がある(=等倍ではない)。
【0051】
また、電子ズーム1領域911に示すように、光学ズーム望遠端である枠901から等倍切り出しに相当する枠902までは一定の記録画像サイズとなるよう、電子変倍(縮小)処理に応じて切り出し画像サイズを変化させることにより電子ズーム効果を得ている。また、枠902から枠904までの画角が変化する場合は、切り出し画像サイズ<記録画像サイズとなる場合であり、電子変倍率>1の拡大処理を行う。すなわち等倍切り出しに相当する枠902から電子ズームの上限(最大倍率)となる枠904までは一定の記録画像サイズに対して、電子変倍(拡大)処理に応じて切り出し画像サイズを変化させることにより電子ズーム効果を得ている。
【0052】
次に、図2の端子214へ入力される、図1の最大倍率設定回路109からの最大倍率選択値の処理について説明する。ズーム倍率制御回路211は端子214に入力された最大倍率選択値に対応したモードで光学ズーム制御回路216および電子変倍制御回路212の制御方法を変更し、ズーム操作キー入力によるズーム制御範囲を変更する。ここで、最大倍率選択スイッチ111の具体例を示し最大倍率選択値の設定例について説明する。図13は、最大倍率選択スイッチ111の具体例を示す図である。図13に示すように、最大倍率選択スイッチ111は、例えば、デジタルビデオカメラのビューファインダ114上に表示するGUI(Graphical User Interface)による最大倍率の設定メニューである。これは、上述したGUIを実現するためのプログラムおよびそのプログラムを実行するCPUをデジタルビデオカメラ内に実装することで実現できるものである。
【0053】
図13において、1301は、設定メニュー項目表示であり、“手ぶれ補正”、“電子ズーム”、“ホワイトバランス”などの設定メニュー項目が表示されている。1302は、電子ズーム設定項目であり、電子ズーム機能(ここでは、最大変倍率)に関する設定項目の一覧であり、“オフ”、“×2”、“×8”の3種類がある。尚、電子ズーム設定項目1302は、設定メニュー項目表示1301の“電子ズーム”を選択することで表示される。図13においては、矢印1303に示すように設定メニュー項目表示1301の“電子ズーム”が選択されている。また、図13においては、矢印1304に示すように、電子ズーム設定項目1302の第2のモードとしての“×2”が選択されている。
【0054】
以上により、デジタルビデオカメラの操作者は設定メニュー項目表示1301より最大倍率選択項目であるところの“電子ズーム”メニューを矢印1303の移動により選択する。
このようにすることによって、モードの設定が行われる。これは図14、図15および図16に示すようなフローにて表される。すなわち、図14に示すように、まず、上述のような倍率の設定(モードの設定)を行う(ステップS1)。これにしたがって、電子ズーム設定項目1302が表示される。その後、倍率を広角側にあわせるようカメラ信号処理回路104は指示を出す(初期化)(ステップS2)。
【0055】
ここで、電子ズーム設定項目1302において、項目「オフ」を選択することは図9の光学ズーム領域910のみを使用することに対応する。すなわち、図9の記録画像905から記録画像906までが撮影可能である。
【0056】
また、第2のモードとしての項目「×2」を選択すること(ステップS3のNOおよびステップS4)は、図9の光学ズーム領域910および電子ズーム1領域(縮小モード領域)911を使用することを示しており、記録画像905から記録画像907まで撮影可能である。これにより、図15に示すように、ズーム制御回路に従って変倍処理回路204は、ズーム操作キー112により広角側から望遠側への移動が選択されていることを検知されていると(ステップS5)、第1の信号処理として縮小処理を行う(ステップS6)。この縮小処理による像の倍率拡大の限界に達したことが検出された場合(ステップS7のYES)には、更にズーム操作キー112により広角側から望遠側への移動が選択されていることを検知し続けても(ステップS8のYES)前述の拡大処理を禁止する(ステップS9)。また、ステップS6による縮小処理による像の倍率拡大の限界に達したことが検出されていない場合(ステップS7のNO)には、ステップS5に戻り、ズーム操作キー112の操作(望遠または広角)を検知する。また、ステップS7のYESであって、更にズーム操作キー112により広角側から望遠側への移動が選択されていることを検知しない場合(ステップS8のNO)にも、ステップS5に戻る。
【0057】
また、第1のモードとしての項目「×8」を選択すること(ステップS3のYES)は、図9の光学ズーム領域910および電子ズーム1領域(第1のモードとしての縮小モード領域)911および電子ズーム2領域(第2のモードとしての拡大モード領域)912を使用することを示しており、記録画像905から記録画像908まで撮影可能である。これにより、図14に示すように、ズーム制御回路に従って変倍処理回路204は、ズーム操作キー112により広角側から望遠側が選択されていることを検知されていると(ステップS13)、第1の信号処理として縮小処理を行う(ステップS14)。この縮小処理による像の倍率拡大の限界に達したことが検出された時(ステップS15のYES)に、更にズーム操作キー112により広角側から望遠側が選択されていることを検知した場合(ステップS16のYES)には、図16に示す第2の信号処理として前述の拡大処理を実行する(ステップS17)。また、ステップS14による縮小処理による像の倍率拡大の限界に達したことが検出されていない場合(ステップS15のNO)には、ステップS13に戻り、ズーム操作キー112の操作(望遠または広角)を検知する。また、ステップS15のYESであって、更にズーム操作キー112により広角側から望遠側への移動が選択されていることを検知しない場合(ステップS16のNO)にも、ステップS13に戻る。
【0058】
次に、図16のステップS17の処理後において、望遠または広角を検知して第2の信号処理を繰り返す(ステップS18、S19、ステップS20のNO、ステップS21のNOの場合)。また、前述の縮小処理を伴う倍率拡大の限界の値に再び戻った場合(ステップS20のYES)、図14のステップS13に戻り、第1の信号処理のフローに移行する。尚、縮小処理を伴う倍率拡大の限界の値に再び戻るということは、縮小処理よって第1の信号処理側(図9の電子ズーム1領域911側)における第2の信号処理の限界に達するということである。
【0059】
一方、前述の縮小処理を伴う倍率拡大の限界の値に再び戻らず(ステップS20のNO)、ステップS18において広角側から望遠側が選択されていることを検知しつづけ第2の信号処理としての拡大処理の限界に達した場合(ステップS21のYES)には、更にズーム操作キー112により広角側から望遠側への移動が選択されていることを検知し続けても(ステップS22のYES)前述の第2の信号処理としての拡大処理を禁止する(ステップS23)。また、ステップS18において広角側から望遠側が選択されていることを検知しつづけ第2の信号処理としての拡大処理の限界に達していない場合(ステップS21のNO)には、ステップS18に戻り、ズーム操作キー112の操作(望遠または広角)を検知する。また、ステップS21のYESであって、更にズーム操作キー112により広角側から望遠側への移動が選択されていることを検知しない場合(ステップS22のNO)にも、ステップS18に戻る。
【0060】
上述したように最大倍率選択スイッチ111の設定により、ズーム制御回路211の制御において電子変倍が縮小動作を行う範囲までのズーム倍率「×2」を最大変倍率として第2のモードを選択して設定できる。これにより、電子的な拡大処理による画質劣化を伴わないズームモードを操作者は選択可能であり、かつ光学ズームのみで行う場合より高いズーム倍率となる新たなズームモード設定が可能である。また、電子変倍制御回路212は、ズーム制御回路211の制御により変倍処理回路204およびメモリ1・202から撮像データを読み出す際に切り出しエリアサイズを制御することにより、前述のように縮小および拡大の電子ズームの動作を行う。
【0061】
また、図2の変倍処理選択回路207は、電子変倍制御回路212の制御により、電子変倍が縮小となる第1の信号処理としての変倍率では縮小処理回路205の出力を選択し、電子変倍が拡大となる第2の信号処理としての変倍率では拡大処理回路206の出力を選択し、電子変倍が等倍となる変倍率(例えば320×240画素で画像を生成し記録する場合に、320×240画素に相当する撮影データを取得する場合)では変倍処理を介さず撮像信号処理回路203の出力を選択する。すなわち、光学ズーム領域910および電子ズーム1領域911の間は縮小処理回路205の出力を選択し、等倍切り出しの時は撮像信号処理回路203の出力を選択し、電子ズーム2領域912の間は拡大処理回路206の出力を選択する。
【0062】
尚、前述のように撮像素子102と記録モードでサンプリング格子が異なる場合は、水平、垂直のうちのどちらかが等倍であり、他方は電子変倍率≠1であるが、この場合は等倍処理であっても水平または垂直の電子変倍処理を行う必要があり、その電子変倍率に応じて縮小処理回路205ないしは拡大処理回路206の出力が選択される。
【0063】
次に、図2および図3、図5に示した変倍処理回路204と異なる構成の変倍処理回路204aの概略構成について説明する。図7は、図2および図3、図5に示した変倍処理回路204と異なる構成の変倍処理回路204aの概略構成を示す図である。すなわち、図2において、図7に示す変倍処理回路204aを変倍処理回路204と置換えてもよい。図7に示す変倍処理回路204aは、拡大と縮小に同じリサンプルフィルタアルゴリズムを用いることで、変倍係数の制御のみで拡大縮小を切り替え、図2の変倍処理回路204に比べ簡略化した回路になっている。
【0064】
図7において、701は、入力端子であり、図2の電子変倍制御回路212と接続され、電子変倍制御回路212から電子変倍制御データが入力される。702は、変倍制御回路であり、入力端子701を介して電子変倍制御回路212から入力される電子変倍制御データより変倍率を特定し、後述するリサンプルフィルタ704を変倍率に応じて制御する。703は、入力端子であり、図2の撮像信号処理回路203と接続され、撮像信号処理回路203から画像データが入力される。リサンプルフィルタ704は、入力端子703から入力される画像データを、変倍制御回路702から入力される変倍率に応じて拡大もしくは縮小する。
【0065】
次に、図2に示したズーム制御回路211がズーム操作キーの入力に応じたズーム倍率表示出力を図1のズーム倍率表示回路110供給し、ビューファインダ114にズーム倍率の表示を行う動作および表示例について説明する。図10は、撮影画像を確認するビューファインダ114上のズーム倍率表示例を示す図である。図10において、1001は、ズーム倍率表示であり、広角端および望遠端を両端とするスケール中にデジタルビデオカメラの撮影中のズーム倍率を表示するインジケータ表示1002を含む。ここで、図10の「W」の文字がある側が広角端、「T」の文字がある側が望遠端を示す。このインジケータ表示1002は、ズーム操作キー入力などによりズーム制御回路211が制御する光学ズーム倍率および電子ズーム倍率の変化に応じてスケール上を移動する。
【0066】
次に、ズーム倍率表示1001上に変倍率の境界線を表示する場合について説明する。図11は、ズーム倍率表示1001上に変倍率の境界線を表示する例を示す図である。図11(a)は、図9に示した光学ズーム領域910および電子ズーム1領域911および電子ズーム2領域912までズーム可能な場合のズーム倍率表示1001の表示例である。この時、最大倍率選択スイッチ111における設定は、図13に示した電子ズーム設定項目1302の「×8」に対応する。図11(a)において、1101は、インジケータ表示であり、現在のズーム倍率を示す。1102は、境界線であり、光学ズームの上限(図9の光学ズーム領域910の広角端)を示す。1103は、境界線であり、電子ズーム1の上限(図9の電子ズーム1領域911と電子ズーム2領域912の境界)を示す。ここで「T」で示される望遠端は、最大倍率「×8」の時であり図9の記録画像908に相当する。
【0067】
次に、図11(b)は、図9に示した光学ズーム領域910および電子ズーム1領域911までズーム可能な場合のズーム倍率表示1001の表示例である。この時、最大倍率選択スイッチ111における設定は、図13に示した電子ズーム設定項目1302の「×2」に対応する。ここで「T」で示される望遠端は、最大倍率「×2」の時であり図9の記録画像907に相当する。
【0068】
図11(c)は、図9に示した光学ズーム領域910の範囲でズーム可能な場合のズーム倍率表示1001の表示例である。この時、最大倍率選択スイッチ111における設定は、図13に示した電子ズーム設定項目1302の「オフ」に対応する。ここで「T」で示される望遠端は、光学ズーム時の望遠端であり図9の記録画像906に相当する。
【0069】
次に、図11と異なるズーム倍率表示1001の例を説明する。図12は、図11と異なるズーム倍率表示1001の例を示す図である。図11は、ズーム倍率表示1001の縮尺が可変であったが(=ズーム倍率表示1001の長さが一定)、図12は、ズーム倍率表示1001の縮尺が固定である(=ズーム倍率表示1001の長さが変化する)場合の表示例を示す。
【0070】
図12(a)は、図9に示した光学ズーム領域910および電子ズーム1領域911および電子ズーム2領域912までズーム可能な場合のズーム倍率表示1001の表示例である。図12(a)において、1201は、インジケータ表示であり、現在のズーム倍率を示す。1202は、境界線であり、光学ズームの上限(図9の光学ズーム領域910の広角端)を示す。1203は、境界線であり、電子ズーム1の上限(図9の電子ズーム1領域911と電子ズーム2領域912の境界)を示す。以上に示すように、図12(a)は、上述した図11(a)に対応し、表示形態および表示内容は同じである。
【0071】
図12(b)は、図9に示した光学ズーム領域910および電子ズーム1領域911までズーム可能な場合のズーム倍率表示1001の表示例である。図12(b)は、図12(a)と比べて(図11(b)と比べても)図9に示した電子ズーム2領域912の分だけ短い。
図12(c)は、図9に示した光学ズーム領域910の範囲でズーム可能な場合のズーム倍率表示1001の表示例である。図12(c)は、図12(a)と比べて(図11(c)と比べても)図9に示した電子ズーム1領域911および電子ズーム2領域912の分だけ短い。
【0072】
以上に示したように、ビューファインダ114に表示するズーム倍率表示1001は、任意の形状でよく、合わせて、ズーム倍率を数字などを表示してもよい。また、上述したように境界線を示すことで、利用者に電子ズーム(縮小処理)の開始や、電子ズーム(拡大処理)の開始を知らせることや、最大倍率の設定状態を知らせることができる。
【0073】
次に、本発明の第2の実施形態として、電子変倍処理を行わず光学ズーム手段のみでズーム動作を行う撮影モードを更に設けたデジタルビデオカメラ(画像記録装置)について説明する。
図17は、本発明の第2の実施形態におけるデジタルビデオカメラの概略構成を示す図である。尚、図17に示すデジタルビデオカメラにおいて、図1に示したデジタルビデオカメラの構成要素と同じ符号の構成要素は同じ機能であるので、説明を省略する。また、図17に示すデジタルビデオカメラは、等倍固定スイッチ1413およびカメラ信号処理回路104aの構成要素が、図1のデジタルビデオカメラと異なる部分なので、この異なる部分を中心に説明する。
【0074】
図17において、等倍固定スイッチ1413は、電子変倍を等倍に固定し光学ズームのみを用いる撮影モード(第2の撮影モード)または、電子変倍を利用する撮影モード(第1の撮影モード)を設定する。すなわち、等倍固定スイッチ1413の設定が、第1の撮影モードの場合は、本実施形態のデジタルビデオカメラは、図1に示したデジタルビデオカメラと同様の撮影動作を行う。また、等倍固定スイッチ1413の設定が、第2の撮影モードの場合は、本実施形態のデジタルビデオカメラは、本実施形態に特有の撮影動作を行う。尚、本実施形態に特有の撮影動作については後述する。
【0075】
また、カメラ信号処理回路104aは、等倍固定スイッチ1413の設定が第1の撮影モードの場合は、図1に示したカメラ信号処理回路104と同様の機能を有し、A/D回路103から供給される撮像データを画像データに変換するための各種処理を行うので、その詳細については説明を省略する。また、カメラ信号処理回路104aは、等倍固定スイッチ1413の設定が第2の撮影モードの場合は、本実施形態に特有の光学ズームのみを利用するズーム処理を行う。尚、どちらの撮影モードにおいても、カメラ信号処理回路104aは、光学ズームを行うためレンズ光学系101の光学ズーム駆動機構を制御する。また、図17に示すデジタルビデオカメラは、図17に示した構成要素以外にもシステムコントローラや記録メディアの駆動回路、ユーザインターフェース回路などの一般的なデジタルビデオカメラが備える構成要素を備えているが、本発明の実施形態の説明には不要であるため省略している。
【0076】
次に、図17に示したカメラ信号処理回路104aの詳細について説明する。図18は、図17に示したカメラ信号処理回路104aの詳細を説明する図である。図18に示すように、カメラ信号処理回路104aは、等倍固定入力端子1516(以下、端子1516とする)およびズーム制御回路211a以外の構成は、図2に示したカメラ信号処理回路104と同様の構成であるので、同じ符号のものについては説明を省略する。カメラ信号処理回路104aは、端子1516から入力される等倍固定スイッチ1413の設定に応じて、電子変倍を等倍に固定して光学ズームのみを用いる第2の撮影モードを実現する。
【0077】
具体的には、第2の撮影モード時に、カメラ信号処理回路104aのズーム制御回路211aは、電子変倍制御回路212に対しては等倍の変倍処理を指示し、ズーム操作キーの操作に応じたズーム処理を光学ズーム制御回路216へ指示する。これにより、電子変倍を等倍に固定して光学ズームのみを用いる撮影モードを実現することができる。この時、変倍処理選択回路207は、メモリ1・202から等倍切り出しした撮像データを基に処理した撮像信号処理回路203の出力を選択する。尚、前述のように撮像素子102と記録画像フォーマットでサンプリング格子が異なる場合は、水平、垂直方向のうちのどちらかが等倍であり、他方は電子変倍を行う。この場合は、等倍処理であっても水平または垂直の電子変倍処理を行う必要があり、その電子変倍率に応じて縮小処理回路205ないしは拡大処理回路206の出力が選択される。尚、変倍処理選択回路207において一度選択された後は、選択した回路および変倍率は固定である。
【0078】
ここで、第2の撮影モードでのズーム処理について説明する。
図19は、第2の撮影モードでのズーム処理の概要を示す図である。1601は、画角を示す枠であり、光学ズームの倍率に応じて変化する画角を示す。撮像素子102及びメモリ1・202は、この枠1601に応じた画像サイズの撮像データを処理している。また、撮像信号処理回路203は、枠1603に応じた画像サイズをメモリ1・202が保持する画像データより切り出し、信号処理を行う。次に、変倍処理回路204は、撮像信号処理回路203が出力する画像データに対して電子変倍処理を行わずに出力する。以上により、第2の撮影モードにおいては、デジタルビデオカメラは、ズーム動作を光学ズームのみで行い、広角端では記録画像1602となり、望遠端では記録画像1606となる画像データを撮影する。尚、記録画像1604は、ズーム倍率が途中の画像である。
【0079】
上述した第2の撮影モードでは、第1の実施形態に示した縮小処理をともなった光学ズームに対して画角が異なるが、縮小による画質変化を受けない画像記録を実現することが可能である。尚、前述のように撮像素子102と記録フォーマットでサンプリング格子が異なる場合は、水平、垂直のうちのどちらかが等倍であり、他方は電子変倍処理を行うが、この場合においても等倍となる方向については変倍処理を行わないので、等倍方向での画質劣化を受けない画像記録が可能である。
【0080】
次に、本発明の第3の実施形態として、光学ズーム手段を備えずにズーム動作を行うデジタルビデオカメラについて説明する。
図20は、本発明の第3の実施形態におけるデジタルビデオカメラの概略構成を示す図である。尚、図20に示すデジタルビデオカメラにおいて、図1に示したデジタルビデオカメラの構成要素と同じ符号の構成要素は同じ機能であるので、説明を省略する。また、図20に示すデジタルビデオカメラは、レンズ光学系101a、カメラ信号処理回路104b、最大倍率設定回路109a、最大倍率選択スイッチ111aの構成要素が、図1のデジタルビデオカメラと異なる部分なので、この異なる部分を中心に説明する。
【0081】
レンズ光学系101aは、入射光を撮像素子102上に結像させるための光学レンズ、絞り、焦点制御、各種光学フィルタ及びその駆動機構を含んでいる。尚、図20のデジタルビデオカメラに示すレンズ光学系101aの上述した光学機構は一般的なものであり詳細な説明を省略する。また、レンズ光学系101aは、ズーム機能を備えていない点が、図1に示したレンズ光学系101と異なる。
【0082】
カメラ信号処理回路104bは、A/D回路103から供給される撮像データを画像データに変換するための各種処理を行う。尚、カメラ信号処理回路104bが行う処理の詳細は後述する。109aは、最大倍率設定回路であり、最大倍率選択スイッチ111aの設定に応じてズーム操作における最大倍率を設定する。尚、最大倍率設定回路109aにおける設定の詳細については後述する。また、図20に示すデジタルビデオカメラは、図20に示した構成要素以外にもシステムコントローラや記録メディアの駆動回路、ユーザインターフェース回路などの一般的なデジタルビデオカメラが備える構成要素を備えているが、本発明の実施形態の説明には不要であるため省略している。
【0083】
次に、図20に示したカメラ信号処理回路104bの詳細について説明する。
図21は、図20に示したカメラ信号処理回路104bの詳細を説明する図である。尚、図21に示すカメラ信号処理回路104bにおいて、図2に示したカメラ信号処理回路104の構成要素と同じ符号の構成要素は同じ機能であるので、説明を省略する。また、図21に示すカメラ信号処理回路104bは、電子ズーム制御回路1811を有する構成が、図2のカメラ信号処理回路104と異なる部分なので、この異なる部分を中心に説明する。
【0084】
電子ズーム制御回路1811は、端子214からのズーム操作キー入力に応じてズーム倍率を決定し、変倍処理回路204およびメモリ1・202からの画像切り出しエリアサイズを制御する。これにより、変倍処理回路204において、電子ズーム制御回路1811が決定したズーム倍率に応じた電子ズーム動作を行う。また、端子214に入力された最大倍率選択値は電子ズーム制御回路1811で処理される。また、電子ズーム制御回路1811は、端子215を介して図20のズーム倍率表示回路110へズーム倍率表示データを出力する。また、電子ズーム制御回路1811には、端子210を介して図1の記録モード制御回路108から、第1の記録モード(静止画記録モード)または第2の記録モード(動画モード)を指定する記録モードデータが入力される。尚、上述したように、この記録モードデータは、撮像信号処理回路203へも入力される。
【0085】
ここで、第3の実施形態のデジタルビデオカメラにおけるズーム処理の動作について説明する。
図22は、図20に示したデジタルビデオカメラにおけるズーム処理動作の概要を示す図である。1901は、画角を示す枠であり、電子ズームが広角端であるときの画角を示している。撮像素子102及びメモリ1・202は、この枠1901に応じた画像サイズの撮像データを処理している。本実施形態では第2の記録モードでは、枠1901に応じた画像サイズの撮像データは縮小して記録される。1902は、縮小後の記録画像であり、枠1901に応じた画像サイズの撮像データに対して画角を保ったままDVフォーマットに応じた画像サイズまで縮小され記録メディア106に記録される画像およびその画像サイズを示す。
【0086】
1903は、等倍切り出しエリアを示す枠であり、枠1901の画像サイズの撮像データより、記録画像サイズと等しい部分画像エリアを示す。この枠1903で撮像データを切り出して信号処理する場合には、切り出しサイズと記録サイズが等しいため電子変倍率=1(等倍)である。尚、撮像素子102と記録フォーマットのサンプリング格子が異なる場合は水平、垂直のうちのどちらかが等倍であり、他方は電子変倍処理が必要である。1904は、記録画像であり、枠1903に応じた画像エリアを処理することで得られる。
【0087】
1905は、望遠端の切り出し画像エリアを示す枠であり、枠1901の画像サイズの撮像データより、最大変倍率の電子ズーム処理に必要な部分画像エリアを示す。また、1906は、記録画像であり、枠1905に応じた画像エリアを処理することで得られる。
【0088】
また、上述した枠1901から枠1903までの切り出し画像エリアの変化は、カメラ信号処理回路104bにおける電子ズーム処理(縮小処理)によって実現される。この切り出し画像エリアの変化領域は、図22に示す電子ズーム1領域1907である。また、上述した枠1903から枠1905までの切り出し画像エリアの変化は、カメラ信号処理回路104bにおける電子ズーム処理(拡大処理)によって実現される。この切り出し画像エリアの変化領域は、図22に示す電子ズーム2領域1908である。
【0089】
すなわち、電子ズーム1領域1907に示すように、一定の記録画像サイズに対して、電子変倍(縮小)処理に応じて切り出し画像サイズを変化させることにより電子ズーム効果を得ている。また、枠1903から枠1905までの切り出し画像サイズが変化する場合は、切り出し画像サイズ<記録画像サイズとなる場合であり、電子変倍率>1の拡大処理を行う。すなわち等倍切り出しに相当する枠1903から電子ズームの上限(最大倍率)となる枠1905までは一定の記録画像サイズに対して、電子変倍(拡大)処理に応じて切り出し画像サイズを変化させることにより電子ズーム効果を得ている。
【0090】
次に、図21の端子214へ入力される、図20の最大倍率設定回路109aからの最大倍率選択値の処理について説明する。電子ズーム制御回路1811は端子214に入力された最大倍率選択値に対応して変倍処理回路204の制御方法を変更し、ズーム操作キー入力によるズーム制御範囲を変更する。ここで、最大倍率選択スイッチ111aの具体例を示し最大倍率選択値の設定例について説明する。図25は、最大倍率選択スイッチ111aの具体例を示す図である。図25に示すように、最大倍率選択スイッチ111aは、例えば、デジタルビデオカメラのビューファインダ114上に表示するGUIによる最大倍率の設定メニューである。これは、上述したGUIを実現するためのプログラムおよびそのプログラムを実行するCPUをデジタルビデオカメラ内に実装することで実現できるものである。
【0091】
図25において、2201は、設定メニュー項目表示であり、“手ぶれ補正”、“電子ズーム”、“ホワイトバランス”などの設定メニュー項目が表示されている。2202は、電子ズーム設定項目であり、電子ズーム機能(ここでは、最大変倍率)に関する設定項目の一覧であり、“×2”、“×8”の2種類がある。尚、電子ズーム設定項目2202は、設定メニュー項目表示2201の“電子ズーム”を選択することで表示される。図25においては、矢印2203に示すように設定メニュー項目表示2201の“電子ズーム”が選択されている。また、図25においては、矢印2204に示すように、電子ズーム設定項目2202の“×8”が選択されている。
【0092】
以上により、デジタルビデオカメラの操作者は設定メニュー項目表示2201より最大倍率選択項目であるところの“電子ズーム”メニューを矢印2203の移動により選択する。これにより、電子ズーム設定項目2202が表示される。ここで、電子ズーム設定項目2202において、項目「×2」を選択することは、図22の電子ズーム1領域(縮小モード領域)1907を使用することを示しており、記録画像1902から記録画像1904まで撮影可能である。また、項目「×8」を選択することは、図22の電子ズーム1領域(縮小モード領域)1907および電子ズーム2領域(拡大モード領域)1908を使用することを示しており、記録画像1902から記録画像1906まで撮影可能である。
【0093】
上述したように最大倍率選択スイッチ111aの設定により、電子ズーム制御回路1811の制御において電子変倍が縮小動作を行う範囲までのズーム倍率「×2」を最大変倍率として設定できる。これにより、電子的な拡大処理による画質劣化を伴わないズームモードを操作者は選択可能である。また電子ズーム制御回路1811の制御により、メモリ1・202に保持する撮像データの切り出し画像サイズを変更し、変倍処理回路204で変倍率に応じた縮小および拡大の電子ズームの動作を行うが、メモリ1・202からの切り出し制御および変倍処理回路204での変倍処理は、第1の実施形態で示したものと同様なので、説明を省略する。
【0094】
次に、図21に示した電子ズーム制御回路1811がズーム操作キーの入力に応じたズーム倍率表示出力を図20のズーム倍率表示回路110供給し、ビューファインダ114にズーム倍率の表示を行う動作および表示例について説明する。図23は、撮影画像を確認するビューファインダ114上のズーム倍率表示例を示す図である。図23(a)は、最大変倍率が電子変倍の最大値であり図22に示した電子ズーム1領域1907および電子ズーム2領域1908までズーム可能な場合のズーム倍率表示の表示例である。この時、最大倍率選択スイッチ111における設定は、図25に示した電子ズーム設定項目2202の「×8」に対応する。図23(a)において、2000は、ズーム倍率表示であり、広角端および望遠端を両端とするスケール中にデジタルビデオカメラの撮影中のズーム倍率を表示するインジケータ表示2001を含む。2002は、境界線であり、、電子ズーム1の上限(図22の電子ズーム1領域1907と電子ズーム2領域1908の境界)を示す。ここで「T」で示される望遠端は、最大倍率「×8」の時であり図22の記録画像1906に相当する。
【0095】
次に、図23(b)は、図22に示した電子ズーム1領域1907の範囲でズーム可能な場合のズーム倍率表示2000の表示例である。この時、最大倍率選択スイッチ111aにおける設定は、図25に示した電子ズーム設定項目2202の「×2」に対応する。ここで「T」で示される望遠端は、最大倍率「×2」の時であり図22の記録画像1904に相当する。
【0096】
次に、図23と異なるズーム倍率表示2000の例を説明する。図24は、図23と異なるズーム倍率表示2000の例を示す図である。図23は、ズーム倍率表示2000の縮尺が可変であったが(=ズーム倍率表示2000の長さが一定)、図24は、ズーム倍率表示2000の縮尺が固定である(=ズーム倍率表示2000の長さが変化する)場合の表示例を示す。
【0097】
図24(a)は、図22に示した電子ズーム1領域1907および電子ズーム2領域1908の範囲でズーム可能な場合のズーム倍率表示2000の表示例である。図24(a)において、2101は、インジケータ表示であり、現在のズーム倍率を示す。2102は、境界線であり、電子ズーム1の上限(図22の電子ズーム1領域1907と電子ズーム2領域1908の境界)を示す。以上に示すように、図24(a)は、上述した図23(a)に対応し、表示形態および表示内容は同じである。
【0098】
図24(b)は、図22に示した電子ズーム1領域1907の範囲でズーム可能な場合のズーム倍率表示2000の表示例である。図24(b)は、図24(a)と比べて(図23(b)と比べても)図22に示した電子ズーム2領域1908の分だけ短い。ここで「T」で示される望遠端は、最大倍率「×2」の時であり図22の記録画像1904に相当する。
【0099】
尚、撮像素子102はカラー撮像を行うエリアセンサであり、複数種類の色フィルタを備える画素が二次元配列で配置さている。また、撮像素子102は、記録モードなどに応じて変化する複数種類の駆動モードを有する。具体的には、上述したように静止画像データを撮影する場合に、全画素の画素データを読み出す非加算読み出しの駆動モードと、動画像データを撮影する場合に、垂直方向の画素データを混合して読み出す加算読み出しの駆動モードの2種類がある。また、駆動モードの種類は上述した限りではなく、種々の駆動モードを備えていてもよい。
【0100】
また、図1および図2に示したデジタルビデオカメラの各種制御回路は、専用のハードウェアにより実現されるものであってもよく、また、制御回路の一部または全部は、メモリおよびCPU(中央演算装置)により構成され、制御部における種々の処理を実現する為のプログラムをメモリに読み込んで実行することによりその処理を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CD−ROM等の読み出しのみが可能な記録媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【0101】
また、コンピュータが読み出したプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の各種制御回路の機能が実現される場合も含まれる。
【0102】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の各種制御回路の機能が実現されてもよい。
【0103】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0117】
以上説明したように、本実施形態の信号処理装置においては、第1のモードが選択されたときは、第1の検知手段により望遠側が選択され続けたことを検知した場合には第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが第2の検知手段により検知された場合に続けて第2の信号処理を行うことにより像の拡大を行い、第2のモードが選択されたときは、第1の信号処理による像の倍率拡大の限界に達したことが第2の検知手段により検知された後更に第1の検知手段により望遠側が選択され続けていることを検知しても第2の信号処理を行わないようにするので、利用者はモードを選択することで像のズーム率を調整することができ、電子ズーム処理による画質劣化が少ないズームモードを利用者が選択できる。
【0118】
また、本実施形態の画像データ生成装置においては、複数種類の最大変倍率候補から利用者が選択した最大変倍率候補を最大変倍率として設定するとともに、変倍率変化表示手段は、最大変倍率より変倍率の低い最大変倍率候補の値を境界線として表示するので、利用者は所望の像の最大ズーム率を選択することができる。すなわち、電子ズーム処理による画質劣化が少ないズームモードを利用者が選択できる。また、最大変倍率候補の値を境界線として表示することで、電子ズーム処理の状態や影響を利用者は簡便に把握することができ、利用者は、電子ズーム処理による画質劣化が少ないズームモードの選択をより適格なものにすることができる。
【0119】
【発明の効果】
本発明によれば、電子ズーム処理による画質劣化が少ないズームモードを利用者が選択できる信号処理装置および画像データ生成装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態におけるデジタルビデオカメラの概略構成を示す図である。
【図2】図1に示したカメラ信号処理回路104の詳細を示す図である。
【図3】図2に示した縮小処理回路205の概略構成を示す図である。
【図4】縮小率に応じた水平方向の可変空間LPFの設定例を示す図である。
【図5】図2に示した拡大処理回路206の概略構成を示す図である。
【図6】アパーチャ補正処理時の輪郭強調信号のゲインを拡大率に比例して増加させる制御例を示す図である。
【図7】図2および図3、図5に示した変倍処理回路204と異なる構成の変倍処理回路204aの概略構成を示す図である。
【図8】図1に示したデジタルビデオカメラにおける静止画/動画モード変更の概要を示す図である。
【図9】図1に示したデジタルビデオカメラにおける第2の記録モード時のズーム動作の概要を示す図である。
【図10】撮影画像を確認するビューファインダ114上のズーム倍率表示例を示す図である。
【図11】ズーム倍率表示1001上に変倍率の境界線を表示する例を示す図である。
【図12】図11と異なるズーム倍率表示1001の例を示す図である。
【図13】最大倍率選択スイッチ111の具体例を示す図である。
【図14】本実施形態のデジタルビデオカメラにおけるモードの設定に応じたズーム処理の動作フロー示す図である。
【図15】本実施形態のデジタルビデオカメラにおけるモードの設定に応じたズーム処理の動作フロー示す図である。
【図16】本実施形態のデジタルビデオカメラにおけるモードの設定に応じたズーム処理の動作フロー示す図である。
【図17】本発明の第2の実施形態におけるデジタルビデオカメラの概略構成を示す図である。
【図18】図17に示したカメラ信号処理回路104aの詳細を説明する図である。
【図19】第2の撮影モードでのズーム処理の概要を示す図である。
【図20】本発明の第3の実施形態におけるデジタルビデオカメラの概略構成を示す図である。
【図21】図20に示したカメラ信号処理回路104bの詳細を説明する図である。
【図22】図20に示したデジタルビデオカメラにおけるズーム処理動作の概要を示す図である。
【図23】撮影画像を確認するビューファインダ114上のズーム倍率表示例を示す図である。
【図24】図23と異なるズーム倍率表示2000の例を示す図である。
【図25】最大倍率選択スイッチ111aの具体例を示す図である。
【図26】従来の光学ズーム機能および電子ズーム機能を備えた画像記録装置の概略構成を示す図である。
【図27】図26に示した画像記録装置の光学ズームと電子ズームの動作を示す図である。
【符号の説明】
101、101a レンズ光学系
102 撮像素子
103 A/D回路
104、104a、104b カメラ信号処理回路
105 記録信号処理回路
106 記録メディア
107 記録モードスイッチ
108 記録モード制御回路
109、109a 最大倍率設定回路
110 ズーム倍率表示回路
111、111a 最大倍率選択スイッチ
112 ズーム操作キー
113 表示制御回路
114 ビューファインダ
202 メモリ1
203 撮像信号処理回路
204 変倍処理回路
205 縮小処理回路
206 拡大処理回路
207 変倍処理選択回路
208 メモリ2
211、211a ズーム制御回路
212 電子変倍制御回路
216 光学ズーム制御回路
302 縮小制御回路
304 LPF係数設定回路
305 可変空間LPF
306 ダウンサンプル回路
502 拡大制御回路
504 アップサンプル回路
505 補正係数設定回路
506 アパーチャ回路
702 変倍制御
704 リサンプルフィルタ
1001、2000 ズーム倍率表示
1301、2201 設定メニュー項目表示
1413 等倍固定スイッチ
1811 電子ズーム制御回路

Claims (10)

  1. 撮像手段で取得した像の倍率を変化させる信号処理装置であって、
    像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理手段と、
    前記第1の信号処理と異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理手段と、
    望遠側または広角側の選択を検知する第1の検知手段と、
    前記第1の信号処理による像の倍率拡大の限界を検知する第2の検知手段と、
    第1のモードと第2のモードとを選択可能な選択手段と、
    前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示手段とを具備し、
    前記選択手段により、
    前記第1のモードが選択されたときは、前記第1の検知手段により望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知手段により検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、
    前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知手段により検知された後更に前記第1の検知手段により望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、
    前記変倍率変化表示手段は、前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とする信号処理装置。
  2. 前記第1の信号処理手段は、前記像の空間周波数帯域制限を行う空間ローパスフィルタ手段を更に具備することを特徴とする請求項1に記載の信号処理装置。
  3. 前記空間ローパスフィルタ手段は、前記縮小変更の変倍率に応じて前記空間周波数帯域制限の周波数特性を変更することを特徴とする請求項2に記載の信号処理装置。
  4. 前記第2の信号処理手段は、前記像の輪郭を強調するための輪郭強調手段を更に具備することを特徴とする請求項1に記載の信号処理装置。
  5. 前記輪郭強調手段は、前記第2の信号処理手段の変倍率に応じて前記輪郭の強調の度合いを変更することを特徴とする請求項4に記載の信号処理装置。
  6. 前記第1のモード、第2のモードは、撮像手段で取得した像の変倍率が等倍の場合は前記第1の信号処理および前記第2の信号処理を行わないことを特徴とする請求項5に記載の信号処理装置。
  7. 前記像の信号を記憶する信号記憶手段を有し、請求項1から請求項6のいずれか1項に記載の信号処理装置により処理された像の信号を前記信号記憶手段に記憶することを特徴とする信号記憶装置。
  8. 請求項1から請求項6のいずれか1項に記載の信号処理装置と、前記撮像手段の受光面に結像する被写体像の画角を変更する光学変倍手段とを更に具備し、
    前記第1の信号処理の際に前記光学変倍手段による変倍を行うことを特徴とする画像記録装置。
  9. 撮像手段で取得した像の倍率を変化させる信号処理方法であって、
    像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理ステップと、
    前記第1の信号処理ステップと異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理ステップと、
    望遠側または広角側の選択を検知する第1の検知ステップと、
    前記第1の信号処理ステップによる像の倍率拡大の限界を検知する第2の検知ステップと、
    第1のモードと第2のモードとを選択可能な選択ステップと、
    前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示ステップとを有し、
    前記選択ステップにおいて、
    前記第1のモードが選択されたときは、前記第1の検知ステップにおいて望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知ステップにおいて検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、
    前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知ステップにより検知された後更に前記第1の検知ステップにおいて広角側から望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、
    前記変倍率変化表示ステップでは、
    前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とする信号処理方法。
  10. コンピュータに撮像手段で取得した像の倍率を変化させる処理を実行させるためのプログラムであって、
    像の倍率を増加させる際に撮像された撮像面の走査範囲に対して撮像信号を縮小変更する第1の信号処理を行う第1の信号処理ステップと、
    前記第1の信号処理ステップと異なり信号を拡大処理する第2の信号処理を行うことによって像の倍率を変化させる第2の信号処理ステップと、
    望遠側または広角側の選択を検知する第1の検知ステップと、
    前記第1の信号処理ステップによる像の倍率拡大の限界を検知する第2の検知ステップと、
    第1のモードと第2のモードとを選択可能な選択ステップと、
    前記撮像手段で取得した像の倍率の変化に応じてスケール上をインジゲータが移動するように表示する変倍率変化表示ステップとを前記コンピュータに実行させ、
    前記選択ステップにおいて、
    前記第1のモードが選択されたときは、前記第1の検知ステップにおいて望遠側が選択され続けたことを検知した場合には前記第1の信号処理を行うとともに該第1の信号処理による像の倍率拡大が限界に達したことが前記第2の検知ステップにおいて検知された場合に続けて前記第2の信号処理を行うことにより像の拡大をし、
    前記第2のモードが選択されたときは、前記第1の信号処理による像の倍率拡大の限界に達したことが前記第2の検知ステップにより検知された後更に前記第1の検知ステップにおいて広角側から望遠側が選択され続けていることを検知しても前記第2の信号処理を行わないようにし、
    前記変倍率変化表示ステップでは、
    前記第1のモードが選択されたときと前記第2のモードが選択されたときとでスケールの長さを変えずに、スケール上の望遠端の倍率を変えると共に、前記第2のモードから前記第1のモードに選択が変更されたときに前記スケール上に前記第2の信号処理の領域を表示することを特徴とするプログラム。
JP2003057628A 2003-03-04 2003-03-04 信号処理装置、信号処理方法およびプログラム Expired - Fee Related JP4250437B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003057628A JP4250437B2 (ja) 2003-03-04 2003-03-04 信号処理装置、信号処理方法およびプログラム
US10/790,930 US7602425B2 (en) 2003-03-04 2004-03-01 Signal processing apparatus and image data generation apparatus with electronic reduction and enlargement signal processing capabilities
CNB2004100074798A CN100338940C (zh) 2003-03-04 2004-03-04 信号处理装置和图像数据生成装置
US12/570,471 US8350944B2 (en) 2003-03-04 2009-09-30 Signal processing apparatus and image data generation apparatus with electronic reduction and enlargement signal processing capabilities
US13/721,954 US8842207B2 (en) 2003-03-04 2012-12-20 Signal processing apparatus and image data generation apparatus with electronic reduction and enlargement signal processing capabilities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003057628A JP4250437B2 (ja) 2003-03-04 2003-03-04 信号処理装置、信号処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2004266774A JP2004266774A (ja) 2004-09-24
JP2004266774A5 JP2004266774A5 (ja) 2006-07-27
JP4250437B2 true JP4250437B2 (ja) 2009-04-08

Family

ID=32923545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003057628A Expired - Fee Related JP4250437B2 (ja) 2003-03-04 2003-03-04 信号処理装置、信号処理方法およびプログラム

Country Status (3)

Country Link
US (3) US7602425B2 (ja)
JP (1) JP4250437B2 (ja)
CN (1) CN100338940C (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002324833A1 (en) * 2001-08-29 2003-03-18 Digeo, Inc. System and method for capturing video frames for focused navigation within a user interface
US7650569B1 (en) * 2001-08-29 2010-01-19 Allen Paul G System and method for focused navigation within a user interface
US7107532B1 (en) * 2001-08-29 2006-09-12 Digeo, Inc. System and method for focused navigation within a user interface
US7055104B1 (en) * 2002-03-29 2006-05-30 Digeo, Inc. System and method for focused navigation using filters
JP4250437B2 (ja) * 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP3959741B2 (ja) * 2003-03-19 2007-08-15 ソニー株式会社 撮像装置及び画像の輪郭強調方法
JP2005267000A (ja) * 2004-03-17 2005-09-29 Sony Corp 電子機器および機能割り当て方法
JP5055686B2 (ja) * 2004-05-13 2012-10-24 ソニー株式会社 撮像システム、撮像装置、撮像方法
JP2006094145A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd 撮影装置及びそのプログラム
JP4624065B2 (ja) * 2004-10-13 2011-02-02 オリンパス株式会社 撮像装置
US7573514B2 (en) * 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
JP4495028B2 (ja) * 2005-05-11 2010-06-30 株式会社日立製作所 カメラ装置および監視カメラシステム
JP4747670B2 (ja) * 2005-05-20 2011-08-17 株式会社デンソー 画像処理装置
JP2007028283A (ja) * 2005-07-19 2007-02-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2007094742A (ja) * 2005-09-28 2007-04-12 Olympus Corp 画像信号処理装置及び画像信号処理プログラム
JP4678849B2 (ja) * 2005-10-31 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4608436B2 (ja) * 2006-01-05 2011-01-12 オリンパス株式会社 画像撮影装置
JP4018727B2 (ja) * 2006-02-14 2007-12-05 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
CN100586152C (zh) * 2006-03-30 2010-01-27 奥林巴斯映像株式会社 照相机
US7898581B2 (en) * 2006-05-08 2011-03-01 Panasonic Corporation Image pickup apparatus with noise reduction unit
JP4875942B2 (ja) * 2006-07-31 2012-02-15 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP2008042847A (ja) * 2006-08-10 2008-02-21 Canon Inc 画像処理装置、およびその制御方法
JP4254825B2 (ja) * 2006-09-04 2009-04-15 カシオ計算機株式会社 撮像装置、ズーム情報表示方法、およびズーム情報表示プログラム
JP4245019B2 (ja) * 2006-09-04 2009-03-25 ソニー株式会社 ビューファインダ、撮像装置および表示信号生成回路
JP4802082B2 (ja) * 2006-11-22 2011-10-26 株式会社リコー 画像処理装置,変倍処理決定方法,プログラム,および記録媒体
JP2008146155A (ja) * 2006-12-06 2008-06-26 Sony Corp 画像処理方法および装置
JP4767838B2 (ja) * 2006-12-28 2011-09-07 三星電子株式会社 撮像装置および撮像方法
JP2008283442A (ja) * 2007-05-10 2008-11-20 Olympus Corp 撮像装置
JP2009054130A (ja) 2007-07-27 2009-03-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP2008236799A (ja) * 2008-06-17 2008-10-02 Canon Inc 撮像装置及びその制御方法
JP5371310B2 (ja) * 2008-07-24 2013-12-18 キヤノン株式会社 画像処理装置
JP4730569B2 (ja) * 2009-03-27 2011-07-20 カシオ計算機株式会社 撮影装置、撮像方法、及びプログラム
JP5402396B2 (ja) * 2009-08-21 2014-01-29 三菱電機株式会社 映像再生装置、映像記録再生装置、および映像記録再生方法
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
WO2011116347A1 (en) 2010-03-19 2011-09-22 Quickvein, Inc. Apparatus and methods for imaging blood vessels
CN101882310A (zh) * 2010-06-10 2010-11-10 上海电力学院 数码照片的数字变焦倍数检测方法
JP2012060491A (ja) * 2010-09-10 2012-03-22 Canon Inc 画像処理装置及び画像処理方法及びプログラム
US9110582B2 (en) * 2010-11-03 2015-08-18 Samsung Electronics Co., Ltd. Mobile terminal and screen change control method based on input signals for the same
JP5697418B2 (ja) * 2010-11-30 2015-04-08 キヤノン株式会社 画像処理装置及びその制御方法
JP5748513B2 (ja) * 2011-03-07 2015-07-15 株式会社ザクティ 撮像装置
US20120236181A1 (en) * 2011-03-16 2012-09-20 Qualcomm Incorporated Generating a zoomed image
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP6021594B2 (ja) * 2012-11-08 2016-11-09 オリンパス株式会社 撮像装置及びプログラム
JP6375607B2 (ja) 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP5817858B2 (ja) * 2014-01-30 2015-11-18 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP6557451B2 (ja) * 2014-05-07 2019-08-07 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP6669065B2 (ja) * 2014-07-03 2020-03-18 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
US10257431B2 (en) * 2014-07-08 2019-04-09 Sony Corporation Filter control device, filter controlling method, and imaging device
JP6272387B2 (ja) 2015-05-29 2018-01-31 キヤノン株式会社 撮像素子および撮像装置
WO2017154366A1 (ja) * 2016-03-11 2017-09-14 ソニー株式会社 ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
JP6980494B2 (ja) * 2017-11-16 2021-12-15 キヤノン株式会社 撮像制御装置およびその制御方法
CN110646689A (zh) * 2019-09-10 2020-01-03 许继集团有限公司 一种同源双采样方式的行波测距方法与装置
US20230222754A1 (en) * 2022-01-07 2023-07-13 Sony Interactive Entertainment Inc. Interactive video playback techniques to enable high fidelity magnification
CN115209024A (zh) * 2022-07-18 2022-10-18 湖南华南光电(集团)有限责任公司 一种基于fpga电子变倍前置ddr的相机***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0282993B1 (en) * 1987-03-20 1994-02-02 Canon Kabushiki Kaisha Imaging apparatus
KR940007161B1 (ko) * 1991-06-21 1994-08-06 삼성전자 주식회사 이미지버퍼를 이용한 전자주밍시스템
JP3523652B2 (ja) 1992-03-11 2004-04-26 オリンパス株式会社 カメラ
US5838371A (en) * 1993-03-05 1998-11-17 Canon Kabushiki Kaisha Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
JPH0773302A (ja) 1993-07-20 1995-03-17 Olympus Optical Co Ltd 画像情報処理システム
JPH07177407A (ja) 1993-12-16 1995-07-14 Canon Inc 撮像装置
JPH0846846A (ja) * 1994-07-29 1996-02-16 Canon Inc 撮像装置
KR100192034B1 (ko) * 1996-12-23 1999-06-15 이해규 카메라의 줌잉 장치 및 그 방법
JP4532610B2 (ja) * 1998-01-30 2010-08-25 キヤノン株式会社 カメラ制御システムおよびその方法およびその動作処理を実行するプログラムを記憶した記憶媒体
JP4553994B2 (ja) * 1998-03-10 2010-09-29 株式会社ニコン 電子スチルカメラ
US6982755B1 (en) * 1999-01-22 2006-01-03 Canon Kabushiki Kaisha Image sensing apparatus having variable noise reduction control based on zoom operation mode
JP2000278592A (ja) * 1999-01-22 2000-10-06 Canon Inc 撮像装置、その制御方法および記憶媒体
US6643416B1 (en) * 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
JP2001197347A (ja) 2000-01-05 2001-07-19 Fuji Photo Film Co Ltd 情報記録装置、情報取得方法、およびデジタルカメラ
US7046290B2 (en) * 2000-01-26 2006-05-16 Nikon Corporation Multi-point auto-focus digital camera including electronic zoom
JP4593820B2 (ja) * 2000-06-15 2010-12-08 キヤノン株式会社 撮像装置、画像処理装置及び画像処理方法
US6539177B2 (en) * 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
US20030103156A1 (en) * 2001-12-04 2003-06-05 Brake Wilfred F. Camera user interface
JP4250437B2 (ja) * 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム

Also Published As

Publication number Publication date
JP2004266774A (ja) 2004-09-24
US8350944B2 (en) 2013-01-08
US7602425B2 (en) 2009-10-13
US20100013960A1 (en) 2010-01-21
CN100338940C (zh) 2007-09-19
US20040174444A1 (en) 2004-09-09
CN1527588A (zh) 2004-09-08
US8842207B2 (en) 2014-09-23
US20130107080A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
JP4250437B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP5983616B2 (ja) 撮像装置、撮像方法及びプログラム
JP4596986B2 (ja) 画像撮像装置
EP2779625B1 (en) Image pick-up device and control method therefor
US20070058064A1 (en) Image processing apparatus and method, and program therefor
JP5043635B2 (ja) 撮像装置
JP2007028283A (ja) 撮像装置
JP4767838B2 (ja) 撮像装置および撮像方法
JP2008061148A (ja) 撮像装置、ズーム情報表示方法、およびズーム情報表示プログラム
JP2008011492A (ja) 撮像装置およびその方法
JP4553798B2 (ja) 画像撮像装置
US8068699B2 (en) Imaging apparatus and imaging method
JP4596987B2 (ja) 画像撮像装置
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP2007124278A (ja) 撮像装置
JP4740074B2 (ja) 撮像装置及び撮像方法
JP2008301172A (ja) コンバージョンレンズモード付きカメラ
JP7493920B2 (ja) 表示制御装置およびその制御方法およびそのプログラムおよびその記憶媒体
JP3746056B2 (ja) 画像拡大装置および方法
JP5455485B2 (ja) 撮像装置
JP5340042B2 (ja) 撮像装置及びその制御方法
JP5390913B2 (ja) 撮像装置及びその制御方法
JP2009152894A (ja) 画像処理装置及びその制御方法
JP2021124546A (ja) 表示制御装置、制御方法、プログラムおよび記憶媒体
JP2021034866A (ja) 表示制御装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4250437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees