JP4238637B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP4238637B2 JP4238637B2 JP2003149593A JP2003149593A JP4238637B2 JP 4238637 B2 JP4238637 B2 JP 4238637B2 JP 2003149593 A JP2003149593 A JP 2003149593A JP 2003149593 A JP2003149593 A JP 2003149593A JP 4238637 B2 JP4238637 B2 JP 4238637B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pixel conversion
- pixel
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、光学手段および画素変換手段により画像を拡大または縮小して合成の処理をする撮像装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
特許文献１には、電子ズームで可変速ズームを実現することを目的として、電子ズーム手段を有するビデオカメラにおいて、設定される倍率に応じて信号を読み出す順番を決定するメモリテーブルが設けられ、このメモリテーブルで決定される上記読み出す順番のデータを順次読み出すか、任意にスキップして読み出すことにより、上記電子ズーム手段の倍率の変化速度を可変とするようにしたビデオカメラが開示されている。
【０００３】
また、特許文献２には、ズームレンズを使用することによる問題点を除去でき、しかもズームレンズを使用した場合と同様に連続的なズーム倍率を得ること目的として、焦点距離を切り換えて光学倍率を非連続的に切り換えることができる多焦点撮像レンズと、撮像素子からの撮像信号を処理して得られるビデオ信号に対して画像拡大処理をする電子ズーム手段と、ズーム操作に応じて上記多焦点撮像レンズの上記光学倍率を切り換えると共に上記多焦点撮像レンズで切り換えられる上記光学倍率以外の倍率を補間するように上記電子ズーム手段における電子ズーム倍率を制御してズーム倍率を連続的に変化させるズーム制御手段とを備えるビデオカメラが開示されている。
【０００４】
【特許文献１】
特開平６−２７３６５８号公報
【特許文献２】
特開平８−１８８４２号公報
【０００５】
【発明が解決しようとする課題】
しかし、上述した従来のビデオカメラの画像変倍方式（特許文献１）は画面サイズ変更や画像の電子拡大処理中に行われていて、画面サイズが固定および画像の劣化の無い変倍画素変換は行えず、変倍中の拡大縮小処理では時間軸変化における拡大率の不連続性または、画質劣化（特許文献２）を伴うという不都合があった。
【０００６】
そこで、本発明は、かかる点に鑑みてなされたものであり、画像劣化の無い連続した変倍画素変換を行うことができる撮像装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明の撮像装置は、記憶手段に記憶された画像情報を読み出して、記録手段に記録される画素数のフォーマットに対して画質劣化が無い画素数まで変換可能に画素変換処理を施す画素変換手段と、画像情報を合成する合成手段と、画素変換手段による画素変換後の変換画素情報を記録手段に記録する際に、記録に関わる画素数に対して、撮像手段における光電変換部の画素数は十分に大きいものを有し、光電変換部の画素数範囲で拡大または縮小を行い、且つ光学手段に対する拡大または縮小の動作を制御する制御手段であって、フォーカス合焦時の距離情報から、撮像手段により撮像されて光電変換された被写体の画像情報のうちの一番距離の近い被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように画素変換手段に画素変換を行わせ、画素変換後の一番距離の近い被写体と他の被写体とを合成手段に合成させ、合成手段で合成された画像情報を記録手段に記録させる制御手段とを有して構成されるものである。
【０００８】
従って本発明によれば、以下の作用をする。
光学手段から入る光を撮像手段で光電変換した高精細画素の画像信号を記憶手段に取り込む。
【０００９】
その取り込んだ画像情報を画素変換手段にて記録手段が必要とする最小画素レベルまで拡大できるようにし、撮像手段が持つ最大画素数との間を変倍可能とし、且つ光学手段のレンズ特性を最大限に生かせるよう光学変倍制御と並走して画素変換処理を行う。
【００１０】
これにより、光学焦点距離を短くして色収差に有利になるような小型レンズに対して画質劣化の無い画素変換処理を行う。
また、被写体の画像情報のうちの一番距離の近い被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように画素変換処理を行い、画素変換後の一番距離の近い被写体と他の被写体とを合成して記録手段に記録するので、画像情報上の２つ以上の異なる距離をもった画像に対して、距離の近い映像を拡大できることにより画像の構図をより早く決定して撮影ができる。
【００１１】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜、図面を参照しながら説明する。図１は、本発明の実施の形態に適用される撮像装置の色収差改善、拡大および縮小合成用のシステムブロック図である。
【００１２】
まず、本発明の実施の形態に適用される撮像装置の構成を説明する。
図1に示す撮像装置は、対物レンズ、ズームレンズおよびフォーカスレンズを有する光学系と、光学系を介して入射した被写体の反射光を1に示すＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣｍｏｓ（Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）により撮像して撮像された被写体の画像に信号処理を施して記録メディア１１に記録するように構成される。
【００１３】
この撮像装置は、ＣＣＤまたはＣｍｏｓ１により撮像されて光電変換された被写体の画像情報をＡ／Ｄ変換器３によりデジタルデータに変換した後に信号処理を施すために記憶する信号処理メモリー４を有して構成される。
【００１４】
また、この撮像装置は、信号処理メモリー４に記憶された画像情報を読み出して、記録メディア１１に記録される画素数のフォーマットに対して画質劣化が無い画素数まで変換可能に画素変換処理を施す画素変換器（１）５、（２）６を有して構成される。
【００１５】
また、この撮像装置は、画素変換器（１）５、（２）６による画素変換後の変換画素情報を記録メディア１１に記録する際に、記録に関わる画素数に対して、ＣＣＤまたはＣｍｏｓ１における光電変換部の画素数は十分に大きいものを有し、光電変換部の画素数範囲で拡大または縮小を行い、且つ光学系に対する拡大または縮小の動作を制御するＣＰＵ（Ｃｅｎｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（１）１６、（２）１８を有して構成される。
【００１６】
ここで、この撮像装置は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御すると共にタイミングジェネレータ１７から発生するタイミング信号ＴＧによりＣＣＤまたはＣｍｏｓ１、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）部２およびＡ／Ｄ変換器３のタイミングを制御するズームレンズ制御部ＣＰＵ（１）１６を有して構成される。
【００１７】
また、この撮像装置は、信号処理メモリー４により検出されたフォーカス検出信号に基づいて信号処理メモリー４に対する書き込み信号Ｒまたは読み出し信号Ｗを供給して画像情報の書き込みまたは読み出しを制御し、画素変換器（１）５、（２）６に対する倍率指示信号を供給して画素変換処理を制御すると共に、フレームメモリー７に対する書き込み信号Ｒまたは読み出し信号Ｗを供給して画素変換器（２）６から画素変換後のデータの書き込みまたは読み出しを制御し、合成部８に合成番地指示信号を供給して画素変換器（１）５からの画素変換後のデータと画素変換器（２）６からの画素変換後のデータとの合成を制御して、切り替え部９に合成オン／オフ信号を供給して合成の有無の切り替えを制御する画素変換制御ＣＰＵ（２）１８を有して構成される。
【００１８】
この２つのＣＰＵ（１）１６、（２）１８は、お互いの光学拡大縮小情報および画素変換拡大縮小情報を共有し、最適な制御環境と整えるように機能する。ズームレンズおよびフォーカスレンズの移動情報であるレンズ光学情報はお互いのＣＰＵ（１）１６、（２）１８が管理しこの光学移動位置に応じて、倍率指示信号に基づく画素変換器（１）５、（２）６の変倍率を制御するものである。画素変換後の変換データは記録変換部１０によりメディア記録信号に変換し記録メディア１１に記録するメディア記録部へ導かれる。
【００１９】
また、この撮像装置は、画素変換制御ＣＰＵ（２）１８に対して合成およびズーム指示を入力するためのスイッチ群１９、およびこれらを内蔵するタッチパネル２０を有している。
【００２０】
次に、このように構成された本発明の実施の形態に適用される撮像装置の動作を説明する。
ＣＣＤまたはＣｍｏｓ１により撮像されて光電変換された被写体の画像情報をＡ／Ｄ変換器３によりデジタルデータに変換した後に信号処理を施すために信号処理メモリー４に記憶する。
【００２１】
画素変換器（１）５、（２）６は、信号処理メモリー４に記憶された画像情報を読み出して、記録メディア１１に記録される画素数のフォーマットに対して画質劣化が無い画素数まで変換可能に画素変換処理を施す。
【００２２】
（１）１６、（２）１８は、画素変換器（１）５、（２）６による画素変換後の変換画素情報を記録メディア１１に記録する際に、記録に関わる画素数に対して、ＣＣＤまたはＣｍｏｓ１における光電変換部の画素数は十分に大きいものを有し、光電変換部の画素数範囲で拡大または縮小を行い、且つ光学系に対する拡大または縮小の動作を制御する。
【００２３】
ここでＣＰＵ（１）１６、（２）１８からの変倍情報に基づき画素変換器（１）５、（２）６による拡大縮小の画質劣化の無い画素変換が行われる。
【００２４】
これにより、この一連の動作と光学焦点距離の短い性能により劣化の少ない色収差を従来同一光学倍率と等価なステムが実現する。この一連の動作と光学焦点距離の短い性能により劣化の少ない色収差を実現する。よって小型の光学レンズシステムを従来と同一光学倍率で実現できる。
【００２５】
図２は、色収差向上の概念図であり、図２Ａは光電変換部における画素変換区間および画素変換部、図２Ｂは光学対画素変換の移動量に対する倍率と光学および画素変換対色収差の移動量に対する倍率である。
【００２６】
図２Ａにおいて、ＣＣＤまたはＣｍｏｓ１における光電変換部２１は光学系の周辺部に相当する画素変換区間２２において拡大または縮小の画素変換を行い、変換処理後の画素変換部２３を生成する。
【００２７】
図２Ｂにおいて、光学２４対色収差２５の移動量に対する倍率の図で示すように、光学２４の移動量のみで倍率を得る場合には色収差２５は最大に増加する。
【００２８】
これに対して、光学２６および画素変換２８対色収差２７の移動量に対する倍率の図で示すように、光学２６および画素変換２８の移動量の総合動作２９で３１に示すように同じ倍率を得る場合には色収差２７は３０に示すように差分を得ることができ、光学長の短いレンズで色収差が向上する。
【００２９】
また、この撮像装置は、画素変換器（１）５、（２）６にて記録メディア１１が必要とする最小画素レベルまで拡大できる構成をとり、ＣＣＤまたはＣｍｏｓ１が持つ最大画素数との間を変倍可能とし、且つ光学レンズ特性を最大限に生かせるよう画素変換制御を光学変倍制御と並走し処理を行い実現するものである。これにより、周辺解像度が低下した部分を使用しない制御、光学変倍中の最大空間周波数を活用で来る制御により、画質劣化の無い光学/画素変換を行うように構成される。
【００３０】
この撮像装置は、以下のような動作をする。
この変倍に対して、光学上の性能はあらかじめＣＰＵ（１）１６、（２）１８部に入力されている光学情報テーブルを参照しながらレンズ距離情報に基づき制御を行うものとする。
【００３１】
これにより、この一連の動作から光学レンズ性能の劣化の少ない部分で光学ズームと画素変換による並走した変倍処理を行いことができるので、従来技術では画質劣化を抑えるアパコンや補間処理を行ってきたのに対して、今までに無い画質劣化の無いまた高性能な変倍をすることができる。
【００３２】
図３は、光学長の短いレンズで色収差が気にならなく、倍率を拡大したいケースの色収差向上の概念図であり、図３Ａは光電変換部における画素変換区間および画素変換部、図３Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【００３３】
図３Ａにおいて、ＣＣＤまたはＣｍｏｓ１における光電変換部２１は光学系の周辺部に相当する画素変換区間２２において拡大または縮小の画素変換を行い、変換処理後の画素変換部２３を生成する。
【００３４】
図３Ｂにおいて、色収差リミット３３までの光学３２および画素変換３４の移動量に対する倍率の図で示すように、色収差リミット３３まで光学３２および画素変換３４の移動量の総合動作３５で示すように倍率を拡大することができ、光学長の短いレンズで色収差が向上する。
【００３５】
図４は、光学優先方式の色収差向上の概念図であり、図４Ａは光電変換部における画素変換区間および画素変換部、図４Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【００３６】
図４Ａにおいて、ＣＣＤまたはＣｍｏｓ１における光電変換部２１は光学系の周辺部に相当する画素変換区間２２において拡大または縮小の画素変換を行い、変換処理後の画素変換部２３を生成する。
【００３７】
図４Ｂにおいて、色収差リミット43における制御可変ポイントＰ１、Ｐ２での光学４１，４２および画素変換４４の移動量に対する倍率の図で示すように、色収差リミット４３における制御可変ポイントＰ１まで光学４１のみで倍率を拡大し、色収差リミット４３における制御可変ポイントＰ１からＰ２までは画素変換４４のみで倍率を拡大し、色収差リミット４３における制御可変ポイントＰ２以降は光学４２のみで倍率を拡大して、総合動作４５で示すように倍率を拡大することができ、光学優先方式で色収差が向上する。
【００３８】
図１５は、光学優先方式の色収差向上の色収差制御動作を示すフローチャートであり、図１５Ａは拡大、図１５Ｂは縮小である。
図１５Ａに示す拡大動作では、ステップＳ１で拡大ズームスイッチをオンする。具体的には、ユーザーは、図１に示す拡大ズームスイッチ１９−３、図１４Ａに示す拡大キー１４２−１、図１４Ｂに示す拡大／縮小ダイヤル１４８の拡大部を操作する。
【００３９】
ステップＳ２で、光学ズーム制御が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００４０】
ステップＳ３で、焦点距離がリミット値であるか否かを判断してリミット値までステップＳ２の光学ズーム制御処理を繰り返す。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離がリミット値であるか否かを判断する。
【００４１】
ステップＳ３で焦点距離がリミット値であるとき、ステップＳ４に移行して、光学ズーム制御に替えて画素変換処理が行われる。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して倍率指示信号を供給して、画素変換器（１）５は、倍率指示信号に基づく倍率で信号処理メモリー４から読み出される画像情報に画素変換による拡大変倍処理を施す。
【００４２】
ステップＳ５で、画素変換処理の倍率が最大であるか否かを判断して最大値までステップＳ４の画素変換処理を繰り返す。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して供給する倍率指示信号の倍率が最大であるか否かを判断する。
【００４３】
ステップＳ５で画素変換処理の倍率が最大であるとき、ステップＳ６に移行して、画素変換処理制御に替えて光学ズーム制御処理が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００４４】
ステップＳ６で、焦点距離が最大であるか否かを判断して最大値までステップＳ６の光学ズーム制御処理を繰り返して最大値のとき終了する。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離が最大値であるか否かを判断する。
【００４５】
図１５Ｂに示す縮小動作では、ステップＳ１１で縮小ズームスイッチをオンする。具体的には、ユーザーは、図1に示す縮小ズームスイッチ１９−４、図１４Ａに示す縮小キー１４２−２、図１４Ｂに示す拡大／縮小ダイヤル１４８の縮小部を操作する。
【００４６】
ステップＳ１２で、光学ズーム制御が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００４７】
ステップＳ１３で、焦点距離がリミット値であるか否かを判断してリミット値までステップＳ１２の光学ズーム制御処理を繰り返す。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離がリミット値であるか否かを判断する。
【００４８】
ステップＳ１３で焦点距離がリミット値であるとき、ステップＳ１４に移行して、光学ズーム制御に替えて画素変換処理が行われる。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して倍率指示信号を供給して、画素変換器（１）５は、倍率指示信号に基づく倍率で信号処理メモリー４から読み出される画像情報に画素変換による縮小変倍処理を施す。
【００４９】
ステップＳ１５で、画素変換処理の倍率が最小であるか否かを判断して最小値までステップＳ１４の画素変換処理を繰り返す。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して供給する倍率指示信号の倍率が最小であるか否かを判断する。
【００５０】
ステップＳ１５で画素変換処理の倍率が最小であるとき、ステップＳ１６に移行して、画素変換処理制御に替えて光学ズーム制御処理が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００５１】
ステップＳ１６で、焦点距離が最小であるか否かを判断して最小値までステップＳ６の光学ズーム制御処理を繰り返して最小値のとき終了する。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離が最小値であるか否かを判断する。
【００５２】
図５は、画素変換併用で長焦点のみ光学変倍のケースの色収差向上の概念図であり、図５Ａは光電変換部における画素変換区間および画素変換部、図５Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【００５３】
図５Ａにおいて、ＣＣＤまたはＣｍｏｓ１における光電変換部２１は光学系の周辺部に相当する画素変換区間２２において拡大または縮小の画素変換を行い、変換処理後の画素変換部２３を生成する。
【００５４】
図５Ｂにおいて、色収差リミット５３における画素変換リミットおよび制御可変ポイントＰ１１での光学５１，５２および画素変換５４の移動量に対する倍率の図で示すように、色収差リミット５３における画素変換リミットおよび制御可変ポイントＰ１１まで光学５１および画素変換５４の併用で倍率を拡大し、色収差リミット５３における画素変換リミットおよび制御可変ポイントＰ１１以降は光学５２のみで倍率を拡大して、総合動作５５で示すように倍率を拡大することができ、画素変換併用で長焦点のみ光学変倍で色収差が向上する。
【００５５】
図１６は、画素変換併用で長焦点のみ光学変倍のケースの色収差向上の色収差制御動作その２を示すフローチャートであり、図１６Ａは拡大、図１６Ｂは縮小である。
【００５６】
図１６Ａに示す拡大動作では、ステップＳ２１で拡大ズームスイッチをオンする。具体的には、ユーザーは、図１に示す拡大ズームスイッチ１９−３、図１４Ａに示す拡大キー１４２−１、図１４Ｂに示す拡大／縮小ダイヤル１４８の拡大部を操作する。
【００５７】
ステップＳ２２で、光学ズーム制御および画素変換処理が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。これと同時に、ＣＰＵ（２）１８は、画素変換器（１）５に対して倍率指示信号を供給して、画素変換器（１）５は、倍率指示信号に基づく倍率で信号処理メモリー４から読み出される画像情報に画素変換による拡大変倍処理を施す。
【００５８】
ステップＳ２３で、焦点距離がリミット値であるか否かを判断してリミット値までステップＳ２の光学ズーム制御処理を繰り返す。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離がリミット値であるか否かを判断する。
【００５９】
ステップＳ２３で焦点距離がリミット値であるとき、ステップＳ２４に移行して、光学ズーム制御を停止する。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズの制御を停止する。
【００６０】
ステップＳ２５で、画素変換処理のリミットであるか否かを判断してリミット値までステップＳ２４の光学ズーム制御の停止処理を繰り返す。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して供給する倍率指示信号のリミット値であるか否かを判断する。
【００６１】
ステップＳ２５で画素変換処理のリミット値であるとき、ステップＳ２６に移行して、画素変換処理制御に替えて光学ズーム制御処理が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００６２】
ステップＳ２で、焦点距離が最大であるか否かを判断して最大値までステップＳ２６の光学ズーム制御処理を繰り返して最大値のとき終了する。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離が最大値であるか否かを判断する。
【００６３】
図１６Ｂに示す縮小動作では、ステップＳ３１で縮小ズームスイッチをオンする。具体的には、ユーザーは、図１に示す縮小ズームスイッチ１９−４、図１４Ａに示す縮小キー１４２−２、図１４Ｂに示す拡大／縮小ダイヤル１４８の縮小部を操作する。
【００６４】
ステップＳ３２で、光学ズーム制御が行われる。具体的には、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００６５】
ステップＳ３３で、焦点距離がリミット値を下回っているか否かを判断してリミット値を下回るまでステップＳ３２の光学ズーム制御処理を繰り返す。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離がリミット値を下回っているか否かを判断する。
【００６６】
ステップＳ３３で焦点距離がリミット値を下回っているとき、ステップＳ３４に移行して、画素変換処理可能領域であるか否かを判断する。ＣＰＵ（２）１８は、ＣＰＵ（１）１６からの信号処理メモリー４を介して得られるフォーカス検出信号に基づいて、画素変換器（１）５に対する画素変換処理可能領域であるか否かを判断する。
【００６７】
ステップＳ３４で画素変換処理可能領域であるときステップＳ３５に移行して、光学ズーム制御に替えて画素変換処理が行われる。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して倍率指示信号を供給して、画素変換器（１）５は、倍率指示信号に基づく倍率で信号処理メモリー４から読み出される画像情報に画素変換による縮小変倍処理を施す。
【００６８】
ステップＳ３６で、画素変換処理の倍率が総合倍率整合係数であるか否かを判断して総合倍率整合係数までステップＳ３５の画素変換処理を繰り返す。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して供給する倍率指示信号の倍率が総合倍率整合係数であるか否かを判断する。
【００６９】
ステップＳ３６で画素変換処理の倍率が総合倍率整合係数であるとき、ステップＳ３７に移行して、画素変換処理制御に加えて光学ズーム制御処理が行われる。具体的には、ＣＰＵ（２）１８は、画素変換器（１）５に対して倍率指示信号を供給して、画素変換器（１）５は、倍率指示信号に基づく倍率で信号処理メモリー４から読み出される画像情報に画素変換による縮小変倍処理を施す。これと同時に、ＣＰＵ（１）１６は、ドライブ１５、ズーム駆動部１３およびフォーカス駆動部１４を介してズームレンズおよびフォーカスレンズを制御する。
【００７０】
ステップＳ３８で、焦点距離が最小であるか否かを判断して最小値までステップＳ３７の画素変換処理制御および光学ズーム制御処理を繰り返して最小値のとき終了する。具体的には、ＣＰＵ（１）１６は、信号処理メモリー４からのフォーカス検出信号に基づいて、被写体に対するズームレンズおよびフォーカスレンズの焦点距離が最小値であるか否かを判断する。
【００７１】
また、この撮像装置は、画素変換器（１）５、（２）６は、記録メディア１１が必要とする最小画素レベルまで拡大できる構成をとり、ＣＣＤまたはＣｍｏｓ１が持つ最大画素数との間を変倍可能とし、且つ光学レンズ特性を最大限に生かせるよう画素変換制御を光学変倍制御と並走し処理を行い実現するものであり、かつ被写体（人物）が全画面上一番近い距離にある確率よりフォーカス合焦時の距離情報から画素変換器（２）６への変倍指示を行った後にフレームメモリー７に書き込み、読み出しを行って、合成（ＭＩＸ回路）部８へ入力する。この合成部８は画素変換器（１）５から入力される変換後の画像情報とＣＰＵ（２）１８からの合成番地指示信号により行うように構成される。
【００７２】
また、この撮像装置は、被写体が動いた場合はフレームメモリー７でのフィールド間の差分を動き検出しＣＰＵ（２）１８へ情報として送り込み、ＣＰＵ（２）１８はこの信号から合成番地指示信号へ変更して合成させるように構成されるものである。
【００７３】
この撮像装置は、以下のような動作をする。
ＣＰＵ（２）１８からの変倍情報に基づき画素変換器（１）５、（２）６では、拡大縮小の画質劣化の無い画素変換が行われる。ＣＰＵ（２）１８は画素変換器（２）６への変倍指示を行いフレームメモリー７に変換データを書き込み、読み出しを行って、合成（ＭＩＸ回路）部８へ入力する。この合成部８は画素変換器（１）５から入力される変換後の画像情報とフレームメモリー７から読み出される至近側被写体の画像の変換データとの合成をＣＰＵ（２）１８からの合成番地指示信号により行う。
【００７４】
また、被写体が動いた場合はフレームメモリー７でのフィールド間の差分を動き検出しＣＰＵ（２）１８へ情報として送り込み、ＣＰＵ（２）１８はこの信号から合成番地指示信号を変更して合成させる。
【００７５】
これにより、画像情報上２つ以上の異なる距離をもったものに対して、近くの映像を拡大できることにより画像の構図をより早く決定撮影が出来ることが可能となる。また、画像情報上の２つ以上の異なる距離をもった画像に対して、距離の近い映像を拡大できることにより画像の構図をより早く決定撮影が出来ることが可能となる。
【００７６】
以下に、具体的な処理を説明する。
図６は、拡大および合成の概念図であり、図６Ａは撮像画像および画素変換合成部、図６Ｂは被写体の距離に対する拡大率である。
【００７７】
図６Ａに示す撮像画像６１のうち被写体Ａのみを拡大してＢおよびＣと合成すると画素変換合成部６２のようになる。
ここで、図６Ｂに示すように被写体Ａ、ＢおよびＣの距離に対する拡大率が同じとき、一番近い距離の被写体Ａのみの拡大率を大きくしてＢおよびＣと合成する。
【００７８】
図７は、縮小および合成の概念図であり、図７Ａは撮像画像および画素変換合成部、図７Ｂは被写体の距離に対する縮小率である。
図７Ａに示す撮像画像７１のうち被写体Ａのみを拡大率を変えずにＢおよびＣを縮小して被写体ＡとＢおよびＣとを合成すると画素変換合成部７２のようになる。
【００７９】
ここで、図７Ｂに示すように被写体Ａ、ＢおよびＣの距離に対する拡大率が同じとき、一番近い距離の被写体Ａのみの拡大率を変えずにＢおよびＣの拡大率を小さくしてＢおよびＣと合成する。
【００８０】
このとき、後述するように、オートフォーカス機能で、一番距離の近い被写体Ａの画像を記憶して、領域を確定して、画素変換器（２）６で拡大の変倍処理をする。
【００８１】
図８は、拡大および合成の動作図であり、図８Ａは撮像画像および画素変換合成部、図８Ｂは被写体の距離に対する拡大率である。
図８Ａに示す撮像画像８１のうち被写体Ａのみを拡大してＢおよびＣの拡大率を変えずに被写体ＡとＢおよびＣとを合成すると画素変換合成部８２のようになる。
【００８２】
ここで、図８Ｂに示すように被写体Ａ、ＢおよびＣの距離に対する拡大率が同じとき、一番近い距離の被写体Ａのみの拡大率を変えずにＢおよびＣの拡大率を大きくしてＢおよびＣと合成する。
【００８３】
このとき、８３で示すように、オートフォーカス機能で、一番距離の近い被写体Ａの画像を記憶して、領域を確定して、８４で示すように、画素変換器（２）６で被写体Ａの拡大の変倍処理をする。
【００８４】
図９は、縮小および合成の動作図であり、図９Ａは撮像画像および画素変換合成部、図９Ｂは被写体の距離に対する縮小率である。
図９Ａに示す撮像画像９１のうち被写体Ａの拡大率を変えずにＢおよびＣのみを縮小して被写体ＡとＢおよびＣとを合成すると画素変換合成部９２のようになる。
【００８５】
ここで、図９Ｂに示すように被写体Ａ、ＢおよびＣの距離に対する拡大率が同じとき、一番近い距離の被写体Ａのみの拡大率を変えずにＢおよびＣの拡大率を小さくしてＢおよびＣと合成する。
【００８６】
このとき、９３で示すように、オートフォーカス機能で、一番距離の近い被写体の画像を記憶して、領域を確定して、９４で示すように、画素変換器（２）６でＢおよびＣの拡大の変倍処理をする。
【００８７】
図１０は、合焦自動検出方法を示す図であり、図１０Ａは撮像画像、図１０Ｂは輝度信号情報、図１０ＣはＬＰＦ（積分）後の信号、図１０Ｄは検出信号出力である。
【００８８】
図１０Ａに示す被写体Ａの撮像画像は、信号処理メモリー４において図１０Ｂに示す輝度信号情報および図１０Ｃに示すＬＰＦ（積分）後の信号として処理され、図１０Ｄに示す検出信号出力が１０２に示すようにＣＰＵ（２）１８に供給され、合成切り換えの制御が行われる。
【００８９】
図１１は、合成の制御方法を示す図であり、図１１Ａは撮像画像および画素変換合成部、図１１Ｂは焦点距離に対する倍率である。
図１１Ａにおいて、ＣＣＤまたはＣｍｏｓ１における光電変換部２１は光学系の周辺部に相当する画素変換区間２２において拡大または縮小の画素変換を行い、変換処理後の画素変換部２３を生成する。
【００９０】
図１１Ｂにおいて、制御ポイントでの光学１１１および画素変換１１２，１１３の移動量に対する倍率の図で示すように、制御ポイントまで光学および画素変換の併用で倍率を拡大し、制御ポイント以降は光学に対して画素変換１１２，１１３で示すように合成対象の画像の倍率を拡大することができ、画素変換併用で変倍画像の合成をすることができる。
【００９１】
図１２合成領域指定方法その１を示す図である。
図１２において示すように、表示画面１２１の被写体Ａを１２２で示すように、スタイラスペンでタッチパネルをなぞると、１２３で示すように、指定された領域が区別されて表示される。指定された領域１２３がＣＰＵ（２）１８に供給され、合成切り換えの制御が行われる。
【００９２】
図１３合成領域指定方法その２を示す図である。
図１３において示すように、表示画面１３１の被写体Ａを１３２で示すように、タッチパネルをユーザーが指でなぞると、１３３で示すように、指定された領域が区別されて表示される。１３４で示すように、この指定された領域１３３の画像がフリーズして、画面表示の裏の処理のレンズ合焦処理後に検出回路で画像領域を認識し、１３５で示すように、認識した領域も表示する。１３６で示すように指定された領域がＣＰＵ（２）１８に供給され、合成切り換えの制御が行われる。
【００９３】
図１４は、操作方法を示す図であり、図１４Ａはタッチパネル、図１４Ｂは外部キーによる場合である。
図１４Ａに示すタッチパネル１４１では、拡大／縮小部１４２の拡大キー１４２−１または縮小キー１４２−２およびモード表示内容部１４３の終了キー１４３−１、自動合成キー１４３−２、背景の前後キー１４３−３および１４３−４を、１４４で示すように、ユーザーの指またはスタイラスペンで操作する。
【００９４】
また、図１４Ｂに示す外部キーでは、表示部１４５に表示されたモード表示内容部１４３の終了キー１４３−１、自動キー１４３−２、前後キー１４３−３および１４３−４に対応して、切替スイッチ１４６でモードを選択し、拡大／縮小ダイヤル１４８および至近側自動合成スイッチ１４７を操作する。
【００９５】
図１７は、拡大または縮小の合成制御動作を示すフローチャートである。
図１７に示す拡大または縮小の合成制御動作では、ステップＳ４１で合成スイッチをオンする。具体的には、ユーザーは、図1に示す至近側自動合成スイッチ１９−１、図１４Ａに示す自動合成キー１４３−２、図１４Ｂに示す至近側自動合成スイッチ１４７を操作する。このとき、同時に、背景の前後キー１４３−３および１４３−４、切替スイッチ１４６の背景の前後キーを操作する。
【００９６】
ステップＳ４２で、自動合成モードであるか否かを判断する。具体的には、ＣＰＵ（２）１８は、自動合成モードであるか否かを判断する。
【００９７】
ステップＳ４２で自動合成モードであるときは、ステップＳ４３で、至近側自動合成検出を行う。具体的には、ＣＰＵ（２）１８は、信号処理メモリー４からのフォーカス検出信号に基づいて至近側被写体の画像を自動合成するために検出する。
【００９８】
ステップＳ４４で拡大操作を行う。具体的には、ＣＰＵ（２）１８は、画素変換器（２）６への変倍指示を行いフレームメモリー７に至近側被写体の画像の変換データを書き込み、読み出しを行って、合成（ＭＩＸ回路）部８へ入力する。合成部８は画素変換器（１）５から入力される変換後の画像情報とフレームメモリー７から読み出される至近側被写体の画像の変換データとの合成をＣＰＵ（２）１８からの合成番地指示信号により行う。
【００９９】
また、被写体が動いた場合はフレームメモリー７でのフィールド間の差分を動き検出しＣＰＵ（２）１８へ情報として送り込み、ＣＰＵ（２）１８はこの信号から合成番地指示信号を変更して合成させる。
【０１００】
ステップＳ４２で自動合成モードでないときは、ステップＳ４５で、背景の前の画像の合成であるか否かを判断する。具体的には、ＣＰＵ（２）１８は、背景の前の画像の合成モードであるか否かを判断する。
【０１０１】
ステップＳ４５で背景の前の画像の合成モードであるときは、ステップＳ４６で、ペンで領域指定されているか否かを判断する。具体的には、ＣＰＵ（２）１８は、タッチパネル２０で表示画面に対して図１２で示したようにスタイラスペンで領域指定されているか否かを判断する。
【０１０２】
ステップＳ４６でペンで領域指定されているときは、ステップＳ４７で、自動合成検出を行う。具体的には、ＣＰＵ（２）１８は、タッチパネル２０からのスタイラスペンによる領域指定の検出信号に基づいて領域指定の被写体の画像を自動合成するために検出する。
【０１０３】
ステップＳ４８で拡大操作を行う。具体的には、ＣＰＵ（２）１８は、画素変換器（２）６への変倍指示を行いフレームメモリー７に領域指定の被写体の画像の変換データを書き込み、読み出しを行って、合成（ＭＩＸ回路）部８へ入力する。合成部８は画素変換器（１）５から入力される変換後の画像情報とフレームメモリー７から読み出される領域指定の被写体の画像の変換データとの合成をＣＰＵ（２）１８からの合成番地指示信号により行う。
【０１０４】
また、被写体が動いた場合はフレームメモリー７でのフィールド間の差分を動き検出しＣＰＵ（２）１８へ情報として送り込み、ＣＰＵ（２）１８はこの信号から合成番地指示信号を変更して合成させる。
【０１０５】
ステップＳ４６でペンにより領域指定されていないときは、ステップＳ４９で、指で被写体を指定されているか否かを判断する。具体的には、ＣＰＵ（２）１８は、タッチパネル２０で表示画面に対して図１３で示したように指で領域指定されているか否かを判断する。
【０１０６】
ステップＳ４９で指により被写体を指定されているときは、ステップＳ５０で、領域枠表示をする。具体的には、タッチパネル２０で表示画面に対して図１３で示したように表示画面１３１の被写体Ａを１３２で示すように、タッチパネルをユーザーが指でなぞると、１３３で示すように、指定された領域が区別されて表示される。１３４で示すように、この指定された領域１３３の画像がフリーズして、画面表示の裏の処理のレンズ合焦処理後に検出回路で画像領域を認識し、１３５で示すように、認識した領域を表示する。
【０１０７】
ステップＳ５１で、領域クローズ拡大操作を行う。具体的には、タッチパネル２０で表示画面に対して図１３で示したように１３６で示すように指定された領域がＣＰＵ（２）１８に供給され、拡大合成切り換えの制御が行われる。
【０１０８】
ステップＳ４５で背景の前の画像の合成でないときは、ステップＳ５２で、背景の後の画像の合成であるか否かを判断する。具体的には、ＣＰＵ（２）１８は、背景の後の画像の合成モードであるか否かを判断する。
【０１０９】
ステップＳ５２で背景の後の画像の合成モードであるときは、ステップＳ５３で、ペンで領域指定されているか否かを判断する。具体的には、ＣＰＵ（２）１８は、タッチパネル２０で表示画面に対して図１２で示したようにスタイラスペンで領域指定されているか否かを判断する。
【０１１０】
ステップＳ５３でペンで領域指定されているときは、ステップＳ５４で、自動合成検出を行う。具体的には、ＣＰＵ（２）１８は、タッチパネル２０からのスタイラスペンによる領域指定の検出信号に基づいて領域指定の被写体の画像を自動合成するために検出する。
【０１１１】
ステップＳ５５で拡大操作を行う。具体的には、ＣＰＵ（２）１８は、画素変換器（２）６への変倍指示を行いフレームメモリー７に領域指定の被写体の画像の変換データを書き込み、読み出しを行って、合成（ＭＩＸ回路）部８へ入力する。合成部８は画素変換器（１）５から入力される変換後の画像情報とフレームメモリー７から読み出される領域指定の被写体の画像の変換データとの合成をＣＰＵ（２）１８からの合成番地指示信号により行う。
【０１１２】
また、被写体が動いた場合はフレームメモリー７でのフィールド間の差分を動き検出しＣＰＵ（２）１８へ情報として送り込み、ＣＰＵ（２）１８はこの信号から合成番地指示信号を変更して合成させる。
【０１１３】
ステップＳ５３でペンにより領域指定されていないときは、ステップＳ５６で、指で被写体を指定されているか否かを判断する。具体的には、ＣＰＵ（２）１８は、タッチパネル２０で表示画面に対して図１３で示したように指で領域指定されているか否かを判断する。
【０１１４】
ステップＳ５６で指により被写体を指定されているときは、ステップＳ５７で、領域枠表示をする。具体的には、タッチパネル２０で表示画面に対して図１３で示したように表示画面１３１の被写体Ａを１３２で示すように、タッチパネルをユーザーが指でなぞると、１３３で示すように、指定された領域が区別されて表示される。１３４で示すように、この指定された領域１３３の画像がフリーズして、画面表示の裏の処理のレンズ合焦処理後に検出回路で画像領域を認識し、１３５で示すように、認識した領域を表示する。
【０１１５】
ステップＳ５８で、領域クローズ縮小操作を行う。具体的には、タッチパネル２０で表示画面に対して図１３で示したように１３６で示すように指定された領域がＣＰＵ（２）１８に供給され、縮小合成切り換えの制御が行われる。
【０１１６】
なお、上述した本発明の実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜、他の構成をとりうることは言うまでもない。
【０１１７】
【発明の効果】
この発明の撮像装置によれば、光学手段から入る光を撮像手段で光電変換した高精細画素の画像信号を記憶手段に取り込み、取り込んだ画像情報を画素変換手段にて記録手段が必要とする最小画素レベルまで拡大できるようにし、撮像手段が持つ最大画素数との間を変倍可能とし、且つ光学手段のレンズ特性を最大限に生かせるよう光学変倍制御と並走して画素変換処理を行うことにより、光学焦点距離を短くして色収差に有利になるような小型レンズに対して画質劣化の無い画素変換処理を行うことができるので、これにより、画像劣化の無い連続した変倍画素変換を行うことができるという効果を奏する。
また、被写体の画像情報のうちの一番距離の近い被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように画素変換処理を行い、画素変換後の一番距離の近い被写体と他の被写体とを合成して記録手段に記録するので、画像情報上の２つ以上の異なる距離をもった画像に対して、距離の近い映像を拡大できることにより画像の構図をより早く決定して撮影ができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態に適用される撮像装置の色収差改善、拡大および縮小合成用のシステムブロック図である。
【図２】色収差向上の概念図であり、図２Ａは光電変換部における画素変換区間および画素変換部、図２Ｂは光学対色収差の移動量に対する倍率と光学および画素変換対色収差の移動量に対する倍率である。
【図３】光学長の短いレンズで色収差が気にならなく、倍率を拡大したいケースの色収差向上の概念図であり、図３Ａは光電変換部における画素変換区間および画素変換部、図３Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【図４】光学優先方式の色収差向上の概念図であり、図４Ａは光電変換部における画素変換区間および画素変換部、図４Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【図５】画素変換併用で長焦点のみ光学変倍のケースの色収差向上の概念図であり、図５Ａは光電変換部における画素変換区間および画素変換部、図５Ｂは光学と画素変換の総合動作の移動量に対する倍率である。
【図６】拡大および合成の概念図であり、図６Ａは撮像画像および画素変換合成部、図６Ｂは被写体の距離に対する拡大率である。
【図７】縮小および合成の概念図であり、図７Ａは撮像画像および画素変換合成部、図７Ｂは被写体の距離に対する縮小率である。
【図８】拡大および合成の動作図であり、図８Ａは撮像画像および画素変換合成部、図８Ｂは被写体の距離に対する拡大率である。
【図９】縮小および合成の動作図であり、図９Ａは撮像画像および画素変換合成部、図９Ｂは被写体の距離に対する縮小率である。
【図１０】合焦自動検出方法を示す図であり、図１０Ａは撮像画像、図１０Ｂは輝度信号情報、図１０ＣはＬＰＦ（積分）後の信号、図１０Ｄは検出信号出力である。
【図１１】合成の制御方法を示す図であり、図１１Ａは撮像画像および画素変換合成部、図１１Ｂは焦点距離に対する倍率である。
【図１２】合成領域指定方法その１を示す図である。
【図１３】合成領域指定方法その２を示す図である。
【図１４】操作方法を示す図であり、図１４Ａはタッチパネル、図１４Ｂは外部キーによる場合である。
【図１５】光学優先方式の色収差向上の色収差制御動作を示すフローチャートであり、図１５Ａは拡大、図１５Ｂは縮小である。
【図１６】画素変換併用で長焦点のみ光学変倍のケースの色収差向上の色収差制御動作その２を示すフローチャートであり、図１６Ａは拡大、図１６Ｂは縮小である。
【図１７】拡大または縮小の合成制御動作を示すフローチャートである。
【符号の説明】
１……ＣＣＤまたはＣｍｏｓ、２……ＣＤＳ、３……Ａ／Ｄ変換器、４……信号処理メモリー、５……画素変換器（１）、６……画素変換器（２）、７……フレームメモリー、８……合成部、９……切り替え部、１０……記録変換部、１１……記録メディア、１２……ズーム位置検出部、１３……ズーム駆動部、１４……フォーカス駆動部、１５……ドライブ、１６……ＣＰＵ（１）、１７……タイミングジェネレータ、１８……ＣＰＵ（２）、１９……拡大／縮小、合成スイッチ、２０……タッチパネル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and an image processing method that perform composition processing by enlarging or reducing an image by optical means and pixel conversion means, for example.
[0002]
[Prior art]
In Patent Document 1, for the purpose of realizing variable-speed zoom with electronic zoom, a video table having electronic zoom means is provided with a memory table that determines the order in which signals are read according to a set magnification. A video camera is disclosed in which the change rate of the magnification of the electronic zoom means is made variable by sequentially reading out the data in the order of reading determined by the memory table or by arbitrarily skipping and reading.
[0003]
Further, in
[0004]
[Patent Document 1]
JP-A-6-273658
[Patent Document 2]
JP-A-8-18842
[0005]
[Problems to be solved by the invention]
However, the above-described conventional video camera image scaling method (Patent Document 1) is performed during screen size change or electronic image enlargement processing, and scaling pixel conversion with fixed screen size and no image degradation is performed. However, the enlargement / reduction process during zooming has a disadvantage that it involves discontinuity of the enlargement ratio in the time axis change or image quality degradation (Patent Document 2).
[0006]
Therefore, the present invention has been made in view of such a point, and an object thereof is to provide an imaging apparatus capable of performing continuous variable magnification pixel conversion without image deterioration.
[0007]
[Means for Solving the Problems]
The image pickup apparatus of the present invention reads out image information stored in the storage unit and records it in the recording unit.Pixel countPixel conversion means for performing pixel conversion processing so as to be convertible up to the number of pixels with no image quality deterioration for the format;Combining means for combining image information;When recording the converted pixel information after the pixel conversion by the pixel conversion unit to the recording unit, the number of pixels of the photoelectric conversion unit in the imaging unit is sufficiently larger than the number of pixels involved in the recording, and the photoelectric conversion unit Control means for enlarging or reducing within the range of the number of pixels and controlling the operation of enlargement or reduction with respect to the optical meansAnd, from the distance information at the time of focusing, the enlargement ratio of the subject closest to the image information of the subject imaged and imaged by the imaging means is relative to the enlargement ratio of other subjects. The pixel conversion means performs pixel conversion so that the subject is the shortest distance after the pixel conversion and the other subject are synthesized by the synthesis means, and the image information synthesized by the synthesis means is recorded on the recording means. Control meansAnd is configured.
[0008]
Therefore, according to the present invention, the following operations are performed.
An image signal of high-definition pixels obtained by photoelectrically converting light entering from the optical means by the imaging means is taken into the storage means.
[0009]
The captured image information can be enlarged to the minimum pixel level required by the recording means by the pixel converting means, the magnification can be changed between the maximum number of pixels of the imaging means, and the lens characteristics of the optical means can be maximized. Pixel conversion processing is performed in parallel with the optical scaling control so as to make the best use of it.
[0010]
Thus, pixel conversion processing without image quality deterioration is performed on a small lens that shortens the optical focal length and is advantageous for chromatic aberration.
Also, pixel conversion processing is performed so that the enlargement ratio of the subject with the closest distance in the image information of the subject is relatively larger than the enlargement ratio of other subjects, and the subject with the shortest distance after pixel conversion And other subjects are combined and recorded in the recording means, so that the composition of the image can be determined earlier by enlarging an image of close distance to an image having two or more different distances on the image information. You can shoot.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings as appropriate. FIG. 1 is a system block diagram for chromatic aberration improvement, enlargement and reduction synthesis of an image pickup apparatus applied to an embodiment of the present invention.
[0012]
First, the configuration of an imaging apparatus applied to the embodiment of the present invention will be described.
The imaging apparatus shown in FIG. 1 includes an optical system having an objective lens, a zoom lens, and a focus lens, and a CCD (Charge Coupled Device) or Cmos (Complementary Metal Oxide Semiconductor) that shows reflected light of a subject incident through the optical system. ), And subjecting the captured subject image to signal processing and recording on the
[0013]
This imaging apparatus has a
[0014]
In addition, the imaging apparatus reads image information stored in the
[0015]
In addition, this image pickup apparatus records the converted pixel information after the pixel conversion by the pixel converters (1) 5 and (2) 6 on the
[0016]
Here, the image pickup apparatus controls the zoom lens and the focus lens via the
[0017]
In addition, the imaging apparatus supplies a write signal R or a read signal W to the
[0018]
The two CPUs (1) 16 and (2) 18 share the mutual optical enlargement / reduction information and pixel conversion enlargement / reduction information, and function to arrange an optimal control environment. The lens optical information, which is movement information of the zoom lens and the focus lens, is managed by the CPUs (1) 16 and (2) 18, and the pixel converter (1) 5 based on the magnification instruction signal according to the optical movement position, (2) Control the zoom ratio of 6. The converted data after the pixel conversion is converted into a media recording signal by the
[0019]
The imaging apparatus also includes a switch group 19 for inputting a composition and zoom instruction to the pixel conversion control CPU (2) 18, and a touch panel 20 incorporating these.
[0020]
Next, the operation of the imaging apparatus applied to the embodiment of the present invention configured as described above will be described.
The image information of the subject imaged and photoelectrically converted by the CCD or Cmos 1 is converted into digital data by the A /
[0021]
The pixel converters (1) 5 and (2) 6 read out the image information stored in the
[0022]
(1) 16 and (2) 18 are used to record the converted pixel information after pixel conversion by the pixel converters (1) 5 and (2) 6 on the
[0023]
Here, pixel conversion without deterioration in image quality of enlargement / reduction is performed by the pixel converters (1) 5 and (2) 6 based on the scaling information from the CPUs (1) 16 and (2) 18.
[0024]
As a result, a stem equivalent to the same optical magnification as in the past can be realized with little deterioration due to the series of operations and the short optical focal length. Chromatic aberration with little deterioration is realized by this series of operations and the short optical focal length. Therefore, a small optical lens system can be realized with the same optical magnification as in the prior art.
[0025]
FIG. 2A is a conceptual diagram of chromatic aberration improvement, FIG. 2A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. 2B is a magnification with respect to a moving amount of optical to pixel conversion and a moving amount of optical and pixel conversion with respect to chromatic aberration. Magnification.
[0026]
In FIG. 2A, the
[0027]
In FIG. 2B, as shown in the diagram of the magnification with respect to the movement amount of the optical 24 versus the
[0028]
On the other hand, when the same magnification is obtained as indicated by 31 in the total operation 29 of the movement amount of the optical 26 and the pixel conversion 28, as shown in the diagram of the magnification with respect to the movement amount of the optical 26 and the pixel conversion 28 versus the
[0029]
In addition, this image pickup apparatus can be enlarged to the minimum pixel level required by the
[0030]
This imaging apparatus operates as follows.
For this zooming, the optical performance is controlled based on the lens distance information while referring to the optical information table previously input to the CPU (1) 16 and (2) 18 sections.
[0031]
As a result, it is possible to perform parallel zooming processing by optical zoom and pixel conversion in this series of operations with less degradation of optical lens performance, so the conventional technology has performed aperture control and interpolation processing to suppress image quality degradation. On the other hand, it is possible to perform high-performance zooming without image quality degradation that has never been seen before.
[0032]
FIG. 3 is a conceptual diagram of chromatic aberration improvement in a case where chromatic aberration is not a concern with a lens having a short optical length and it is desired to increase the magnification. FIG. 3A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. And the magnification with respect to the movement amount of the overall operation of pixel conversion.
[0033]
In FIG. 3A, the
[0034]
In FIG. 3B, the magnification is set as indicated by the
[0035]
FIG. 4 is a conceptual diagram of chromatic aberration improvement in the optical priority method, FIG. 4A is a pixel conversion section and a pixel conversion unit in the photoelectric conversion unit, and FIG. 4B is a magnification with respect to the movement amount of the overall operation of the optical and pixel conversion.
[0036]
4A, the
[0037]
In FIG. 4B, as shown in the diagram of the magnification with respect to the amount of movement of the
[0038]
FIG. 15 is a flowchart showing the chromatic aberration control operation for improving the chromatic aberration in the optical priority method. FIG. 15A is an enlargement and FIG. 15B is a reduction.
In the enlargement operation shown in FIG. 15A, the enlargement zoom switch is turned on in step S1. Specifically, the user operates the enlargement unit of the enlargement zoom switch 19-3 shown in FIG. 1, the enlargement key 142-1 shown in FIG. 14A, and the enlargement /
[0039]
In step S2, optical zoom control is performed. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0040]
In step S3, it is determined whether or not the focal length is a limit value, and the optical zoom control process in step S2 is repeated up to the limit value. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is a limit value based on the focus detection signal from the
[0041]
When the focal length is the limit value in step S3, the process proceeds to step S4, and pixel conversion processing is performed instead of the optical zoom control. Specifically, the CPU (2) 18 supplies a magnification instruction signal to the pixel converter (1) 5, and the pixel converter (1) 5 uses the
[0042]
In step S5, it is determined whether or not the magnification of the pixel conversion process is maximum, and the pixel conversion process of step S4 is repeated up to the maximum value. Specifically, the CPU (2) 18 determines whether or not the magnification of the magnification instruction signal supplied to the pixel converter (1) 5 is the maximum.
[0043]
When the magnification of the pixel conversion process is the maximum in step S5, the process proceeds to step S6, and the optical zoom control process is performed instead of the pixel conversion process control. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0044]
In step S6, it is determined whether or not the focal length is the maximum, and the optical zoom control process in step S6 is repeated until the maximum value is reached. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is the maximum value based on the focus detection signal from the
[0045]
In the reduction operation shown in FIG. 15B, the reduction zoom switch is turned on in step S11. Specifically, the user operates the reduction zoom switch 19-4 shown in FIG. 1, the reduction key 142-2 shown in FIG. 14A, and the reduction unit of the enlargement /
[0046]
In step S12, optical zoom control is performed. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0047]
In step S13, it is determined whether or not the focal length is a limit value, and the optical zoom control process in step S12 is repeated up to the limit value. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is a limit value based on the focus detection signal from the
[0048]
When the focal length is the limit value in step S13, the process proceeds to step S14, and pixel conversion processing is performed instead of the optical zoom control. Specifically, the CPU (2) 18 supplies a magnification instruction signal to the pixel converter (1) 5, and the pixel converter (1) 5 uses the
[0049]
In step S15, it is determined whether or not the magnification of the pixel conversion process is minimum, and the pixel conversion process in step S14 is repeated until the minimum value is reached. Specifically, the CPU (2) 18 determines whether or not the magnification of the magnification instruction signal supplied to the pixel converter (1) 5 is the minimum.
[0050]
When the magnification of the pixel conversion process is the minimum in step S15, the process proceeds to step S16, and the optical zoom control process is performed instead of the pixel conversion process control. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0051]
In step S16, it is determined whether or not the focal length is the minimum, and the optical zoom control process in step S6 is repeated until the minimum value, and the process ends when the minimum value is reached. Specifically, the CPU (1) 16 determines whether or not the focal length of the zoom lens and the focus lens with respect to the subject is the minimum value based on the focus detection signal from the
[0052]
FIG. 5 is a conceptual diagram of chromatic aberration improvement in a case where only a long focal length is optically zoomed together with pixel conversion, FIG. 5A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. It is a magnification with respect to the amount of movement.
[0053]
5A, the
[0054]
In FIG. 5B, the pixel conversion limit and the control variable point P11 in the
[0055]
FIG. 16 is a flowchart showing a chromatic
[0056]
In the enlargement operation shown in FIG. 16A, the enlargement zoom switch is turned on in step S21. Specifically, the user operates the enlargement unit of the enlargement zoom switch 19-3 shown in FIG. 1, the enlargement key 142-1 shown in FIG. 14A, and the enlargement /
[0057]
In step S22, optical zoom control and pixel conversion processing are performed. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0058]
In step S23, it is determined whether or not the focal length is a limit value, and the optical zoom control process in step S2 is repeated up to the limit value. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is a limit value based on the focus detection signal from the
[0059]
When the focal length is the limit value in step S23, the process proceeds to step S24, and the optical zoom control is stopped. Specifically, the CPU (1) 16 stops the control of the zoom lens and the focus lens via the
[0060]
In step S25, it is determined whether or not the pixel conversion processing limit is reached, and the optical zoom control stop processing in step S24 is repeated until the limit value is reached. Specifically, the CPU (2) 18 determines whether or not it is the limit value of the magnification instruction signal supplied to the pixel converter (1) 5.
[0061]
When it is the limit value of the pixel conversion process in step S25, the process proceeds to step S26, and the optical zoom control process is performed instead of the pixel conversion process control. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0062]
In step S2, it is determined whether or not the focal length is the maximum, and the optical zoom control process in step S26 is repeated until the maximum value is reached. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is the maximum value based on the focus detection signal from the
[0063]
In the reduction operation shown in FIG. 16B, the reduction zoom switch is turned on in step S31. Specifically, the user operates the reduction zoom switch 19-4 shown in FIG. 1, the reduction key 142-2 shown in FIG. 14A, and the reduction unit of the enlargement /
[0064]
In step S32, optical zoom control is performed. Specifically, the CPU (1) 16 controls the zoom lens and the focus lens via the
[0065]
In step S33, it is determined whether or not the focal length is below the limit value, and the optical zoom control process in step S32 is repeated until the focal length falls below the limit value. Specifically, the CPU (1) 16 determines whether the focal length of the zoom lens and the focus lens with respect to the subject is below the limit value based on the focus detection signal from the
[0066]
When the focal length is less than the limit value in step S33, the process proceeds to step S34 to determine whether or not it is a pixel conversion processable area. The CPU (2) 18 determines whether or not it is a pixel conversion processable area for the pixel converter (1) 5 based on the focus detection signal obtained via the
[0067]
When it is a pixel conversion process possible area | region by step S34, it transfers to step S35 and changes to optical zoom control and a pixel conversion process is performed. Specifically, the CPU (2) 18 supplies a magnification instruction signal to the pixel converter (1) 5, and the pixel converter (1) 5 uses the
[0068]
In step S36, it is determined whether or not the magnification of the pixel conversion processing is a total magnification matching coefficient, and the pixel conversion processing in step S35 is repeated up to the total magnification matching coefficient. Specifically, the CPU (2) 18 determines whether or not the magnification of the magnification instruction signal supplied to the pixel converter (1) 5 is a total magnification matching coefficient.
[0069]
When the magnification of the pixel conversion process is the total magnification matching coefficient in step S36, the process proceeds to step S37, and the optical zoom control process is performed in addition to the pixel conversion process control. Specifically, the CPU (2) 18 supplies a magnification instruction signal to the pixel converter (1) 5, and the pixel converter (1) 5 uses the
[0070]
In step S38, it is determined whether or not the focal length is the minimum, and the pixel conversion process control and the optical zoom control process in step S37 are repeated until the minimum value is reached. Specifically, the CPU (1) 16 determines whether or not the focal length of the zoom lens and the focus lens with respect to the subject is the minimum value based on the focus detection signal from the
[0071]
Further, in this imaging apparatus, the pixel converters (1) 5 and (2) 6 can be enlarged to the minimum pixel level required by the
[0072]
In addition, when the subject moves, the imaging device detects a difference between fields in the
[0073]
This imaging apparatus operates as follows.
Based on the scaling information from the CPU (2) 18, the pixel converters (1) 5 and (2) 6 perform pixel conversion without deterioration in image quality of enlargement / reduction. The CPU (2) 18 instructs the pixel converter (2) 6 to change the magnification, writes the converted data into the
[0074]
When the subject moves, the difference between the fields in the
[0075]
This makes it possible to determine and shoot the composition of the image more quickly by enlarging a nearby video with respect to the image information having two or more different distances. In addition, it is possible to magnify an image having a close distance with respect to an image having two or more different distances on the image information, thereby making it possible to determine and photograph the composition of the image earlier.
[0076]
Specific processing will be described below.
FIG. 6 is a conceptual diagram of enlargement and composition, FIG. 6A is a captured image and pixel conversion composition unit, and FIG. 6B is an enlargement ratio with respect to the subject distance.
[0077]
When only the subject A is enlarged and combined with B and C in the captured image 61 shown in FIG. 6A, a pixel conversion combining unit 62 is obtained.
Here, when the enlargement ratio with respect to the distances of the subjects A, B, and C is the same as shown in FIG. 6B, the enlargement ratio of only the subject A at the closest distance is increased and combined with B and C.
[0078]
FIG. 7 is a conceptual diagram of reduction and combination, FIG. 7A is a captured image and pixel conversion combination unit, and FIG. 7B is a reduction ratio with respect to the distance of the subject.
In the captured image 71 shown in FIG. 7A, when only the subject A is reduced and B and C are reduced without changing the enlargement ratio and the subjects A, B, and C are combined, a pixel conversion combining unit 72 is obtained.
[0079]
Here, as shown in FIG. 7B, when the enlargement ratio with respect to the distances of the subjects A, B, and C is the same, the enlargement ratio of B and C is reduced without changing the enlargement ratio of only the subject A at the closest distance. And C.
[0080]
At this time, as will be described later, the autofocus function stores the image of the subject A closest to the distance, determines the area, and the pixel converter (2) 6 performs enlargement / magnification processing.
[0081]
FIG. 8 is an operation diagram of enlargement and composition, FIG. 8A is a captured image and pixel conversion composition unit, and FIG. 8B is an enlargement ratio with respect to the distance of the subject.
When only the subject A is enlarged in the captured image 81 shown in FIG. 8A and the subjects A, B, and C are synthesized without changing the enlargement ratios of B and C, a pixel conversion synthesis unit 82 is obtained.
[0082]
Here, as shown in FIG. 8B, when the enlargement ratio with respect to the distances of the subjects A, B, and C is the same, the enlargement ratio of B and C is increased without changing the enlargement ratio of only the subject A at the closest distance. And C.
[0083]
At this time, as shown by 83, the image of the subject A closest to the distance is stored by the autofocus function, the area is determined, and the subject A is obtained by the pixel converter (2) 6 as shown by 84. The enlargement / reduction processing is performed.
[0084]
FIG. 9 is an operation diagram of reduction and combination, FIG. 9A is a captured image and pixel conversion combination unit, and FIG. 9B is a reduction ratio with respect to the distance of the subject.
9B. When the subjects A, B, and C are combined by reducing only B and C without changing the enlargement ratio of the subject A in the captured image 91 shown in FIG. 9A, a pixel conversion combining unit 92 is obtained.
[0085]
Here, when the enlargement ratio with respect to the distances of the subjects A, B, and C is the same as shown in FIG. 9B, the enlargement ratio of B and C is reduced without changing the enlargement ratio of only the subject A at the closest distance. And C.
[0086]
At this time, as shown at 93, the image of the subject closest to the distance is stored by the autofocus function, the area is determined, and as shown at 94, the pixel converter (2) 6 uses B and C. The enlargement / reduction processing is performed.
[0087]
10A and 10B are diagrams illustrating an automatic focusing detection method. FIG. 10A is a captured image, FIG. 10B is luminance signal information, FIG. 10C is a signal after LPF (integration), and FIG. 10D is a detection signal output.
[0088]
The captured image of the subject A shown in FIG. 10A is processed as the luminance signal information shown in FIG. 10B and the signal after LPF (integration) shown in FIG. 10C in the
[0089]
FIG. 11 is a diagram illustrating a composition control method, FIG. 11A is a captured image and pixel conversion composition unit, and FIG. 11B is a magnification with respect to a focal length.
In FIG. 11A, the
[0090]
In FIG. 11B, as shown in the diagram of the magnification with respect to the movement amount of the
[0091]
12 is a diagram showing a synthesis area designation method 1.
As shown in FIG. 12, when the subject A on the display screen 121 is indicated by 122 and the touch panel is traced with the stylus pen, the designated area is distinguished and displayed as indicated by 123. The designated area 123 is supplied to the CPU (2) 18, and the composition switching is controlled.
[0092]
13 is a diagram showing a synthesis
As shown in FIG. 13, when the user traces the touch panel with a finger as indicated by 132 on the display screen 131, the designated area is distinguished and displayed as indicated by 133. As shown by 134, the image of the designated area 133 is frozen, and the image area is recognized by the detection circuit after the lens focusing process in the reverse side of the screen display, and the recognized area is also shown by 135. indicate. The designated area is supplied to the CPU (2) 18 as indicated by 136, and the composition switching is controlled.
[0093]
FIG. 14 is a diagram showing an operation method, FIG. 14A shows a case using a touch panel, and FIG. 14B shows a case using an external key.
In the touch panel 141 shown in FIG. 14A, the enlargement key 142-1 or the reduction key 142-2 of the enlargement / reduction unit 142, the end key 143-1 of the mode
[0094]
In addition, the external keys shown in FIG. 14B are switched corresponding to the end key 143-1, automatic key 143-2, front / rear keys 143-3, and 143-4 of the mode
[0095]
FIG. 17 is a flowchart showing the enlargement / reduction combining control operation.
In the enlargement or reduction composition control operation shown in FIG. 17, the composition switch is turned on in step S41. Specifically, the user operates the near side automatic composition switch 19-1 shown in FIG. 1, the automatic composition key 143-2 shown in FIG. 14A, and the near side
[0096]
In step S42, it is determined whether or not the automatic synthesis mode is set. Specifically, the CPU (2) 18 determines whether or not the automatic synthesis mode is set.
[0097]
If the automatic synthesis mode is set in step S42, the closest-side automatic synthesis detection is performed in step S43. Specifically, the CPU (2) 18 detects the image of the closest subject based on the focus detection signal from the
[0098]
In step S44, an enlargement operation is performed. Specifically, the CPU (2) 18 instructs the pixel converter (2) 6 to change the magnification, writes the conversion data of the image of the near-side subject into the
[0099]
When the subject moves, the difference between the fields in the
[0100]
If it is determined in step S42 that the mode is not the automatic composition mode, it is determined in step S45 whether or not the image before the background is composed. Specifically, the CPU (2) 18 determines whether or not it is a composition mode of the image before the background.
[0101]
If it is determined in step S45 that the image in front of the background is in the composition mode, it is determined in step S46 whether or not an area is designated with a pen. Specifically, the CPU (2) 18 determines whether or not an area is designated with the stylus pen as shown in FIG.
[0102]
If the area is designated with the pen in step S46, automatic composition detection is performed in step S47. Specifically, the CPU (2) 18 detects in order to automatically synthesize an image of a region-designated subject based on a region-designated detection signal from the touch panel 20 using a stylus pen.
[0103]
In step S48, an enlargement operation is performed. Specifically, the CPU (2) 18 instructs the pixel converter (2) 6 to change the magnification, writes the conversion data of the area-specified subject image into the
[0104]
When the subject moves, the difference between the fields in the
[0105]
If the area is not designated by the pen in step S46, it is determined in step S49 whether or not the subject is designated by the finger. Specifically, the CPU (2) 18 determines whether or not an area is designated with a finger on the display screen on the touch panel 20 as shown in FIG.
[0106]
When the subject is designated by the finger in step S49, the area frame is displayed in step S50. Specifically, when the user traces the touch panel with a finger as indicated by 132 on the display screen 131 as shown in FIG. The displayed areas are distinguished. As indicated by 134, the image of the designated area 133 is frozen, and the image area is recognized by the detection circuit after the lens focusing process of the process on the back of the screen display, and the recognized area is indicated by 135. indicate.
[0107]
In step S51, an area close enlargement operation is performed. Specifically, an area designated as indicated by 136 on the display screen of the touch panel 20 as shown in FIG. 13 is supplied to the CPU (2) 18, and enlargement / synthesis switching control is performed.
[0108]
If it is not the synthesis of the image before the background in step S45, it is determined in step S52 whether the image is after the background. Specifically, the CPU (2) 18 determines whether or not it is a composition mode of the image after the background.
[0109]
If it is the composition mode of the image after the background in step S52, it is determined in step S53 whether or not an area is designated with the pen. Specifically, the CPU (2) 18 determines whether or not an area is designated with the stylus pen as shown in FIG.
[0110]
When the area is designated with the pen in step S53, automatic composition detection is performed in step S54. Specifically, the CPU (2) 18 detects in order to automatically synthesize an image of a region-designated subject based on a region-designated detection signal from the touch panel 20 using a stylus pen.
[0111]
In step S55, an enlargement operation is performed. Specifically, the CPU (2) 18 instructs the pixel converter (2) 6 to change the magnification, writes the conversion data of the area-specified subject image into the
[0112]
When the subject moves, the difference between the fields in the
[0113]
If the area is not designated by the pen in step S53, it is determined in step S56 whether or not the subject is designated by the finger. Specifically, the CPU (2) 18 determines whether or not an area is designated with a finger on the display screen on the touch panel 20 as shown in FIG.
[0114]
When the subject is designated by the finger in step S56, the area frame is displayed in step S57. Specifically, when the user traces the touch panel with a finger as indicated by 132 on the display screen 131 as shown in FIG. The displayed areas are distinguished. As indicated by 134, the image of the designated area 133 is frozen, and the image area is recognized by the detection circuit after the lens focusing process of the process on the back of the screen display, and the recognized area is indicated by 135. indicate.
[0115]
In step S58, a region close reduction operation is performed. Specifically, the area designated as indicated by 136 on the display screen of the touch panel 20 as shown in FIG. 13 is supplied to the CPU (2) 18, and the reduction / combination switching control is performed.
[0116]
Needless to say, the present invention is not limited to the embodiment of the present invention described above, and may take other configurations as appropriate without departing from the scope of the claims of the present invention.
[0117]
【The invention's effect】
According to the imaging apparatus of the present invention, the image signal of the high-definition pixel obtained by photoelectrically converting the light entering from the optical means by the imaging means is taken into the storage means, and the captured image information is the minimum required by the recording means at the pixel conversion means. The pixel conversion processing is performed in parallel with the optical scaling control so that the magnification can be enlarged between the maximum number of pixels of the image pickup means and the lens characteristics of the optical means can be maximized so that the magnification can be expanded to the pixel level. As a result, pixel conversion processing without image quality degradation can be performed on a small lens that is advantageous for chromatic aberration by shortening the optical focal length, and thus, continuous scaling pixel conversion without image degradation can be performed. There is an effect that it can be performed.
Also, pixel conversion processing is performed so that the enlargement ratio of the subject with the closest distance in the image information of the subject is relatively larger than the enlargement ratio of other subjects, and the subject with the shortest distance after pixel conversion And other subjects are combined and recorded in the recording means, so that the composition of the image can be determined earlier by enlarging an image of close distance to an image having two or more different distances on the image information. The effect is that you can shoot.
[Brief description of the drawings]
FIG. 1 is a system block diagram for chromatic aberration improvement, enlargement, and reduction synthesis of an imaging apparatus applied to an embodiment of the present invention.
2A is a conceptual diagram of chromatic aberration improvement, FIG. 2A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. 2B is a magnification with respect to the amount of movement of optical versus chromatic aberration and a magnification with respect to the amount of movement of optical and pixel conversion versus chromatic aberration. It is.
FIG. 3 is a conceptual diagram of chromatic aberration improvement in a case where chromatic aberration is not a concern with a lens having a short optical length and it is desired to increase the magnification. FIG. 3A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. And the magnification with respect to the movement amount of the overall operation of pixel conversion.
4A and 4B are conceptual diagrams of chromatic aberration improvement in an optical priority method, FIG. 4A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. 4B is a magnification with respect to a movement amount of an overall operation of optical and pixel conversion.
5A and 5B are conceptual diagrams of chromatic aberration improvement in a case where only a long focal length is optically scaled together with pixel conversion, FIG. 5A is a pixel conversion section and a pixel conversion unit in a photoelectric conversion unit, and FIG. 5B is an overall operation of optics and pixel conversion. It is a magnification with respect to the amount of movement.
6A and 6B are conceptual diagrams of enlargement and composition, FIG. 6A is a captured image and pixel conversion composition unit, and FIG. 6B is an enlargement ratio with respect to a subject distance.
7A and 7B are conceptual diagrams of reduction and composition, in which FIG. 7A is a captured image and pixel conversion composition unit, and FIG. 7B is a reduction ratio with respect to a subject distance.
FIG. 8 is an operation diagram of enlargement and composition, FIG. 8A is a captured image and pixel conversion composition unit, and FIG. 8B is an enlargement ratio with respect to the distance of the subject.
FIG. 9 is an operation diagram of reduction and composition, FIG. 9A is a captured image and pixel conversion composition unit, and FIG. 9B is a reduction ratio with respect to the distance of the subject.
10A and 10B are diagrams illustrating an automatic focusing detection method, FIG. 10A is a captured image, FIG. 10B is luminance signal information, FIG. 10C is a signal after LPF (integration), and FIG. 10D is a detection signal output.
11A and 11B are diagrams illustrating a composition control method. FIG. 11A illustrates a captured image and pixel conversion composition unit, and FIG. 11B illustrates a magnification with respect to a focal length.
FIG. 12 is a diagram showing a synthesis area designation method 1;
FIG. 13 is a diagram showing a synthesis
14A and 14B are diagrams illustrating an operation method, in which FIG. 14A is a touch panel, and FIG. 14B is a case using an external key.
FIG. 15 is a flowchart showing a chromatic aberration control operation for chromatic aberration improvement in the optical priority method, FIG. 15A is an enlargement, and FIG. 15B is a reduction.
FIGS. 16A and 16B are flowcharts showing chromatic
FIG. 17 is a flowchart showing a composition control operation for enlargement or reduction.
[Explanation of symbols]
1 ... CCD or Cmos, 2 ... CDS, 3 ... A / D converter, 4 ... signal processing memory, 5 ... pixel converter (1), 6 ... pixel converter (2), 7 ... ... Frame memory, 8 ... Composition unit, 9 ... Switching unit, 10 ... Recording conversion unit, 11 ... Recording medium, 12 ... Zoom position detection unit, 13 ... Zoom drive unit, 14 ... Focus drive unit , 15 ... drive, 16 ... CPU (1), 17 ... timing generator, 18 ... CPU (2), 19 ... enlargement / reduction, composition switch, 20 ... touch panel
Claims (10)
上記撮像手段により撮像されて光電変換された被写体の画像情報を信号処理を施すために記憶する記憶手段と、
上記記憶手段に記憶された画像情報を読み出して、上記記録手段に記録される画素数のフォーマットに対して画質劣化が無い画素数まで変換可能に画素変換処理を施す画素変換手段と、
画像情報を合成する合成手段と、
上記画素変換手段による画素変換後の変換画素情報を上記記録手段に記録する際に、記録に関わる画素数に対して、上記撮像手段における光電変換部の画素数は十分に大きいものを有し、上記光電変換部の画素数範囲で拡大または縮小を行い、且つ上記光学手段に対する拡大または縮小の動作を制御する制御手段であって、フォーカス合焦時の距離情報から、上記撮像手段により撮像されて光電変換された被写体の画像情報のうちの一番距離の近い被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように上記画素変換手段に画素変換を行わせ、画素変換後の上記一番距離の近い被写体と上記他の被写体とを上記合成手段に合成させ、上記合成手段で合成された画像情報を上記記録手段に記録させる制御手段とを備えた
撮像装置。In an imaging apparatus for performing signal processing on an image of a subject imaged by an imaging unit via an optical unit and recording the image on a recording unit,
Storage means for storing image information of a subject imaged and photoelectrically converted by the imaging means for performing signal processing;
Pixel conversion means for reading out the image information stored in the storage means and performing pixel conversion processing so that the number of pixels recorded in the recording means can be converted up to the number of pixels without image quality degradation;
Combining means for combining image information;
When recording the converted pixel information after the pixel conversion by the pixel converting unit to the recording unit, the number of pixels of the photoelectric conversion unit in the imaging unit is sufficiently larger than the number of pixels involved in the recording, Control means for performing enlargement or reduction within the range of the number of pixels of the photoelectric conversion unit and controlling an enlargement or reduction operation with respect to the optical means , which is picked up by the imaging means from distance information at the time of focusing. After the pixel conversion, the pixel conversion means performs pixel conversion so that the enlargement rate of the subject closest to the photoelectrically converted subject image information is relatively larger than the enlargement rate of other subjects. An image pickup apparatus comprising: a control unit that causes the combining unit to combine the subject with the shortest distance and the other subject, and to record the image information combined by the combining unit on the recording unit .
上記画素変換手段は上記光学手段の周辺部の画像範囲を避けた画像範囲の拡大または縮小の処理をする
撮像装置。The imaging device according to claim 1,
Imaging device the pixel converter you processing magnification or reduction of the image area to avoid the image area of the peripheral portion of the optical means.
上記制御手段は、被写体に対する上記光学手段の焦点距離がリミット値になるまで上記光学手段に拡大または縮小の動作を行わせ、上記焦点距離がリミット値であるとき、上記光学手段の拡大または縮小の動作に替えて上記画素変換手段に画素変換処理を行わせ、上記画素変換手段による画素変換処理の倍率が最大であるとき、上記画素変換手段の画素変換処理に替えて上記光学手段に拡大または縮小の動作を行わせる
撮像装置。The imaging device according to claim 1,
The control means causes the optical means to perform an enlargement or reduction operation until the focal length of the optical means with respect to a subject reaches a limit value, and when the focal distance is a limit value, In place of the operation, the pixel conversion unit performs the pixel conversion process. When the magnification of the pixel conversion process by the pixel conversion unit is maximum, the optical unit expands or contracts instead of the pixel conversion process of the pixel conversion unit. An imaging device that performs the above operation .
上記画素変換手段は上記光学手段の色収差の劣化を避けた画像範囲の拡大または縮小の処理をする
撮像装置。The imaging device according to claim 1,
Imaging device the pixel converter you processing magnification or reduction of the image area to avoid the deterioration of the chromatic aberration of the optical means.
上記撮像手段により撮像されて光電変換された被写体の画像情報から領域を指定する操作を行うための操作手段をさらに備え、
上記制御手段は、上記操作手段により領域が指定された場合、指定された領域の被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように上記画素変換手段に画素変換を行わせ、画素変換後の上記指定された領域の被写体と上記他の被写体とを上記合成手段に合成させ、上記合成手段で合成された画像情報を上記記録手段に記録させる
撮像装置。The imaging device according to claim 1,
An operation unit for performing an operation of designating a region from image information of a subject imaged and photoelectrically converted by the imaging unit;
When an area is designated by the operation means, the control means performs pixel conversion on the pixel conversion means so that the enlargement ratio of the subject in the designated area is relatively larger than the enlargement ratio of other subjects. An imaging apparatus that causes the composition unit to synthesize the subject in the designated area after pixel conversion and the other subject, and causes the recording unit to record the image information synthesized by the synthesis unit .
上記撮像手段により撮像されて光電変換された被写体の画像情報を信号処理を施すために記憶手段に記憶する記憶ステップと、
上記記憶手段に記憶された画像情報を読み出して、上記記録手段に記録される画素数のフォーマットに対して画質劣化が無い画素数まで変換可能に画素変換手段により画素変換処理を施す画素変換ステップと、
画像情報を合成手段により合成する合成ステップと、
上記画素変換手段による画素変換後の変換画素情報を上記記録手段に記録する際に、記録に関わる画素数に対して、上記撮像手段における光電変換部の画素数は十分に大きいものを有し、上記光電変換部の画素数範囲で拡大または縮小を行い、且つ上記光学手段に対する拡大または縮小の動作を制御手段により制御する制御ステップであって、フォーカス合焦時の距離情報から、上記撮像手段により撮像されて光電変換された被写体の画像情報のうちの一番距離の近い被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように上記画素変換手段に画素変換を行わせ、画素変換後の上記一番距離の近い被写体と上記他の被写体とを上記合成手段に合成させ、上記合成手段で合成された画像情報を上記記録手段に記録させる制御ステップとを備えた
画像処理方法。In an image processing method in an imaging apparatus for performing signal processing on an image of a subject imaged by an imaging unit via an optical unit and recording the image on a recording unit,
A storage step of storing image information of a subject imaged and photoelectrically converted by the imaging unit in a storage unit in order to perform signal processing;
A pixel conversion step of reading the image information stored in the storage means and subjecting the format of the number of pixels recorded in the recording means to pixel conversion processing by the pixel conversion means so as to be able to convert the number of pixels without image quality degradation; ,
A synthesis step of synthesizing the image information by a synthesis means;
When recording the converted pixel information after the pixel conversion by the pixel converting unit to the recording unit, the number of pixels of the photoelectric conversion unit in the imaging unit is sufficiently larger than the number of pixels involved in the recording, A control step of performing enlargement or reduction within the range of the number of pixels of the photoelectric conversion unit and controlling the operation of enlargement or reduction with respect to the optical means by the control means, from the distance information at the time of focusing, by the imaging means Causing the pixel conversion means to perform pixel conversion so that the magnification rate of the subject closest to the image information of the imaged and photoelectrically converted subject is relatively larger than the magnification rate of other subjects, A control step for causing the combining unit to combine the subject having the shortest distance after the pixel conversion and the other subject, and to record the image information combined by the combining unit on the recording unit. The image processing method and a flop.
上記画素変換ステップ手段は上記光学手段の周辺部の画像範囲を避けた画像範囲の拡大または縮小の処理をする
画像処理方法。The image processing method according to claim 6.
The image processing method the pixel conversion step means you processing magnification or reduction of the image area to avoid the image area of the peripheral portion of the optical means.
上記制御ステップでは、被写体に対する上記光学手段の焦点距離がリミット値になるまで上記光学手段に拡大または縮小の動作を行わせ、上記焦点距離がリミット値であるとき、上記光学手段の拡大または縮小の動作に替えて上記画素変換手段に画素変換処理を行わせ、上記画素変換手段による画素変換処理の倍率が最大であるとき、上記画素変換手段の画素変換処理に替えて上記光学手段に拡大または縮小の動作を行わせる
画像処理方法。The image processing method according to claim 6.
In the control step, the optical means performs an enlargement or reduction operation until the focal length of the optical means with respect to the subject reaches a limit value. When the focal distance is the limit value, the optical means is enlarged or reduced. In place of the operation, the pixel conversion unit performs the pixel conversion process. When the magnification of the pixel conversion process by the pixel conversion unit is maximum, the optical unit expands or contracts instead of the pixel conversion process of the pixel conversion unit. An image processing method for performing the operation .
上記画素変換ステップは上記光学手段の色収差の劣化を避けた画像範囲の拡大または縮小の処理をする
画像処理方法。The image processing method according to claim 6.
The image processing method the pixel converting step you the process of enlargement or reduction of an image range to avoid deterioration of the chromatic aberration of the optical means.
上記制御ステップでは、上記撮像手段により撮像されて光電変換された被写体の画像情報から領域を指定する操作を行うための操作手段によって領域が指定された場合、指定された領域の被写体の拡大率を他の被写体の拡大率よりも相対的に大きくするように上記画素変換手段に画素変換を行わせ、画素変換後の上記指定された領域の被写体と上記他の被写体とを上記合成手段に合成させ、上記合成手段で合成された画像情報を上記記録手段に記録させる
画像処理方法。The image processing method according to claim 6.
In the control step, when an area is designated by an operation means for performing an operation for designating an area from image information of a subject imaged and photoelectrically converted by the imaging means, an enlargement ratio of the subject in the designated area is set. The pixel conversion unit performs pixel conversion so that the enlargement ratio of the other subject is relatively larger, and the composition unit combines the subject in the designated area after the pixel conversion and the other subject. An image processing method for causing the recording means to record the image information synthesized by the synthesizing means .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149593A JP4238637B2 (en) | 2003-05-27 | 2003-05-27 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149593A JP4238637B2 (en) | 2003-05-27 | 2003-05-27 | Imaging apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004356748A JP2004356748A (en) | 2004-12-16 |
| JP4238637B2 true JP4238637B2 (en) | 2009-03-18 |
Family
ID=34045653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003149593A Expired - Fee Related JP4238637B2 (en) | 2003-05-27 | 2003-05-27 | Imaging apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4238637B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7688364B2 (en) * | 2004-12-10 | 2010-03-30 | Ambarella, Inc. | Decimating and cropping based zoom factor for a digital camera |
| US7616841B2 (en) * | 2005-06-17 | 2009-11-10 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems |
| JP5586838B2 (en) * | 2008-10-14 | 2014-09-10 | キヤノン株式会社 | Imaging apparatus and zoom control method |
| JP5251546B2 (en) * | 2009-01-28 | 2013-07-31 | 株式会社ニコン | Image processing program, image processing apparatus, and imaging apparatus |
| JP5354035B2 (en) * | 2012-01-19 | 2013-11-27 | カシオ計算機株式会社 | An imaging device with a zoom mechanism. |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05191701A (en) * | 1992-01-08 | 1993-07-30 | Canon Inc | Image pickup device or lens position controller |
| JP4050385B2 (en) * | 1998-05-21 | 2008-02-20 | オリンパス株式会社 | Electronic imaging device |
| JP2001119621A (en) * | 1999-10-15 | 2001-04-27 | Canon Inc | Image-pickup device, method for revising magnification thereof, and storage medium |
| JP2001197347A (en) * | 2000-01-05 | 2001-07-19 | Fuji Photo Film Co Ltd | Information recorder, information obtaining method and digital camera |
| JP4305598B2 (en) * | 2000-06-05 | 2009-07-29 | 富士フイルム株式会社 | Camera aperture control method and apparatus, and camera |
| JP3978640B2 (en) * | 2000-08-31 | 2007-09-19 | 富士フイルム株式会社 | Electronic camera |
| JP4595231B2 (en) * | 2001-04-04 | 2010-12-08 | 株式会社ニコン | Electronic camera |
| JP2003061048A (en) * | 2001-08-20 | 2003-02-28 | Canon Inc | Electronic camera, imaging method, program and storage medium |
| JP4197865B2 (en) * | 2001-11-19 | 2008-12-17 | オリンパス株式会社 | camera |
-
2003
- 2003-05-27 JP JP2003149593A patent/JP4238637B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004356748A (en) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4378994B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP4548156B2 (en) | Camera device and automatic focus control method of camera device | |
| JP4797522B2 (en) | Imaging apparatus and program thereof | |
| JP4497912B2 (en) | Camera and zoom control method of camera | |
| JP2007028283A (en) | Image sensing device | |
| JP3380963B2 (en) | Imaging device | |
| US8111305B2 (en) | Apparatus for photographing having multiple zoom devices and associated method | |
| JP2007215091A (en) | Imaging apparatus and program therefor | |
| JP2012160863A (en) | Imaging apparatus, image reproducing apparatus, and image processing apparatus | |
| JP2006345053A (en) | Image pickup apparatus | |
| JP2003179798A (en) | Digital camera | |
| US7295382B2 (en) | Image pickup device and method of controlling a lens unit | |
| JP4238637B2 (en) | Imaging apparatus and image processing method | |
| JP2007166011A (en) | Imaging apparatus and its program | |
| US6741280B1 (en) | Digital camera having reproduction zoom mode | |
| JPH06181530A (en) | Solid-state image pickup camera | |
| JP2001057649A (en) | Electronic camera | |
| JP5191407B2 (en) | Image processing device | |
| JP4043595B2 (en) | Imaging device | |
| JP2006129211A (en) | Image pickup device | |
| JP3273326B2 (en) | Imaging device | |
| JP3868446B2 (en) | Imaging device | |
| JP4751715B2 (en) | Imaging device | |
| JP4534250B2 (en) | Movie imaging apparatus and program thereof | |
| JP2007037176A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |