JP4596987B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4596987B2
JP4596987B2 JP2005166925A JP2005166925A JP4596987B2 JP 4596987 B2 JP4596987 B2 JP 4596987B2 JP 2005166925 A JP2005166925 A JP 2005166925A JP 2005166925 A JP2005166925 A JP 2005166925A JP 4596987 B2 JP4596987 B2 JP 4596987B2
Authority
JP
Japan
Prior art keywords
image
angle
view
display
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005166925A
Other languages
Japanese (ja)
Other versions
JP2006345055A (en
Inventor
基雄 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005166925A priority Critical patent/JP4596987B2/en
Priority to US11/446,355 priority patent/US7920200B2/en
Publication of JP2006345055A publication Critical patent/JP2006345055A/en
Priority to US12/003,295 priority patent/US7800681B2/en
Priority to US12/003,291 priority patent/US7782387B2/en
Priority to US12/003,290 priority patent/US7768567B2/en
Application granted granted Critical
Publication of JP4596987B2 publication Critical patent/JP4596987B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像撮像装置に関し、特に、画角の異なる画像を同時に取得する際に用いて好適な画像撮像装置に関する。   The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus suitable for use in simultaneously acquiring images having different angles of view.

従来から、ビデオカメラやデジタルカメラなどの画像入力装置においては、撮影する被写体までの距離や被写体の画角に対して占める大きさに合わせてレンズの焦点距離を変更し、拡大縮小を自由に行うズーム機能が広く利用されている。これらのズーム機能の方式としては、通常内部のレンズを機械的に動かす事により実現されている光学ズームと、イメージャから出力される画像の一部を利用し、画素間に新たな画素を補間することにより電子的に被写体を拡大する電子ズームに大別される。ここで、電子ズームは、光学ズームと比較して駆動部分が無く小型かつ安価に装置を構成できるという利点を有する一方で、画質的に劣るという問題点がある。   Conventionally, in an image input device such as a video camera or a digital camera, the focal length of the lens is changed according to the distance to the subject to be photographed and the size of the subject with respect to the angle of view, and can be freely enlarged or reduced. The zoom function is widely used. As a method of these zoom functions, a new pixel is interpolated between pixels using an optical zoom that is usually realized by mechanically moving an internal lens and a part of an image output from the imager. Thus, it is roughly divided into electronic zoom that electronically enlarges the subject. Here, the electronic zoom has an advantage that the device can be configured in a small size and at a low cost without a driving part as compared with the optical zoom, but there is a problem that the image quality is inferior.

こうした問題に対して、図２９に示すように、入力画像の周辺部を圧縮する機能を持つ固定焦点距離画像入力光学系と、これを受光する、主として、均一な画素密度を有する受光素子とを備え、この圧縮による歪みを含んだ受光素子の受光画像を補正変換する機能を備える事により、その動作領域において同等の解像度のズーム画像を実現する事を特徴とする電子ズーム画像入力方式が知られている（例えば、特許文献１参照。）。そのため、このような方式を採用すれば、広角画像についても、望遠画像についても、周辺部の画質劣化は避けられないものの、中央部の画像劣化が少ない画像を得ることが期待できる。
特開平１０−２３３９５０号公報 To solve such a problem, as shown in FIG. 29, a fixed focal length image input optical system having a function of compressing a peripheral portion of an input image and a light receiving element mainly receiving a uniform pixel density. An electronic zoom image input method characterized by realizing a zoom image with an equivalent resolution in the operation region by providing a function for correcting and converting a received light image of a light receiving element including distortion due to compression. (For example, refer to Patent Document 1). Therefore, if such a method is employed, it is expected that an image with little image degradation in the central portion can be obtained for both a wide-angle image and a telephoto image, although the image quality degradation in the peripheral portion cannot be avoided.
JP-A-10-233950

以上のように、上述の光学歪曲収差を有する原画像は、周辺部が中央部よりも圧縮されているという特性を有するため、同一の原画像から、広角画像、中央を拡大した望遠画像、など複数の異なった画角を同時に得ることが可能である。しかしながら、このような特性を生かす機能を、デジタルカメラ等のコンシューマ製品に搭載してユーザに提供する場合、ユーザにとって、いかに使い勝手よく、手軽に、それらの機能を使いこなせるようにするかが課題となる。   As described above, since the original image having the above optical distortion has a characteristic that the peripheral portion is compressed more than the central portion, from the same original image, a wide-angle image, a telephoto image in which the center is enlarged, etc. A plurality of different angles of view can be obtained simultaneously. However, when functions that take advantage of these characteristics are provided to users by installing them in consumer products such as digital cameras, it is a challenge for users to be able to use these functions easily and easily. .

本発明は、上記課題に鑑みてなされたものであり、ユーザにとり、使い勝手よく、手軽に、上記の機能を使いこなすことが可能な画像撮像装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide an image pickup apparatus that is user-friendly and easy to use for the above functions.

前記課題を解決するため、本発明は、以下の手段を提案している。
請求項１に係る発明は、中央部を拡大し周辺部を圧縮する歪曲収差特性を持つ光学系と、該光学系により結像された被写体像を画像データに変換し、原画像を出力するイメージセンサと、同一の該原画像データに対し、第１の画角と、この第１の画角よりも狭画角な第２の画角とを設定する画角設定手段と、該設定された画角の原画像データの歪曲収差を補正し、補正画像データを出力する歪曲収差補正回路と、前記歪曲収差が補正された前記第１の画角の補正画像データに基づいて画像を表示する画像表示装置と、前記歪曲収差が補正された前記第１及び第２の画角の補正画像データを記録する画像記録装置と、前記第１の画角、歪曲収差特性、および表示する画像のサイズに応じて領域毎に異なるフィルタリングを実施する表示用フィルタ手段と、前記第１の画角、歪曲収差特性、および記録する画像のサイズに応じて領域毎に異なるフィルタリングを実施する第１の記録用フィルタ手段と、前記第２の画角、歪曲収差特性、および記録する画像のサイズに応じて領域毎に異なるフィルタリングを実施する第２の記録用フィルタ手段と、を有する画像撮像装置を提案している。 In order to solve the above problems, the present invention proposes the following means.
According to the first aspect of the present invention, there is provided an optical system having a distortion characteristic that enlarges the central part and compresses the peripheral part, and an image that converts a subject image formed by the optical system into image data and outputs an original image. An angle of view setting means for setting a first angle of view and a second angle of view narrower than the first angle of view for the same original image data with the sensor, and the set A distortion aberration correction circuit that corrects distortion aberration of original image data of an angle of view and outputs corrected image data, and an image that displays an image based on the corrected image data of the first angle of view in which the distortion aberration is corrected A display device, an image recording device that records the corrected image data of the first and second angles of view in which the distortion is corrected, the first angle of view, distortion characteristics, and the size of the image to be displayed. Display fill that performs different filtering for each area Means, first recording filter means for performing different filtering for each region in accordance with the first angle of view, distortion characteristics, and the size of the image to be recorded, and the second angle of view, distortion characteristics And a second recording filter unit that performs different filtering for each region in accordance with the size of the image to be recorded .

この発明によれば、中央部を拡大し周辺部を圧縮する歪曲収差特性を持つ光学系により結像された被写体像を画像データに変換し、原画像データとしてイメージセンサから出力される同一の原画像データに対し、画角設定手段により、第１の画角と、この第１の画角とは異なる第２の画角とを設定し、第１及び第２の画角の原画像データは、歪曲収差補正回路により歪曲収差が補正され、第１及び第２の画角の補正画像データとして格納装置に格納される。したがって、ユーザは、同一原画像に係る第１の画角とこの第１の画角と異なる第２の画角の画像データを得ることが可能になる。   According to the present invention, an object image formed by an optical system having a distortion characteristic that enlarges the central portion and compresses the peripheral portion is converted into image data, and the same original image output from the image sensor as original image data. A first angle of view and a second angle of view different from the first angle of view are set for the image data by the angle of view setting means, and the original image data of the first and second angles of view are The distortion aberration is corrected by the distortion aberration correction circuit, and is stored in the storage device as corrected image data of the first and second angles of view. Therefore, the user can obtain image data having a first angle of view related to the same original image and a second angle of view different from the first angle of view.

請求項２に係る発明は、請求項１に記載の画像撮像装置について、前記画角設定手段は、前記第１の画角の大きさと、前記第２の画角の大きさとを個々に設定可能であることを特徴とする画像撮像装置を提案している。   According to a second aspect of the present invention, in the image pickup apparatus according to the first aspect, the angle-of-view setting unit can individually set the size of the first angle of view and the size of the second angle of view. An image pickup apparatus characterized by the above is proposed.

この発明によれば、第１の画角の大きさと、第２の画角の大きさとは、画角設定手段により、個々に設定される。したがって、ユーザは、第１の画角、第２の画角の大きさを個々に設定することができる。   According to this invention, the size of the first field angle and the size of the second field angle are individually set by the field angle setting means. Therefore, the user can individually set the sizes of the first angle of view and the second angle of view.

請求項３に係る発明は、請求項２に記載の画像撮像装置について、前記画角設定手段は、前記第１の画角の大きさを設定する第１の画角設定部と、前記第２の画角の大きさを設定する第２の画角設定部とを備えていることを特徴とする画像撮像装置を提案している。   According to a third aspect of the present invention, in the image pickup device according to the second aspect, the angle-of-view setting unit sets a first angle of view setting unit that sets the size of the first angle of view, and the second And a second field angle setting unit for setting the size of the field angle.

この発明によれば、第１の画角設定部により、第１の画角の大きさが、第２の画角設定部により、第２の画角の大きさが、夫々設定される。したがって、ユーザは、第１の画角、第２の画角の大きさを個々に設定することができる。   According to the present invention, the first field angle setting unit sets the first field angle size, and the second field angle setting unit sets the second field angle size. Therefore, the user can individually set the sizes of the first angle of view and the second angle of view.

請求項４に係る発明は、請求項２に記載の画像撮像装置について、前記画角設定手段は、画角の大きさを前記第１の画角と前記第２の画角とで切り替える撮像画角切替部と、該撮像画角切替部による切替結果に係る表示を制御する画角切替表示制御部とを備えることを特徴とする画像撮像装置を提案している。   According to a fourth aspect of the present invention, in the image pickup device according to the second aspect, the angle-of-view setting unit switches the magnitude of the angle of view between the first angle of view and the second angle of view. There has been proposed an image capturing apparatus including an angle switching unit and an angle-of-view switching display control unit that controls display related to a switching result by the imaging angle-of-view switching unit.

この発明によれば、撮像画角切替部により、画角の大きさを設定する画角は、第１の画角と第２の画角とで切り替えられ、その切替結果に係る表示は、画角切替表示制御部により制御される。したがって、第１の画角の大きさの設定、及び第２の画角の大きさの設定、の夫々に係る操作を共通化でき、この操作に係る実装面積を抑えることができる。さらに、ユーザは、切替結果を目視にて確認できる。   According to this invention, the angle of view for setting the size of the angle of view is switched between the first angle of view and the second angle of view by the imaging angle-of-view switching unit, and the display relating to the switching result is It is controlled by the corner switching display control unit. Therefore, the operations related to the setting of the size of the first angle of view and the setting of the size of the second angle of view can be made common, and the mounting area related to this operation can be suppressed. Furthermore, the user can visually confirm the switching result.

請求項５に係る発明は、請求項４に記載の画像撮像装置について、前記画角切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データの表示に重畳して表示させることを特徴とする画像撮像装置を提案している。   According to a fifth aspect of the present invention, in the image pickup device according to the fourth aspect, the angle-of-view switching display control unit superimposes the display related to the switching result on the display of the original image data that is the target of the angle-of-view setting. An image pickup device characterized in that the image is displayed is proposed.

この発明によれば、切替結果に係る表示は、画角切替表示制御部により、画角設定の対象となる原画像データの表示に重畳して表示される。したがって、ユーザは、原画像上で、操作可能な画角を目視にて確認することが可能になる。   According to the present invention, the display related to the switching result is displayed by the view angle switching display control unit so as to be superimposed on the display of the original image data to be set for the view angle. Therefore, the user can visually check the viewable angle of view on the original image.

請求項６に係る発明は、請求項４に記載の画像撮像装置について、前記画角切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データとは異なる位置に表示させることを特徴とする画像撮像装置を提案している。   According to a sixth aspect of the present invention, in the image pickup device according to the fourth aspect, the angle-of-view switching display control unit displays the display related to the switching result at a position different from the original image data to be set as the angle of view. An image pickup apparatus characterized by being displayed on the screen has been proposed.

この発明によれば、切替結果に係る表示は、画角切替表示制御部により、画角設定の対象となる原画像データとは異なる位置に表示される。したがって、ユーザは、操作可能な画角を、原画像とは異なる位置の表示にて確認することが可能になる。   According to the present invention, the display related to the switching result is displayed at a position different from the original image data that is the target of the angle of view setting by the angle of view switching display control unit. Therefore, the user can confirm the operable angle of view by displaying the position different from the original image.

請求項７に係る発明は、請求項１に記載の画像撮像装置について、前記第１の画角のみを撮像する第１の撮像モード、前記第１及び第２の画角の複数の画角を同時撮像する第２の撮像モード、及び、前記第１の画角の画像を前記画像表示装置へ表示し前記第２の画角で撮像する第３の撮像モード、を含む複数の撮像モードを備え、前記撮像モードを切り替える為のボタンやレバーなどから構成される撮像モード切替手段と、前記撮像モード切替手段の状態に応じた撮像モードを設定する撮像モード設定手段と、前記撮像モード設定手段の出力に応じて表示を制御するモード切替表示制御手段とを更に備え、前記第１の画角設定手段の出力と前記撮像モード切替表示制御手段の制御に応じて、前記表示用フィルタ手段及び前記第１の記録用フィルタ手段の設定を変更し、前記第２の画角設定手段の出力と前記撮像モード切替表示制御手段の制御に応じて、前記第２の記録用フィルタ手段の設定を変更することを特徴とする画像撮像装置を提案している。 According to a seventh aspect of the present invention, there is provided a first imaging mode in which only the first angle of view is imaged, and a plurality of angles of view of the first and second angles of view . second imaging mode for simultaneously imaging, and includes a plurality imaging modes including a third imaging mode, for capturing an image of the first field angle in the second field angle to display to the image display device , an imaging mode switching means consists of a button or a lever for switching the imaging mode, an imaging mode setting means for setting the imaging mode according to the state the imaging mode switching means, an output of the image pickup mode setting means further comprising a mode switching display control means for controlling the display in accordance with, the control of the output and the imaging mode switching display control means of the first field angle setting means, the display filter means and said first Recording Change the setting data unit, according to the control of the output and the imaging mode switching display control unit of the second field angle setting means, and changing the setting of the second recording filter means An image pickup device is proposed.

この発明によれば、撮像モード切替手段により、１つの画角の画像のみを撮像する第１の撮像モード、第１及び第２の画角の複数の画像を同時撮像する第２の撮像モード、及び、第１の画角でモニターし第２の画角で撮像する第３の撮像モード、を含む複数の撮像モードの間で、撮像モードが切り替えられ、この切替結果に係る表示が、モード切替表示制御手段により制御される。したがって、撮像モードの切り替えを可能とし、かつ、切替結果を目視にて確認することができる。   According to the present invention, the first imaging mode in which only an image with one angle of view is captured by the imaging mode switching means, the second imaging mode in which a plurality of images with the first and second angles of view are simultaneously imaged, In addition, the imaging mode is switched between a plurality of imaging modes including a third imaging mode that is monitored at the first angle of view and is imaged at the second angle of view. It is controlled by the display control means. Therefore, the imaging mode can be switched and the switching result can be confirmed visually.

請求項８に係る発明は、請求項７に記載の画像撮像装置について、前記モード切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データの表示に重畳して表示させることを特徴とする画像撮像装置を提案している。   According to an eighth aspect of the present invention, in the image pickup device according to the seventh aspect, the mode switching display control unit superimposes the display according to the switching result on the display of the original image data that is a target of the angle of view setting. An image pickup apparatus characterized by displaying the image is proposed.

この発明によれば、切替結果に係る表示は、モード切替表示制御部により、画角設定の対象となる原画像データの表示に重畳して表示される。したがって、ユーザは、原画像上で、設定された撮像モードを目視にて確認することが可能になる。   According to the present invention, the display related to the switching result is displayed by the mode switching display control unit so as to be superimposed on the display of the original image data to be set as the field angle. Therefore, the user can visually confirm the set imaging mode on the original image.

請求項９に係る発明は、請求項７に記載の画像撮像装置について、前記モード切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データとは異なる位置に表示させることを特徴とする画像撮像装置を提案している。   According to a ninth aspect of the present invention, in the image pickup device according to the seventh aspect, the mode switching display control unit displays the display according to the switching result at a position different from the original image data that is the target of the angle of view setting. An image pickup apparatus characterized by displaying is proposed.

この発明によれば、切替結果に係る表示は、モード切替表示制御部により、画角設定の対象となる原画像データとは異なる位置に表示される。したがって、ユーザは、設定されたモードを、原画像とは異なる位置の表示にて確認することが可能になる。   According to this invention, the display related to the switching result is displayed by the mode switching display control unit at a position different from the original image data that is the target of the angle of view setting. Therefore, the user can confirm the set mode by displaying the position different from the original image.

請求項１０に係る発明は、請求項７に記載の画像撮像装置について、前記モード切替表示制御部は、前記第１の撮像モードにおいては、対象となる原画像の表示をカラーによる表示とし、前記第２の撮像モードにおいては、対象となる原画像の表示をカラーによる表示とすると共に前記第２の画角の枠を表示させ、前記第３の撮像モードにおいては、前記第２の画角の枠を表示すると共に、枠内はカラーによる表示とし、枠外はカラーによる表示とは異なる表示とすることを特徴とする画像撮像装置を提案している。   According to a tenth aspect of the present invention, in the image capturing device according to the seventh aspect, in the first imaging mode, the mode switching display control unit sets the display of the target original image as a color display, and In the second imaging mode, the display of the target original image is displayed in color and the frame of the second field angle is displayed. In the third imaging mode, the second field angle is displayed. There has been proposed an image pickup apparatus characterized by displaying a frame, displaying in a color inside the frame, and displaying different from the color display outside the frame.

この発明によれば、モード切替表示制御部により、第１の撮像モードにおいては、対象となる原画像の表示がカラーによる表示とされ、第２の撮像モードにおいては、対象となる原画像の表示がカラーによる表示とすると共に第２の画角の枠が表示され、第３の撮像モードにおいては、第２の画角の枠が表示されると共に、枠内はカラーによる表示とされ、枠外はカラーによる表示とは異なる表示とされる。したがって、ユーザにとり、撮像モードの設定を、より目視にて確認しやすくすることができる。   According to this invention, the mode switching display control unit displays the target original image in color in the first imaging mode, and displays the target original image in the second imaging mode. Is displayed in color and a frame of the second angle of view is displayed. In the third imaging mode, a frame of the second angle of view is displayed, the inside of the frame is displayed in color, and the outside of the frame is The display is different from the color display. Therefore, it is possible to make it easier for the user to visually confirm the setting of the imaging mode.

請求項１１に係る発明は、請求項１０に記載の画像撮像装置について、前記モード切替表示制御部は、前記枠外を、白黒表示を含む単色による表示、輝度の変更による表示、色調の強調又は淡くすることによる表示とすることを特徴とする画像撮像装置を提案している。   According to an eleventh aspect of the present invention, in the image pickup device according to the tenth aspect, the mode switching display control unit includes a monochrome display including a monochrome display, a display by changing luminance, a tone enhancement, or a faint color outside the frame. An image pickup apparatus characterized in that the display is made by doing is proposed.

この発明によれば、モード切替表示制御部により、枠外は、白黒表示を含む単色による表示、輝度の変更による表示、色調の強調又は淡くすることによる表示とされる。したがって、ユーザにとり、撮像モードの設定や、撮像される範囲と撮像されない範囲がどうなっているのか等を、より目視にて確認しやすくすることができる。   According to the present invention, the mode switching display control unit sets the outside of the frame as a single color display including black and white display, a display by changing the luminance, a display by emphasizing or fainting the color tone. Therefore, for the user, it is possible to make it easier to visually confirm the setting of the imaging mode, what the imaging range and the non-imaging range are, and the like.

請求項１２に係る発明は、請求項１に記載の画像撮像装置について、前記画像記録装置に記録された、同一原画像データに係る前記第１の画角の補正画像データ及び前記第２の画角の補正画像データを、一定時間毎に、順次切り替えて表示させる表示制御回路を更に有することを特徴とする画像撮像装置を提案している。 According to a twelfth aspect of the present invention, in the image pickup device according to the first aspect, the corrected image data of the first angle of view and the second image recorded in the image recording device and related to the same original image data. There has been proposed an image pickup apparatus further comprising a display control circuit for sequentially switching and displaying the corrected image data of the corners at regular intervals.

この発明によれば、画像記録装置に記録された、同一原画像データに係る第１の画角の補正画像データ及び第２の画角の補正画像データは、表示制御回路により、一定時間毎に、順次切り替えて表示される。したがって、ユーザは、同一原画像に係る、記録された画角の異なる全て補正画像データを自動的に確認することが可能になる。 According to the present invention, the corrected image data of the first angle of view and the corrected image data of the second angle of view related to the same original image data recorded in the image recording device are displayed at regular intervals by the display control circuit. , Displayed sequentially. Therefore, the user can automatically check all the corrected image data recorded in the same original image with different angles of view.

請求項１３に係る発明は、請求項４に記載の画像撮像装置について、前記画像記録装置に記録された、同一原画像データに係る前記第１の画角の補正画像データ、又は、前記第２の画角の補正画像データの何れか一方を一定時間表示させ、一定時間内に、前記撮像画角切替部による切り替えを検出したときには、表示されている補正画像データとは異なる、同一原画像データに係る他方の補正画像データを表示させる表示制御回路を更に備えることを特徴とする画像撮像装置を提案している。 According to a thirteenth aspect of the present invention, in the image pickup device according to the fourth aspect, the corrected image data of the first angle of view relating to the same original image data recorded in the image recording device, or the second The same original image data that is different from the displayed corrected image data when one of the corrected image data of the angle of view is displayed for a certain period of time and switching by the imaging angle of view switching unit is detected within the certain period of time. An image pickup apparatus is further provided that further includes a display control circuit that displays the other corrected image data according to the above.

この発明によれば、画像記録装置に記録された、同一原画像データに係る第１の画角の補正画像データ、又は、第２の画角の補正画像データの何れか一方が一定時間表示され、一定時間内に、撮像画角切替部による切り替えが検出されたとき、表示されている補正画像データとは異なる、同一原画像データに係る他方の補正画像データが、表示制御回路により、表示される。したがって、ユーザは、同一原画像に係る、記録された画角の異なる複数の補正画像データを、撮像画角切替手段を操作することにより、順次表示させて確認することが可能になる。 According to the present invention, either the corrected image data of the first angle of view or the corrected image data of the second angle of view related to the same original image data recorded in the image recording device is displayed for a certain period of time. When the switching by the imaging angle-of-view switching unit is detected within a certain time, the other corrected image data related to the same original image data, which is different from the displayed corrected image data, is displayed by the display control circuit. The Accordingly, the user can sequentially display and check a plurality of corrected image data recorded in the same original image with different angles of view by operating the imaging angle of view switching means.

請求項１４に係る発明は、請求項１に記載の画像撮像装置について、前記画像記録装置は、同一原画像から作成されたことを示すインデクスが共に付された、前記第１の画角の補正画像データと前記第２の画角の補正データを記録することを特徴とする画像撮像装置を提案している。 According to a fourteenth aspect of the present invention, in the image pickup device according to the first aspect, the first image angle correction includes an index indicating that the image recording apparatus is created from the same original image. An image pickup apparatus is proposed that records image data and correction data for the second angle of view.

この発明によれば、同一原画像から作成されたことを示すインデクスが共に付された、第１の画角の補正画像データと第２の画角の補正データが、画像記録装置に記録される。したがって、第１の画角の補正画像データと第２の画角の補正データとの関連を容易に確認することが可能になる。
請求項１５に係る発明は、請求項７に記載の画像撮像装置について、前記表示用フィルタ手段、前記第１の記録用フィルタ手段、前記第２の記録用フィルタ手段は、同一の回路を共有する構成を持ち、スルー画表示時には表示用の設定で動作し、シャッタを切った後には撮像モードに応じて第１の記録用、第２の記録用に順次設定して実行することを特徴とする画像撮像装置を提案している。 According to the present invention, the corrected image data of the first angle of view and the corrected data of the second angle of view, which are both indexed indicating that they are created from the same original image, are recorded in the image recording apparatus. . Therefore, it is possible to easily confirm the relationship between the corrected image data of the first field angle and the correction data of the second field angle.
According to a fifteenth aspect of the present invention, in the image pickup device according to the seventh aspect, the display filter means, the first recording filter means, and the second recording filter means share the same circuit. It has a configuration and operates with display settings when displaying a through image. After the shutter is released, it is set and executed sequentially for first recording and second recording according to the imaging mode. An image pickup device is proposed.

本発明によれば、ユーザにとって、使い勝手よく、手軽に、機能を使いこなすことができる画像撮像装置を提供することができるという効果がある。   According to the present invention, there is an effect that it is possible for a user to provide an image pickup apparatus that can be used easily and easily.

（第1の実施の形態）
図１は本発明の第１の実施形態に係る画像撮像装置たるデジタルカメラを示す構成図である。
図１に示すように、本実施形態に係るデジタルカメラは、歪曲収差を持つ光学系１０１と、イメージセンサ１０２と、歪曲収差補正回路たる歪曲収差補正画像処理装置１０３と、画像表示装置１０４と、格納装置たる画像記憶装置１０５と、画角設定手段、第１の画角設定部、第２の画角設定部、撮像画角切替部、画角切替表示制御部、撮影モード切替手段、モード切替表示制御手段、表示制御回路たる制御装置１０６と、操作部１０７とから構成されている。 (First embodiment)
FIG. 1 is a block diagram showing a digital camera which is an image pickup apparatus according to the first embodiment of the present invention.
As shown in FIG. 1, the digital camera according to the present embodiment includes an optical system 101 having distortion, an image sensor 102, a distortion correction image processing device 103 serving as a distortion correction circuit, an image display device 104, Image storage device 105 as storage device, field angle setting means, first field angle setting unit, second field angle setting unit, imaging field angle switching unit, field angle switching display control unit, shooting mode switching unit, mode switching The control unit 106 is a display control means, a display control circuit, and an operation unit 107.

歪曲収差を持つ光学系１０１は、中央部を拡大し、周辺部を圧縮する歪曲収差特性を有する光学系である。イメージセンサ１０２は、歪曲収差を持つ光学系１０１を通して撮像された光学像を電気信号に変換するための光電変換素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等である。歪曲収差補正画像処理装置１０３は、イメージセンサ１０２から出力された画像信号に対して、これを表示や圧縮に必要な形式に変換する。また、光学歪曲収差を補正し、高画質化のための画像処理を行い、記録の為のデータ圧縮処理を行う。なお、構成の詳細については後述する。   The optical system 101 having distortion aberration is an optical system having distortion aberration characteristics that enlarges the central portion and compresses the peripheral portion. The image sensor 102 is a photoelectric conversion element for converting an optical image picked up through the optical system 101 having distortion aberration into an electric signal, and is, for example, a CCD or a CMOS sensor. The distortion correction image processing apparatus 103 converts the image signal output from the image sensor 102 into a format necessary for display and compression. Further, optical distortion is corrected, image processing for improving image quality is performed, and data compression processing for recording is performed. Details of the configuration will be described later.

画像表示装置１０４は、液晶等から構成され、撮影された画像を表示する。画像記憶装置１０５は、撮影した画像データを記録するための半導体メモリや磁気メモリ等である。制御装置１０６は、歪曲収差を持つ光学系１０１、イメージセンサ１０２、歪曲収差補正画像処理装置１０３、画像表示装置１０４等を図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に格納された制御プログラムにしたがって制御する。操作部１０７は、ユーザがカメラを操作するために用いる各種機能に対応するボタンやスイッチ類、情報表示部等から構成されている。   The image display device 104 is composed of a liquid crystal or the like and displays a captured image. The image storage device 105 is a semiconductor memory, a magnetic memory, or the like for recording captured image data. The control device 106 controls the optical system 101 having distortion aberration, the image sensor 102, the distortion correction image processing device 103, the image display device 104 and the like according to a control program stored in a ROM (Read Only Memory) or the like (not shown). . The operation unit 107 includes buttons and switches corresponding to various functions used by the user to operate the camera, an information display unit, and the like.

図２（ａ）、（ｂ）は、図２（ｃ）に示すような歪曲収差が無い通常の光学系で撮影された光学像を歪曲収差を持つ光学系１０１で撮影した場合の光学像を例示している。このうち、図２（ａ）は、縦・横独立に周辺部になるほど光学像を圧縮するような歪曲収差を発生させた光学系で撮影される光学像の例であり、図２（ｂ）は、共軸系の光学系により、同心円状に中心部からの距離が大きくなるほど光学像を圧縮するような樽型の歪曲収差を発生させた光学系で撮影される光学像の例である。なお、図２（ａ）〜（ｃ）は全て同一の被写体を撮影した光学像の例である。   2 (a) and 2 (b) show optical images when an optical image taken with a normal optical system without distortion as shown in FIG. 2 (c) is taken with an optical system 101 having distortion. Illustrated. Among these, FIG. 2A is an example of an optical image taken by an optical system in which distortion is generated such that the optical image is compressed toward the peripheral part independently in the vertical and horizontal directions, and FIG. Is an example of an optical image photographed by an optical system in which a barrel-shaped distortion aberration is generated such that the optical image is compressed as the distance from the central portion increases concentrically by a coaxial optical system. 2A to 2C are examples of optical images obtained by photographing the same subject.

このように、本発明の歪曲収差を持つ光学系１０１は、中央部の画像は拡大され、周辺部の画像は縮小されるように構成されているものであり、図２（ａ）、図２（ｂ）の光学系を組み合わせたような光学歪曲収差として実現することも可能である。なお、一般的に、図２（ａ）のような歪曲収差を発生させた方が、より高画質に補正を行う事が可能である。以下では、図２（ａ）の歪曲収差を例に、本実施形態について説明する。   As described above, the optical system 101 having distortion according to the present invention is configured such that the central image is enlarged and the peripheral image is reduced. It can also be realized as an optical distortion that combines the optical system of (b). In general, it is possible to perform correction with higher image quality by generating distortion as shown in FIG. Hereinafter, the present embodiment will be described by taking the distortion aberration of FIG. 2A as an example.

図３は、図２（ａ）の場合と同様に、縦・横独立な歪曲収差を持つ光学系１０１により撮影された画像データを示す模式図であり、図３（ａ）は、撮影された原画を、図３（ｂ）は、この被写体の本来の画像、すなわち、光学収差の無い光学系で撮影された画像を示している。   FIG. 3 is a schematic diagram showing image data taken by the optical system 101 having longitudinal and transverse independent distortion aberrations as in FIG. 2A, and FIG. 3A is taken. FIG. 3B shows an original image, that is, an original image of the subject, that is, an image taken with an optical system having no optical aberration.

図３（ａ）は、前述した図２（ａ）と同様に、被写体の中央部が縦・横共に拡大され、被写体の周辺部が縦・横共に圧縮されている。この図３（ａ）、図３（ｂ）における（１）〜（１３）は被写体の横方向に等間隔の距離を有する座標位置を示しており、Ａ〜Ｏは縦方向に等間隔の距離を有する座標位置を示している。従って、図３（ａ）、図３（ｂ）において、同一の符号により定められる座標位置（例えば、図３（ａ）における（（７）、Ｈ）と図３（ｂ）における（（７）、Ｈ））には、同じ画像が対応している。なお、このような歪曲収差を持つ光学系は、図４に示すようにカマボコ形のシリンドリカルレンズ４０１、４０２を縦・横に組み合わせる事により実現できる。   In FIG. 3A, the center of the subject is enlarged both vertically and horizontally, and the periphery of the subject is compressed both vertically and horizontally, as in FIG. 3 (a) and 3 (b), (1) to (13) indicate coordinate positions having equidistant distances in the horizontal direction of the subject, and A to O are equidistant distances in the vertical direction. The coordinate position which has is shown. Therefore, in FIG. 3A and FIG. 3B, the coordinate positions (for example, ((7), H) in FIG. 3A and ((7)) in FIG. H)) corresponds to the same image. Note that an optical system having such distortion can be realized by combining vertical cylindrical and horizontal cylindrical lenses 401 and 402 as shown in FIG.

図３（ｂ）に示すような風景を本実施形態におけるデジタルカメラで撮影した場合、その光学像は歪曲収差を持つ光学系１０１を通して、その中央部が拡大され、周辺部が圧縮されて図３（ａ）に示すような画像としてイメージセンサ１０２上に像を結ぶ。そして、この歪曲収差を持った光学像は、イメージセンサ１０２により電気信号に変換される。   When a landscape as shown in FIG. 3B is photographed by the digital camera in the present embodiment, the optical image is enlarged through the optical system 101 having distortion aberration, the central part is enlarged, and the peripheral part is compressed. An image is formed on the image sensor 102 as an image as shown in FIG. Then, the optical image having this distortion is converted into an electric signal by the image sensor 102.

なお、このイメージセンサ１０２にはベイヤー配列の色フィルタが貼付られており、ベイヤー配列の色情報を含む画素データが順次出力される。そして、この画素データは図示しないアナログフロントエンド回路（ＣＤＳ・ＰＧＡ・Ａ／Ｄ）を通じてデジタル信号に変換され、歪曲収差補正画像処理装置１０３に入力される。   Note that a Bayer color filter is attached to the image sensor 102, and pixel data including Bayer color information is sequentially output. The pixel data is converted into a digital signal through an analog front-end circuit (CDS / PGA / A / D) (not shown) and input to the distortion correction image processing apparatus 103.

歪曲収差補正画像処理装置１０３は、図５に示すように、画像補正部５０１と、ＲＧＢ同時化部５０２と、第１のフィルタ５０３と、収差補正部５０４と、拡大／縮小部５０５と、第２のフィルタ５０７と、ＹＣ変換部５０８と、画像圧縮部５０９と、表示用変換部５１０と、フレームメモリ５１１とから構成されている。   As shown in FIG. 5, the distortion correction image processing apparatus 103 includes an image correction unit 501, an RGB synchronization unit 502, a first filter 503, an aberration correction unit 504, an enlargement / reduction unit 505, 2 filter 507, YC conversion unit 508, image compression unit 509, display conversion unit 510, and frame memory 511.

画像補正回路５０１は、イメージセンサ１０２から入力した撮影画像に対して、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）を実施する。なお、このシェーディング補正は、図６（ａ）および（ｂ）に示すように、光学系の歪曲収差により周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味し、図７（ａ）または（ｂ）に示すような補正回路により補正を行う。   The image correction circuit 501 performs pixel defect correction, white balance correction, and shading correction (light quantity correction) on the captured image input from the image sensor 102. As shown in FIGS. 6A and 6B, this shading correction is due to the effect of brightening due to the peripheral portion being compressed by distortion of the optical system and the effect of ambient light being cast by a lens frame or the like. In consideration of the dimming effect, correction is performed by a correction circuit as shown in FIG. 7 (a) or (b).

具体的な補正処理は、図７（ａ）の場合、イメージセンサ１０２から入力した画像における物理的な座標位置をアドレスとして指定すると、補正係数がデータとして出力される参照テーブルメモリ７０１を用いて行われる。また、図７（ｂ）の場合には、歪曲収差による増光の影響を物理的な座標位置（ｘ，ｙ）の関数Ｆ（ｘ，ｙ）として表したものと、鏡枠等により周辺光がけられる影響による減光の影響を物理的な座標位置（ｘ，ｙ）の関数Ｇ（ｘ，ｙ）として表したものの積として演算器７０２が構成され、この演算器７０２に物理的な座標位置（ｘ，ｙ）をアドレスとして入力することにより、演算結果として補正係数が出力される。   In the case of FIG. 7A, specific correction processing is performed using a reference table memory 701 that outputs a correction coefficient as data when a physical coordinate position in an image input from the image sensor 102 is designated as an address. Is called. Further, in the case of FIG. 7B, the influence of the brightening due to the distortion aberration is expressed as a function F (x, y) of the physical coordinate position (x, y), and the ambient light is blocked by a lens frame or the like. An arithmetic unit 702 is configured as a product of the effects of dimming due to the generated effect as a function G (x, y) of the physical coordinate position (x, y). The arithmetic unit 702 includes a physical coordinate position ( By inputting x, y) as an address, a correction coefficient is output as a calculation result.

なお、図示しないが、参照テーブルメモリ７０１の容量を複数点分に限定し、テーブルに無い座標位置の補正係数を参照テーブルメモリ７０１に保存されている近傍の座標のデータから線形補間などによって計算して算出してもかまわない。   Although not shown, the capacity of the reference table memory 701 is limited to a plurality of points, and correction coefficients for coordinate positions that are not in the table are calculated from the data of neighboring coordinates stored in the reference table memory 701 by linear interpolation or the like. May be calculated.

また、こういったシェーディング補正は、図７（ｃ）に示すような光学系の歪曲収差により周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味した特性に基づいて光の透過率を変化させたような光学減光フィルタを歪曲収差を持つ光学系に加える事によっても実現できる。また、さらに、図７（ｄ）に示すようなイメージャのオンチップレンズの大きさや透過率などにより光学系の歪曲収差によって周辺部が圧縮される事による増光の影響と、鏡枠等により周辺光がけられる影響による減光の影響を加味した特性に基づいて開口率を変化させる事などによっても補正を行う事ができる。   In addition, such shading correction is caused by the effect of brightening due to the peripheral portion being compressed by the distortion of the optical system as shown in FIG. This can also be realized by adding an optical attenuating filter in which the light transmittance is changed based on a characteristic that takes into account the influence to an optical system having distortion. In addition, the influence of brightening due to the peripheral portion being compressed by distortion of the optical system due to the size and transmittance of the on-chip lens of the imager as shown in FIG. Correction can also be performed by changing the aperture ratio based on characteristics that take into account the effect of dimming due to the effect of being removed.

フレームメモリ５１１は、画像補正回路５０１によって画像補正を施された画像信号を格納する。なお、このように、一度、画像信号をフレームメモリに記録する理由は、図８に示すように、イメージャから出力されるプログレッシブやインターレースのラスタースキャンにおけるデータの並びを後段の空間的な画像処理が連続する処理系において、フレームメモリを介さなくても連続して処理できるデータの並び順であるブロックラインスキャンなどに並び替える為であり、もうひとつは、後述するように、広角画像・望遠画像を同時撮影する事を可能にする為である。   The frame memory 511 stores the image signal that has been subjected to image correction by the image correction circuit 501. As described above, the reason why the image signal is once recorded in the frame memory as described above is that, as shown in FIG. 8, the data arrangement in the progressive or interlaced raster scan output from the imager is performed by the subsequent spatial image processing. This is for rearranging to block line scan, which is the order of data that can be processed continuously without going through a frame memory in a continuous processing system, and the other is to convert wide-angle images and telephoto images as will be described later. This is to enable simultaneous shooting.

ＲＧＢ同時化回路５０２は、フレームメモリ５１１から撮影者が指定した画角に応じた分の画像データを読み出し、このベイヤー画像データから全座標位置におけるＲＧＢ全ての色データを補間によって生成する。   The RGB synchronization circuit 502 reads image data corresponding to the angle of view designated by the photographer from the frame memory 511, and generates all RGB color data at all coordinate positions from this Bayer image data by interpolation.

なお、こういった同時化の処理は、通常、周囲の同色フィルタの画素データから補間して生成する。これを図９（ａ）を用いて、説明する。いま、赤色のデータに着目すると、例えば、図９（ａ）において、９０２の位置のデータは、９０１のデータと９０３のデータから補間して生成し、９０４の位置のデータは、９０１のデータと９０７のデータとから補間して生成する。この際、光学系に歪曲収差が無ければ、２つの画素の平均値として補間データを生成すれば良いが、撮像されたベイヤーの画像データは図９（ａ）に示すように光学歪曲収差により歪んでいるものをイメージセンサにより均等にサンプリングした画像データとなっている。従って、実際の風景（補正後の画像）は図９（ｂ）のようになり、得られる画素の座標位置は均等にはならない。（図９（ａ）および（ｂ）で（１）〜（１３）は被写体に対して、横方向に等間隔である座標位置を示しており、Ａ〜Ｏは縦方向に等間隔である座標位置を示している。従って、例えば、図９（ａ）における（（２）、Ｂ）と図９（ｂ）における（（２）、Ｂ））とは、同じ画像が対応している。）   Note that such synchronization processing is usually generated by interpolating from surrounding pixel data of the same color filter. This will be described with reference to FIG. Now, focusing on the red data, for example, in FIG. 9A, the data at the position 902 is generated by interpolating from the data 901 and the data 903, and the data at the position 904 is the data 901 and It is generated by interpolation from the data 907. At this time, if there is no distortion in the optical system, interpolation data may be generated as an average value of two pixels. However, the imaged Bayer image data is distorted by optical distortion as shown in FIG. The image data is obtained by sampling evenly by the image sensor. Accordingly, the actual landscape (corrected image) is as shown in FIG. 9B, and the coordinate positions of the obtained pixels are not uniform. ((1) to (13) in FIGS. 9A and 9B indicate coordinate positions that are equally spaced in the horizontal direction with respect to the subject, and A to O are coordinates that are equally spaced in the vertical direction. Therefore, for example, the same image corresponds to ((2), B) in FIG. 9A and ((2), B) in FIG. )

このため、撮像された画像を高画質に補間するためには、実際の風景（補正後の画像）における距離に応じて補正を行う必要がある。つまり、図９（ａ）における９０１の画素データと９０３の画素データとから９０２の画素データを補間する際、補正後の（図９（ｂ）の）９０１の画素データと９０２の画素データ間との距離がＸＡ、補正後の９０３の画素データと９０２の画素データ間との距離がＸＢである場合、９０２の位置のＲ色データは、
９０２のＲデータ＝（９０１のＲデータ×（ＸＢ／（ＸＡ＋ＸＢ））
＋（９０３のＲデータ×（ＸＡ／（ＸＡ＋ＸＢ））
として補間して生成する必要がある。 For this reason, in order to interpolate the captured image with high image quality, it is necessary to perform correction according to the distance in the actual landscape (corrected image). That is, when the pixel data 902 is interpolated from the pixel data 901 and the pixel data 903 in FIG. 9A, the correction between the pixel data 901 and the pixel data 902 after correction (FIG. 9B) Is XA, and the distance between the corrected pixel data 903 and the pixel data 902 is XB, the R color data at the position 902 is
902 R data = (901 R data × (XB / (XA + XB))
+ (903 R data x (XA / (XA + XB))
Need to be interpolated.

また、同様に、
９０４の位置のＲデータ＝（９０１のＲデータ×（ＹＢ／（ＹＡ＋ＹＢ））
＋（９０７のＲデータ×（ＹＡ／（ＹＡ＋ＹＢ））
として補間して生成する必要がある。なお、他の座標位置のＲデータ及びＢデータ、Ｇデータも同様にして生成することができる。 Similarly,
R data at position 904 = (R data at 901 × (YB / (YA + YB))
+ (907 R data x (YA / (YA + YB))
Need to be interpolated. Note that R data, B data, and G data at other coordinate positions can be generated in the same manner.

また、上記は、近傍２点から補間する例を示したが、Ｇデータなどは近傍の４点から補正する方が高画質に補正できる。この場合、歪曲収差補正後の被写体の画素間距離に反比例した重み付けを行って同様に補正すれば良く、下記の演算式にて生成する事もできる。
９０５のＧデータ＝（９０４のＧデータ×（ＸＢ／（ＸＡ＋ＸＢ））
＋（９０６のＧデータ×（ＸＡ／（ＸＡ＋ＸＢ））／２）
＋（９０２のＧデータ×（ＹＢ／（ＹＡ＋ＹＢ））
＋（９０８のＧデータ×（ＹＡ／（ＹＡ＋ＹＢ））／２）
また、ＲデータやＢデータも上記近傍２点からの生成と組み合わせたり、斜め方向の近傍画素からの補間を行う事により同様にして生成することができる。 Further, the above shows an example in which interpolation is performed from two neighboring points. However, correction of G data or the like from four neighboring points can be performed with higher image quality. In this case, the correction may be performed in the same manner by performing weighting inversely proportional to the inter-pixel distance of the subject after distortion correction, and can be generated by the following arithmetic expression.
905 G data = (904 G data × (XB / (XA + XB))
+ (G data of 906 × (XA / (XA + XB)) / 2)
+ (G data of 902 × (YB / (YA + YB))
+ (908 G data × (YA / (YA + YB)) / 2)
Also, R data and B data can be generated in the same manner by combining with generation from the two neighboring points, or by performing interpolation from neighboring pixels in the oblique direction.

第１のフィルタ５０３は、ＲＧＢ同時化部５０２によってＲＧＢ同時化された画像データを歪曲収差補正処理に先立って、ＲＧＢ各色の信号に対して、それぞれ独立に空間的なフィルタ処理を行う。これは、歪曲収差補正を行う際に、画像の中央部分が縮小されるときに画像の高周波成分が折り返って画質を劣化させる事を防止するために行う処理である。なお、このローパスフィルタの特性は、撮影したい画角（ズーム位置）に応じて変化させる必要があり、図１０（ａ）から図１０（ｂ）のように、イメージセンサ１０２の出力画像を縮小処理しなければならない場合に、図１０（ａ）の１００１に示す中央の領域に関してのみ実行する必要があり、画像周辺部の逆に拡大処理しなければならない領域１００２には実行されないようにする必要がある。   The first filter 503 performs spatial filter processing on the RGB color signals independently of the RGB data by the RGB synchronization unit 502 prior to distortion correction processing. This is processing performed to prevent the image quality from deteriorating due to the high-frequency component of the image being folded back when the central portion of the image is reduced when performing distortion correction. Note that the characteristics of the low-pass filter must be changed according to the angle of view (zoom position) to be photographed, and the output image of the image sensor 102 is reduced as shown in FIGS. 10 (a) to 10 (b). When it is necessary to perform the processing, it is necessary to perform the processing only for the central region indicated by 1001 in FIG. 10A, and it is necessary not to perform the processing on the region 1002 that must be enlarged on the opposite side of the peripheral portion of the image. is there.

図１１は、第１のフィルタ５０３を３×３の空間フィルタとして構成した例であり、係数（Ｃ１１〜Ｃ３３）の値を設定する事によってローパスフィルタとして機能させることが出来る。なお、レジスタに格納されている係数（Ｃ１１〜Ｃ３３）は画素の座標位置に応じて値を変更する必要があり、図１０（ａ）の周辺部１００２の領域においては、Ｃ２２のみを”１”に設定し他を”０“に設定する事により、フィルタが作用しないように制御する。また、中央部のフィルタ処理領域１００１のフィルタ係数は、その座標位置により、画角と歪曲収差の度合により決定される縮小率に応じて変化させることが高画質に画像処理を行う上で望ましい。   FIG. 11 shows an example in which the first filter 503 is configured as a 3 × 3 spatial filter, and can function as a low-pass filter by setting the values of the coefficients (C11 to C33). Note that the values of the coefficients (C11 to C33) stored in the register need to be changed according to the coordinate position of the pixel, and in the area of the peripheral portion 1002 in FIG. And the others are set to “0” to control the filter not to operate. Further, it is desirable that the filter coefficient of the filter processing region 1001 in the central part is changed according to the reduction ratio determined by the angle of view and the degree of distortion depending on the coordinate position in order to perform image processing with high image quality.

図１１の構成例では、全ての係数を歪曲収差による影響を加味して独立に設定できるように構成したが、画質を多少犠牲にし、歪曲収差の影響を無視して、上下・左右に対象な位置の画素データを先に加算してから共通化した係数を乗じるように構成して、必要な乗算器の数を削減して回路規模を小さく構成する事もできし、さらに画質を犠牲にして一定値とすることもできる。ただし、この場合、１００１と１００２との領域部のみはぼかす必要がある。また、歪曲収差が大きく、中央部の縮小率が大きい場合には、回路規模が大きくなってしまうが４×４や５×５のようにもっと大きなフィルタを構成する必要がある。また、フィルタの構成は本実施形態で示したようなマトリックスフィルタに限らない。   In the configuration example of FIG. 11, all the coefficients are configured so that they can be set independently in consideration of the influence of distortion. However, the image quality is sacrificed to some extent, and the influence of distortion is ignored, and the target is vertically and horizontally. It is possible to reduce the number of required multipliers and reduce the circuit scale by adding the pixel data at the position and then multiplying by the common coefficient, and at the expense of image quality. It can also be a constant value. However, in this case, it is necessary to blur only the area portions 1001 and 1002. Further, when the distortion is large and the reduction ratio at the center is large, the circuit scale becomes large, but it is necessary to configure a larger filter such as 4 × 4 or 5 × 5. Further, the configuration of the filter is not limited to the matrix filter as shown in the present embodiment.

収差補正部５０４は、第１のフィルタ５０３において、歪曲収差補正により縮小される画像の中央部に対して、ローパスフィルタ処理を施された画像信号をＲＧＢ各色独立に入力する。収差補正部５０４の具体的な構成は、図１２に示すようになっており、歪曲収差補正後の画像データの座標から対応する歪曲収差を持った画像上の座標位置を計算する対応座標算出部１２０１と、前段の第１のフィルタ５０３等で処理された画像データを格納するＩＦ画像メモリ１２０２と、対応座標算出部１２０１で計算した目標とする座標の画素データを得るために必要な記録済の近傍画素データの座標を演算し、この座標のデータをＩＦ画像メモリ１２０２から読み出す近傍画素データ読出部１２０３と、近傍画素データ読出部１２０３において読み出された近傍の画素データから目標とする座標の画素データを演算する補正画素値演算部１２０４とから構成される。   The aberration correction unit 504 inputs the image signal subjected to the low-pass filter processing to each color of RGB independently for the central portion of the image reduced by the distortion correction in the first filter 503. The specific configuration of the aberration correction unit 504 is as shown in FIG. 12, and the corresponding coordinate calculation unit that calculates the coordinate position on the image having the corresponding distortion aberration from the coordinates of the image data after distortion aberration correction. 1201, an IF image memory 1202 for storing image data processed by the first filter 503 and the like in the previous stage, and recorded data necessary for obtaining pixel data of target coordinates calculated by the corresponding coordinate calculation unit 1201 The pixel of the target coordinate is calculated from the neighboring pixel data reading unit 1203 that calculates the coordinates of the neighboring pixel data and reads out the data of the coordinates from the IF image memory 1202, and the neighboring pixel data read by the neighboring pixel data reading unit 1203. And a correction pixel value calculation unit 1204 for calculating data.

次に、図１３を用いて、収差補正部５０４における歪曲収差補正の方法について説明する。
図１３（ａ）は歪曲収差補正後の画像であり、この図の格子の交点の画素データを演算することがこの収差補正部の目的である。ここで、座標値（Ｘｎ，Ｙｎ）の画素１３０１を求める場合を例に説明する。 Next, a distortion correction method in the aberration correction unit 504 will be described with reference to FIG.
FIG. 13A shows an image after distortion aberration correction, and the purpose of this aberration correction unit is to calculate pixel data at the intersection of the lattices in this figure. Here, a case where the pixel 1301 having the coordinate value (Xn, Yn) is obtained will be described as an example.

まず、対応座標算出部１２０１に、座標値（Ｘｎ，Ｙｎ）を入力すると、対応座標算出部１２０１は、光学歪曲収差や倍率色収差を補正する前の原画における対応する座標値（Ｘｓ，Ｙｓ）を計算する。なお、本実施形態のように縦・横独立に１次元の歪曲収差を持つ場合には、それぞれの座標値を独立に演算して求める事が可能である。また、この演算はレンズ設計にも依存するが、一次元であるため簡単な演算回路で実現したり、入力座標をアドレスとし、対応するデータに出力座標値を記録したテーブルメモリを用いたり、あるいは、テーブルメモリの数を離散的な数点に限り中間を線形補間で実現する折れ線近似法などにより求めることが出来る。   First, when coordinate values (Xn, Yn) are input to the corresponding coordinate calculation unit 1201, the corresponding coordinate calculation unit 1201 uses the corresponding coordinate values (Xs, Ys) in the original image before correcting optical distortion and lateral chromatic aberration. calculate. In addition, when there is one-dimensional distortion aberration in the vertical and horizontal directions as in the present embodiment, each coordinate value can be obtained by independently calculating. Although this calculation depends on the lens design, since it is one-dimensional, it can be realized with a simple arithmetic circuit, or a table memory in which the input coordinate is an address and the output coordinate value is recorded in the corresponding data, or The number of table memories is limited to several discrete points, and can be obtained by a polygonal line approximation method that realizes the middle by linear interpolation.

このようにして演算した座標の位置を図１３（ｂ）の１３０２とする。なお、図１３（ｂ）に示す格子は、図１３（ａ）の格子に対応するように記載されており、中央部が拡大され、周辺部が圧縮された光学歪曲収差を持っている事を示している。従って、１３０２は目標とする座標位置から物理的な座標位置はずれているが、対応する画像が映っている座標である事が解る。   The coordinate position calculated in this way is set to 1302 in FIG. The grating shown in FIG. 13B is described so as to correspond to the grating shown in FIG. 13A, and has an optical distortion aberration in which the central part is enlarged and the peripheral part is compressed. Show. Accordingly, it can be understood that 1302 is a coordinate where the corresponding image is shown, although the physical coordinate position is deviated from the target coordinate position.

しかし、イメージセンサ１０２により実際に撮像された画素の位置は図１３（ｃ）に示すように、この歪曲収差を持った画像上で均等の格子状の位置となり、求めたい画素位置のデータではない。従って、近傍画素データ読出部１２０３により目標画素１３０３（Ｘｓ，Ｙｓ）の近傍の記録されている座標位置のデータ１３０４〜１３０７をＩＦ画像メモリ１２０２から読出し、補正画素値演算部１２０４において、線形補間などの手段により目標画素１３０３（Ｘｓ，Ｙｓ）の値を算出する。なお、本実施形態においては、近傍４画素から線形補間により演算する方法を示したが、補間演算はこの方法に限らず、最近傍の画素で代用したり、近傍１６画素からキュービック補間により算出したり、他の補間方法を用いてもかまわない。   However, as shown in FIG. 13C, the positions of the pixels actually imaged by the image sensor 102 are equal grid positions on the image having the distortion, and are not the pixel position data to be obtained. . Therefore, the coordinate position data 1304 to 1307 recorded in the vicinity of the target pixel 1303 (Xs, Ys) are read from the IF image memory 1202 by the neighboring pixel data reading unit 1203, and linear interpolation or the like is performed by the correction pixel value calculation unit 1204. The value of the target pixel 1303 (Xs, Ys) is calculated by the above means. In the present embodiment, the method of calculating by linear interpolation from the four neighboring pixels is shown. However, the interpolation calculation is not limited to this method, and the nearest pixel can be substituted or calculated from the sixteen neighboring pixels by cubic interpolation. Or other interpolation methods may be used.

また、本実施形態では、ＲＧＢ各色信号を独立に収差補正を実施する構成を採っている。従って、光学系が倍率色収差を持っていた場合にも、各色毎に補正量を調整する事により歪曲収差と同時に収差補正を行う事が可能である。逆に、もしも倍率色収差が補正の不要な程度に小さい場合には、補正画素値演算部１２０４を各色で共通化できるため、回路規模を小さく構成することも可能である。   In the present embodiment, a configuration is employed in which aberration correction is performed independently for each of the RGB color signals. Therefore, even when the optical system has lateral chromatic aberration, it is possible to correct aberration simultaneously with distortion by adjusting the correction amount for each color. On the other hand, if the lateral chromatic aberration is small enough not to be corrected, the correction pixel value calculation unit 1204 can be made common to each color, so that the circuit scale can be reduced.

また、本実施形態では、光学歪曲収差を縦・横独立に行う方法を示したが、共軸系のレンズを用いた場合には、中心からの距離に応じて同心円状の歪曲収差が発生する。こういった場合の座標値は、一般的にＹ＝多項式で求める事が可能である。また、入力座標をアドレスとし、対応するデータに出力座標値を記録したテーブルメモリを用いたり、テーブルメモリの数を離散的な数点に限り中間を線形補間で実現する折れ線近似法などにより求めることも出来る。   In this embodiment, a method of performing optical distortion aberration independently in the vertical and horizontal directions has been described. However, when a coaxial lens is used, concentric distortion aberration is generated according to the distance from the center. . The coordinate value in such a case can generally be obtained by Y = polynomial. Also, use a table memory in which the input coordinates are the addresses and the output coordinate values are recorded in the corresponding data, or the number of table memories is limited to a few discrete points, and a polygonal line approximation method that achieves the middle by linear interpolation, etc. You can also.

拡大／縮小部５０５は、収差補正部５０４において、歪曲収差を補正された画像データを入力し、ＲＧＢそれぞれの信号毎に線形補間やＣｕｂｉｃ補間などにより補間画素値を計算する。拡大／縮小部５０５は、図１４に示すように、対応座標算出部１４０１と、ＩＦ画像メモリ１４０２と、近傍画素データ読出部１４０３と、補正画素値演算部１４０４とから構成されている。   The enlargement / reduction unit 505 receives the image data whose distortion has been corrected by the aberration correction unit 504, and calculates an interpolated pixel value by linear interpolation, cubic interpolation, or the like for each RGB signal. As shown in FIG. 14, the enlargement / reduction unit 505 includes a corresponding coordinate calculation unit 1401, an IF image memory 1402, a neighboring pixel data reading unit 1403, and a corrected pixel value calculation unit 1404.

対応座標算出部１４０１は、座標値（Ｘｎ，Ｙｎ）を入力すると、画像の拡大または縮小を行う前の原画における対応する座標値（Ｘｓ，Ｙｓ）を計算する。ＩＦ画像メモリ１４０２は、歪曲収差補正を実施した画像データを格納する。画素データ読出部１４０３は拡大／縮小後の目標とする座標位置の画素値を計算するため、保存されている近傍の画素データを読み出す。補正画素値演算部１４０４は、近傍の画素データから目標とする座標位置の画素値を計算する。   When the coordinate value (Xn, Yn) is input, the corresponding coordinate calculation unit 1401 calculates the corresponding coordinate value (Xs, Ys) in the original image before the image is enlarged or reduced. The IF image memory 1402 stores image data subjected to distortion aberration correction. The pixel data reading unit 1403 reads stored pixel data in the vicinity in order to calculate the pixel value at the target coordinate position after enlargement / reduction. The corrected pixel value calculation unit 1404 calculates a pixel value at a target coordinate position from neighboring pixel data.

図１５は、この拡大／縮小処理を説明するための図である。
同図において、実線の格子部１５１８はＩＦ画像メモリ１４０２に格納されている入力画像データの画素が記録されている位置を示しており、破線の格子部１５１９は、縮小処理を行うために求める画素の座標位置を示している。ここで、破線の格子上の１５０１の画素値を求める場合、この画素の破線の格子部１５１９における座標位置が対応座標算出部１４０１に入力され、入力画像の実線の格子部１５１８における座標位置に変換される。そして、この座標位置データは、近傍画素データ読出部１４０３に入力され、近傍画素データ読出部１４０３にて、画素値算出対象である１５０１近傍にある１６点の実線格子上の座標位置を演算し、これらの画素データをＩＦ画像メモリ１４０２から読み出す。そして、これらの画像データを補正画素値演算部１４０４に出力して、補正画素値演算部１４０４において、キュービック補間により、求める１５０１の画素値を計算する。なお、この補間演算はこの方法に限らず、最近傍の画素で代用したり、近傍４画素から線形補間により算出したり、他の補間方法を用いてもかまわない。 FIG. 15 is a diagram for explaining the enlargement / reduction process.
In the drawing, a solid line grid portion 1518 indicates a position where a pixel of input image data stored in the IF image memory 1402 is recorded, and a broken line grid portion 1519 indicates a pixel to be obtained for performing reduction processing. The coordinate position is shown. Here, when obtaining the pixel value of 1501 on the dashed grid, the coordinate position of the pixel in the grid section 1519 of the broken line is input to the corresponding coordinate calculation section 1401 and converted to the coordinate position of the solid grid section 1518 of the input image. Is done. The coordinate position data is input to the neighboring pixel data reading unit 1403, and the neighboring pixel data reading unit 1403 calculates the coordinate positions on the solid grid of 16 points near the pixel value calculation target 1501; These pixel data are read from the IF image memory 1402. These image data are output to the corrected pixel value calculating unit 1404, and the corrected pixel value calculating unit 1404 calculates the pixel value of 1501 to be obtained by cubic interpolation. This interpolation calculation is not limited to this method, and the nearest pixel may be substituted, or may be calculated by linear interpolation from the four neighboring pixels, or other interpolation methods may be used.

このようにして、所望の大きさにリサイズされた画像データは、図５に示す第２のフィルタ５０７に入力され、空間的なフィルタ処理を施される。これは、歪曲収差補正を行った結果、画像の周辺部分が拡大される事に伴って画像の解像度が低下して劣化した画質を回復するために行うエッジ強調フィルタ処理や第１のフィルタ５０３や歪補正による縮小によってノイズが軽減される中央部とのノイズレベル差を軽減するためのノイズ軽減フィルタ処理である。   Thus, the image data resized to a desired size is input to the second filter 507 shown in FIG. 5 and subjected to spatial filter processing. This is because, as a result of distortion correction, the edge enhancement filter processing performed to recover the image quality that has deteriorated due to a decrease in the resolution of the image as the peripheral portion of the image is enlarged, the first filter 503, This is a noise reduction filter process for reducing a noise level difference from the central portion where noise is reduced by reduction by distortion correction.

この処理は、撮影したい画角（ズーム位置）に応じて変化するイメージセンサ出力画像を拡大処理しなければならない図１０（ａ）の１００２に示すような周辺の領域に関してのみ実行する事が望ましい。これは、画像中央部の縮小処理された領域は解像度が低下しておらず、そのままでは画像周辺部だけがボケた画像になる事を防止する為である。また、画像中央部は縮小される事によりノイズの軽減効果も得られる為、画像周辺部だけがノイズが目立つ画像になる事を防止する為である。従って、画像の中央部については、エッジ強調処理やノイズ軽減処理も少なくとも画像周辺部と同等には実行する必要がない。   This processing is desirably performed only for the peripheral area as indicated by 1002 in FIG. 10A, in which the image sensor output image that changes according to the angle of view (zoom position) to be photographed must be enlarged. This is because the resolution of the reduced area at the center of the image is not lowered, and it is prevented that only the peripheral part of the image is blurred as it is. Further, since the noise reduction effect can be obtained by reducing the central portion of the image, only the peripheral portion of the image is prevented from becoming an image with noticeable noise. Therefore, it is not necessary to perform edge enhancement processing and noise reduction processing at least as much as the image peripheral portion for the central portion of the image.

このフィルタは、図１１のローパスフィルタと同じ構成で実現可能であり、係数（Ｃ１１〜Ｃ３３）の値を設定する事によってエッジ強調フィルタとして機能させることが出来る。なお、レジスタに格納されている係数（Ｃ１１〜Ｃ３３）は画素の座標位置に応じて、値を変更する必要があり、図１０（ａ）の中央部１００１のような領域においては、Ｃ２２のみを”１”に設定し他を”０“に設定する事により、フィルタが作用しないように制御する事もできる。   This filter can be realized with the same configuration as the low-pass filter of FIG. 11, and can function as an edge enhancement filter by setting the values of the coefficients (C11 to C33). Note that the values of the coefficients (C11 to C33) stored in the register need to be changed according to the coordinate position of the pixel. In the region such as the central portion 1001 in FIG. By setting “1” and setting others to “0”, it is possible to control so that the filter does not act.

図１１の構成例では、全ての係数を歪曲収差による影響を加味して独立に設定できるように構成したが、画質を多少犠牲にして歪曲収差の影響を無視して上下・左右に対象な位置の画素データを先に加算してから共通化した係数を乗じるように構成し、必要な乗算器の数を削減して回路規模を小さく構成する事もできる。また、歪曲収差が大きく周辺部の拡大率が大きい場合には回路規模が大きくなってしまうが、４×４や５×５のようにもっと大きなフィルタとして構成した方が画質の向上を図ることができし、さらに画質を犠牲にして一定値とすることもできる。ただし、この場合、１００１と１００２との領域部のみはぼかす必要がある。また、フィルタは本実施形態で示したようなマトリックスフィルタに限らない。   In the configuration example of FIG. 11, all the coefficients can be set independently with the influence of distortion, but the influence of distortion is ignored at the expense of some image quality, and the target positions are vertically and horizontally. It is also possible to reduce the circuit scale by reducing the number of necessary multipliers by multiplying the pixel data first and then multiplying by the common coefficient. In addition, when the distortion is large and the enlargement ratio of the peripheral portion is large, the circuit scale becomes large. However, the image quality can be improved by configuring as a larger filter such as 4 × 4 or 5 × 5. However, it can also be a constant value at the expense of image quality. However, in this case, it is necessary to blur only the area portions 1001 and 1002. The filter is not limited to the matrix filter as shown in the present embodiment.

上記のようにして周辺部の画質を回復させた後、画像データは、図５に示す表示用変換部５１０に入力され、ＴＦＴ液晶パネルなど画像表示装置の入力に必要な形式に変換（ＮＴＳＣ形式などに合わせた画像のリサイズやインターレース変換など）した後、図１に示す画像表示装置１０４に出力される。また、この画像信号は同時に、ＹＣ変換部５０８において、ＲＧＢの色空間からＹＣｂＣｒの色空間に変換され、ＪＰＥＧ等の画像圧縮部５０９にて圧縮処理を施した後に、図１に示す画像記憶装置１０５に出力される。   After restoring the image quality of the peripheral portion as described above, the image data is input to the display conversion unit 510 shown in FIG. 5 and converted into a format necessary for input of an image display device such as a TFT liquid crystal panel (NTSC format). The image is resized, interlaced, etc. in accordance with the above, and then output to the image display device 104 shown in FIG. Further, this image signal is simultaneously converted from the RGB color space to the YCbCr color space by the YC conversion unit 508 and subjected to compression processing by the image compression unit 509 such as JPEG, and then the image storage device shown in FIG. 105 is output.

なお、本実施形態においては、図５に示すように収差補正と拡大／縮小を別個に実施する例として示したが、この２つの機能は共に周辺の画素データから新しい座標位置のデータを生成する機能であり、生成する座標位置を計算する際に収差による分と、拡大／縮小による分とを併せて計算することにより、図１６に示すように、この部分を共通化して回路規模を低減することが可能である。なお、図１６においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。   In the present embodiment, as shown in FIG. 5, the aberration correction and the enlargement / reduction are performed separately. However, both of these functions generate data of a new coordinate position from the surrounding pixel data. This is a function, and when calculating the coordinate position to be generated, the part due to aberration and the part due to enlargement / reduction are calculated together, so that this part is shared and the circuit scale is reduced as shown in FIG. It is possible. In FIG. 16, components having the same functions and operations as the components shown in FIG. 5 are denoted by the same reference numerals.

また、図１７に示すように、ベイヤーデータのままで、上記と同様に、第１のフィルタ１７０３によって、画像中央部分にローパスフィルタ処理を施し、この画像データを入力して収差補正・拡大／縮小処理部１７０６において、収差補正と、拡大／縮小処理を行い、その後に、ＲＧＢ同時化部１７０２において、ＲＧＢ同時化処理を行うように処理の順序を変更することも可能である。但し、この場合には、図５や図１６の構成と同様にＲＧＢ独立に収差補正を行うことは可能であるが、周辺同色画素のみの補正となるため高画質な倍率色収差の補正は困難になる。また、回路を簡易化するためには、倍率色収差補正に対応できないような構成になる。なお、図１７においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。   Further, as shown in FIG. 17, with the Bayer data as it is, the first filter 1703 applies a low-pass filter process to the central portion of the image, and this image data is input and aberration correction / enlargement / reduction is performed. It is also possible to change the order of processing so that the processing unit 1706 performs aberration correction and enlargement / reduction processing, and then the RGB synchronization unit 1702 performs RGB synchronization processing. However, in this case, it is possible to correct aberrations independently for RGB as in the configurations of FIGS. 5 and 16, but it is difficult to correct high-quality magnification chromatic aberration because only the peripheral same color pixels are corrected. Become. Further, in order to simplify the circuit, the configuration is such that it cannot cope with chromatic aberration of magnification correction. In FIG. 17, components having the same functions and operations as those of the components shown in FIG.

また、図１８に示すように、ＲＧＢ同時化部５０２においてＲＧＢ同時化を行った後に、ＹＣ変換部１８０８において、輝度・色差信号（ＹＣｂＣｒ信号）に変換を行い、その後、第１のフィルタ１８０３において、画像中央部分に対し、輝度・色差信号個別にローパスフィルタ処理を施し、さらに、収差補正・拡大／縮小処理部１８０６において、収差補正と拡大／縮小処理とを行って、その後に、第２のフィルタ１８０７において、周辺部のエッジ強調フィルタ処理やノイズ軽減フィルタ処理を行うように、処理の順序を変更することも可能である。なお、図１８においては、図５に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。   Further, as shown in FIG. 18, after the RGB synchronization unit 502 performs RGB synchronization, the YC conversion unit 1808 performs conversion to a luminance / color difference signal (YCbCr signal), and then the first filter 1803 performs conversion. The image center portion is subjected to low-pass filter processing for each luminance / color difference signal, and the aberration correction / enlargement / reduction processing unit 1806 performs aberration correction and enlargement / reduction processing. It is also possible to change the order of processing so that the filter 1807 performs edge enhancement filter processing and noise reduction filter processing in the peripheral portion. In FIG. 18, components having the same functions and operations as those of the components shown in FIG.

なお、この場合にも、図５や図１６の構成において、ＲＧＢ独立に収差補正を行うことで可能となっていた倍率色収差の補正は困難になるが、一方で、解像度に大きく影響する輝度信号だけに高精度な処理を行う事で、高画質と低コストを両立させる事が可能になる。   In this case as well, it is difficult to correct the lateral chromatic aberration, which is possible by correcting the aberration independently for RGB in the configurations of FIGS. 5 and 16, but on the other hand, the luminance signal that greatly affects the resolution. Only high-precision processing can achieve both high image quality and low cost.

また、図１９に示すように、ベイヤーデータのままで、第１のフィルタ１７０３において画像中央部分にローパスフィルタ処理を施し、この状態で、収差補正・拡大／縮小処理部１７０６において、収差補正と拡大／縮小処理とを行い、その後に、ＲＧＢ同時化部１７０２において、ＲＧＢ同時化を行った後、ＹＣ変換部１９０８において、輝度・色差信号（ＹＣｂＣｒ信号）に変換してから、第２のフィルタ１９０７において、周辺部のエッジ強調フィルタ処理やノイズ軽減フィルタ処理を行うように処理の順序を変更することも可能である。なお、図１９においては、図５、図１７、図１８に示した構成要素と同様の機能および作用を有するものについては、同一の符号を付している。   Further, as shown in FIG. 19, with the Bayer data as it is, the first filter 1703 performs low-pass filter processing on the center of the image, and in this state, the aberration correction / enlargement / reduction processing unit 1706 corrects and corrects aberrations. After that, the RGB synchronization unit 1702 performs RGB synchronization, and then the YC conversion unit 1908 converts the luminance / color difference signal (YCbCr signal), and then the second filter 1907. , The processing order can be changed so as to perform edge enhancement filter processing and noise reduction filter processing in the peripheral portion. In FIG. 19, components having the same functions and operations as the components shown in FIGS. 5, 17, and 18 are denoted by the same reference numerals.

なお、この場合にも図５や図１６の構成において、ＲＧＢ独立に収差補正を行うことで可能となっていた倍率色収差の補正は困難になるが、解像度に大きく影響する輝度信号だけに高精度な処理を行う事で、高画質と低コストを両立させる事が可能になる。   In this case as well, it is difficult to correct the lateral chromatic aberration that has been made possible by correcting the aberration independently for RGB in the configurations of FIGS. 5 and 16, but it is highly accurate only for the luminance signal that greatly affects the resolution. It is possible to achieve both high image quality and low cost by performing appropriate processing.

次に、本実施形態におけるデジタルカメラのユーザーインターフェイスやその操作方法等に関して説明する。
本発明における歪曲収差を持つ光学系を通じて撮像された画像データからは、高画質な望遠画像と広角画像を同時に得る事が可能である。従って、通常の撮像モードに加えて、広角・望遠同時撮影モード、広角モニタ・望遠撮影モードの３種類の撮像モードの設定が可能である。また、この広角・望遠同時撮影モードは、子供の運動会や学芸会など広角画像と中央部を拡大した望遠画像の両方を同時に撮影したい場合に有効な撮像モードであり、広角モニタ・望遠撮影モードは、動きの激しい被写体を容易に追尾しつつ被写体の拡大画像を撮影するような用途に最適な撮影モードである。 Next, the user interface of the digital camera and the operation method thereof according to this embodiment will be described.
A high-quality telephoto image and a wide-angle image can be obtained simultaneously from image data picked up through an optical system having distortion in the present invention. Therefore, in addition to the normal imaging mode, it is possible to set three types of imaging modes: a wide-angle / telephoto simultaneous imaging mode and a wide-angle monitor / telephoto imaging mode. This wide-angle / telephoto simultaneous shooting mode is effective when you want to shoot both a wide-angle image and a telephoto image with a magnified center at the same time, such as a sports day or a school performance for children. This is a shooting mode that is most suitable for applications such as shooting an enlarged image of a subject while easily tracking a subject that moves rapidly.

本実施形態においては、この３種類の撮像モードを切替スイッチにより、図２０に示すように順次切り替えて使用する事になるが、この際、撮影者には、どういったモードで撮影されているのかを明確に示す必要がある。そこで、本発明では、通常の広角撮影や望遠撮影時には、図２１（ｃ）に示すように、一般的なカラー表示とし、広角でモニタしながら望遠撮影している場合には、図２１（ａ）のように、画像中に実際に撮影される部分をカラーで、記録されない部分を白黒などの単色表示したり、輝度を変更したり、色調を強調処理したり、淡くしたりする特殊表示とする。   In the present embodiment, these three types of imaging modes are sequentially switched and used as shown in FIG. 20 by a changeover switch. At this time, the photographer is shooting in any mode. It is necessary to indicate clearly. Therefore, in the present invention, during normal wide-angle shooting and telephoto shooting, as shown in FIG. 21 (c), a general color display is used, and when telephoto shooting is performed while monitoring at a wide angle, FIG. ), The part that is actually captured in the image is displayed in color, the part that is not recorded is displayed in monochrome, such as black and white, the brightness is changed, the color tone is emphasized, and the display is made lighter. To do.

また、広角望遠同時撮影を行う場合には、図２１（ｂ）のように通常撮影表示に加えて望遠側の撮影範囲を示す枠線を表示する事で撮影者に広角望遠同時撮影を行っていることを報知する。こうすることによって、ＴＦＴ液晶などのモニタを見ていれば直感的に撮影モードが解るようにする。   In addition, when performing wide-angle telephoto simultaneous photographing, a wide-angle telephoto simultaneous photographing is performed on the photographer by displaying a frame indicating the photographing range on the telephoto side in addition to the normal photographing display as shown in FIG. Notify that there is. In this way, the user can intuitively understand the shooting mode when viewing a monitor such as a TFT liquid crystal.

こういった撮影モードを制御する操作部の構成例を図２２に示し、図２２（ａ）を元にデジタルカメラの操作を説明する。撮影者は、モードボタン２２０２を操作して３つの撮影モードから所望のモードを選択する。この時、広角・望遠同時撮影モードまたは広角モニタ・望遠撮影モードを選択した場合には、撮影者が望遠側と広角側とのズーム倍率を独立して設定できる必要がある。本実施形態の図２２（ａ）の例では、広角側のＴｅｌｅ1ボタン２２０５・Ｗｉｄｅ１ボタン２２０６と、望遠側のＴｅｌｅ２ボタン２２０７・Ｗｉｄｅ２ボタン２２０８とを独立に備えているため、双方の画角を被写体の状況に合わせて設定することができる。このようにして画角を決定した後に、シャッタボタン２２０１を押すことで撮影することができる。   FIG. 22 shows a configuration example of the operation unit for controlling such a shooting mode, and the operation of the digital camera will be described based on FIG. The photographer operates the mode button 2202 to select a desired mode from the three shooting modes. At this time, when the wide-angle / telephoto simultaneous photographing mode or the wide-angle monitor / telephoto photographing mode is selected, the photographer needs to be able to set the zoom magnifications on the telephoto side and the wide-angle side independently. In the example of FIG. 22A of the present embodiment, the Tele1 button 2205 / Wide1 button 2206 on the wide-angle side and the Tele2 button 2207 / Wide2 button 2208 on the telephoto side are provided independently, so both angles of view are the subject. Can be set according to the situation. After the angle of view is determined in this way, shooting can be performed by pressing the shutter button 2201.

なお、ズームボタンは、必ずしも広角・望遠の２系統に対して独立に備える必要はなく、図２２（ｂ）に示すように１系統のＴｅｌｅボタン２２０９・Ｗｉｄｅボタン２２１０をＴ／Ｗ切替ボタン２２０３を用いて切り替えて使用する事もできる。この場合、切り替えスイッチはズームキーの中央部など近傍に配置することが望ましく、また図示しないが、どちら側に設定されているかはモニタ上に文字や記号で表示したり、枠線の色で表示し、撮影者に明示する。また、図２２（ｃ）に示すように、ズームボタンと切替スイッチを一体化した切替レバー２２０４を備えてもよい。なお、撮影中であっても、撮影モードの変更が可能なように構成されている。   The zoom buttons do not necessarily have to be provided independently for the two systems of wide-angle and telephoto. As shown in FIG. 22B, one tele button 2209 / wide button 2210 is replaced with a T / W switching button 2203. It can also be used by switching. In this case, it is desirable to place the changeover switch near the center of the zoom key.Although not shown, which side is set is displayed on the monitor with characters and symbols, or with the color of the frame. , To the photographer. Further, as shown in FIG. 22C, a switching lever 2204 in which a zoom button and a changeover switch are integrated may be provided. Note that the photographing mode can be changed even during photographing.

また、図２２では広角・望遠の２枚を同時撮影できる例で示したが、本発明の光学歪曲収差を持つ光学系で撮影した原画からは、２枚に限らず３枚以上の任意の数の画角を同時撮影することが出来る。こういった場合、図２２（ａ）の構成では、さらにＴｅｌｅボタンとＷｉｄｅボタンを増やす必要があるが、図２２（ｂ）や図２２（ｃ）の構成では同様の操作ボタンを備える事で操作が可能となる事は自明である。   FIG. 22 shows an example in which two wide-angle and telephoto images can be simultaneously photographed. However, the original image photographed by the optical system having the optical distortion according to the present invention is not limited to two, but any number of three or more. Can be taken simultaneously. In such a case, in the configuration of FIG. 22 (a), it is necessary to further increase the Tele button and the Wide button, but in the configurations of FIG. 22 (b) and FIG. 22 (c), operation can be performed by providing similar operation buttons. It is obvious that this is possible.

次に、広角・望遠同時撮影モード時や広角モニタ・望遠撮影モード時における、操作部のボタン操作と画面表示の関係について説明する。
図２１（ｄ）の通常撮影モード（広角）の状態から、モードボタンを押した場合、カメラの撮影モードは図２０に示すように、広角・望遠同時撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ｂ）のように変化する。そして、さらに、モードボタンを押した場合、カメラの撮影モードは図２０に示すように広角モニタ・望遠撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ａ）のように変化する。そして、この状態から、モードボタンを押した場合、カメラの撮影モードは、図２０に示すように通常撮影モードとなり、この事をユーザに表示する為、画像表示装置１０４の画像は図２１（ｄ）の状態に戻る。そして、この通常撮影状態でＴｅｌｅボタンを操作すると、図２１（ｃ）の状態（望遠）となり、Ｗｉｄｅボタンを操作すると、図２１（ｄ）の状態（広角）に戻る。 Next, the relationship between the button operation of the operation unit and the screen display in the wide-angle / telephoto simultaneous shooting mode and the wide-angle monitor / telephoto shooting mode will be described.
When the mode button is pressed in the normal shooting mode (wide angle) state of FIG. 21 (d), the camera shooting mode is the wide angle / telephoto simultaneous shooting mode as shown in FIG. 20, and this is displayed to the user. Therefore, the image on the image display device 104 changes as shown in FIG. Further, when the mode button is pressed, the shooting mode of the camera becomes the wide-angle monitor / telephoto mode as shown in FIG. 20, and the image on the image display device 104 is displayed in FIG. ). In this state, when the mode button is pressed, the shooting mode of the camera is set to the normal shooting mode as shown in FIG. 20, and the image on the image display device 104 is displayed in FIG. ) State. When the Tele button is operated in the normal shooting state, the state shown in FIG. 21C (telephoto) is obtained, and when the Wide button is operated, the state returns to the state shown in FIG. 21D (wide angle).

また、図２２（ｃ）の操作部を持つカメラで広角・望遠同時撮影モード時や広角モニタ・望遠撮影モード時に、Ｔ／Ｗ切替ボタンやズームを操作した場合の動作を図２３を用いて説明する。
図２３において、撮影モードが広角・望遠同時撮影モード時であり、ズームの操作がＷｉｄｅ側の画像に対して有効になっている状態を図２３（ｂ）に示す。この図では、ズーム操作が有効になっている側の枠線を太く表示してユーザに示している。なお、このように枠線の太さを変えたり、色や形を変えたり、輝度を変えたりすることで現在のズーム操作状況をユーザに示す事ができる。 The operation when the T / W switch button and the zoom are operated in the wide-angle / telephoto simultaneous shooting mode or the wide-angle monitor / telephoto shooting mode with the camera having the operation unit shown in FIG. To do.
FIG. 23B shows a state in which the shooting mode is the wide-angle / telephoto simultaneous shooting mode and the zoom operation is effective for the Wide image. In this figure, the frame line on the side where the zoom operation is enabled is shown boldly and shown to the user. It should be noted that the current zoom operation status can be shown to the user by changing the thickness of the frame line, changing the color or shape, or changing the brightness.

この状態から、切替レバー２２０４を右に倒すとＴｅｌｅボタン操作となり、図２３（ａ）のように画面全体がズームアップされて拡大される。このとき、表示されている枠線も連動して拡大される。逆に、切替レバー２２０４を左に倒すと図２３（ｃ）のように撮影される範囲が広がると共に、縮小される。このとき、表示されている枠線も連動して縮小される。従って、切替レバー２２０４を左右に倒してズーム操作を行うと表示は図２３（ａ）〜（ｂ）〜（ｃ）と変化してユーザに撮影範囲を表示する事ができる。   When the switch lever 2204 is tilted to the right from this state, the Tele button is operated, and the entire screen is zoomed up and enlarged as shown in FIG. At this time, the displayed frame line is also enlarged. On the contrary, when the switching lever 2204 is tilted to the left, the imaged range is widened and reduced as shown in FIG. At this time, the displayed frame line is also reduced in conjunction. Therefore, when the zooming operation is performed by tilting the switching lever 2204 left and right, the display changes as shown in FIGS. 23A to 23C, and the photographing range can be displayed to the user.

次に、再び、図２３（ｂ）の状態から、今度は切替レバー２２０４を押し込んだ場合、この操作はＴ／Ｗ切替ボタンの操作となり、ズーム操作が有効となる画角が広角側から望遠側に移り、これに伴って表示も図２３（ｅ）のように枠線の太さが広角側と望遠側で入れ替わる。そして、この状態から、切替レバー２２０４を右に倒すと、Ｔｅｌｅボタン操作となり、図２３（ｄ）のように画面全体の表示は変化せず、望遠側の撮影範囲を示す枠線が小さくなる。これにより撮影範囲が狭くなる、即ち枠線の中が拡大撮影される事を表示する。   Next, when the switch lever 2204 is pushed in again from the state shown in FIG. 23B, this operation becomes an operation of the T / W switch button, and the angle of view at which the zoom operation is effective changes from the wide angle side to the telephoto side. Accordingly, as shown in FIG. 23E, the thickness of the frame line is switched between the wide angle side and the telephoto side. When the switching lever 2204 is tilted to the right from this state, the Tele button is operated, and the display on the entire screen does not change as shown in FIG. 23D, and the frame line indicating the telephoto side shooting range is reduced. This displays that the shooting range is narrowed, that is, that the inside of the frame is enlarged.

逆に、切替レバー２２０４を左に倒すと図２３（ｆ）のように、画面全体の表示は変化せず望遠側の撮影範囲を示す枠線が大きくなる。これにより撮影範囲が広くなる、即ち枠線の中が拡大撮影される事を表示する。従って、切替レバー２２０４を左右に倒してズーム操作を行うと表示は図２３（ｄ）〜（ｅ）〜（ｆ）と変化してユーザに撮影範囲を表示する事ができる。また、図２３（ｅ）の状態から、再び切替レバー２２０４を押し込んだ場合、Ｔ／Ｗ切替ボタンの操作となり、ズーム操作が有効となる画角が望遠側から広角側に移り、これに伴って表示も図２３（ｂ）のように枠線の太さが広角側と望遠側で入れ替わる。   On the other hand, when the switching lever 2204 is tilted to the left, as shown in FIG. 23 (f), the display on the entire screen does not change and the frame indicating the photographing range on the telephoto side becomes larger. As a result, it is displayed that the photographing range is widened, that is, the inside of the frame is enlarged. Therefore, when the zooming operation is performed by tilting the switching lever 2204 left and right, the display changes as shown in FIGS. 23D to 23E and the photographing range can be displayed to the user. Further, when the switching lever 2204 is pushed in again from the state shown in FIG. 23 (e), the T / W switching button is operated, and the field angle at which the zoom operation is effective is shifted from the telephoto side to the wide angle side. As shown in FIG. 23B, the thickness of the frame is switched between the wide-angle side and the telephoto side.

上記の説明では、Ｔ／Ｗ切替ボタンの操作は図中の中央の（ｂ）と（ｅ）の間で説明したが、広角・望遠共にどの画角の状態であってもＴ／Ｗ切替ボタンの操作によりズーム操作が有効となる画角を入れ替える事が可能である。また、上記説明においては、切替の表示は図１の画像表示装置１０４に撮影画像と重畳して表示する方法を示したが、ユーザへの表示の方法はこれに限らず、例えば、図２２（ｄ）に示すように、操作部にＬＥＤを配置し、あるいは液晶表示パネル等を配置して、こういった部分に表示するようにしても構わないし、トグルスイッチのような状態を固定する形態のボタンを採用して表示しても良い。また、これらの複数の方法を適宜組み合わせてユーザに表示しても構わない。   In the above description, the operation of the T / W switching button has been described between (b) and (e) in the center of the figure, but the T / W switching button can be used at any angle of view for both wide angle and telephoto. It is possible to change the angle of view in which the zoom operation is effective by the operation of. Further, in the above description, the switching display has been shown as a method of superimposing the captured image on the image display device 104 of FIG. 1, but the method of display to the user is not limited to this, for example, FIG. As shown in d), an LED may be arranged on the operation unit, or a liquid crystal display panel or the like may be arranged to display on such a part, or a state such as a toggle switch is fixed. A button may be adopted for display. Moreover, you may display to a user combining these several methods suitably.

広角望遠同時撮影を行う場合、イメージセンサ１０２の出力信号を歪曲収差補正画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持し、まず、ユーザが設定した広角の設定値に応じて、歪曲収差補正画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。次に、上述したような画像処理を実行して歪曲収差が補正された広角撮影画像を得、これを圧縮して画像記憶装置１０５に記録する。   When performing wide-angle telephoto simultaneous shooting, the output signal of the image sensor 102 is held in a temporary storage medium such as a DRAM (not shown) in the distortion correction image processing apparatus 103, and first, according to the wide-angle setting value set by the user. Various parameters (brightness correction, filter coefficient, enlargement / reduction ratio, etc.) in the distortion correction image processing apparatus 103 are set. Next, the above-described image processing is executed to obtain a wide-angle captured image in which distortion is corrected, and this is compressed and recorded in the image storage device 105.

さらに、歪曲収差補正画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持されている画像データから、今度は、ユーザが設定した望遠の設定値に応じて、歪曲収差画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。そして、上述したような画像処理を実行して、歪曲収差が補正された望遠撮影画像を得、これを圧縮して画像記憶装置１０５に記録する。   Further, from the image data held in a temporary storage medium such as DRAM (not shown) in the distortion correction image processing apparatus 103, this time, the distortion aberration image processing apparatus 103 is set according to the telephoto set value set by the user. Various parameters (luminance correction, filter coefficient, enlargement / reduction ratio, etc.) are set. Then, the image processing as described above is executed to obtain a telephoto image in which distortion is corrected, and this is compressed and recorded in the image storage device 105.

広角望遠同時撮影モード時には、このように１度の撮影により広角撮影画像と望遠撮影画像の両方の画像を得ることができる。そして、この時記録されるファイル名は後から同時撮影された事が容易に判別可能なように同一のプリフィックスを付けるなどする。また撮影後は記録された画像をプレビュー表示するが、広角側と望遠側の画像を一定時間ずつ順次表示するように構成する事もできるし、広角側又は望遠側のいずれか一方の画像を同時撮影画像である旨をユーザに明示して表示し、広角・望遠切り替えボタンの操作で表示を切り替え可能なように構成する事もできる。なお、カメラ内で歪曲収差を持った原画像から広角・望遠画像を生成する同時撮影時の画像処理の順序は広角画像と望遠画像のどちらを先に行っても構わない。   In the wide-angle telephoto simultaneous shooting mode, both the wide-angle shot image and the telephoto shot image can be obtained by one shooting in this way. Then, the file name recorded at this time is given the same prefix so that it can be easily discriminated that the images were simultaneously shot later. In addition, the recorded image is displayed as a preview after shooting, but the wide-angle and telephoto images can be displayed sequentially for a certain period of time, or either the wide-angle or telephoto images can be displayed simultaneously. It can also be configured so that the photographed image is clearly displayed to the user and the display can be switched by operating the wide-angle / telephoto switching button. Note that the order of image processing at the time of simultaneous photographing for generating a wide-angle / telephoto image from an original image having distortion within the camera may be either the wide-angle image or the telephoto image.

通常撮影モード時や広角モニタ・望遠撮影モード時には、歪曲収差画像処理装置１０３内にある図示しないＤＲＡＭ等の一時記憶媒体に保持されている画像データからユーザが設定した撮影画角の設定値に応じて、歪曲収差画像処理装置１０３における各種パラメータ（輝度補正やフィルタの係数、拡大／縮小率など）の設定を行う。そして、上述したような画像処理を実行して、歪曲収差が補正された撮影画像を得、これを圧縮して画像記憶装置１０５に記録する動作は１度のみである。また、撮影後は記録された画像をプレビュー表示するが、この場合には、撮影した画像を一定時間表示するのみとし、広角・望遠切り替えボタンまたはモードボタンの操作は無効とする。   During normal shooting mode, wide-angle monitor / telephoto shooting mode, according to the setting value of the shooting angle of view set by the user from image data held in a temporary storage medium such as DRAM (not shown) in the distortion image processing apparatus 103 Thus, various parameters (brightness correction, filter coefficient, enlargement / reduction ratio, etc.) in the distortion aberration image processing apparatus 103 are set. Then, the above-described image processing is executed to obtain a captured image in which distortion is corrected, and this is compressed and recorded only once in the image storage device 105. The recorded image is displayed as a preview after shooting. In this case, the shot image is only displayed for a certain period of time, and the operation of the wide-angle / telephoto switching button or the mode button is invalidated.

本実施形態に係るデジタルカメラは当然、撮影した画像の表示も可能であり、広角・望遠同時撮影モードで撮影した画像を表示する場合には、広角側と望遠側の画像を自動的に一定時間ずつ順次繰り返して表示するように構成する事も可能であるし、通常のコマ送りボタンで広角側又は望遠側のいずれか一方の画像がユーザに同時撮影画像である旨を明示して表示された際には、通常のコマ送りボタンの操作に加えて広角・望遠切り替えボタンの操作でも表示を切り替え可能に構成する事もできる。また、通常のコマ送りボタンでは一画角のみの表示として次に進めてもよい。   Naturally, the digital camera according to the present embodiment can also display captured images. When displaying images captured in the wide-angle and telephoto simultaneous shooting mode, the wide-angle and telephoto images are automatically displayed for a certain period of time. It is possible to configure the display so that it is repeatedly displayed one after another, and the normal frame advance button clearly indicates that either the wide-angle side or the telephoto side image is a simultaneously shot image. In this case, the display can be switched by operating the wide-angle / telephoto switching button in addition to the normal frame advance button operation. Further, the normal frame advance button may be advanced to display only one angle of view.

本実施形態に係るデジタルカメラでは、ファインダーとして表示部にスルー画を表示する際にも、光学系の歪曲収差補正を実施する必要がある。こういった用途に向けて、イメージャには図２４（ａ）に示すように縦のラインを間引いて高フレームレートに読み出すファインダーモードが用意されている場合が多い。しかし、歪曲収差を持ち周辺部が圧縮された画像をこのように均等に間引き、それを前述したように補正し、その後補間によって必要なライン数を得た場合、画質は大幅に劣化する。従って、図２４（ｂ）に示すように歪曲補正後に得られるラインが均等になるように周辺部を密に、中央部を疎に間引くようにする事で高画質なスルー画表示を実現する。   In the digital camera according to the present embodiment, it is necessary to correct distortion of the optical system even when displaying a through image on the display unit as a viewfinder. For such applications, imagers often have a finder mode in which vertical lines are thinned out and read at a high frame rate as shown in FIG. However, when an image having distortion and a peripheral portion compressed in this manner is thinned out evenly and corrected as described above, and then the necessary number of lines is obtained by interpolation, the image quality is greatly deteriorated. Therefore, as shown in FIG. 24B, a high-quality through image display is realized by thinning the peripheral part and thinning the central part so that the lines obtained after distortion correction are uniform.

なお、レンズの歪曲収差や鏡枠に関する情報を焦点距離やＦ値などと共にレンズ内に設けられたＲＯＭ等の情報記憶手段に格納し、カメラ本体から、この情報を読みだしてフィルタリングやシェーディング補正、歪曲収差補正のための座標変換を行うように構成する事により、レンズ交換式のカメラに適用しても、交換レンズに応じた適正な歪曲収差補正を実施する事が可能になる。   The lens distortion information and lens frame information are stored in an information storage means such as a ROM provided in the lens together with the focal length, F value, etc., and this information is read from the camera body for filtering and shading correction. By configuring so as to perform coordinate transformation for distortion correction, even when applied to an interchangeable lens camera, it is possible to perform appropriate distortion correction according to the interchangeable lens.

次に、デジタルカメラのズーム機能の概要について説明する。
歪曲収差を持つ光学系１０１を通じて撮像された画像は、図２５（ａ）に示すように中央部分が拡大され、周辺部分が圧縮されたような歪曲収差を有している。本発明の画像撮像装置を用いて、広角の撮影を行う場合、図２５（ａ）の２５０３で示す全画素を用いて歪曲収差補正を行うと共に、中央部は縮小し、周辺部分は拡大して図２５（ｂ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。 Next, an overview of the zoom function of the digital camera will be described.
An image captured through the optical system 101 having distortion aberration has distortion aberration such that the central portion is enlarged and the peripheral portion is compressed as shown in FIG. When performing wide-angle shooting using the image pickup apparatus of the present invention, distortion correction is performed using all the pixels indicated by reference numeral 2503 in FIG. 25A, the central portion is reduced, and the peripheral portion is enlarged. As shown in FIG. 25B, image data of the original size in which distortion is corrected is obtained.

望遠の撮影を行う場合、図２５（ａ）の２５０１で示す範囲の画素を切出して歪曲収差補正を行うと共に、中央部はそのままで、周辺部分は拡大して図２５（ｃ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。広角と望遠の中間レベルの画角で撮影を行う場合、例えば、図２５（ａ）の２５０２で示す範囲の画素を切出して歪曲収差補正を行うと共に、中央部は縮小し、周辺部分は拡大して図２５（ｄ）に示すような、歪曲収差が補正された元のサイズの画像データを得る。なお、図２５（ａ）から（ｄ）において、２５０１〜２５０３は同一の画角範囲を示している。このようにする事で、駆動部が無いズームを実現できる。また、歪曲収差が無い光学系で撮影された電子ズームに比較して、望遠撮影時には切出す範囲が大きいため高画質であり、特に中央部は拡大する必要が無いため劣化が無い。   When performing telephoto shooting, a pixel in the range indicated by 2501 in FIG. 25A is cut out to perform distortion correction, while the central portion is left as it is and the peripheral portion is enlarged as shown in FIG. 25C. Then, the original size image data in which distortion is corrected is obtained. When shooting at an intermediate angle of view between the wide angle and the telephoto, for example, a pixel in the range indicated by 2502 in FIG. 25A is cut out to correct distortion, and the central portion is reduced and the peripheral portion is enlarged. Thus, as shown in FIG. 25D, image data of the original size with the distortion corrected is obtained. In FIGS. 25A to 25D, reference numerals 2501 to 2503 denote the same field angle range. By doing so, it is possible to realize a zoom without a driving unit. Compared to an electronic zoom photographed with an optical system having no distortion, the range to be cut out is large at the time of telephoto photography, so that the image quality is high, and in particular, there is no deterioration because there is no need to enlarge the central portion.

次に、図５の構成を持つ本発明の第１の実施形態であるデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。
まず、ユーザが、広角・望遠同時撮影モードでカメラを使用し液晶モニタを通して被写体を観測している時、本実施形態に係るデジタルカメラはイメージセンサ１０２をファインダーモードで駆動し、縦方向を２００ライン程度に間引いた画像を連続的に得る。次に、上記画像を画像補正部５０１において、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）する。この際、上述したように歪曲収差による影響を加味した補正を実施する。画像補正されたデータは、フレームメモリ５１１に連続的に保存される。 Next, a flow of processing when a subject is captured using the digital camera according to the first embodiment of the present invention having the configuration of FIG. 5 and simultaneous wide-angle and telephoto shooting is performed will be described.
First, when the user uses the camera in the wide-angle / telephoto simultaneous shooting mode and observes the subject through the liquid crystal monitor, the digital camera according to the present embodiment drives the image sensor 102 in the finder mode and sets the vertical direction to 200 lines. Continuously thinned images are obtained. Next, the image correction unit 501 performs pixel defect correction, white balance correction, and shading correction (light amount correction) on the image. At this time, as described above, correction is performed in consideration of the influence of distortion. The image-corrected data is continuously stored in the frame memory 511.

ユーザが、広角側の画角を決めるための操作を実施している場合、このフレームメモリ５１１から、ユーザが液晶モニタで観測している広角側の画角に相当する分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。ＲＧＢ同時化部５０２は、この読み出されたベイヤーデータに対してＲＧＢ同時化処理を実施する。この際、上述したように歪曲収差による影響を加味した補正を実施する。   When the user is performing an operation for determining the angle of view on the wide angle side, image data corresponding to the angle of view on the wide angle side that the user is observing on the liquid crystal monitor from this frame memory 511 in the subsequent stage. Data is read out by rearranging in the order of easy processing. The RGB synchronization unit 502 performs RGB synchronization processing on the read Bayer data. At this time, as described above, correction is performed in consideration of the influence of distortion.

ＲＧＢ同時化処理されたデータは、第１のフィルタ５０３において、フィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。なお、歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、縮小されない部分についてはマトリクスフィルタの係数を中心のみ１にしてローパスフィルタがかからないようにする。   The data subjected to the RGB simultaneous processing is filtered in the first filter 503. At this time, the central portion is strong considering the influence of distortion, and the image signal is filtered with a coefficient suitable for reducing the image signal to a size to be displayed on the liquid crystal monitor. Since the peripheral portion is compressed due to distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the low-pass filter is set so that the coefficient of the matrix filter is only 1 for the portion that is not reduced. Do not apply.

次に、第１のフィルタ５０３において、フィルタ処理されたデータは、収差補正部５０４に入力され、歪曲収差を補正するための座標変換処理が行われ、ついで、拡大／縮小部５０５において、液晶モニタに表示するサイズに縮小される。このとき、画像データに拡大処理した部分があれば、それらの部分について、第２のフィルタ５０７により、エッジ強調及びノイズ軽減処理が行われる。   Next, the data filtered by the first filter 503 is input to the aberration correction unit 504, coordinate conversion processing for correcting distortion is performed, and then the enlargement / reduction unit 505 performs a liquid crystal monitor. Is reduced to the size to be displayed. At this time, if there is an enlarged portion in the image data, edge enhancement and noise reduction processing is performed on the portion by the second filter 507.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０に入力され、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。そして、表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。   The data output from the second filter 507 is input to the display conversion unit 510, converted into a format (size, scan format) necessary for the liquid crystal monitor display, and stored in the display frame memory in the display conversion unit 510. Written. Then, the display conversion unit 510 reads the display frame memory in the display conversion unit 510 and continues to display an image on the liquid crystal monitor.

広角側の画角を操作できる状態で、ユーザが、図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０により画角を切替えると、ユーザが、液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動して、ＲＧＢ同時化部５０２の処理や第１のフィルタ５０３、歪曲収差補正部５０４、拡大／縮小部５０５、第２のフィルタ５０７へのパラメータも変更する。   When the user switches the angle of view with the Tele button 2209 or the Wide button 2210 for controlling the zoom shown in FIG. 22B in a state in which the angle of view on the wide angle side can be operated, the image that the user is observing on the liquid crystal monitor Corresponding to the corner, the angle of view of the image data read from the frame memory 511 is changed and read. Along with this, since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 change, the processing of the RGB synchronization unit 502 and the first filter are interlocked with this. The parameters to 503, the distortion correction unit 504, the enlargement / reduction unit 505, and the second filter 507 are also changed.

ユーザが、図２２（ｂ）に示すＴ／Ｗ切り替えボタン２２０３を操作すると、それまで操作していた側（例えば広角側）の画角が決定され、別の側（例えば望遠側）の画角を操作するモードになる。このとき、ユーザが、図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０により画角を切替えても、ユーザが液晶モニタで観測している画角に変化は無く、液晶モニタは、広角画像に対応した画角を表示し続ける。従って、フレームメモリ５１１から読み出す画像データの画角は広角側の画角に応じたものを読み出す。また、ＲＧＢ同時化部５０２の処理や第１のフィルタ５０３、歪曲収差補正部５０４、拡大／縮小部５０５、第２のフィルタ５０７へのパラメータも広角側の画角に対応したものを使用する。   When the user operates the T / W switching button 2203 shown in FIG. 22B, the angle of view on the side that has been operated so far (for example, the wide angle side) is determined, and the angle of view on the other side (for example, the telephoto side). It becomes the mode to operate. At this time, even if the user switches the angle of view with the Tele button 2209 or the Wide button 2210 for controlling the zoom shown in FIG. 22B, the angle of view that the user is observing on the liquid crystal monitor is not changed, and the liquid crystal monitor Continues to display the angle of view corresponding to the wide-angle image. Accordingly, the angle of view of the image data read from the frame memory 511 is read according to the angle of view on the wide angle side. The parameters corresponding to the angle of view on the wide angle side are also used for the processing of the RGB synchronization unit 502 and the parameters for the first filter 503, the distortion correction unit 504, the enlargement / reduction unit 505, and the second filter 507.

図２２（ｂ）に示すズームを制御するＴｅｌｅボタン２２０９やＷｉｄｅボタン２２１０の操作に応じて変化するのは、液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、Ｔｅｌｅボタン２２０９を押して望遠に倒せば小さく、Ｗｉｄｅボタン２２１０を押して広角側に倒せば大きくなるように変化する。   The frame shown in FIG. 22 (b) changes in accordance with the operation of the Tele button 2209 or Wide button 2210 for controlling the zoom, and shows a telephoto-side shooting area displayed on the liquid crystal monitor. When the button 2209 is pressed and the telephoto lens is tilted to the telephoto side, the size is small.

ユーザが、望遠側の画角も決定して、図２２（ｂ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。そして、この画像は、画像補正部５０１において、画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が行われる。この際、上述したように歪曲収差による影響を加味した補正を実施する。   When the user also determines the angle of view on the telephoto side and operates the shutter button 2201 shown in FIG. 22B, after the processing such as AE / AF is executed, the image sensor outputs all pixels in a progressive or interlaced manner. Driven in normal shooting mode. Then, the image correction unit 501 performs pixel defect correction, white balance correction, and shading correction (light amount correction) on this image. At this time, as described above, correction is performed in consideration of the influence of distortion.

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成するため、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。   The image-corrected data is stored in the frame memory 511 for one frame. First, in order to generate wide-angle image data, data corresponding to the image data set by the user at the wide-angle side is rearranged in the order of arrangement that can be easily processed in the subsequent stage from the frame memory 511.

読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。ＲＧＢ同時化されたデータは、第１のフィルタ５０３でローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、ユーザが設定した記録撮影する画像サイズに合うようにするために縮小される部分に関して、その縮小の度合いに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、記録する画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。   The read data is RGB-synchronized from the Bayer data in the RGB synchronization unit 502. At this time, as described above, correction is performed in consideration of the influence of distortion. The RGB synchronized data is low-pass filtered by the first filter 503. At this time, the central part is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for the degree of reduction for the part to be reduced to fit the image size to be recorded and set by the user. To do. Since the peripheral portion is compressed by distortion, when the peripheral portion is not reduced from the image size to be recorded and the peripheral image size, the coefficient of the spatial filter shown in FIG. , C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied.

ローパスフィルタ処理されたデータは、収差補正部５０４において、歪曲収差を補正するための座標変換処理が行われる。座標変換処理されたデータは、拡大／縮小部５０５において、記録する画像サイズに拡大／縮小処理される。ついで、拡大／縮小処理されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。   The data subjected to the low-pass filter processing is subjected to coordinate conversion processing for correcting distortion aberration in the aberration correction unit 504. The data subjected to the coordinate conversion processing is enlarged / reduced by the enlargement / reduction unit 505 to the image size to be recorded. Next, the enlarged / reduced data is subjected to edge enhancement and noise reduction processing for the enlarged part in the second filter 507.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示用変換部５１０は、この表示用変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。   The data output from the second filter 507 is converted into a format (size, scan format) necessary for the liquid crystal monitor display in the display conversion unit 510 and written in the display frame memory in the display conversion unit 510. . The display conversion unit 510 reads the display frame memory in the display conversion unit 510 and continues to display an image on the liquid crystal monitor.

一方、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８にも入力され、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮が施され、メモリカードなどの画像記憶装置に広角撮影画像として記録される。   On the other hand, the data output from the second filter 507 is also input to the YC conversion unit 508, and the YC conversion unit 508 converts the RGB signal into the color space and converts it into a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The signal converted into the color space in the YC conversion unit 508 is subjected to JPEG compression in the image compression unit 509 and recorded as a wide-angle captured image in an image storage device such as a memory card.

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。   Next, in order to generate image data on the telephoto side, data is read from the frame memory 511 by rearranging the image data set by the user at the angle of view on the telephoto side in an order that can be easily processed later. The read data is RGB-synchronized from the Bayer data in the RGB synchronization unit 502. At this time, as described above, correction is performed in consideration of the influence of distortion.

ＲＧＢ同時化されたデータは、第１のフィルタ５０３に入力され、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして、ユーザが設定した記録撮影する画像サイズに合うようにするために縮小される部分に関して、その縮小の度合いに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、記録する画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。   The RGB synchronized data is input to the first filter 503 and subjected to low-pass filter processing. At this time, the central part is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for the degree of reduction for the part to be reduced to fit the image size to be recorded and set by the user. To do. Since the peripheral portion is compressed by distortion, when the peripheral portion is not reduced from the image size to be recorded and the peripheral image size, the coefficient of the spatial filter shown in FIG. , C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. When the central portion is not reduced, the filter coefficient is set to 1 only for the center C22 for the entire area of the image so that the low-pass filter is not applied.

ローパスフィルタ処理されたデータは、収差補正部５０４において、歪曲収差を補正するための座標変換処理が行われ、その後、拡大／縮小部５０５において、記録する画像サイズに拡大／縮小処理される。そして、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。   The low-pass filtered data is subjected to coordinate transformation processing for correcting distortion in the aberration correction unit 504, and then enlarged / reduced to an image size to be recorded in the enlargement / reduction unit 505. In the second filter 507, edge enhancement and noise reduction processing are performed on the enlarged portion.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示用変換部５１０は、この表示用変換部５１０内の表示用のフレームメモリを読み出して、液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。   The data output from the second filter 507 is converted into a format (size, scan format) necessary for the liquid crystal monitor display in the display conversion unit 510 and written in the display frame memory in the display conversion unit 510. . The display conversion unit 510 reads the display frame memory in the display conversion unit 510 and continues to display an image on the liquid crystal monitor. At this point, the liquid crystal monitor is switched from displaying the wide-angle image so far to displaying the telephoto image.

一方で、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に望遠撮影画像として記録される。   On the other hand, the data output from the second filter 507 is converted from an RGB signal to a color space by a YC conversion unit 508 and converted to a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The signal converted into the color space in the YC conversion unit 508 is subjected to JPEG compression processing in the image compression unit 509 and recorded as a telephoto image on an image recording apparatus such as a memory card.

次に、図１６に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れについて説明する。この場合の処理は、上述した図５の構成を持つデジタルカメラの処理の流れとほぼ同様であり、歪曲収差を補正するための座標変換処理と、表示や記録する画像サイズに拡大／縮小する処理とが共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、収差補正および拡大／縮小処理を共有し、同時処理を実現する点のみが異なっている。   Next, the flow of processing when a subject is captured using the digital camera shown in FIG. 16 and simultaneous wide-angle and telephoto shooting is performed will be described. The process in this case is almost the same as the process flow of the digital camera having the configuration shown in FIG. 5 described above, and a coordinate conversion process for correcting distortion and a process for enlarging / reducing the image size to be displayed or recorded. Together with the calculation to interpolate the target coordinate data from the surrounding pixels and calculate the position of the corrected target coordinate position in the image before correction. However, the only difference is that the aberration correction and the enlargement / reduction process are shared and the simultaneous process is realized.

次に、図１７に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータが読み出される処理までは、上記図５の構成における処理と同様であるため、その詳細は省略する。   Next, the flow of processing when a subject is captured using the digital camera shown in FIG. 17 and simultaneous wide-angle and telephoto shooting is performed will be described. Note that the image correction unit 501 performs pixel defect correction and the like, and continuously saves them in the frame memory 511, and processes image data corresponding to the angle of view on the wide angle side from the frame memory 511 in the subsequent stage. The processing up to the process of rearranging the data in an easy order and reading the data is the same as the processing in the configuration of FIG.

フレームメモリ５１１から読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３,Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、回路は一系統であってもかまわないが周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に係数を切り替えて処理を行う。   The Bayer image data read from the frame memory 511 is low-pass filtered in the first filter 1703. At this time, the central portion is strong in consideration of the influence of distortion, and the image signal is filtered with a coefficient suitable for reducing the image signal to a size to be displayed on the liquid crystal monitor. Since the peripheral portion is compressed due to distortion, when the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. In addition, since it is a filtering process for the Bayer image, the circuit may be a single system, but the process is performed by switching the coefficient separately for each color only for the pixels to which the surrounding same color filter is attached. .

ローパスフィルタ処理されたベイヤー画像データは、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、液晶モニタに表示する画像サイズに縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理に関してもベイヤーデータであるため、各色毎に同色フィルタの画素のみを対象とした処理となる。   The Bayer image data that has undergone the low-pass filter processing is data of coordinates targeted by both the coordinate conversion processing for correcting distortion aberration and the processing for reducing the image size displayed on the liquid crystal monitor in the aberration correction enlargement / reduction unit 1706. Is processed by interpolating from the surrounding pixels, and by calculating the position of the target coordinate position after correction in the image before correction, it is processed at the same time . Since this process is also Bayer data, only the pixels of the same color filter are processed for each color.

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、拡大処理した部分があるときには、第２のフィルタ５０７において、エッジ強調及びノイズ軽減処理が行われる。   The Bayer image data subjected to the aberration correction and enlargement / reduction processing is RGB-synchronized from the Bayer data in the RGB synchronizer 1702. When there is an enlarged portion of the RGB synchronized data, the second filter 507 performs edge enhancement and noise reduction processing.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。   The data output from the second filter 507 is converted into a format (size, scan format) necessary for the liquid crystal monitor display in the display conversion unit 510 and written in the display frame memory in the display conversion unit 510. . The display conversion unit 510 reads the display frame memory in the display conversion unit 510 and continues to display an image on the liquid crystal monitor.

広角側の画角を操作できる状態で、ユーザが、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動してＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正拡大／縮小部１７０６、第２のフィルタ５０７へのパラメータも変更する。   When the user switches the angle of view by tilting the switching lever 2204 that controls the zoom shown in FIG. 22C in a state where the angle of view on the wide angle side can be operated, the image that the user is observing on the liquid crystal monitor Corresponding to the corner, the angle of view of the image data read from the frame memory 511 is changed and read. Along with this, since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 change, the processing of the RGB synchronizer 1702 and the first filter 1703 are interlocked with this. The parameters for the aberration correction enlargement / reduction unit 1706 and the second filter 507 are also changed.

ユーザが、図２２（ｃ）に示す切替レバー２２０４を押し込む操作すると、それまで操作していた側（例えば広角側）の画角が決定され、別の側（例えば望遠側）の画角を操作するモードになる。ユーザが、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えても、ユーザが液晶モニタで観測している画角に変化は無く、液晶モニタは広角画像に対応した画角を表示し続ける。従って、フレームメモリ５１１から読み出す画像データの画角は広角側の画角に応じたものを読み出す。また、ＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正拡大／縮小部１７０６、第２のフィルタ５０７へのパラメータも広角側の画角に対応したものを使用する。   When the user operates to push in the switching lever 2204 shown in FIG. 22C, the angle of view on the side that has been operated (for example, the wide angle side) is determined, and the angle of view on the other side (for example, the telephoto side) is operated. Mode. Even if the user switches the angle of view by tilting the switching lever 2204 for controlling the zoom shown in FIG. 22 (c) to the left or right, the angle of view that the user is observing on the liquid crystal monitor remains unchanged, and the liquid crystal monitor has a wide angle. Continue to display the angle of view corresponding to the image. Accordingly, the angle of view of the image data read from the frame memory 511 is read according to the angle of view on the wide angle side. Also, parameters corresponding to the angle of view on the wide angle side are used for the processing of the RGB synchronization unit 1702 and the parameters for the first filter 1703, the aberration correction enlargement / reduction unit 1706, and the second filter 507.

図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事に応じて変化するのは液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、切替レバー２２０４を右に倒して望遠にすれば小さく、切替レバー２２０４を左に倒して広角側にすれば大きくなるように変化する。   The frame that shows the telephoto-side shooting area displayed on the liquid crystal monitor changes according to the tilting of the switching lever 2204 that controls the zoom shown in FIG. 22C to the left and right. This frame is the switching lever 2204. If the switch lever 2204 is turned to the telephoto position to the telephoto side, the distance is small, and if the switch lever 2204 is tilted to the left to the wide angle side, the distance is increased.

ユーザが、望遠側の画角も決定して、図２２（ｃ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。このとき、上記画像については、画像補正部５０１において画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が実行される。また、この際、上述したように歪曲収差による影響を加味した補正を実施する。   When the user also determines the angle of view on the telephoto side and operates the shutter button 2201 shown in FIG. 22 (c), the image sensor outputs all pixels in a progressive or interlaced manner after processing such as AE / AF is executed. Driven in normal shooting mode. At this time, the image correction unit 501 executes pixel defect correction, white balance correction, and shading correction (light amount correction) for the image. At this time, correction is performed in consideration of the influence of distortion as described above.

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成する為に、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。   The image-corrected data is stored in the frame memory 511 for one frame. First, in order to generate image data on the wide angle side, data corresponding to the image data set by the user at the angle of view on the wide angle side is rearranged in an order that can be easily processed later, from the frame memory 511. .

読み出されたデータは、第１のフィルタ１７０３において、そのベイヤー画像に対してローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。   The read data is low-pass filtered on the Bayer image in the first filter 1703. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. In addition, since it is a filtering process with respect to a Bayer image, it processes separately for every color only for the pixel to which the surrounding same color filter was affixed.

ローパスフィルタ処理されたベイヤー画像は、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と記録する画像サイズに拡大／縮小する処理とが共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理に関してもベイヤーデータであるため、各色毎に同色フィルタの画素のみを対象とした処理となる。   The Bayer image subjected to the low-pass filter processing is performed by the aberration correction enlargement / reduction unit 1706 around the coordinate data for which the coordinate conversion processing for correcting distortion aberration and the processing for enlargement / reduction to the recorded image size are performed. By using the processing that is generated by interpolation from the pixels, the calculation is performed simultaneously by calculating the position where the target coordinate position after correction is in the image before correction. Since this process is also Bayer data, only the pixels of the same color filter are processed for each color.

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。   The Bayer image data subjected to the aberration correction and enlargement / reduction processing is RGB-synchronized from the Bayer data in the RGB synchronizer 1702. The RGB synchronized data is subjected to edge enhancement and noise reduction processing for the enlarged portion in the second filter 507.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示する。   The data output from the second filter 507 is converted into a format (size, scan format) necessary for the liquid crystal monitor display in the display conversion unit 510 and written in the display frame memory in the display conversion unit 510. . The display conversion unit 510 reads the display frame memory in the display conversion unit 510 and displays an image on the liquid crystal monitor.

また、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に広角撮影画像として記録される。   The data output from the second filter 507 is converted from an RGB signal to a color space by a YC conversion unit 508 and converted to a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The signal converted into the color space in the YC conversion unit 508 is subjected to JPEG compression processing in the image compression unit 509 and is recorded as a wide-angle captured image on an image recording apparatus such as a memory card.

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたデータは、第１のフィルタ１７０３において、そのベイヤー画像に対してローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。なお、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。また、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。   Next, in order to generate image data on the telephoto side, data is read from the frame memory 511 by rearranging the image data set by the user at the angle of view on the telephoto side in an order that can be easily processed later. The read data is low-pass filtered on the Bayer image in the first filter 1703. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. In addition, since it is a filtering process with respect to a Bayer image, it processes separately for every color only for the pixel to which the surrounding same color filter was affixed. If the central portion is not reduced, the filter coefficient is set to 1 only at the center C22 for the entire area of the image so that the low-pass filter is not applied.

ローパスフィルタ処理されたベイヤーデータは、収差補正拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。なお、この処理もベイヤーデータに対するものであるため、同色フィルタの画素のみを対象としたものになる。   The Bayer data subjected to the low-pass filter processing is processed by the aberration correction enlargement / reduction unit 1706 around the data of the coordinates targeted by both coordinate conversion processing for correcting distortion aberration and processing for enlargement / reduction to the image size to be recorded. By using the processing that is generated by interpolation from the pixels, the calculation is performed simultaneously by calculating the position where the target coordinate position after correction is in the image before correction. Since this processing is also for Bayer data, only the pixels of the same color filter are targeted.

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。ＲＧＢ同時化されたデータは、第２のフィルタ５０７において、拡大処理した部分に関して、エッジ強調及びノイズ軽減処理が行われる。   The Bayer image data subjected to the aberration correction and enlargement / reduction processing is RGB-synchronized from the Bayer data in the RGB synchronizer 1702. At this time, as described above, correction is performed in consideration of the influence of distortion. The RGB synchronized data is subjected to edge enhancement and noise reduction processing for the enlarged portion in the second filter 507.

第２のフィルタ５０７から出力されたデータは、表示用変換部５１０において、液晶モニタ表示に必要な形式（サイズ、スキャン形式）に変換され、表示変換部５１０内の表示用のフレームメモリに書き込まれる。表示変換部５１０は、この表示変換部５１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。   The data output from the second filter 507 is converted into a format (size, scan format) necessary for the liquid crystal monitor display in the display conversion unit 510 and written in the display frame memory in the display conversion unit 510. . The display conversion unit 510 reads the display frame memory in the display conversion unit 510 and continues to display an image on the liquid crystal monitor. At this point, the liquid crystal monitor is switched from displaying the wide-angle image so far to displaying the telephoto image.

また、第２のフィルタ５０７から出力されたデータは、ＹＣ変換部５０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理も行われる。ＹＣ変換部５０８において、色空間に変換された信号は、画像圧縮部５０９において、ＪＰＥＧ圧縮処理が行われ、メモリカードなどの画像記録装置に望遠撮影画像として記録される。   The data output from the second filter 507 is converted from an RGB signal to a color space by a YC conversion unit 508 and converted to a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The signal converted into the color space in the YC conversion unit 508 is subjected to JPEG compression processing in the image compression unit 509 and recorded as a telephoto image on an image recording apparatus such as a memory card.

次に、図１８に示すデジタルカメラを用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータを読み出し、このデータをＲＧＢ同時化する処理までは、上記図５の構成における処理と同様であるため、その詳細は省略する。   Next, a flow of processing when a subject is captured using the digital camera shown in FIG. 18 and simultaneous wide-angle and telephoto shooting is performed will be described. Note that the image correction unit 501 performs pixel defect correction and the like, and continuously saves them in the frame memory 511, and processes image data corresponding to the angle of view on the wide angle side from the frame memory 511 in the subsequent stage. The processes up to rearrangement in an easy order to read data and synchronize the data with RGB are the same as the process in the configuration of FIG.

ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。変換されたＹＣｂＣｒ信号は、第１のフィルタ１８０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を液晶モニタに表示するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。   The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1808 and converted to a YCbCr signal. The converted YCbCr signal is low-pass filtered in the first filter 1803. At this time, the central portion is strong in consideration of the influence of distortion, and the image signal is filtered with a coefficient suitable for reducing the image signal to a size to be displayed on the liquid crystal monitor. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied.

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変換処理と、液晶モニタに表示する画像サイズに縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。そして、収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、拡大処理した部分があれば、第２のフィルタ１８０７においては、エッジ強調及びノイズ軽減処理される。   The YCbCr signal that has undergone the low-pass filter processing is used as a target coordinate data in the aberration correction / enlargement / reduction unit 1806 for both coordinate conversion processing for correcting distortion aberration and processing for reducing the image size displayed on the liquid crystal monitor. Is processed by interpolating from the surrounding pixels, and by calculating the position of the target coordinate position after correction in the image before correction, it is processed at the same time . The YCbCr signal subjected to aberration correction and enlargement / reduction processing is subjected to edge enhancement and noise reduction processing in the second filter 1807 if there is a portion subjected to enlargement processing.

第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示変換部１８１０は、この表示変換部内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。   The YCbCr signal output from the second filter 1807 is converted into a format (data format, size, scan format) required for the liquid crystal monitor display in the display conversion unit 1810, and the display frame in the display conversion unit 1810 is converted. Written to memory. The display conversion unit 1810 continues to display the image on the liquid crystal monitor by reading the display frame memory in the display conversion unit.

ユーザが、図２２（ａ）に示す広角側のズームを制御するＴｅｌｅボタン２２０５やＷｉｄｅボタン２２０６により広角側の画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出される画像データの画角も変更される。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動して、ＲＧＢ同時化部５０２の処理やＹＣ変換部１８０８、第１のフィルタ１８０３、収差補正・拡大／縮小部１８０６、第２のフィルタ１８０７へのパラメータも変更される。   When the user switches the angle of view on the wide-angle side with the Tele button 2205 or the Wide button 2206 for controlling the zoom on the wide-angle side shown in FIG. 22A, in correspondence with the angle of view that the user observes on the liquid crystal monitor, The angle of view of the image data read from the frame memory 511 is also changed. Along with this, since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 change, the processing of the RGB synchronizer 502 and the YC converter 1808 are interlocked with this. The parameters for the first filter 1803, the aberration correction / enlargement / reduction unit 1806, and the second filter 1807 are also changed.

また、ユーザが、図２２（ａ）に示す望遠側のズームを制御するＴｅｌｅボタン２２０７やＷｉｄｅボタン２２０８により望遠側の画角を切替えると、フレームメモリ５１１から読み出される画像データの画角は変更されず広角側の画角を継続して読み出す。従って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）は変化しない為、ＲＧＢ同時化部５０２の処理やＹＣ変換部１８０８、第１のフィルタ１８０３、収差補正・拡大／縮小部１８０６、第２のフィルタ１８０７へのパラメータも変更されない。   Further, when the user switches the telephoto side angle of view by using the Tele button 2207 or the Wide button 2208 for controlling the zoom on the telephoto side shown in FIG. 22A, the angle of view of the image data read from the frame memory 511 is changed. First, the angle of view on the wide-angle side is continuously read. Accordingly, since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 do not change, processing of the RGB synchronizer 502, YC converter 1808, first filter 1803, aberration correction / enlargement / Parameters for the reduction unit 1806 and the second filter 1807 are not changed.

図２２（ａ）に示す望遠側のズームを制御するＴｅｌｅボタン２２０７やＷｉｄｅボタン２２０８の操作に応じて変化するのは、液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、Ｔｅｌｅボタン２２０７を押して望遠に倒せば小さく、Ｗｉｄｅボタン２２０８を押して広角側に倒せば大きくなるように変化する。本実施形態では、このようにユーザは広角側の画角も望遠側の画角も同時に切替える操作をする事も可能である。   What is changed in accordance with the operation of the Tele button 2207 and the Wide button 2208 for controlling the zoom on the telephoto side shown in FIG. 22A is a frame indicating the telephoto side photographing area displayed on the liquid crystal monitor. However, when the Tele button 2207 is pressed and the telephoto is tilted to the telephoto side, the change is small. In the present embodiment, the user can also perform an operation of simultaneously switching the wide-angle side view angle and the telephoto-side view angle as described above.

ユーザが、広角側と望遠側の画角を決定して、図２２（ａ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。このとき、上記画像については、画像補正部５０１において画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が実行される。また、この際、上述したように歪曲収差による影響を加味した補正を実施する。   When the user determines the angle of view on the wide-angle side and the telephoto side and operates the shutter button 2201 shown in FIG. 22A, after the processing such as AE / AF is executed, the image sensor progressively or It is driven in the normal shooting mode that outputs in interlace. At this time, the image correction unit 501 executes pixel defect correction, white balance correction, and shading correction (light amount correction) for the image. At this time, correction is performed in consideration of the influence of distortion as described above.

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成する為に、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。   The image-corrected data is stored in the frame memory 511 for one frame. First, in order to generate image data on the wide angle side, data corresponding to the image data set by the user at the angle of view on the wide angle side is rearranged in an order that can be easily processed later, from the frame memory 511. .

読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正が実施される。ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。   The read data is RGB-synchronized from the Bayer data in the RGB synchronization unit 502. At this time, as described above, correction is performed in consideration of the influence of distortion. The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1808 and converted to a YCbCr signal.

変換されたＹＣｂＣｒ信号は、第１のフィルタ１８０３において、そのＹＣｂＣｒ画像個々にローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。   The converted YCbCr signal is subjected to low-pass filter processing for each YCbCr image in the first filter 1803. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied.

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像で、どの位置にあったかの計算を合わせて行う事で、同時に処理される。   The YCbCr signal that has undergone the low-pass filter processing is processed by the aberration correction / enlargement / reduction unit 1806 as data of coordinates targeted by both coordinate conversion processing for correcting distortion aberration and processing for enlargement / reduction to the image size to be recorded. Using the process that is generated by interpolating from surrounding pixels, the target coordinate position after correction is the pre-correction image, and it is processed at the same time by calculating where it was. .

収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、第２のフィルタ１８０７において、拡大処理された部分に関して、エッジ強調及びノイズ軽減処理が行われる。第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示用変換部１８１０は、この表示用変換部１８１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。また、第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９において、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号が間引かれて、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。   The YCbCr signal subjected to aberration correction and enlargement / reduction processing is subjected to edge enhancement and noise reduction processing in the second filter 1807 with respect to the enlarged portion. The YCbCr signal output from the second filter 1807 is converted into a format (data format, size, scan format) required for the liquid crystal monitor display in the display conversion unit 1810, and the display frame in the display conversion unit 1810 is converted. Written to memory. The display conversion unit 1810 reads the display frame memory in the display conversion unit 1810 and continues to display an image on the liquid crystal monitor. Also, the YCbCr signal output from the second filter 1807 is subjected to JPEG compression by the image compression unit 509 by thinning out the CbCr signal to 422 or the like in accordance with the JPEG compression mode, so that an image such as a memory card is obtained. It is recorded in the storage device as a wide-angle shot image.

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたデータは、ＲＧＢ同時化部５０２において、ベイヤーデータからＲＧＢ同時化される。この際、上述したように歪曲収差による影響を加味した補正を実施する。   Next, in order to generate image data on the telephoto side, data is read from the frame memory 511 by rearranging the image data set by the user at the angle of view on the telephoto side in an order that can be easily processed later. The read data is RGB-synchronized from the Bayer data in the RGB synchronization unit 502. At this time, as described above, correction is performed in consideration of the influence of distortion.

ＲＧＢ同時化されたデータは、ＹＣ変換部１８０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。ＹＣｂＣｒ信号は、第１のフィルタ１８０３でＹＣｂＣｒ画像個々にローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。   The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1808 and converted to a YCbCr signal. The YCbCr signal is low-pass filtered by the first filter 1803 for each YCbCr image. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied.

ローパスフィルタ処理されたＹＣｂＣｒ信号は、収差補正・拡大／縮小部１８０６において、歪曲収差を補正するための座標変化処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。   The YCbCr signal that has undergone the low-pass filter processing is processed by the aberration correction / enlargement / reduction unit 1806 with coordinate data targeted for both the coordinate change process for correcting distortion aberration and the process for enlarging / reducing the recorded image size. By using the process that is generated by interpolating from surrounding pixels, the calculation is performed simultaneously by calculating the position where the target coordinate position after correction is in the image before correction.

収差補正および拡大／縮小処理されたＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１８０７において、エッジ強調及びノイズ軽減処理が行われる。第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、表示用変換部１８１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１８１０内の表示用のフレームメモリに書き込まれる。表示用変換部１８１０は、この表示用変換部１８１０内の表示用のフレームメモリを読み出して、液晶モニタへ画像を表示する。また、第２のフィルタ１８０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９において、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号が間引かれて、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。   The YCbCr signal subjected to aberration correction and enlargement / reduction processing is subjected to edge enhancement and noise reduction processing in the second filter 1807 with respect to the enlarged portion. The YCbCr signal output from the second filter 1807 is converted into a format (data format, size, scan format) required for the liquid crystal monitor display in the display conversion unit 1810, and the display frame in the display conversion unit 1810 is converted. Written to memory. The display conversion unit 1810 reads the display frame memory in the display conversion unit 1810 and displays an image on the liquid crystal monitor. Also, the YCbCr signal output from the second filter 1807 is subjected to JPEG compression by the image compression unit 509 by thinning out the CbCr signal to 422 or the like in accordance with the JPEG compression mode, so that an image such as a memory card is obtained. It is recorded in the storage device as a wide-angle shot image.

次に、図１９に示す歪曲収差補正画像処理装置を有する画像撮像装置（デジタルカメラ）を用いて被写体を捉え、広角・望遠同時撮影を行う時の処理の流れを説明する。なお、画像補正部５０１において、画素欠陥補正等を行い、これをフレームメモリ５１１に連続的に保存するとともに、フレームメモリ５１１から広角側の画角に相当する分の画像データを後段において、処理し易い順番に並び替えてデータを読み出し、このデータにローパスフィルタ処理を行い、収差補正および拡大／縮小処理を行って、ＲＧＢ同時化を行うまでは、上記図１７の構成における処理と同様であるため、その詳細は省略する。   Next, the flow of processing when capturing an object using the image capturing apparatus (digital camera) having the distortion aberration correcting image processing apparatus shown in FIG. 19 and performing simultaneous wide-angle and telephoto shooting will be described. The image correction unit 501 performs pixel defect correction and the like, and continuously saves them in the frame memory 511, and processes image data corresponding to the wide-angle side view angle from the frame memory 511 in the subsequent stage. The process is the same as the process in the configuration of FIG. 17 until data is read out in order, easily subjected to low-pass filter processing, aberration correction and enlargement / reduction processing, and RGB synchronization. The details are omitted.

ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。ＹＣｂＣｒ信号は、同信号に拡大処理した部分があれば、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。   The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1908 and converted into a YCbCr signal. The YCbCr signal is subjected to edge enhancement and noise reduction processing in the second filter 1907 if there is an enlarged portion of the signal.

第２のフィルタ１９０７から出力された信号は、表示用変換部１９１０において、液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。表示変換部１９１０は、この表示変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。   The signal output from the second filter 1907 is converted into a format (data format, size, scan format) necessary for liquid crystal monitor display in the display conversion unit 1910, and the display frame memory in the display conversion unit 1910 Is written to. The display conversion unit 1910 reads the display frame memory in the display conversion unit 1910 and continues to display an image on the liquid crystal monitor.

望遠側の画角を操作できる状態で、ユーザが、図２２（c）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出される画像データの画角が変更される。なお、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）は広角側の画角で決まる為、ＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正・拡大／縮小部１７０６、第２のフィルタ１９０７へのパラメータも広角側の画角で決定される。従って、望遠側の画角操作では変化せず、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事に応じて変化するのは液晶モニタ上に表示される望遠側撮影領域を示す枠であり、この枠が、切替レバー２２０４を右に倒して望遠にすれば小さく、切替レバー２２０４を左に倒して広角側にすれば大きくなるように変化する。   When the user switches the angle of view by tilting the switching lever 2204 for controlling the zoom shown in FIG. 22C in the state in which the angle of view on the telephoto side can be operated, the image that the user observes on the liquid crystal monitor The angle of view of the image data read from the frame memory 511 is changed corresponding to the angle. Since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 are determined by the angle of view on the wide angle side, the processing of the RGB synchronizer 1702, the first filter 1703, aberration correction / enlargement / Parameters for the reduction unit 1706 and the second filter 1907 are also determined by the angle of view on the wide angle side. Therefore, it does not change with the telescopic angle of view operation, but changes according to tilting the switching lever 2204 for controlling the zoom shown in FIG. This frame changes so that it is small when the switch lever 2204 is tilted to the right to telephoto, and it is large when the switch lever 2204 is tilted to the left and moved to the wide angle side.

次に、ユーザが、図２２（ｃ）に示す切替レバー２２０４を押し込む操作すると、それまで操作していた側（例えば望遠側）の画角が決定され、別の側（例えば広角側）の画角を操作するモードになる。広角側の画角を操作できる状態で、図２２（ｃ）に示すズームを制御する切替レバー２２０４を左右に倒す事により画角を切替えると、ユーザが液晶モニタで観測している画角に対応して、フレームメモリ５１１から読み出す画像データの画角を変更して読み出す。なお、これに伴って、歪曲収差の度合いやフレームメモリ５１１から出力される画角（画像データの数）が変化する為、これに連動してＲＧＢ同時化部１７０２の処理や第１のフィルタ１７０３、収差補正・拡大／縮小部１７０６、第２のフィルタ１９０７へのパラメータも変更する。   Next, when the user performs an operation of pushing in the switching lever 2204 shown in FIG. 22C, the angle of view on the side that has been operated (for example, the telephoto side) is determined, and the image on the other side (for example, the wide-angle side) is determined. It becomes the mode to operate the corner. When the angle of view is switched by tilting the switching lever 2204 for controlling the zoom shown in FIG. 22C in the state in which the angle of view on the wide angle side can be operated, it corresponds to the angle of view observed by the user on the LCD monitor. Then, the angle of view of the image data read from the frame memory 511 is changed and read. Along with this, since the degree of distortion and the angle of view (number of image data) output from the frame memory 511 change, the processing of the RGB synchronizer 1702 and the first filter 1703 are interlocked with this. The parameters for the aberration correction / enlargement / reduction unit 1706 and the second filter 1907 are also changed.

ユーザが、望遠側の画角も決定して、図２２（ｃ）に示すシャッタボタン２２０１を操作すると、ＡＥ／ＡＦ等の処理が実行された後、イメージセンサは全画素をプログレッシブまたはインターレースで出力する通常の撮影モードで駆動される。このとき、上記画像については、画像補正部５０１において画素欠陥補正、ホワイトバランス補正、シェーディング補正（光量の補正）が実行される。また、この際、上述したように歪曲収差による影響を加味した補正を実施する。   When the user also determines the angle of view on the telephoto side and operates the shutter button 2201 shown in FIG. 22 (c), the image sensor outputs all pixels in a progressive or interlaced manner after processing such as AE / AF is executed. Driven in normal shooting mode. At this time, the image correction unit 501 executes pixel defect correction, white balance correction, and shading correction (light amount correction) for the image. At this time, correction is performed in consideration of the influence of distortion as described above.

画像補正されたデータは、フレームメモリ５１１に１フレーム分保存される。そして、最初に、広角側の画像データを生成する為に、このフレームメモリ５１１からユーザが広角側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。   The image-corrected data is stored in the frame memory 511 for one frame. First, in order to generate image data on the wide angle side, data corresponding to the image data set by the user at the angle of view on the wide angle side is rearranged in an order that can be easily processed later, from the frame memory 511. .

読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理される。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。また、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。尚、中心部も縮小されない場合には、画像の全領域に関してフィルタの係数を中心Ｃ２２のみ１にしてローパスフィルタがかからないようにする。   The read Bayer image data is low-pass filtered in the first filter 1703. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. Further, since the filtering process is performed on the Bayer image, the process is performed separately for each color only for the pixels to which the surrounding same color filter is attached. If the central portion is not reduced, the filter coefficient is set to 1 only for the center C22 for the entire area of the image so that the low-pass filter is not applied.

ローパスフィルタ処理されたベイヤー画像データは、収差補正・拡大／縮小部１７０６において、歪曲収差を補正するための座標変化処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。   The Bayer image data that has undergone the low-pass filter processing is data of coordinates targeted by the aberration correction / enlargement / reduction unit 1706 for both coordinate change processing for correcting distortion aberration and processing for enlargement / reduction to the image size to be recorded. Is processed by interpolating from the surrounding pixels, and by calculating the position of the target coordinate position after correction in the image before correction, it is processed at the same time .

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２にいてＲＧＢ同時化される。ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理が行われる。ＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。   The Bayer image data that has been subjected to aberration correction and enlargement / reduction processing is RGB-synchronized by an RGB synchronizer 1702. The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1908 and converted into a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The YCbCr signal is subjected to edge enhancement and noise reduction processing in the second filter 1907 for the enlarged portion.

第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、表示用変換部１９１０において液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。また、表示用変換部１９１０は、この表示用変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。また、第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９にも入力され、画像圧縮部５０９において、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置に広角撮影画像として記録される。   The YCbCr signal output from the second filter 1907 is converted into a format (data format, size, scan format) necessary for liquid crystal monitor display in the display conversion unit 1910, and the display frame memory in the display conversion unit 1910 Is written to. Further, the display conversion unit 1910 reads the display frame memory in the display conversion unit 1910 and continues to display an image on the liquid crystal monitor. Further, the YCbCr signal output from the second filter 1907 is also input to the image compression unit 509, where JPEG compression is performed in the image compression unit 509, and recorded as a wide-angle captured image in an image storage device such as a memory card. The

次に、望遠側の画像データを生成する為に、このフレームメモリ５１１からユーザが望遠側の画角で設定した分の画像データを後段で処理し易い並び順に並び替えてデータが読み出される。読み出されたベイヤー画像データは、第１のフィルタ１７０３において、ローパスフィルタ処理が行われる。この際、歪曲収差による影響を加味して中央部は強く、そして画像信号を記録するサイズまで縮小するのに適した係数でフィルタリングする。歪曲収差により周辺部は圧縮されているため、求める画像サイズと周辺部の画像サイズから周辺部分が縮小されない場合には、図１１に示す空間フィルタの係数を中心Ｃ２２のみ１にし、他（Ｃ１１，Ｃ１２,Ｃ１３，Ｃ２１，Ｃ２３，Ｃ３１，Ｃ３２，Ｃ３３）を０にしてローパスフィルタがかからないようにする。尚、ベイヤー画像に対するフィルタリング処理である為、周囲の同色フィルタが貼り付けられた画素のみを対象として、各色毎にそれぞれ別個に処理を行う。   Next, in order to generate image data on the telephoto side, data is read from the frame memory 511 by rearranging the image data set by the user at the angle of view on the telephoto side in an order that can be easily processed later. The read Bayer image data is subjected to low-pass filter processing in the first filter 1703. At this time, the central portion is strong in consideration of the influence of distortion, and filtering is performed with a coefficient suitable for reducing the image signal to a recording size. Since the peripheral portion is compressed by distortion, if the peripheral portion is not reduced from the image size to be obtained and the image size of the peripheral portion, the coefficient of the spatial filter shown in FIG. C12, C13, C21, C23, C31, C32, C33) are set to 0 so that the low-pass filter is not applied. In addition, since it is a filtering process with respect to a Bayer image, it processes separately for every color only for the pixel to which the surrounding same color filter was affixed.

ローパスフィルタ処理されたベイヤー画像データは、収差補正・拡大／縮小部１７０６において、歪曲収差を補正するための座標変換処理と、記録する画像サイズに拡大／縮小する処理が共に目標とする座標のデータを周囲の画素から補間して生成する処理である事を利用して、補正後の目標とする座標位置が補正前の画像でどの位置にあったかの計算を合わせて行う事で、同時に処理される。   The Bayer image data that has undergone the low-pass filter processing is coordinate data for which the aberration correction / enlargement / reduction unit 1706 performs both coordinate conversion processing for correcting distortion and processing for enlargement / reduction to the image size to be recorded. Is processed by interpolating from the surrounding pixels, and by calculating the position of the target coordinate position after correction in the image before correction, it is processed at the same time .

収差補正および拡大／縮小処理されたベイヤー画像データは、ＲＧＢ同時化部１７０２において、ベイヤーデータからＲＧＢ同時化される。ＲＧＢ同時化されたデータは、ＹＣ変換部１９０８において、ＲＧＢ信号から色空間への変換が行われ、ＹＣｂＣｒ信号に変換される。また、ＪＰＥＧの圧縮モードに合わせて４２２等にＣｂＣｒ信号を間引く処理が行われる。ＹＣｂＣｒ信号は、拡大処理した部分に関して、第２のフィルタ１９０７において、エッジ強調及びノイズ軽減処理が行われる。   The Bayer image data subjected to the aberration correction and enlargement / reduction processing is RGB-synchronized from the Bayer data in the RGB synchronizer 1702. The RGB synchronized data is converted from an RGB signal to a color space by a YC converter 1908 and converted into a YCbCr signal. Also, a process of thinning out the CbCr signal to 422 or the like is performed in accordance with the JPEG compression mode. The YCbCr signal is subjected to edge enhancement and noise reduction processing in the second filter 1907 for the enlarged portion.

第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、表示用変換部１９１０において液晶モニタ表示に必要な形式（データ形式、サイズ、スキャン形式）に変換され、表示変換部１９１０内の表示用のフレームメモリに書き込まれる。また、表示用変換部１９１０は、この表示用変換部１９１０内の表示用のフレームメモリを読み出して液晶モニタへ画像を表示し続ける。この時点で液晶モニタにはそれまでの広角画像の表示から望遠画像の表示に切り替わる。また、第２のフィルタ１９０７から出力されたＹＣｂＣｒ信号は、画像圧縮部５０９にも入力され、画像圧縮部５０９において、ＪＰＥＧ圧縮が行われ、メモリカードなどの画像記憶装置１０５に望遠撮影画像として記録される。なお、上述のようにして、同一の画像データから作成された広角および望遠の撮影画像に対しては、画像記憶装置１０５に格納する際、同一の画像データから作成されたことを示すために、例えば、ファイル名に同一のプリフィクスを付するようにインデックスを付与しておくとよい。これにより、撮像画像間の関連を容易に確認することが可能となる。   The YCbCr signal output from the second filter 1907 is converted into a format (data format, size, scan format) necessary for liquid crystal monitor display in the display conversion unit 1910, and the display frame memory in the display conversion unit 1910 Is written to. Further, the display conversion unit 1910 reads the display frame memory in the display conversion unit 1910 and continues to display an image on the liquid crystal monitor. At this point, the liquid crystal monitor is switched from displaying the wide-angle image so far to displaying the telephoto image. Further, the YCbCr signal output from the second filter 1907 is also input to the image compression unit 509, where JPEG compression is performed in the image compression unit 509, and recorded as a telephoto image in the image storage device 105 such as a memory card. Is done. As described above, when the wide-angle and telephoto shot images created from the same image data are stored in the image storage device 105, in order to indicate that they are created from the same image data, For example, an index may be assigned so that the same prefix is added to the file name. Thereby, it becomes possible to easily confirm the relationship between captured images.

（第２の実施形態）
図２６は、本発明の第２の実施形態に係る画像撮像装置たる監視カメラの構成を示したものである。図２６に示すように、本発明の第２の実施形態に係る監視カメラは、カメラヘッド２６０６と、受信記録システム２６１３により構成されており、さらに、カメラヘッド２６０６は、歪曲収差を持つ光学系２６０１と、イメージセンサ２６０２と、処理圧縮装置２６０３と、画像送信装置２６０４と、カメラ制御装置２６０５とから構成されており、受信システム２６１３は、画像受信装置２６０７と、歪曲収差補正装置２６０８と、画像記憶装置２６０９と、画像表示装置２６１０と、受信表示制御装置２６１１と、操作部２６１２とから構成されている。 (Second Embodiment)
FIG. 26 shows a configuration of a surveillance camera which is an image capturing apparatus according to the second embodiment of the present invention. As shown in FIG. 26, the surveillance camera according to the second embodiment of the present invention includes a camera head 2606 and a reception recording system 2613, and the camera head 2606 further includes an optical system 2601 having distortion aberration. An image sensor 2602, a processing compression device 2603, an image transmission device 2604, and a camera control device 2605. The reception system 2613 includes an image reception device 2607, a distortion aberration correction device 2608, and an image storage. A device 2609, an image display device 2610, a reception display control device 2611, and an operation unit 2612 are included.

歪曲収差を持つ光学系２６０１は、中央部を拡大し、周辺部を圧縮する歪曲収差特性を有する光学系である。イメージセンサ２６０２は、歪曲収差を持つ光学系１０１を通して撮像された光学像を電気信号に変換するための光電変換素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等である。処理圧縮装置２６０３は、イメージセンサ２６０２から出力された画像信号の画素欠陥を補正したり、シェーディング補正を行った後可逆または非可逆の圧縮処理を行う。画像送信装置２６０４は、有線または無線により通信するために、データを通信プロトコルに合わせて変換し、エラー訂正符号を付加する。カメラ制御装置２６０５は、所定の制御プログラムに応じて、カメラヘッド２６０６全体を制御する。   An optical system 2601 having distortion aberration is an optical system having distortion aberration characteristics in which a central portion is enlarged and a peripheral portion is compressed. The image sensor 2602 is a photoelectric conversion element for converting an optical image taken through the optical system 101 having distortion aberration into an electrical signal, and is, for example, a CCD or a CMOS sensor. The processing compression device 2603 corrects pixel defects in the image signal output from the image sensor 2602 or performs shading correction and then performs reversible or irreversible compression processing. The image transmission device 2604 converts data in accordance with a communication protocol and adds an error correction code in order to communicate by wire or wireless. The camera control device 2605 controls the entire camera head 2606 according to a predetermined control program.

一方、画像受信装置２６０７は、カメラヘッド２６０６から伝送される画像信号を受信する。歪曲収差補正装置２６０８は、画像記憶装置２６０９から読み出したデータを解凍処理した後、画像データを画像表示装置２６１０で表示可能な形式に変換する。画像記憶装置２６０９は、画像受信装置２６０７で受信した歪曲収差を持ったまま圧縮処理された原画像データをそのままで記録する。画像表示装置２６１０は、歪曲収差補正装置２６０８から出力される画像データを表示する液晶等の表示装置である。受信表示制御装置２６１１は、監視カメラシステムのオペレータが表示状態を指定したり、カメラヘッドの状態を指定したりするための操作部２６１２からの入力を受け、受信記録システム２６１３内の各部を制御すると共に、画像受信装置２６０７を介してカメラヘッド２６０６へ制御信号を送信する。なお、本実施形態は、監視カメラシステムに関するものであるため、カメラヘッド２６０６を受信記録システム２６１３とは別体で構成し、複数のカメラヘッド２６０６からの画像データを１台の受信記録システム２６１３で受けて同時に記録保持するように構成する事もできる。   On the other hand, the image receiving device 2607 receives an image signal transmitted from the camera head 2606. The distortion correction device 2608 decompresses the data read from the image storage device 2609 and then converts the image data into a format that can be displayed on the image display device 2610. The image storage device 2609 records the original image data that has been compressed with the distortion received by the image receiving device 2607 as it is. The image display device 2610 is a display device such as a liquid crystal that displays image data output from the distortion correction device 2608. The reception display control device 2611 receives inputs from the operation unit 2612 for an operator of the monitoring camera system to specify a display state and a camera head state, and controls each unit in the reception recording system 2613. At the same time, a control signal is transmitted to the camera head 2606 via the image receiving device 2607. Since this embodiment relates to a surveillance camera system, the camera head 2606 is configured separately from the reception recording system 2613, and image data from a plurality of camera heads 2606 is received by one reception recording system 2613. It can also be configured to receive and simultaneously hold records.

以下、本発明の第２の実施形態に係る監視カメラの動作について説明する。
歪曲収差を持つ光学系２６０１を通じて撮像された光学像はイメージセンサ２６０２によりベイヤー配列などの電気信号に変換され、処理圧縮装置２６０３に入力される。処理圧縮装置２６０３の構成は図２７に示すようになっており、入力された画像信号は、画像補正部２７０１で画素欠陥補正やＲＧＢ各信号の大きさを概略揃えるだけの簡易ホワイトバランスの補正を施され、ＲＧＢ同時化部２７０２でベイヤー配列から各画素のＲＧＢ信号を補間により生成する。そして、ＹＣ変換部２７０３において、ＲＧＢ信号を輝度・色差信号に変換し、画像圧縮部２７０４において、ＪＰＥＧ等の圧縮処理が実行される。 The operation of the surveillance camera according to the second embodiment of the present invention will be described below.
An optical image picked up through the optical system 2601 having distortion is converted into an electrical signal such as a Bayer array by the image sensor 2602 and input to the processing compression device 2603. The configuration of the processing compression device 2603 is as shown in FIG. 27, and the input image signal is subjected to simple white balance correction by roughly correcting the pixel defect and RGB signals in the image correction unit 2701. The RGB synchronizer 2702 generates an RGB signal for each pixel from the Bayer array by interpolation. Then, the YC conversion unit 2703 converts the RGB signals into luminance / color difference signals, and the image compression unit 2704 executes compression processing such as JPEG.

なお、光学系の歪曲収差を補正するための光学特性に関する情報やこの歪曲収差による周辺増光や鏡枠による周辺減光に起因して発生するシューディングに関する情報、簡易ホワイトバランスの処理内容を含むホワイトバランスを正確に補正する為の情報は、歪曲収差情報記憶部２７０５にその特性値やパラメータそのもの、または、特性値やパラメータを特定するためのインデックスとを対にして作成されたテーブルの形で記録されている。処理圧縮装置２６０３は、特性値やパラメータ、あるいはインデックスをＪＰＥＧファイルのヘッダ部に一緒に記録する。なお、インデックスをＪＰＥＧファイルのヘッダに記録する場合には、予め、別のファイルとしてテーブルを受信記録システム２６１３に送信しておくか、ＪＰＥＧファイルと一緒に、関連付けたファイルとして送信するようにする。このインデックスによる補正のために必要な情報の送信は、ＪＰＥＧファイルの容量を大きくせずに済むという利点がある。   Information on optical characteristics for correcting distortion of the optical system, information on peripheral brightening caused by this distortion and peripheral darkening caused by the lens frame, and white processing including simple white balance processing Information for accurately correcting the balance is recorded in the distortion aberration information storage unit 2705 in the form of a table created by pairing the characteristic value or parameter itself or an index for specifying the characteristic value or parameter. Has been. The processing compression apparatus 2603 records the characteristic value, parameter, or index together in the header portion of the JPEG file. When the index is recorded in the header of the JPEG file, the table is transmitted to the reception recording system 2613 as another file in advance, or is transmitted as an associated file together with the JPEG file. The transmission of information necessary for correction by this index has an advantage that it is not necessary to increase the capacity of the JPEG file.

また、本実施形態においては、正確なホワイトバランス補正やシェーディング補正を受信記録システム側で行う構成として記載しているが、正確なホワイトバランス補正やシェーディング補正をカメラヘッド側の処理圧縮装置２６０３内における画像補正部２７０１で予め実施する構成にしても構わない。また、圧縮前後に暗号化等の処理を加えてもかまわない。   Further, in the present embodiment, a configuration is described in which accurate white balance correction and shading correction are performed on the reception recording system side. However, accurate white balance correction and shading correction are performed in the processing compression device 2603 on the camera head side. The image correction unit 2701 may be configured in advance. In addition, processing such as encryption may be added before and after compression.

このようにして、処理圧縮装置２６０３において、圧縮処理まで実行された画像信号は、画像送信装置２６０４へ送られ、有線または無線により通信を行うために、データを通信プロトコルに合わせて変換したり、エラー訂正符号を付加したりした後、送信される。なお、この画像送信装置２６０４は、受信記録システムからのカメラ制御信号の受信も行い、この情報をカメラ制御装置２６０５へ伝送する役割も担っている。そして、カメラ制御装置２６０５は、この信号を受けて光学系のシャッタや絞りなどの制御やイメージセンサ２６０２の駆動モードの制御、処理圧縮装置２６０３のパラメータ設定などを実施する。また、カメラヘッドにて圧縮処理された画像信号は、歪曲収差の補正は実施されておらず、歪曲収差を持ったままで圧縮処理された信号である。   In this way, the image signal that has been executed up to the compression process in the processing compression apparatus 2603 is sent to the image transmission apparatus 2604, and in order to perform wired or wireless communication, the data is converted in accordance with the communication protocol, It is transmitted after adding an error correction code. The image transmission device 2604 also receives a camera control signal from the reception recording system and has a role of transmitting this information to the camera control device 2605. Upon receiving this signal, the camera control device 2605 performs control of the shutter and diaphragm of the optical system, control of the drive mode of the image sensor 2602, parameter setting of the processing compression device 2603, and the like. Further, the image signal compressed by the camera head is a signal that is not subjected to correction of distortion and is compressed while having distortion.

上記のようにして、カメラヘッド２６０６から送信された画像信号は、受信記録システム２６１３で受信され、画像受信装置２６０７へ送られる。そして、この画像受信装置２６０７にて、復調処理やエラー訂正などの処理が為された後、歪曲収差補正装置２６０８及び画像記憶装置２６０９へ送られる。   As described above, the image signal transmitted from the camera head 2606 is received by the reception recording system 2613 and sent to the image receiving device 2607. The image receiving device 2607 performs processing such as demodulation processing and error correction, and then sends the processed image to the distortion correction device 2608 and the image storage device 2609.

また、画像記憶装置２６０９は、半導体メモリまたは磁気ディスク装置や光磁気ディスク装置などの大容量記憶装置であり、カメラヘッド２６０６から送出された動画または一定時間毎や画面に変化が生じた時など特定の条件が成立した時毎に撮影された静止画を記録する。なお、この記録画像は光学系の歪曲収差を持った状態で圧縮されているものであり、上述のように、レンズの歪曲収差を補正したり、正確なホワイトバランス補正、シェーディングを補正したりするための情報も特性値やパラメータ、あるいはインデックスの形で付加されており、ともに記憶される。なお、インデックスの場合には、特性値やパラメータと対応付けるためのテーブルも記憶される。   The image storage device 2609 is a large-capacity storage device such as a semiconductor memory, a magnetic disk device, or a magneto-optical disk device, and is specified such as when a moving image sent from the camera head 2606 or every certain time or when a screen changes. A still image is recorded every time the above condition is satisfied. This recorded image is compressed with the distortion of the optical system, and as described above, the distortion of the lens is corrected, the correct white balance correction, and the shading are corrected. Information is also added in the form of characteristic values, parameters, or indexes, and stored together. In the case of an index, a table for associating with characteristic values and parameters is also stored.

図２８は、図２６に示す歪曲収差補正装置２６０８の構成図である。上述のように、画像受信装置２６０７から送られた画像信号は、伸張部２８０１でＪＰＥＧ圧縮を解凍され、画像補正部２８０６で正確なホワイトバランス補正とシェーディング補正が実施される。画像補正されたデータは、第１のフィルタ２８０２により、画像中央部の縮小する部分にローパスフィルタ処理を施す。そして、ローパスフィルタ処理されたデータは、収差補正・拡大／縮小部２８０３で歪曲収差の補正と表示に適した大きさへのリサイズが実行され、第２のフィルタ２８０４により周辺部のエッジ強調やノイズ軽減処理が施されて、表示用変換部２８０５において、インターレース処理やＮＴＳＣへのエンコードなどが行われる。   FIG. 28 is a block diagram of the distortion correction apparatus 2608 shown in FIG. As described above, the image signal sent from the image receiving device 2607 is decompressed by JPEG compression by the decompression unit 2801, and accurate white balance correction and shading correction are performed by the image correction unit 2806. The image-corrected data is subjected to low-pass filter processing by the first filter 2802 on the reduced portion in the center of the image. The low-pass filtered data is resized to a size suitable for correction and display of distortion by the aberration correction / enlargement / reduction unit 2803, and edge enhancement and noise of the peripheral part are performed by the second filter 2804. The reduction processing is performed, and the display conversion unit 2805 performs interlace processing, encoding to NTSC, and the like.

なお、この際、画像記憶装置２６０９に、画像データと一緒に記憶されている正確なホワイトバランス補正、シェーディング補正のためのデータは、歪曲収差情報保持部２８０７に保持され、このデータに基づいて、画像補正部２８０６においてホワイトバランスの補正及び、シェーディング補正が実施される。また、このシェーディング補正処理は、図７（ａ）（ｂ）に示すように参照テーブルメモリを用いて実施しても、演算回路により実施しても構わない。そして、この補正を実施した後、この補正済みの画像データは、第１のフィルタ２８０２に送られるとともに、補正済みである旨のマーカーがファイルのヘッダ部に記録されて、再圧縮処理を行った後、画像記憶装置２６０９に再記録される。再記録された画像データは、適宜読み出されて、伸張部２８０１を経て第１のフィルタ２８０２に直接入力されるよう制御される。これは、既に、画像補正部２８０６による処理が施されているためであり、ヘッダ部に記録された先にマーカーの内容に基づいて先の制御が行われる。   At this time, the data for accurate white balance correction and shading correction stored together with the image data in the image storage device 2609 is held in the distortion aberration information holding unit 2807, and based on this data, The image correction unit 2806 performs white balance correction and shading correction. Further, the shading correction processing may be performed using a reference table memory as shown in FIGS. 7A and 7B, or may be performed by an arithmetic circuit. After performing this correction, the corrected image data is sent to the first filter 2802, and a marker indicating that the correction has been completed is recorded in the header portion of the file and recompression processing is performed. Thereafter, it is re-recorded in the image storage device 2609. The re-recorded image data is appropriately read out and controlled so as to be directly input to the first filter 2802 via the expansion unit 2801. This is because the processing by the image correction unit 2806 has already been performed, and the previous control is performed based on the content of the marker previously recorded in the header portion.

また、第１の実施形態と同様に、第１のフィルタ２８０２は、図１０の１００１に示す画像中央部に対するローパスフィルタであり、図１１にその構成例を示す。また、収差補正拡大／縮小部２８０３は、図１２と図１４を一体化した構造のものであり、図１４に示す対応座標算出部１４０１において、図１５の破線の格子１５１９における座標位置を入力画像の実線の格子１５１８における座標位置に変換すると共に、光学歪曲収差や倍率色収差を補正する前の原画における対応する座標値を合わせて計算する。   Similarly to the first embodiment, the first filter 2802 is a low-pass filter for the center of the image indicated by 1001 in FIG. 10, and FIG. 11 shows a configuration example thereof. The aberration correction enlargement / reduction unit 2803 has a structure in which FIG. 12 and FIG. 14 are integrated. In the corresponding coordinate calculation unit 1401 shown in FIG. 14, the coordinate position in the broken grid 1519 in FIG. Are converted to coordinate positions in the solid line grid 1518, and the corresponding coordinate values in the original image before correction of optical distortion and lateral chromatic aberration are calculated together.

また、補正画素値の計算は１６点のＣｕｂｉｃ補間でも４点の線形補間でも構わない。そして、第２のフィルタ２８０４は、図１０の１００２に示す画像周辺部に対するエッジ強調フィルタ及びノイズ軽減フィルタであり、図１１にその構成例を示す。   The correction pixel value may be calculated by 16-point cubic interpolation or 4-point linear interpolation. The second filter 2804 is an edge enhancement filter and noise reduction filter for the peripheral portion of the image indicated by reference numeral 1002 in FIG. 10, and FIG. 11 shows a configuration example thereof.

図２６に示す受信記録システム２６１３は、操作部２６１２も備えており、監視カメラのオペレータの操作によりカメラを操作するための信号を受信表示制御装置２６１１、画像受信装置２６０７を通じてカメラヘッド２６０６へ送ったり、受信表示制御装置２６１１を通じて受信記録システム２６１３内の各部を制御し、表示画角の変更や過去の記録画像の再生操作を実施することができる。   The reception recording system 2613 shown in FIG. 26 also includes an operation unit 2612, and sends a signal for operating the camera to the camera head 2606 through the reception display control device 2611 and the image reception device 2607 by the operation of the surveillance camera operator. By controlling each part in the reception recording system 2613 through the reception display control device 2611, the display angle of view can be changed and a past recorded image reproduction operation can be performed.

また、画像記憶装置２６０９には、前述したように、歪曲収差を補正する前の原画及び補正に必要な光学系情報が一緒に記憶されているため、再生時に自由に中央部を拡大したり全体を表示したりして画角を変更しても通常の電子ズームのように画質が劣化する事は無い。   Further, as described above, the image storage device 2609 stores the original image before correcting the distortion aberration and the optical system information necessary for the correction together. Even if the angle of view is changed by displaying the image, the image quality is not deteriorated unlike the normal electronic zoom.

また、レンズの歪曲収差や鏡枠に関する情報を焦点距離やＦ値などと共に鏡枠内に設けられたＲＯＭ等の情報記憶手段に格納し、カメラ本体からこの情報を読みだして、歪曲収差情報記憶部２７０５に保持するように構成し、フィルタリングやシェーディング補正、歪曲収差補正のための座標変換を行うように構成する事により、レンズ交換式のカメラに適用しても交換レンズに応じた適正な歪曲収差補正を実施する事が可能になる。   Also, information on lens distortion and lens frame is stored in an information storage means such as a ROM provided in the lens frame together with focal length and F value, and this information is read from the camera body to store distortion aberration information. By being configured to be held in the unit 2705 and configured to perform coordinate conversion for filtering, shading correction, and distortion correction, even when applied to an interchangeable lens camera, appropriate distortion according to the interchangeable lens Aberration correction can be performed.

以上、図面を参照して本発明の実施例について詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to these embodiments, and includes design changes and the like without departing from the gist of the present invention. .

第１の実施形態に係るデジタルカメラ画像撮像装置の構成図である。1 is a configuration diagram of a digital camera image capturing device according to a first embodiment. FIG. 光学系における歪曲収差の有無による光学像を例示した図である。It is the figure which illustrated the optical image by the presence or absence of the distortion aberration in an optical system. 原画像と歪曲収差を有する光学系により撮像された画像とを例示する図である。It is a figure which illustrates an original image and the image imaged with the optical system which has a distortion aberration. 歪曲収差を有する光学系の構成を例示する図である。It is a figure which illustrates the structure of the optical system which has a distortion aberration. 歪曲収差補正画像処理装置の構成例を示す図である。It is a figure which shows the structural example of a distortion aberration correction image processing apparatus. 歪曲収差による周辺部の増光と鏡枠による減光の影響を示した図である。It is the figure which showed the influence of the brightening of the peripheral part by a distortion aberration, and the dimming by a lens frame. 画像補正回路の構成を例示する図である。It is a figure which illustrates the structure of an image correction circuit. フレームメモリによるデータの並べ替えの様子を示した図である。It is the figure which showed the mode of the rearrangement of the data by a frame memory. 歪曲収差を有する光学系により撮像された画像に対してＲＧＢ同時化を行う場合の処理を説明する図である。It is a figure explaining the process in the case of performing RGB synchronization with respect to the image imaged with the optical system which has a distortion aberration. 第１のフィルタ回路および第２のフィルタ回路によりフィルタ処理を行う領域を示す図である。It is a figure which shows the area | region which performs a filter process by the 1st filter circuit and the 2nd filter circuit. フィルタ回路の構成例を示す図である。It is a figure which shows the structural example of a filter circuit. 収差補正部の構成例を示す図である。It is a figure which shows the structural example of an aberration correction part. 収差補正部における歪曲収差補正処理を説明するための図である。It is a figure for demonstrating the distortion aberration correction process in an aberration correction part. 拡大／縮小部の構成例を示す図である。It is a figure which shows the structural example of an expansion / reduction part. 拡大／縮小部における拡大／縮小処理を説明するための図である。It is a figure for demonstrating the expansion / reduction process in an expansion / reduction part. 歪曲収差補正画像処理装置の構成例を示す図である。It is a figure which shows the structural example of a distortion aberration correction image processing apparatus. 歪曲収差補正画像処理装置の構成例を示す図である。It is a figure which shows the structural example of a distortion aberration correction image processing apparatus. 歪曲収差補正画像処理装置の構成例を示す図である。It is a figure which shows the structural example of a distortion aberration correction image processing apparatus. 歪曲収差補正画像処理装置の構成例を示す図である。It is a figure which shows the structural example of a distortion aberration correction image processing apparatus. 撮影モードの切り替えを示す図である。It is a figure which shows switching of imaging | photography mode. 各撮影モードのモード遷移を示す図である。It is a figure which shows the mode transition of each imaging | photography mode. 操作部の構成例を示す図である。It is a figure which shows the structural example of an operation part. Ｔ／Ｗ切替ボタン等を操作した場合の動作遷移を示す図である。It is a figure which shows the operation | movement transition at the time of operating T / W switch button etc. 歪曲収差を持つ光学系により撮像された画像を高フレームレートで読み出す場合の処理を説明する図である。It is a figure explaining the process in the case of reading the image imaged with the optical system which has a distortion aberration with a high frame rate. ズーム機能を説明するための図である。It is a figure for demonstrating a zoom function. 第２の実施形態に係る監視カメラの構成図である。It is a block diagram of the surveillance camera which concerns on 2nd Embodiment. 第２の実施形態に係る処理圧縮装置の構成例を示す図である。It is a figure which shows the structural example of the process compression apparatus which concerns on 2nd Embodiment. 第２の実施形態に係る歪曲収差補正装置構成例を示す図である。It is a figure which shows the structural example of the distortion correction apparatus which concerns on 2nd Embodiment. 従来例を示す図である。It is a figure which shows a prior art example.

符号の説明Explanation of symbols

１０１、２６０１ 歪曲収差を持つ光学系
１０２、２６０２ イメージセンサ
１０３ 歪曲収差補正画像処理装置
１０４、２６１０ 画像表示装置
１０５、２６０９ 画像記憶装置
１０６ 制御装置
１０７、２６１２ 操作部
４０１、４０２ シリドリカルレンズ
５０１、２７０１、２８０６ 画像補正部
５０２、１７０２、２７０２ ＲＧＢ同時化部
５０３、１７０３、１８０３、２８０２ 第１のフィルタ
５０４ 収差補正部
５０５ 拡大／縮小部
５０６、１７０６、１８０６、２８０３ 収差補正・拡大／縮小部
５０７、１８０７、１９０７、２８０４ 第２のフィルタ
５０８、１８０８、１９０８、２７０３ ＹＣ変換部
５０９ 画像圧縮部
５１０、１８１０、２８０５ 表示用変換部
５１１ フレームメモリ
１２０１、１４０１ 対応座標算出部
１２０２、１４０２ ＩＦ画像メモリ
１２０３、１４０３ 近傍画像データ読出部
１２０４、１４０４ 補正画像値演算部
２２０１ シャッタボタン
２２０２ モードボタン
２２０３ Ｔ／Ｗ切替ボタン
２２０４ 切替レバー
２２０５ Ｔｅｌｅ１ボタン
２２０６ Ｗｉｄｅ１ボタン
２２０７ Ｔｅｌｅ２ボタン
２２０８ Ｗｉｄｅ２ボタン
２２０９ Ｔｅｌｅボタン
２２１０ Ｗｉｄｅボタン
２２１１ ＬＥＤ
２６０３ 処理圧縮装置
２６０４ 画像送信装置
２６０５ カメラ制御装置
２６０６ カメラヘッド
２６０７ 画像受信装置
２６０８ 歪曲収差補正装置
２６１１ 受信表示制御装置
２６１３ 受信システム
２７０４ 圧縮部
２７０５ 歪曲収差情報記憶部
２８０１ 伸張部
２８０７ 歪曲収差情報保持部

101, 2601 Optical system with distortion 102, 2602 Image sensor 103 Distortion correction image processing device 104, 2610 Image display device 105, 2609 Image storage device 106 Control device 107, 2612 Operation unit 401, 402 Cylindrical lens 501, 2701, 2806 Image correction unit 502, 1702, 2702 RGB synchronization unit 503, 1703, 1803, 2802 First filter 504 Aberration correction unit 505 Enlargement / reduction unit 506, 1706, 1806, 2803 Aberration correction / enlargement / reduction unit 507 , 1807, 1907, 2804 Second filter 508, 1808, 1908, 2703 YC conversion unit 509 Image compression unit 510, 1810, 2805 Display conversion unit 511 Frame memory 1201, 1401 Corresponding coordinate calculation unit 1202, 1402 IF image memory 1203, 1403 Neighborhood image data reading unit 1204, 1404 Correction image value calculation unit 2201 Shutter button 2202 Mode button 2203 T / W switching button 2204 Switching lever 2205 Tele1 button 2206 Wide1 button 2207 Tele2 button 2208 Wide2 button 2209 Tele button 2210 Wide button 2211 LED
2603 Processing compression device 2604 Image transmission device 2605 Camera control device 2606 Camera head 2607 Image reception device 2608 Distortion aberration correction device 2611 Reception display control device 2613 Reception system 2704 Compression unit 2705 Distortion aberration information storage unit 2801 Expansion unit 2807 Distortion aberration information holding unit

Claims (15)

中央部を拡大し周辺部を圧縮する歪曲収差特性を持つ光学系と、
該光学系により結像された被写体像を画像データに変換し、原画像を出力するイメージセンサと、
同一の該原画像データに対し、第１の画角と、この第１の画角よりも狭画角な第２の画角とを設定する画角設定手段と、
該設定された画角の原画像データの歪曲収差を補正し、補正画像データを出力する歪曲収差補正回路と、
前記歪曲収差が補正された前記第１の画角の補正画像データに基づいて画像を表示する画像表示装置と、
前記歪曲収差が補正された前記第１及び第２の画角の補正画像データを記録する画像記録装置と、
前記第１の画角、歪曲収差特性、および表示する画像のサイズに応じて領域毎に異なるフィルタリングを実施する表示用フィルタ手段と、
前記第１の画角、歪曲収差特性、および記録する画像のサイズに応じて領域毎に異なるフィルタリングを実施する第１の記録用フィルタ手段と、
前記第２の画角、歪曲収差特性、および記録する画像のサイズに応じて領域毎に異なるフィルタリングを実施する第２の記録用フィルタ手段と、
を有する画像撮像装置。 An optical system with distortion characteristics that expand the central part and compress the peripheral part,
An image sensor that converts a subject image formed by the optical system into image data and outputs an original image;
An angle-of-view setting means for setting a first angle of view and a second angle of view narrower than the first angle of view for the same original image data;
A distortion correction circuit that corrects distortion of the original image data of the set angle of view and outputs corrected image data;
An image display device that displays an image based on the corrected image data of the first angle of view in which the distortion is corrected;
And an image recording apparatus for recording the corrected image data of the distortion the aberration is corrected first and second field angle,
Display filter means for performing different filtering for each region in accordance with the first angle of view, distortion characteristics, and the size of an image to be displayed;
First recording filter means for performing different filtering for each region in accordance with the first angle of view, distortion characteristics, and the size of an image to be recorded;
Second recording filter means for performing different filtering for each region in accordance with the second angle of view, distortion characteristics, and the size of the image to be recorded;
An image pickup apparatus. 前記画角設定手段は、前記第１の画角の大きさと、前記第２の画角の大きさとを個々に設定可能であることを特徴とする請求項１に記載の画像撮像装置。   The image capturing apparatus according to claim 1, wherein the angle of view setting unit can individually set the size of the first angle of view and the size of the second angle of view. 前記画角設定手段は、前記第１の画角の大きさを設定する第１の画角設定部と、前記第２の画角の大きさを設定する第２の画角設定部とを備えていることを特徴とする請求項２に記載の画像撮像装置。   The field angle setting unit includes a first field angle setting unit that sets the size of the first field angle, and a second field angle setting unit that sets the size of the second field angle. The image capturing apparatus according to claim 2, wherein 前記画角設定手段は、画角の大きさを前記第１の画角と前記第２の画角とで切り替える撮像画角切替部と、該撮像画角切替部による切替結果に係る表示を制御する画角切替表示制御部とを備えることを特徴とする請求項２に記載の画像撮像装置。   The angle-of-view setting unit controls an imaging angle-of-view switching unit that switches the size of the angle of view between the first angle of view and the second angle of view, and a display related to a switching result by the imaging angle-of-view switching unit. The image capturing apparatus according to claim 2, further comprising an angle-of-view switching display control unit. 前記画角切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データの表示に重畳して表示させることを特徴とする請求項４に記載の画像撮像装置。   The image capturing apparatus according to claim 4, wherein the angle-of-view switching display control unit displays the display related to the switching result so as to be superimposed on the display of the original image data to be set as the angle of view. 前記画角切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データとは異なる位置に表示させることを特徴とする請求項４に記載の画像撮像装置。   The image capturing apparatus according to claim 4, wherein the angle-of-view switching display control unit displays a display related to the switching result at a position different from original image data that is a target of angle-of-view setting. 前記第１の画角のみを撮像する第１の撮像モード、前記第１及び第２の画角の複数の画角を同時撮像する第２の撮像モード、及び、前記第１の画角の画像を前記画像表示装置へ表示し前記第２の画角で撮像する第３の撮像モード、を含む複数の撮像モードを備え、前記撮像モードを切り替える為のボタンやレバーなどから構成される撮像モード切替手段と、前記撮像モード切替手段の状態に応じた撮像モードを設定する撮像モード設定手段と、前記撮像モード設定手段の出力に応じて表示を制御するモード切替表示制御手段とを更に備え、
前記第１の画角設定手段の出力と前記撮像モード切替表示制御手段の制御に応じて、前記表示用フィルタ手段及び前記第１の記録用フィルタ手段の設定を変更し、前記第２の画角設定手段の出力と前記撮像モード切替表示制御手段の制御に応じて、前記第２の記録用フィルタ手段の設定を変更することを特徴とする請求項１に記載の画像撮像装置。 A first imaging mode for imaging only the first angle of view , a second imaging mode for simultaneously imaging a plurality of angles of view of the first and second angles of view , and an image of the first angle of view the comprises a plurality imaging modes including a third imaging mode, for imaging with the second field angle to display to the image display apparatus, an imaging mode switching and the like buttons or a lever for switching the imaging mode Means, an imaging mode setting means for setting an imaging mode according to the state of the imaging mode switching means, and a mode switching display control means for controlling display according to the output of the imaging mode setting means ,
In accordance with the output of the first view angle setting means and the control of the imaging mode switching display control means, the settings of the display filter means and the first recording filter means are changed, and the second view angle is changed. The image capturing apparatus according to claim 1 , wherein the setting of the second recording filter unit is changed according to the output of the setting unit and the control of the imaging mode switching display control unit . 前記モード切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データの表示に重畳して表示させることを特徴とする請求項７に記載の画像撮像装置。   The image capturing apparatus according to claim 7, wherein the mode switching display control unit displays a display related to the switching result so as to be superimposed on a display of original image data that is a target for setting an angle of view. 前記モード切替表示制御部は、前記切替結果に係る表示を、画角設定の対象となる原画像データとは異なる位置に表示させることを特徴とする請求項７に記載の画像撮像装置。   The image capturing apparatus according to claim 7, wherein the mode switching display control unit displays the display related to the switching result at a position different from the original image data that is a target for setting an angle of view. 前記モード切替表示制御部は、前記第１の撮像モードにおいては、対象となる原画像の表示をカラーによる表示とし、前記第２の撮像モードにおいては、対象となる原画像の表示をカラーによる表示とすると共に前記第２の画角の枠を表示させ、前記第３の撮像モードにおいては、前記第２の画角の枠を表示すると共に、枠内はカラーによる表示とし、枠外はカラーによる表示とは異なる表示とすることを特徴とする請求項７に記載の画像撮像装置。   The mode switching display control unit displays the target original image in color in the first imaging mode, and displays the target original image in color in the second imaging mode. The frame of the second angle of view is displayed, and in the third imaging mode, the frame of the second angle of view is displayed, the inside of the frame is displayed in color, and the outside of the frame is displayed in color. The image pickup apparatus according to claim 7, wherein the display is different from the display. 前記モード切替表示制御部は、前記枠外を、白黒表示を含む単色による表示、輝度の変更による表示、色調の強調又は淡くすることによる表示とすることを特徴とする請求項１０に記載の画像撮像装置。   The image capturing according to claim 10, wherein the mode switching display control unit is configured to display the outside of the frame by a single color including black and white display, a display by changing luminance, a display by enhancing or fainting a color tone. apparatus. 前記画像記録装置に記録された、同一原画像データに係る前記第１の画角の補正画像データ及び前記第２の画角の補正画像データを、一定時間毎に、順次切り替えて表示させる表示制御回路を更に有することを特徴とする請求項１に記載の画像撮像装置。 Display control for sequentially switching and displaying the corrected image data of the first angle of view and the corrected image data of the second angle of view related to the same original image data recorded in the image recording apparatus at regular intervals. The image capturing apparatus according to claim 1, further comprising a circuit. 前記画像記録装置に記録された、同一原画像データに係る前記第１の画角の補正画像データ、又は、前記第２の画角の補正画像データの何れか一方を一定時間表示させ、一定時間内に、前記撮像画角切替部による切り替えを検出したときには、表示されている補正画像データとは異なる、同一原画像データに係る他方の補正画像データを表示させる表示制御回路を更に備えることを特徴とする請求項４に記載の画像撮像装置。 Either one of the corrected image data of the first angle of view or the corrected image data of the second angle of view related to the same original image data recorded in the image recording device is displayed for a certain period of time. And further comprising a display control circuit for displaying the other corrected image data related to the same original image data, which is different from the displayed corrected image data, when switching by the imaging angle-of-view switching unit is detected. The image capturing apparatus according to claim 4. 前記画像記録装置は、同一原画像から作成されたことを示すインデクスが共に付された、前記第１の画角の補正画像データと前記第２の画角の補正データを記録することを特徴とする請求項１に記載の画像撮像装置。 The image recording apparatus, and characterized in that to record the same original index to indicate that it has been created from the image has been added together, the correction data of the second field angle and the correction image data of the first field angle The image pickup device according to claim 1. 前記表示用フィルタ手段、前記第１の記録用フィルタ手段、前記第２の記録用フィルタ手段は、同一の回路を共有する構成を持ち、スルー画表示時には表示用の設定で動作し、シャッタを切った後には撮像モードに応じて第１の記録用、第２の記録用に順次設定して実行することを特徴とする請求項７に記載の画像撮像装置。The display filter means, the first recording filter means, and the second recording filter means share the same circuit, operate at a display setting when displaying a through image, and release a shutter. The image pickup apparatus according to claim 7, wherein the image pickup apparatus is sequentially set and executed for the first recording and the second recording according to the image pickup mode.
JP2005166925A 2005-06-07 2005-06-07 Imaging device Expired - Fee Related JP4596987B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005166925A JP4596987B2 (en) 2005-06-07 2005-06-07 Imaging device
US11/446,355 US7920200B2 (en) 2005-06-07 2006-06-05 Image pickup device with two cylindrical lenses
US12/003,295 US7800681B2 (en) 2005-06-07 2007-12-21 Image pickup device capturing a plurality of images that have different viewing angles
US12/003,291 US7782387B2 (en) 2005-06-07 2007-12-21 Image pickup device utilizing optical distortion characteristic
US12/003,290 US7768567B2 (en) 2005-06-07 2007-12-21 Image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005166925A JP4596987B2 (en) 2005-06-07 2005-06-07 Imaging device

Publications (2)

Publication Number Publication Date
JP2006345055A JP2006345055A (en) 2006-12-21
JP4596987B2 true JP4596987B2 (en) 2010-12-15

Family

ID=37641700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005166925A Expired - Fee Related JP4596987B2 (en) 2005-06-07 2005-06-07 Imaging device

Country Status (1)

Country Link
JP (1) JP4596987B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5008139B2 (en) 2007-11-26 2012-08-22 株式会社リコー Imaging device
JP5078148B2 (en) 2008-03-10 2012-11-21 株式会社リコー Image processing apparatus and image pickup apparatus
JP2009218909A (en) 2008-03-11 2009-09-24 Ricoh Co Ltd Image pickup device
JP4966894B2 (en) 2008-03-18 2012-07-04 株式会社リコー Imaging device
JP5062846B2 (en) 2008-07-04 2012-10-31 株式会社リコー Imaging device
JP5268743B2 (en) * 2009-03-30 2013-08-21 パナソニック株式会社 Image communication system
WO2014010170A1 (en) 2012-07-10 2014-01-16 パナソニック株式会社 Display control apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02122773A (en) * 1988-10-31 1990-05-10 Canon Inc Electronic camera
JPH06165012A (en) * 1992-11-18 1994-06-10 Canon Inc Image pickup device
JPH099121A (en) * 1995-06-22 1997-01-10 Minolta Co Ltd Image pickup device
JPH10233950A (en) * 1996-12-17 1998-09-02 Eriko Shimizu Electronic zoom image input system
JPH11266387A (en) * 1998-03-16 1999-09-28 Olympus Optical Co Ltd Image pickup device
JP2001208961A (en) * 2000-01-26 2001-08-03 Nikon Corp Camera
JP2004040432A (en) * 2002-07-03 2004-02-05 Hitachi Ltd Imaging apparatus
JP2004260710A (en) * 2003-02-27 2004-09-16 Casio Comput Co Ltd Image reproducing apparatus and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02122773A (en) * 1988-10-31 1990-05-10 Canon Inc Electronic camera
JPH06165012A (en) * 1992-11-18 1994-06-10 Canon Inc Image pickup device
JPH099121A (en) * 1995-06-22 1997-01-10 Minolta Co Ltd Image pickup device
JPH10233950A (en) * 1996-12-17 1998-09-02 Eriko Shimizu Electronic zoom image input system
JPH11266387A (en) * 1998-03-16 1999-09-28 Olympus Optical Co Ltd Image pickup device
JP2001208961A (en) * 2000-01-26 2001-08-03 Nikon Corp Camera
JP2004040432A (en) * 2002-07-03 2004-02-05 Hitachi Ltd Imaging apparatus
JP2004260710A (en) * 2003-02-27 2004-09-16 Casio Comput Co Ltd Image reproducing apparatus and program

Also Published As

Publication number Publication date
JP2006345055A (en) 2006-12-21

Similar Documents

Publication Publication Date Title
JP4596986B2 (en) Imaging device
JP4596988B2 (en) Imaging device
US7920200B2 (en) Image pickup device with two cylindrical lenses
JP4503878B2 (en) Imaging apparatus and imaging method
US7415166B2 (en) Image processing device
JP4824974B2 (en) High-resolution zoom method for digital video cameras
JP4553798B2 (en) Imaging device
JP5043635B2 (en) Imaging device
US20090109310A1 (en) Imaging device, imaging method, display control device, display control method, and program
US7408139B2 (en) Video image capture device
JP5108802B2 (en) Imaging apparatus and through image display method thereof
EP2618585A1 (en) Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
JP2004266774A (en) Signal processing apparatus and image data generating apparatus
JP4596987B2 (en) Imaging device
JP2010081002A (en) Image pickup apparatus
US20070030374A1 (en) Electronic image capturing apparatus, control method of electronic image capturing apparatus, and image processing apparatus
JP2007028283A (en) Image sensing device
JP2007096588A (en) Imaging device and method for displaying image
US8125541B2 (en) Image-sensing apparatus
JP2005012423A (en) Image pickup device, and signal processing apparatus
JP2003219246A (en) Electronic camera and electronic camera system
JP5655589B2 (en) Imaging device
JP2009055415A (en) Camera
EP0792067A2 (en) Vertical line multiplication method for high-resolution camera and circuit therefor
JP2007037176A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100921

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees