JP2009225472A

JP2009225472A - Digital camera

Info

Publication number: JP2009225472A
Application number: JP2009159405A
Authority: JP
Inventors: Hiroshi Shimizu; 宏清水; Ikuya Arai; 郁也荒井; Hiroyuki Tanaka; 裕之田中; Tomoyuki Kenmotsu; 知之監物; Kozo Masuda; 浩三増田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-07-06
Filing date: 2009-07-06
Publication date: 2009-10-01

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera for displaying a moving image without lowering a frame rate in a camera through state. <P>SOLUTION: A digital camera 1 includes: a camera 10 for continuously outputting image data one by one as digital data at constant speed; a capture P11 for writing the image data captured from the camera 10 into a memory 15; an image conversion P12 for converting a format of the image data; the memory 15; and an LCD 14 for reading and displaying the image data captured into the memory 15. The camera has no optical finder and checks an object to be photographed on the LCD 14 before photographing. The requirement of the number of pixels in one picture of the image data outputted from the camera at constant speed ≥ the number of pixels in an image display area of the LCD > the number of pixels in the image data to be displayed on the LCD is fulfilled, and the requirement of the number of pixels in the image data to be displayed on the LCD > the number of pixels in image data to be transferred between the capture or the image conversion and the memory is fulfilled. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、デジタル画像を撮影するデジタルカメラ装置に係わり、特に小型で、光学ファインダーを持たずに、小さな液晶表示装置をファインダーとして使用するデジタルカメラや携帯電話機に係わる。 The present invention relates to a digital camera device that captures a digital image, and more particularly to a digital camera or a mobile phone that is small in size and does not have an optical finder and uses a small liquid crystal display device as a finder.

銀塩写真に代わり、半導体による撮像モジュールにより被写体を撮影し、電気的に撮影画像情報を記録する方法は、アナログ方式による録画を行うビデオカメラに始まり、デジタル方式で記録を行うデジタルビデオや、撮影した静止画像をメモリカード等の半導体デバイスに記録する電子スチルカメラ等、多岐の製品に渡っている。 In place of silver halide photography, the method of recording a subject's image using a semiconductor imaging module and electrically recording the captured image information starts with a video camera that performs analog recording, digital video that uses digital recording, and shooting. It is used in a wide variety of products such as electronic still cameras that record still images on a semiconductor device such as a memory card.

また、近年は携帯電話機に小型のカメラモジュールを内蔵して、携帯電話機で画像を撮影し、必要に応じて電子メール等により他の形態電話機に送信し、他の携帯電話機はパソコンに撮影画像を送信するような製品も増えつつある。 In recent years, mobile phones have built-in small camera modules that take images with mobile phones and send them to other types of phones by e-mail as necessary. Increasing numbers of products are being sent.

具体的には、携帯電話機に着脱可能なデジタルカメラを内蔵した折畳ユニットを取り付けて、携帯電話機に搭載した液晶表示装置により撮影画像を表示することを可能とした方法（例えば、特許文献１参照）や、携帯電話機にカメラを内蔵して、搭載した液晶表示装置を用いて、撮影におけるカメラ撮影画像の表示を行うことを可能とした折畳式通信端末装置及び画像表示方法（例えば、特許文献２参照）がある。 Specifically, a method in which a foldable unit having a built-in digital camera that can be attached to and detached from a mobile phone is attached and a captured image can be displayed by a liquid crystal display device mounted on the mobile phone (see, for example, Patent Document 1). ), And a foldable communication terminal device and an image display method (for example, patent document) that can display a camera-captured image in shooting using a built-in liquid crystal display device built in a mobile phone. 2).

特開２００２−２３７８８０号公報（第３頁、第４図）Japanese Patent Laid-Open No. 2002-237880 (page 3, FIG. 4) 特開２００２−３００２３７号公報（第５頁、第３図）Japanese Patent Laid-Open No. 2002-300277 (page 5, FIG. 3)

前記した公知例や、現在市販されているデジタルスチルカメラは、通常ファインダーを用いて観察する被写体の映像、即ちカメラによる撮影時の被写体をフレーミングするための映像を、搭載した液晶表示装置に動画像イメージとして表示している。撮影前に被写体を液晶表示装置で観察する状態（以下、カメラスルー状態と呼称する）では、特に高精細のカメラセンサからの信号を液晶表示装置に転送して表示するための信号処理に時間がかかり、毎秒数コマ程度の動画像しか表示出来ないのが現状である。ちなみに、ＮＴＳＣ規格のテレビジョン信号は、毎秒３０コマ（正確には、垂直解像度が半分の画像を毎秒６０コマ表示）、また映画では毎秒２４コマの画像を表示する。 The above-described known examples and digital still cameras currently on the market are usually moving images on a liquid crystal display device on which an image of a subject to be observed using a finder, that is, an image for framing a subject at the time of shooting with a camera is mounted. Displayed as an image. In a state where the subject is observed on the liquid crystal display device before photographing (hereinafter referred to as a camera-through state), signal processing for transferring the signal from the high-definition camera sensor to the liquid crystal display device for display is particularly time consuming. Currently, only moving images of about several frames per second can be displayed. Incidentally, an NTSC standard television signal displays 30 frames per second (more precisely, an image with half the vertical resolution is displayed at 60 frames per second), and a movie displays 24 frames per second.

これは実際の撮影において、使い勝手上のかなりの障害になり、通常デジタルスチルカメラは、液晶表示装置とは別に光学式のファインダーを搭載して、これを用いて被写体を観察しつつ、撮影する方式となっている。 This is a significant obstacle to usability in actual shooting, and usually a digital still camera is equipped with an optical viewfinder separately from the liquid crystal display device and uses this to shoot while observing the subject. It has become.

しかし、携帯電話機にカメラを搭載した場合には、携帯電話機という製品の性格上、小型であることや突起物を極力無くすことが重要であり、光学ファインダーを設けることが困難となり、搭載した液晶表示装置を用いてカメラが取り込んでいる動画像を表示するのが通常の方法となる。 However, when a camera is mounted on a mobile phone, it is important to be compact and eliminate protrusions as much as possible due to the nature of the mobile phone product, which makes it difficult to install an optical viewfinder, and the mounted liquid crystal display It is a normal method to display a moving image captured by a camera using an apparatus.

ここで、携帯電話機における液晶表示装置は、前記ビデオカメラのファインダーに用いられる液晶表示装置（テレビジョン表示装置）と異なり、本来携帯電話機の電波強度の表示や、発信時の電話帳の操作、着信時の相手先の電話番号や名前の表示を行うもので、この表示を行うためには、携帯電話機を制御するＣＰＵから直接表示イメージを書くことが必要になり、カメラからの画像信号を表示する専用のインタフェースを持つことはなく、カメラによる撮影画像を一度ＣＰＵが管理するバスを経由して液晶表示装置に送る必要がある。 Here, unlike the liquid crystal display device (television display device) used for the video camera finder, the liquid crystal display device in the mobile phone originally displays the radio field intensity of the mobile phone, operates the phone book when making a call, and receives an incoming call. The phone number and name of the other party at the time are displayed. In order to perform this display, it is necessary to write a display image directly from the CPU that controls the mobile phone, and the image signal from the camera is displayed. There is no dedicated interface, and it is necessary to send an image captured by the camera to the liquid crystal display device once via a bus managed by the CPU.

携帯電話機の液晶表示装置は、一般的に対角線長さで約２インチ、画素数として１２０×１６０画素程度の小さなものであり、前記したＣＰＵが管理するバスを通過するデータ量はそれほど多くなく、ある程度使用に耐える程度の（例えば５〜１０コマ／秒程度）動画像を表示することは可能である。 The liquid crystal display device of a cellular phone is generally a small one with a diagonal length of about 2 inches and a pixel number of about 120 × 160 pixels, and the amount of data passing through the bus managed by the CPU is not so large. It is possible to display a moving image that can withstand use to some extent (for example, about 5 to 10 frames / second).

しかし、携帯電話機に搭載するカメラの画素数が増加し、さらに液晶表示装置の画素数も、前記した１２０×１６０画素から、ＱＶＧＡ（３２０×２４０画素）という高精細の液晶へと変化していく場合、前記したＣＰＵが管理するバスを通過するデータ量が増大して１秒あたりの表示コマ数が減少し、撮影時に毎秒数コマ程度の動画像を見ながら撮影をすることとなり、撮影操作に大きな支障が生じている。 However, the number of pixels of the camera mounted on the mobile phone increases, and the number of pixels of the liquid crystal display device also changes from the above 120 × 160 pixels to a high-definition liquid crystal of QVGA (320 × 240 pixels). In this case, the amount of data passing through the bus managed by the CPU increases, the number of frames displayed per second decreases, and shooting is performed while watching a moving image of several frames per second during shooting. A major hindrance has occurred.

図３を用いて、デジタルカメラ装置の、カメラ１０が出力する信号のフォーマットの例を説明する。 An example of a format of a signal output from the camera 10 of the digital camera device will be described with reference to FIG.

画像データは各画素ごとに、輝度（Ｙ）、色差信号（Ｕ、Ｖ）の３つの信号で構成される。これらは各々８ｂｉｔのデータで構成され、ＹＵＶと色の三原色のＲＧＢとの関係は、
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｕ＝Ｃｒ＝Ｒ−Ｙ
Ｖ＝Ｃｂ＝Ｂ−Ｙ
の式で表される。 The image data is composed of three signals of luminance (Y) and color difference signals (U, V) for each pixel. Each of these consists of 8-bit data, and the relationship between YUV and the three primary colors RGB is:
Y = 0.3R + 0.59G + 0.11B
U = Cr = R−Y
V = Cb = BY
It is expressed by the following formula.

図３（ａ）は、ＹＵＶ４２２と呼ばれるデータフォーマットであり、ここで輝度Ｙは、画像を構成するすべての画素にひとつずつ存在する。これに対して、色差信号Ｕ、Ｖは、輝度信号２画素に対して１つずつ存在する。即ち、画像のある画素ｐｉｘｅｌ＃１を構成する要素は、（Ｙ１，Ｕ１，Ｖ１）、Ｐｉｘｅｌ＃２を構成する要素は、（Ｙ２，Ｕ１，Ｖ１）、ｐｉｘｅｌ＃３を構成する要素は、（Ｙ３，Ｕ３，Ｖ３）、Ｐｉｘｅｌ＃４を構成する要素は、（Ｙ４，Ｕ３，Ｖ３）となる。即ち水平方向の解像度は、輝度に対して色差が１／２となる。これは人の目の分解能が、輝度に比べて色の分解能が少ないことを利用して情報量の削減を行ったものである。この場合、一画素を構成する情報量は、Ｙ（８ｂｉｔ）＋（Ｕ（８ｂｉｔ）＋Ｖ（８ｂｉｙ））／２＝１６ｂｉｔとなる。 FIG. 3A shows a data format called YUV422, where one luminance Y exists for every pixel constituting the image. On the other hand, the color difference signals U and V exist one by one for two luminance signal pixels. That is, the elements constituting the pixel pixel # 1 in the image are (Y1, U1, V1), the elements constituting the Pixel # 2 are (Y2, U1, V1), and the elements constituting the pixel # 3 are ( Y3, U3, V3), and the elements constituting Pixel # 4 are (Y4, U3, V3). That is, the horizontal resolution has a color difference of 1/2 with respect to the luminance. This is a reduction in the amount of information by taking advantage of the fact that the resolution of the human eye is less than the resolution of color. In this case, the amount of information constituting one pixel is Y (8 bits) + (U (8 bits) + V (8 bits)) / 2 = 16 bits.

図３（ｂ）は、ＹＵＶ４２０と呼ばれるデータフォーマットであり、図３（ａ）で示したＹＵＶ４２２と同様に、輝度Ｙは画像を構成するすべての画素にひとつずつ存在する。これに対して色差信号Ｕ、Ｖは、輝度信号Ｙの縦２画素×横２画素に対して１つずつ存在する。即ち、画像のある画素ｐｉｘｅｌ＃１〜２及びｐｉｘｅｌ＃３２１〜３２２を構成する色差要素は（Ｕ１，Ｖ１）、Ｐｉｘｅｌ＃３〜４及びｐｉｘｅｌ＃３２３〜３２４を構成する色差要素は（Ｕ３，Ｖ３）となる。即ち水平及び垂直方向の解像度は、輝度に対して色差が１／２となる。この場合、一画素を構成する情報量は、Ｙ（８ｂｉｔ）＋（Ｕ（８ｂｉｔ）＋Ｖ（８ｂｉｙ））／４＝１２ｂｉｔとなる。 FIG. 3B shows a data format called YUV420. Like the YUV422 shown in FIG. 3A, the luminance Y exists for every pixel constituting the image. On the other hand, the color difference signals U and V exist one by one for 2 vertical pixels × 2 horizontal pixels of the luminance signal Y. That is, the color difference elements constituting the pixels pixels # 1 and # 2 and the pixels # 321 to 322 of the image are (U1, V1), and the color difference elements constituting the pixels # 3 to 4 and the pixels # 323 to 324 are (U3, V3). ) In other words, the horizontal and vertical resolutions have a color difference of 1/2 with respect to the luminance. In this case, the amount of information constituting one pixel is Y (8 bits) + (U (8 bits) + V (8 bits)) / 4 = 12 bits.

図４を用いて、デジタルカメラ装置が撮影した画像データの形の例を説明する。図４（ｂ）は、撮影した画像の画面イメージで、図３で説明した画像データは、左上から水平方向に順に並んでおり、一番右で３２０画素目、次に垂直方向で次のラインに移り、最後に右下隅で、３２０×２４０画素目となる。 An example of the shape of image data captured by the digital camera device will be described with reference to FIG. FIG. 4B is a screen image of a photographed image. The image data described in FIG. 3 is arranged in order from the upper left in the horizontal direction, with the 320th pixel on the right and the next line in the vertical direction. Finally, in the lower right corner, the 320 × 240th pixel is obtained.

図４（ａ）は、図３で示したデータを８ビット幅のバスで転送する際のフォーマットであり、Ｙ１，Ｕ１，Ｙ２，Ｖ１と続き、以下、Ｙ３１９，Ｖ３１９，Ｙ３２０，Ｖ３２０で一ライン分が終了する。 FIG. 4A shows a format for transferring the data shown in FIG. 3 via an 8-bit bus, followed by Y1, U1, Y2, and V1, and thereafter, one line at Y319, V319, Y320, and V320. The minute ends.

図１３の表を用いて、デジタルカメラ装置の信号処理に要する時間の例を説明する。信号処理のフローは、後述する図２に示すフローであり、撮影画像の画素数として、１６０×１２０画素と、ＱＶＧＡ（３２０×２４０画素）の２種類を記載、画像フォーマットは図３（ａ）で示したＹＵＶ４２２である。 An example of time required for signal processing of the digital camera device will be described with reference to the table of FIG. The signal processing flow is the flow shown in FIG. 2, which will be described later. As the number of pixels of the captured image, two types of 160 × 120 pixels and QVGA (320 × 240 pixels) are described, and the image format is shown in FIG. YUV422 shown in FIG.

画素数が１６０×１２０の場合、カメラ撮影画像をキャプチャしてメモリに出力するのに要する時間は３．８８ｍｓ。次に、その画像をメモリから読み込んでＲＧＢに変換し、メモリに出力するのに要する時間は１５．５２ｍｓ。次に、このデータをメモリから読み込んで、ＯＳＤ等の処理を行い、メモリに出力するのに要するＬＣＤドライバの処理時間が１２ｍｓ。そして、メモリのデータをＬＣＤに表示するために転送する時間が７．６８ｍｓ。これらを合計すると３９．０７ｍｓとなり、これがカメラスルー時の１フレームを処理するのに要する時間となる。これを逆数にすれば、この回路で実現可能な理論上最大のフレームレートが得られ、ここでは２５．５９ｆｐｓとなる。 When the number of pixels is 160 × 120, it takes 3.88 ms to capture a camera image and output it to the memory. Next, it takes 15.52 ms to read the image from the memory, convert it to RGB, and output it to the memory. Next, the processing time of the LCD driver required to read this data from the memory, perform processing such as OSD, and output it to the memory is 12 ms. The time for transferring the memory data to display on the LCD is 7.68 ms. The total of these is 39.07 ms, which is the time required to process one frame during camera-through. If this is reciprocal, the theoretical maximum frame rate achievable with this circuit is obtained, which is 25.59 fps here.

次に、画像が３２０×２４０画素の画像をカメラスルーするときの処理時間の合計を同様に求めると、１２０．３０ｍｓとなる。これを逆数にすると８．３１ｆｐｓとなる。 Next, when the total processing time when an image of 320 × 240 pixels is passed through the camera is obtained in the same manner, 120.30 ms is obtained. If this is reciprocal, it is 8.31 fps.

通常のテレビジョン信号は、３０ｆｐｓ（正確には垂直解像度が半分の画像を毎秒６０フィールド表示）、ビデオＣＤでは３２０×２４０画素の画像を３０ｆｐｓの速度であり、一般に動画像を図１２（ｃ）のようなコマ落ちを意識せずに鑑賞するためには、３０ｆｐｓ程度、少なくても１５ｆｐｓ以上のフレームレートが必要となる。これに対して、この方式では３２０×２４０画素の画像を約８ｆｐｓ程度でしか表示できず、図１２（ｃ）に示すような細切れの画像しか表示することが出来なくなる。 A normal television signal is 30 fps (precisely, an image with half the vertical resolution is displayed at 60 fields per second), and a video CD has an image of 320 × 240 pixels at a speed of 30 fps. Generally, a moving image is shown in FIG. In order to watch without worrying about dropping frames, a frame rate of about 30 fps, at least 15 fps is required. On the other hand, with this method, an image of 320 × 240 pixels can be displayed only at about 8 fps, and only a finely divided image as shown in FIG. 12C can be displayed.

図１２を用いて、デジタルカメラ装置が動画像をカメラスルー表示するときのＬＣＤに表示される画像のイメージを説明する。 An image of an image displayed on the LCD when the digital camera device displays a moving image through the camera will be described with reference to FIG.

図１２（ａ）は、被写体であり、自動車５が左から右に向かって走っている状態を示す。図１２（ｂ）は、この被写体を、例えば毎秒１０コマ（１０ｆｐｓ）でカメラスルー表示をしたときの、各コマの映像を示したものであり、左端から走ってくる自動車が、Ｇ５１、Ｇ５２、Ｇ５３、Ｇ５４、Ｇ５５、Ｇ５６、Ｇ５７の７コマに写っている。 FIG. 12 (a) shows a state where the vehicle 5 is running from left to right as a subject. FIG. 12B shows an image of each frame when the subject is displayed through the camera at 10 frames per second (10 fps), for example, and the cars running from the left end are G51, G52, It is shown in 7 frames of G53, G54, G55, G56, and G57.

図１２（ｃ）は、この被写体を、図１２（ｂ）の半分の、毎秒５コマ（５ｆｐｓ）でカメラスルー表示をしたときの、各コマの映像を示したものである。ここでは図１２（ｂ）で７コマ写っていたものが、４コマ（Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７）しか写っておらず、その中でも、被写体全体の位置がはっきりわかるような画面は２コマしかない。カメラスルー画像を見ながら写真撮影をする場合、このように被写体の動きがまばらにしか分らないと、動いているものを撮影するときに、撮影対象を正確に見て撮影することが困難になる。 FIG. 12C shows an image of each frame when the subject is displayed through a camera through display at 5 frames per second (5 fps), which is half of that in FIG. Here, only 4 frames (G51, G53, G55, G57) are shown in FIG. 12 (b), but only 2 frames are available to clearly show the position of the entire subject. Absent. When taking a picture while looking at the camera-through image, if the movement of the subject is only sparse, it is difficult to accurately take a picture of the subject when shooting a moving subject. .

尚、銀塩写真のカメラは、光学式ビューファインダーや、一眼レフ等で、光学的に被写体を直接見て撮影するため、このようなコマ落ち映像を見ることはない。また、デジタルスチルカメラも同様に光学ファインダーを有しており、被写体を直接見ながら撮影することができるため、この問題を回避することができる。しかし、本発明にかかるデジタルカメラ装置は、例えば携帯電話機のように、その形状が限られたものであると、光学式ビューファインダーを設置することが困難になり、装備している液晶表示装置を用いて撮影を行うと、図１２（ｃ）のような画像しか見ることが出来ず、撮影が困難になる場面が生じる。 Note that the silver halide photography camera optically shoots the subject directly with an optical viewfinder, a single lens reflex camera, or the like, and thus does not see such a dropped frame image. Similarly, a digital still camera has an optical viewfinder, and can shoot while directly looking at the subject, so that this problem can be avoided. However, if the shape of the digital camera device according to the present invention is limited, for example, a mobile phone, it becomes difficult to install an optical viewfinder. When shooting is performed, only an image as shown in FIG. 12C can be seen, resulting in a scene where shooting is difficult.

この問題を回避するためには、ＣＰＵが管理するバスの速度を上げる方法があるが、特に携帯電話機はその製品の性格上、十分な長さの待受け時間や通話時間を確保するため、可能な限り消費電力を抑える必要があり、ＣＰＵが管理するバスの速度を上げることは好ましくない。同様に、消費電流の少ないメモリを使用する必要があり、その場合、バスの速度を上げても、メモリのアクセス速度でリミットされ、高速にデータを転送することは困難になる。 In order to avoid this problem, there is a method of increasing the speed of the bus managed by the CPU. In particular, the mobile phone is possible because it ensures a sufficiently long standby time and call time due to the nature of the product. It is necessary to suppress power consumption as much as possible, and it is not preferable to increase the speed of the bus managed by the CPU. Similarly, it is necessary to use a memory with low current consumption. In this case, even if the bus speed is increased, it is limited by the memory access speed, and it becomes difficult to transfer data at high speed.

尚、動画像を構成する各静止画像はフレームと呼称され、その表示速度（１秒あたりの表示コマ数）はフレームレートと呼称され、ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）という単位で表現される。３０コマ／秒は、３０ｆｐｓと記述される。 Each still image constituting the moving image is referred to as a frame, and its display speed (the number of frames displayed per second) is referred to as a frame rate, which is expressed in units of fps (frame per second). 30 frames / second is described as 30 fps.

本発明は、上記問題点に鑑み、撮影した画像データをデジタルデータで一画面ずつ一定速度で連続して液晶表示装置に表示するデジタルカメラ装置において、所望の動画像の品質を維持できるフレームレートで表示することができる画像処理を行うことを目的とする。 In view of the above problems, the present invention provides a digital camera device that continuously displays captured image data on a liquid crystal display device one frame at a time with digital data at a frame rate that can maintain a desired moving image quality. An object is to perform image processing that can be displayed.

すなわち、本発明は、撮影前に被写体を液晶表示装置で観察する状態、いわゆるカメラスルー状態で、フレームレートを下げることなく動画像を表示することを可能とし、被写体を液晶表示装置で十分観察しながら撮影できるデジタルカメラ装置を提供することを目的とする。 In other words, the present invention makes it possible to display a moving image without reducing the frame rate in a so-called camera-through state in which the subject is observed with a liquid crystal display device before shooting, and the subject is sufficiently observed with the liquid crystal display device. An object of the present invention is to provide a digital camera device that can shoot while shooting.

前記課題を解決するために本発明では、カメラスルー状態で、実際の撮影画像や液晶表示画像の画素数に対して、ＣＰＵバスを通過する画像の解像度を下げることで、フレームレートを下げることなく表示する。 In order to solve the above-described problems, the present invention reduces the resolution of an image passing through the CPU bus in the camera-through state without reducing the frame rate with respect to the number of pixels of an actual captured image or liquid crystal display image. indicate.

このとき実際に撮影する画像は、解像度を下げずに撮影し、撮影した結果の静止画像も高い解像度のまま、液晶表示装置に表示する。この場合は、静止画像の表示のため、問題になったフレームレートの低下は考慮する必要はない。 At this time, the actually captured image is captured without reducing the resolution, and the still image obtained as a result of the capture is also displayed on the liquid crystal display device with a high resolution. In this case, since a still image is displayed, it is not necessary to consider a decrease in the frame rate that is a problem.

尚、この方式を適用できる条件として、カメラの光学系が固定焦点方式もしくは自動合焦点装置もしくは距離の目測結果の入力等により、ユーザーの自らの目視により撮影画像を直接見ながらのピント合わせが不要であることが前提となる。この点は、特に携帯電話機に搭載するカメラは超小型のものが使用されるため、その光学系の焦点距離Ｌが極めて短く（具体的にはＬ＝２〜３ｍｍ程度）、被写体深度が十分深いため、基本的に固定焦点で使用することが可能であり、この方式は有用となる。 As a condition that this method can be applied, it is not necessary to focus while directly viewing the captured image by the user's own observation, such as when the camera's optical system is a fixed focus method or an automatic focusing device or by inputting the distance measurement result It is assumed that. This is because, in particular, since a camera mounted on a mobile phone is an ultra-small camera, the focal length L of the optical system is extremely short (specifically, L = 2 to 3 mm), and the subject depth is sufficiently deep. Therefore, it can be basically used with a fixed focus, and this method is useful.

以上に示した本発明により、撮影前に被写体を液晶で観察するカメラスルー状態において、実際の撮影画像や液晶表示画像の画素数に対して、ＣＰＵバスを通過する画像の解像度を下げることで、フレームレートを下げることなく表示することが可能になり、被写体を液晶表示装置で十分観察しながら撮影することが出来るようになる。 According to the present invention described above, in the camera through state in which the subject is observed with liquid crystal before photographing, the resolution of the image passing through the CPU bus is reduced with respect to the actual number of pixels of the photographed image and the liquid crystal display image. It is possible to display without lowering the frame rate, and it is possible to take a picture while sufficiently observing the subject with a liquid crystal display device.

本発明にかかるデジタルカメラ装置のシステム構成の例を説明するブロック図。1 is a block diagram illustrating an example of a system configuration of a digital camera device according to the present invention. 本発明にかかるデジタルカメラ装置による撮影したカメラスルー画像を液晶表示装置に表示するまでの画像データの流れの例を説明するブロック図。The block diagram explaining the example of the flow of the image data until it displays the camera through image image | photographed with the digital camera apparatus concerning this invention on a liquid crystal display device. デジタルカメラ装置のカメラが出力する信号のフォーマットの例を説明する図。The figure explaining the example of the format of the signal which the camera of a digital camera apparatus outputs. デジタルカメラ装置が撮影した画像データの形の例を説明する図。The figure explaining the example of the shape of the image data which the digital camera apparatus image | photographed. 本発明にかかるデジタルカメラ装置により撮影した保存画像を液晶表示装置に表示するまでの画像データの流れの例を説明するブロック図。FIG. 4 is a block diagram for explaining an example of the flow of image data until a stored image taken by the digital camera device according to the present invention is displayed on a liquid crystal display device. デジタルカメラ装置の高速にカメラスルー表示をするための方法を示す画像データの流れの例を説明するブロック図。The block diagram explaining the example of the flow of the image data which shows the method for camera through display at high speed of a digital camera apparatus. デジタルカメラ装置の高速にカメラスルー画像を表示したときの液晶表示画面の例を説明する図。The figure explaining the example of a liquid crystal display screen when a camera through image is displayed at high speed of a digital camera apparatus. 本発明にかかるデジタルカメラ装置の各フレームごとの処理時間の例を説明するタイミングチャート。6 is a timing chart illustrating an example of processing time for each frame of the digital camera device according to the present invention. 本発明にかかるデジタルカメラ装置のフレームレートに応じて画素数を可変する方法の例を説明するフローチャート。6 is a flowchart for explaining an example of a method for changing the number of pixels in accordance with the frame rate of the digital camera device according to the present invention. 本発明にかかるデジタルカメラ装置のフレームレートに応じて画素数を可変する判断を行う方法の例を説明するブロック図。FIG. 4 is a block diagram for explaining an example of a method for performing determination to change the number of pixels according to the frame rate of the digital camera device according to the present invention. 本発明にかかるデジタルカメラ装置のＯＳＤ表示の方法の例を説明するブロック図。FIG. 5 is a block diagram for explaining an example of an OSD display method of the digital camera device according to the present invention. デジタルカメラ装置の、動画像のカメラスルー表示のイメージの例を説明する図。The figure explaining the example of the image of the camera through display of a moving image of a digital camera apparatus. デジタルカメラ装置の信号処理に要する時間の例を示した図表。The chart which showed the example of the time which signal processing of a digital camera device requires.

以下、本発明にかかるデジタルカメラ装置の実施の形態の具体例を図を用いて説明する。図１の回路ブロック図を用いて、本発明にかかるデジタルカメラ装置の、システム構成の例を説明する。デジタルカメラ装置１は、カメラ１０と、キャプチャ回路１１と、画像変換回路１２と、内蔵ＲＡＭ１２１と、ＬＣＤドライバ１３と、液晶表示装置（以下、ＬＣＤともいう）１４と、ＳＲＡＭ１５と、ＣＰＵ１８と、操作スイッチ２０と、外部機器インタフェース２１と、外部記憶インタフェース２２と、バスインタフェース２３とを有して構成される。キャプチャ回路１１と、画像変換回路１２と、内蔵ＲＡＭ１２１は、高速バスＢ２に接続される。ＬＣＤドライバ１３と、ＬＣＤ１４と、ＳＲＡＭ１５と、ＣＰＵ１８と、操作スイッチ２０と、外部機器インタフェース２１と、外部記憶インタフェース２２は、ＣＰＵ１８が管理するＣＰＵバスＢ１に接続される。ＣＰＵバスＢ１と高速バスＢ２は、バスインタフェース２３を介して接続される。 Hereinafter, a specific example of an embodiment of a digital camera device according to the present invention will be described with reference to the drawings. An example of the system configuration of the digital camera device according to the present invention will be described with reference to the circuit block diagram of FIG. The digital camera device 1 includes a camera 10, a capture circuit 11, an image conversion circuit 12, a built-in RAM 121, an LCD driver 13, a liquid crystal display device (hereinafter also referred to as LCD) 14, an SRAM 15, a CPU 18, and an operation. The switch 20 includes an external device interface 21, an external storage interface 22, and a bus interface 23. The capture circuit 11, the image conversion circuit 12, and the built-in RAM 121 are connected to the high-speed bus B2. The LCD driver 13, LCD 14, SRAM 15, CPU 18, operation switch 20, external device interface 21, and external storage interface 22 are connected to the CPU bus B 1 managed by the CPU 18. The CPU bus B1 and the high-speed bus B2 are connected via the bus interface 23.

カメラ１０は、例えばＶＧＡサイズの６４０×４８０画素の映像データを出力する撮像装置である。 The camera 10 is an imaging device that outputs video data of 640 × 480 pixels of VGA size, for example.

キャプチャ回路１１は、カメラ１０から一定の速度で連続的に送られてくるＹＵＶ４２２フォーマットの画像データを、カメラ１０の外部同期信号に合わせて受け取りメモリ１５へ出力する回路であり、カメラスルー時は画素数を１６０×１２０画素に変換し、静止画表示時にはＶＧＡサイズのままとする働きを有している。 The capture circuit 11 is a circuit that receives YUV422 format image data continuously sent from the camera 10 at a constant speed in accordance with an external synchronization signal of the camera 10 and outputs it to the memory 15. The number is converted to 160 × 120 pixels, and the VGA size is maintained when a still image is displayed.

画像変換回路１２は、ＹＵＶ４２２フォーマットの画像データを、ＲＧＢフォーマットに変換する回路である。 The image conversion circuit 12 is a circuit that converts image data in YUV422 format into RGB format.

内蔵ＲＡＭ１２１は、撮影画像の一時記憶や画像変換のワークエリアに用いる高速メモリで構成される。 The built-in RAM 121 is composed of a high-speed memory used for temporary storage of captured images and a work area for image conversion.

ＬＣＤドライバ１３は、ＬＣＤ１４を制御して、ＲＧＢフォーマットの画像データをＬＣＤ１４に表示させる回路であり、カメラスルー時に、１６０×１２０画素の画像データを３２０×２４０画素の画像データに拡大する働きを有している。 The LCD driver 13 is a circuit for controlling the LCD 14 to display image data in RGB format on the LCD 14 and has a function of expanding image data of 160 × 120 pixels to image data of 320 × 240 pixels at the time of camera through. is doing.

ＬＣＤ１４は、３２０×１２０画素のＲＧＢフォーマットの画像を表示する装置である。 The LCD 14 is a device that displays a 320 × 120 pixel RGB format image.

ＳＲＡＭ１５は、カメラスルー状態時にＹＵＶ４２２フォーマットの画像データ、ＲＧＢフォーマットの画像データを画像を一時格納し、静止画撮像時にＹＵＶ４２２フォーマットの画像データを一時格納するメモリである。 The SRAM 15 is a memory for temporarily storing images of YUV422 format image data and RGB format image data in the camera-through state, and temporarily storing YUV422 format image data when capturing a still image.

ＣＰＵ１８は、デジタルカメラ装置のシステム全体を制御するとともにＪＰＥＧエンコード処理やＪＰＥＧデコード処理を行うＣＰＵである。 The CPU 18 is a CPU that controls the entire system of the digital camera device and performs JPEG encoding processing and JPEG decoding processing.

操作スイッチ２０は、使用者による機器の操作を入力する手段である。 The operation switch 20 is means for inputting an operation of the device by the user.

外部機器インタフェース２１は、デジタルカメラ装置とパソコンやプリンタなどの外部機器との接続を行うインタフェースである。 The external device interface 21 is an interface for connecting the digital camera device to an external device such as a personal computer or a printer.

外部記憶インタフェース２２は、撮影した画像データを保存するメモリカード等の外部記憶媒体３を接続するインタフェースである。 The external storage interface 22 is an interface for connecting an external storage medium 3 such as a memory card for storing captured image data.

バスインタフェース２３は、ＣＰＵバスＢ１と高速バスＢ２を接続するインタフェースである。 The bus interface 23 is an interface that connects the CPU bus B1 and the high-speed bus B2.

ＣＰＵバスＢ１は、ＣＰＵ１８が管理するバスである。 The CPU bus B1 is a bus managed by the CPU 18.

高速バスＢ２は、ＣＰＵバスＢ１とは別の高速バスである。 The high speed bus B2 is a high speed bus different from the CPU bus B1.

カメラ１０からの入力画像はキャプチャ回路１１に取り込まれる。キャプチャ回路１１と、画像変換回路１２と、撮影画像の一時記憶や画像変換のワークエリアに用いる高速メモリで構成される内蔵ＲＡＭ１２１は、本実施例においては、ＣＰＵの管理するＣＰＵバスＢ１とは別な高速バスＢ２に接続されており、両者のバスはバスインタフェース２３により接続されている。 An input image from the camera 10 is captured by the capture circuit 11. In this embodiment, the capture circuit 11, the image conversion circuit 12, and the built-in RAM 121 including a high-speed memory used as a temporary storage area for captured images and a work area for image conversion are different from the CPU bus B1 managed by the CPU. Are connected to a high-speed bus B 2, and both buses are connected by a bus interface 23.

この方式により、例えばＳＲＡＭ１５にｗａｉｔ数の多いものを使った場合でも、キャプチャと画像変換の処理を高速に行うことが可能となる。本実施例では、ＣＰＵバスＢ１と高速バスＢ２を別なバスとしたが、カメラスルーのフレームレートがカメラの設計仕様を満たすのであれば、両者は同一のバスを用いても良い。ここで、ＣＰＵバスＢ１と高速バスＢ２を別にすることで、カメラ装置の操作に要するＣＰＵ処理と、キャプチャに要するメモリアクセスの競合を防ぐことが可能となる。 With this method, for example, even when a SRAM 15 having a large number of waits is used, it is possible to perform capture and image conversion processing at high speed. In this embodiment, the CPU bus B1 and the high-speed bus B2 are separate buses, but both may use the same bus as long as the camera-through frame rate satisfies the design specifications of the camera. Here, by separating the CPU bus B1 and the high-speed bus B2, it is possible to prevent a conflict between the CPU processing required for operating the camera device and the memory access required for capture.

カメラ１０による撮影画像データは、キャプチャ回路１１により取り込まれ、高速バスＢ２に接続された画像変換回路１２、内蔵ＲＡＭ１２１により、図２に示す処理が行われる。しかし、画像データの情報量が多いので、各フレームの処理ごとに、バスインタフェース２３を経由してＣＰＵバスＢ１に接続されたＳＲＡＭ１５に画像データを一時記憶させる必要がある。 Image data captured by the camera 10 is captured by the capture circuit 11, and the processing shown in FIG. 2 is performed by the image conversion circuit 12 and the built-in RAM 121 connected to the high-speed bus B2. However, since the amount of information of the image data is large, it is necessary to temporarily store the image data in the SRAM 15 connected to the CPU bus B1 via the bus interface 23 for each frame processing.

図２の処理ブロック図を用いて、本発明にかかるデジタルカメラ装置において、撮影したカメラスルー画像を液晶表示装置に表示するまでの画像データの流れの一例を説明する。 An example of the flow of image data until a captured camera through image is displayed on the liquid crystal display device in the digital camera device according to the present invention will be described with reference to the processing block diagram of FIG.

撮像装置（以下、カメラという）１０は、最大ＶＧＡサイズ（６４０×４８０画素）の画素数の画像を撮影することが可能であり、このカメラで撮影された画像データは、デジタルカメラ装置のキャプチャ回路１１におけるキャプチャ処理Ｐ１１により取り込まれる。カメラ１０からの画像データは図３及び図４に示したように、一定の速度で連続的に送られてくるため、カメラからの外部同期信号に合わせて、このデータを受け取るキャプチャ処理Ｐ１１が必要になる。 An imaging device (hereinafter referred to as a camera) 10 can capture an image having a maximum number of pixels of VGA size (640 × 480 pixels), and image data captured by this camera is captured by a capture circuit of a digital camera device. 11 is captured by the capture process P11. Since the image data from the camera 10 is continuously sent at a constant speed as shown in FIGS. 3 and 4, a capture process P11 is required to receive this data in accordance with the external synchronization signal from the camera. become.

キャプチャ処理Ｐ１１で受け取った画像データは、図３に示すＹＵＶ４２２フォーマットのＶＧＡサイズの画像データである。 The image data received in the capture process P11 is VGA size image data in the YUV422 format shown in FIG.

本実施例において、ＬＣＤ１４の表示画素数はＱＶＧＡサイズ（３２０×２４０画素）であるが、本発明にかかるデジタルカメラ装置のカメラスルー時におけるＣＰＵバスＢ１上を転送される画素数は、１６０×１２０画素と設定する。ＶＧＡサイズから１６０×１２０画素への画像サイズの変換は、キャプチャ処理Ｐ１１で行うが、カメラ１０にその機能がある場合は、そちらを用いてもよい。この場合は、キャプチャ処理Ｐ１１は、カメラから受け取った画像データのサイズ変更を行わず、そのままメモリ１５に書き込む。また、カメラ１０はカメラの機能とキャプチャ処理の機能の両方を併用してもよく、元のサイズからの縮小だけではなく切り出しによるサイズ変換を行うことで、デジタル方式によるズーム機能も達成することができる。 In this embodiment, the number of pixels displayed on the LCD 14 is QVGA size (320 × 240 pixels), but the number of pixels transferred on the CPU bus B1 when the digital camera device according to the present invention is through is 160 × 120. Set as pixel. The image size conversion from the VGA size to 160 × 120 pixels is performed in the capture process P11. If the camera 10 has the function, it may be used. In this case, the capture process P11 does not change the size of the image data received from the camera and writes it in the memory 15 as it is. In addition, the camera 10 may use both the camera function and the capture processing function together, and a digital zoom function can be achieved by performing not only reduction from the original size but also size conversion by clipping. it can.

キャプチャ処理Ｐ１１によりメモリ１５に取り込まれたＹＵＶ４２２フォーマットの１６０×１２０画素の画像データ１５１は、画像変換回路１２に読み込まれ画像変換処理Ｐ１２を施されて、ＲＧＢフォーマットの１６０×１２０画素の画像データ１５２に変換され、再びメモリ１５に出力される。次に、この画像データ１５２は、ＬＣＤドライバ１３に読み込まれＬＣＤ表示制御処理Ｐ１３が施されて、携帯電話機における電波強度表示や、カメラの操作ボタン等のアイコンを重ねて、ＲＧＢフォーマットの３２０×２４０画素の画像データ１５３として再びメモリ１５に出力される。この画像データ１５３をＤＭＡ等の高速メモリ転送方法により、ＬＣＤ１４に出力し、表示が行われる。 The 160 × 120 pixel image data 151 in the YUV422 format captured in the memory 15 by the capture process P11 is read into the image conversion circuit 12 and subjected to the image conversion process P12, and the 160 × 120 pixel image data 152 in the RGB format. And output to the memory 15 again. Next, the image data 152 is read by the LCD driver 13 and subjected to the LCD display control process P13, and the radio wave intensity display on the mobile phone and icons such as camera operation buttons are overlapped to form 320 × 240 in the RGB format. The pixel image data 153 is output to the memory 15 again. The image data 153 is output to the LCD 14 and displayed by a high-speed memory transfer method such as DMA.

このとき、１６０×１２０画素の画像データは、ＬＣＤ１４のサイズに合わせた３２０×２４０画素に拡大される。この画素の拡大は、ＬＣＤ表示制御処理Ｐ１３によりメモリ１５上の画像データ１５３を３２０×２４０画素サイズとして表示する方法と、ＬＣＤ表示制御処理Ｐ１３で処理された１６０×１２０画素の画像データ１５３をＬＣＤ１４の内部回路により２倍に拡大して表示する方法とがある。後者の場合は、ＣＰＵバス上の画像データの転送が全て１６０×１２０画素となり、より高速化が図れる。 At this time, the image data of 160 × 120 pixels is enlarged to 320 × 240 pixels according to the size of the LCD 14. The enlargement of the pixels is performed by displaying the image data 153 on the memory 15 as a 320 × 240 pixel size by the LCD display control process P13 and the image data 153 of 160 × 120 pixels processed by the LCD display control process P13 by the LCD 14. There is a method of enlarging and displaying the image twice by the internal circuit. In the latter case, the transfer of the image data on the CPU bus is all 160 × 120 pixels, and the speed can be further increased.

このようにしてＬＣＤ１４上で画像を確認した後の静止画像の撮影でシャッターを押した瞬間の画像は、ＶＧＡサイズ（６４０×４８０画素）にて撮影される。ＶＧＡサイズの静止画像は、キャプチャ処理Ｐ１１によりＶＧＡサイズでキャプチャされた後、メモリ１５を介してＪＰＥＧエンコード処理Ｐ１６に入力され、画像データの圧縮処理を受けてＪＰＥＧファイル１７として出力される。 In this way, an image at the moment when the shutter is pressed in capturing a still image after confirming the image on the LCD 14 is captured in the VGA size (640 × 480 pixels). The VGA size still image is captured in the VGA size by the capture process P11, and then input to the JPEG encoding process P16 via the memory 15. The image data is compressed and output as the JPEG file 17.

図２において、ＪＰＥＧファイル１７に保存したＶＧＡサイズの静止画像をＬＣＤ１４に表示する場合の処理の流れを図５を用いて説明する。 In FIG. 2, the flow of processing when displaying a VGA size still image stored in the JPEG file 17 on the LCD 14 will be described with reference to FIG.

ＪＰＥＧファイル１７保存した撮影した静止画像は、ＪＰＥＧデコード処理Ｐ１９され、ＶＧＡサイズのＹＵＶ４２２フォーマット画像データ１５１としてメモリ１５に転送された後、画像変換処理Ｐ１２以降の処理でＬＣＤサイズに合わせた３２０×２４０画素にサイズ変換され、ＬＣＤに表示される。このときの表示は静止画像のため、カメラスルー時のフレームレートに合わせた高速転送をする必要がなく、３２０×２４０画素を転送しても速度的な問題は生じない。 The captured still image stored in the JPEG file 17 is subjected to JPEG decoding processing P19, transferred to the memory 15 as VGA-sized YUV422 format image data 151, and then processed to 320 × 240 according to the LCD size in the processing after the image conversion processing P12. The size is converted into pixels and displayed on the LCD. Since the display at this time is a still image, it is not necessary to perform high-speed transfer in accordance with the frame rate at the time of camera through, and there is no speed problem even if 320 × 240 pixels are transferred.

ここで、図１に示したブロック図では、ＣＰＵバスＢ１と高速バスＢ２の２系統のバスがあるが、この間はバスインタフェース２３で接続してデータのやり取りをしており、高速バスＢ２を使っている間は、高速バスのバスクロックに従った高速動作ができるが、同時に使用することは出来ず、処理時間の総和は、それぞれのバスを使った時間も合計する必要がある。 Here, in the block diagram shown in FIG. 1, there are two buses, the CPU bus B1 and the high-speed bus B2. During this time, the bus interface 23 is connected to exchange data, and the high-speed bus B2 is used. During this time, high-speed operation according to the bus clock of the high-speed bus can be performed, but they cannot be used at the same time, and the total processing time needs to be totaled for the time using each bus.

図６を用いて、本発明にかかるデジタルカメラ装置の、高速にカメラスルー表示をするための方法を説明する。図６は、画像データの流れを示したブロック図の例である。各処理の詳細は図２で示しているので、ここでの説明は省略する。 A method for performing camera-through display at high speed in the digital camera device according to the present invention will be described with reference to FIG. FIG. 6 is an example of a block diagram showing the flow of image data. Details of each process are shown in FIG. 2, and a description thereof is omitted here.

図６（ａ）は、３２０×２４０画素の画像をＬＣＤ表示するために、撮影画像を３２０×２４０画素でキャプチャし、そのサイズで各処理を行った従来の場合、図６（ｂ）は、本発明のデジタルカメラ装置により、カメラスルーにおけるキャプチャサイズを１６０×１２０画素とし、そのサイズで各処理を行った後、ＬＣＤに表示する時点で、３２０×２４０画素に拡大する場合である。 FIG. 6A shows a case where a captured image is captured at 320 × 240 pixels and each processing is performed at that size in order to display an image of 320 × 240 pixels on an LCD, and FIG. This is a case where the capture size in camera through is set to 160 × 120 pixels by the digital camera device of the present invention, and each process is performed at that size and then enlarged to 320 × 240 pixels when displayed on the LCD.

図６（ａ）では、メモリ１５と、キャプチャ処理Ｐ１１、画像変換処理Ｐ１２、ＬＣＤ表示制御処理Ｐ１３、ＬＣＤ１４との間の画像データは、それぞれ３２０×２４０画素で転送されるので、ＣＰＵバスＢ１の使用時間が大きくなる。 In FIG. 6A, the image data between the memory 15 and the capture process P11, the image conversion process P12, the LCD display control process P13, and the LCD 14 is transferred with 320 × 240 pixels. Use time is increased.

一方、図６（ｂ）に示す本発明にかかる処理方法では、カメラスルーにおける画像データを、１６０×１２０画素で転送しているので、ＣＰＵバスＢ１の使用時間を減少させることができる。 On the other hand, in the processing method according to the present invention shown in FIG. 6B, since the image data in the camera through is transferred with 160 × 120 pixels, the usage time of the CPU bus B1 can be reduced.

図６（ｂ）におけるＬＣＤ１４への表示時の拡大は、単純に同一画素データを縦横２画素の合計４画素に並べても、また、処理負荷が許せば、間を補間して滑らかな画像として表示してもよい。また、拡大処理はＬＣＤ表示処理により行っても良いが、ＬＣＤ内部に２倍拡大の処理回路があれば、それを用いることで、ＣＰＵバスＢ１上の画像データは１６０×１２０画素という最小の大きさで処理することが可能となり、バスの使用時間を減らすことができる。 6B, when displaying on the LCD 14, the same pixel data is simply arranged in a total of 4 pixels of 2 pixels in the vertical and horizontal directions, and if the processing load permits, the space is interpolated and displayed as a smooth image. May be. Further, the enlargement process may be performed by an LCD display process, but if there is a double enlargement processing circuit inside the LCD, the image data on the CPU bus B1 can be as small as 160 × 120 pixels by using it. Thus, processing can be performed and the bus use time can be reduced.

図７を用いて、本発明にかかるデジタルカメラ装置において、高速にカメラスルー画像を表示したときの液晶表示画面の例を説明する。 An example of a liquid crystal display screen when a camera-through image is displayed at high speed in the digital camera device according to the present invention will be described with reference to FIG.

図７（ａ）は、液晶表示装置に表示されたカメラスルー画像の従来の例である。これを拡大したものが図７（ｂ）である。 FIG. 7A is a conventional example of a camera-through image displayed on a liquid crystal display device. An enlarged view of this is shown in FIG.

図７（ｃ）は、本発明にかかるデジタルカメラ装置のカメラスルー画像を、同様に拡大したものである。本発明においては、図７（ｂ）に比べて解像度が半分になり、画素が粗くなっていることが分る。拡大した画面ではこのように粗い画像となるが、図７（ａ）のように画面全体を見た状態では、画面の中に何が写っているかはわかる。本発明の効果は、図７（ａ）の画像が図１２（ｃ）のように表示されて、特に動く被写体を追いかけるのが困難なケースにて、図７（ｃ）のような画像を図１２（ｂ）のように高速なフレームレートで表示することである。この場合、図７（ｂ）に対して、図７（ｃ）では画面を見ながらピントを合わせることがかなり困難となることが問題点となる。この問題は、携帯機器に用いるカメラが、特にセンサ面積が小さく、短焦点レンズを用いることで固定焦点とし、ピント合わせを不要とするか、カメラモジュール内部でクローズする制御機構を持つオートフォーカス機能を用いるか、ユーザーが目測で距離を測り、その数字を例えばメートル単位でレンズのフォーカス位置をメカニカルな方法で指定する等の方法で、カメラスルー画像の目視ピント合わせが不要な方式を採用することで回避できる。 FIG. 7C is an enlarged view of the camera-through image of the digital camera device according to the present invention. In the present invention, it can be seen that the resolution is halved compared to FIG. 7B and the pixels are coarse. In the enlarged screen, such a coarse image is obtained. However, when the entire screen is viewed as shown in FIG. The effect of the present invention is that the image of FIG. 7C is displayed in the case where the image of FIG. 7A is displayed as shown in FIG. 12C and it is particularly difficult to follow a moving subject. It is to display at a high frame rate as in 12 (b). In this case, in contrast to FIG. 7B, it becomes a problem that in FIG. 7C it is quite difficult to focus while looking at the screen. The problem is that the camera used for portable devices has a small sensor area, a fixed focus by using a short focus lens, and does not require focusing, or has an autofocus function with a control mechanism that closes inside the camera module. By using a method that does not require visual focusing of the camera-through image, such as by using a method such as measuring the distance by eye measurement and specifying the lens focus position with a mechanical method in units of meters, etc. Can be avoided.

図８のタイミングチャートを用いて、本発明にかかるデジタルカメラ装置における、各フレームごとの処理時間を説明する。 The processing time for each frame in the digital camera device according to the present invention will be described with reference to the timing chart of FIG.

図８（ａ）における時間Ｔ１は、カメラスルー時の各フレームごとのサイクルタイムである。即ち１５ｆｐｓで動作しているとすると、サイクルタイムＴ１＝１／１５＝６６．６ｍｓとなる。キャプチャ処理におけるカメラからの画像データの取り込みは、垂直同期信号Ｓ１から始まり、取り込みに要する時間はキャプチャ処理時間Ｔ２である。キャプチャ処理時間Ｔ２＜サイクルタイムＴ１であり、サイクルタイムＴ１−キャプチャ処理Ｔ２＝Ｔ４は、映像のブランキングエリアである。フレームＦ１の時刻でキャプチャされた画像は、その次のフレームＦ２で、画像変換とＬＣＤへの転送が行われる。これに要する時間は変換転送時間Ｔ３であり、変換転送時間Ｔ３＜サイクルタイムＴ１であることが、各フレームが破綻なく取り込みと表示が行えるための必須条件となる。ここで、キャプチャ処理時間Ｔ２と変換転送時間Ｔ３は処理全体に要する時間であり、この二つは同じバスを使って同時に行われる。 A time T1 in FIG. 8A is a cycle time for each frame at the time of camera through. That is, if it is operating at 15 fps, the cycle time T1 = 1/15 = 66.6 ms. The capturing of image data from the camera in the capture processing starts from the vertical synchronization signal S1, and the time required for capturing is the capture processing time T2. Capture processing time T2 <cycle time T1, and cycle time T1-capture processing T2 = T4 is a blanking area for video. The image captured at the time of the frame F1 is subjected to image conversion and transfer to the LCD in the next frame F2. The time required for this is the conversion transfer time T3, and the conversion transfer time T3 <cycle time T1 is an indispensable condition for capturing and displaying each frame without failure. Here, the capture processing time T2 and the conversion transfer time T3 are times required for the entire processing, and these two are performed simultaneously using the same bus.

図８（ｂ）は、図８（ａ）で示したタイミングチャートを拡大したものであり、図８（ａ）のフレームＦ２におけるフレームＦ３で処理する画像のキャプチャと、フレームＦ１でキャプチャしたフレームの画像変換とＬＣＤ表示を同時に行っている動作を説明したものである。いずれもＬｏアクティブであり、Ｌｏの時にその処理が行われていることを示す。ここで言う処理は、メモリへのアクセスを示すチップセレクト信号、ＬＣＤへの書込みを示すチップセレクト信号で観察することができる。 FIG. 8B is an enlarged view of the timing chart shown in FIG. 8A. The image captured in the frame F3 in the frame F2 in FIG. 8A is captured and the frame captured in the frame F1 is captured. The operation for simultaneously performing image conversion and LCD display will be described. Both are Lo active and indicate that processing is being performed when Lo. The processing here can be observed with a chip select signal indicating access to the memory and a chip select signal indicating writing to the LCD.

垂直同期信号が入った後、フレームＦ２のキャプチャが一定時間毎に、画素数分の回数行われる。カメラのフレームレートを画素数で割った値、即ちカメラから画像データが一画素ずつ送られてくるタイミング（具体的には、ＱＶＧＡ画素データの１５ｆｐｓでキャプチャするとして、１ｓｅｃ÷１５ｆｐｓ÷（３２０×２４０）＝０．８６μｓ）に対して、それをメモリに書込みに必要な時間は（例えばＳＲＡＭを用いて１００ｎｓ）はるかに短く、キャプチャによるメモリへのアクセス時間の総和は１フレーム分の時間に比べて短い。 After the vertical synchronization signal is input, the capture of the frame F2 is performed as many times as the number of pixels at regular time intervals. A value obtained by dividing the frame rate of the camera by the number of pixels, that is, a timing at which image data is sent from the camera pixel by pixel (specifically, 1 sec ÷ 15 fps ÷ (320 × 240 assuming that capture is performed at 15 fps of QVGA pixel data) ) = 0.86 μs), the time required to write it to the memory (for example, 100 ns using SRAM) is much shorter, and the total access time to the memory by capture is compared to the time for one frame. short.

このキャプチャの間の隙間に、ひとつ前のフレームＦ１でキャプチャした画像の画像変換Ｆ１とＬＣＤ表示Ｆ１を行う。図８（ａ）で示した変換転送時間Ｔ３は、キャプチャ時のメモリアクセス時間と、画像変換とＬＣＤ表示の総和で表される。 Image conversion F1 and LCD display F1 of the image captured in the immediately preceding frame F1 are performed in the gap between the captures. The conversion transfer time T3 shown in FIG. 8A is expressed by the memory access time at the time of capture, the sum of image conversion and LCD display.

図９のフローチャートを用いて、本発明にかかるデジタルカメラ装置の、フレームレートに応じて画素数を可変する方法の例を説明する。 An example of a method of changing the number of pixels according to the frame rate of the digital camera device according to the present invention will be described using the flowchart of FIG.

図８に示したサイクルタイムＴ１と変換転送時間Ｔ３を比較して（ステップＳ０１）、変換転送時間Ｔ３＞サイクルタイムＴ１の場合（Ｎｏ）は、所定のフレームレートを確保できないと判断して、画素数を減らしてデータの転送量を削減する。このとき、ＬＣＤ画面に表示する画像が画素数削減の違和感を極端に感じない程度に画素数の最小値を設定しておき、現在の表示画素数が既に最小であるかどうかを判断する（ステップＳ０２）。表示画素数が既に最小画素数である場合（Ｙｅｓ）は、設定変更をしない。この場合は、画像変換処理およびＬＣＤ表示処理に要する変換転送時間Ｔ３がサイクルタイムＴ１を越えているため、そのときにキャプチャした画像は捨てて、次のキャプチャ時の画像を表示するための処理を行う。現在の表示画素数が最小画素数でないときには、画素数を下げる処理（ステップＳ０３）を行い、画素数を下げて変換転送時間Ｔ３をサイクルタイムＴ１以下とする。 The cycle time T1 and the conversion transfer time T3 shown in FIG. 8 are compared (step S01). If the conversion transfer time T3> the cycle time T1 (No), it is determined that a predetermined frame rate cannot be secured, and the pixel Reduce the amount of data transfer by reducing the number. At this time, the minimum number of pixels is set to such an extent that the image displayed on the LCD screen does not feel the discomfort of reducing the number of pixels extremely, and it is determined whether or not the current number of displayed pixels is already the minimum (step) S02). If the display pixel number is already the minimum pixel number (Yes), the setting is not changed. In this case, since the conversion transfer time T3 required for the image conversion process and the LCD display process exceeds the cycle time T1, the captured image is discarded and a process for displaying the image at the next capture is performed. Do. When the current number of display pixels is not the minimum number of pixels, a process of lowering the number of pixels is performed (step S03), and the conversion transfer time T3 is set to the cycle time T1 or less by lowering the number of pixels.

画像変換処理およびＬＣＤ表示処理に要する変換転送時間Ｔ３がサイクルタイムＴ１以下のとき（ステップＳ０１、Ｙｅｓ）は、フレームレートに対する処理に要する変換転送時間Ｔ３に余裕があるので、さらに多くの画素数の画像データを処理することが可能かどうかを知るために現在の表示画素数が最大であるか否かを判断する（ステップＳ０４）。現在の表示画素数が最大画素数以下であるとき（ステップＳ０４、Ｎｏ）には、画素数を上げる設定を行う（ステップＳ０５）。このときは、ＬＣＤの表示画素数が最大画素数であり、これを越えなければ画素数を上げ、最大画素数である場合には何もしない。 When the conversion transfer time T3 required for the image conversion process and the LCD display process is equal to or shorter than the cycle time T1 (Yes in step S01), the conversion transfer time T3 required for the processing with respect to the frame rate has a margin, so that a larger number of pixels In order to know whether or not the image data can be processed, it is determined whether or not the current number of display pixels is the maximum (step S04). When the current display pixel number is equal to or less than the maximum pixel number (step S04, No), a setting is made to increase the pixel number (step S05). At this time, the number of display pixels of the LCD is the maximum number of pixels, and if it does not exceed this, the number of pixels is increased, and if it is the maximum number of pixels, nothing is done.

図１０のブロック図を用いて、本発明にかかるデジタルカメラ装置の、フレームレートに応じて画素数を可変する判断を行う方法を説明する。 With reference to the block diagram of FIG. 10, a method for performing the determination of varying the number of pixels according to the frame rate in the digital camera device according to the present invention will be described.

図１０のブロック図におけるカメラスルー時の動作説明は、図２と同一のため省略する。ここで、本発明にかかるデジタルカメラ装置が、撮影画像をＭＰＥＧフォーマットで圧縮する機能を持っている場合、ＭＰＥＧエンコード処理機能Ｐ１６１を用いて、図９に示したサイクルタイムＴ１と変換転送時間Ｔ３の比較判断を行うことができる。 Description of the operation during camera through in the block diagram of FIG. 10 is the same as FIG. Here, when the digital camera device according to the present invention has a function of compressing a captured image in the MPEG format, the cycle time T1 and the conversion transfer time T3 shown in FIG. 9 are used by using the MPEG encoding processing function P161. A comparative judgment can be made.

ＭＰＥＧエンコード処理機能Ｐ１６１は、定期間隔に入ってくるフレームを取り込んで圧縮してＭＰＥＧファイル１７１を作成する。ＭＰＥＧエンコード処理機能Ｐ１６１は、第１のフレームＦ１の圧縮完了時刻が次のフレームＦ２の取り込み開始時刻を過ぎると、そのフレームＦ２を読み飛ばして、次のフレームＦ３まで画像の入力を待って、それを取り込んで次の圧縮を行う。このフレームの読み飛ばし（フレーム処理時間過不足判断信号）の有無で、図９における現在の表示画素数が最小であるか最大であるかの判定を行うことができる。 The MPEG encoding processing function P161 creates an MPEG file 171 by taking in and compressing frames that come in at regular intervals. When the compression completion time of the first frame F1 has passed the start time for capturing the next frame F2, the MPEG encoding processing function P161 skips reading the frame F2 and waits for input of an image until the next frame F3. The next compression is performed. Whether or not the current number of display pixels in FIG. 9 is minimum or maximum can be determined by the presence or absence of skipping of this frame (frame processing time excess / deficiency determination signal).

図１１のブロック図を用いて、本発明にかかるデジタルカメラ装置におけるＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）表示の方法を説明する。 A method of OSD (On Screen Display) display in the digital camera device according to the present invention will be described with reference to the block diagram of FIG.

図７で示したように、本発明にかかるデジタルカメラ装置で高速フレームレートのカメラスルーを行うと、ＬＣＤ１４に表示する画像の解像度が低下する。このとき、ＯＳＤ処理により画面に文字やイラストを重ねて表示する際に、表示画像と同じ解像度のＯＳＤをキャプチャの時点など、解像度を落とす前に重ねると、ＬＣＤで表示するＯＳＤ自体の解像度も低下する。 As shown in FIG. 7, when the camera through at a high frame rate is performed with the digital camera device according to the present invention, the resolution of the image displayed on the LCD 14 is lowered. At this time, when displaying OSD processing with characters and illustrations superimposed on the screen, if the OSD with the same resolution as the displayed image is superimposed before dropping the resolution, such as at the time of capture, the resolution of the OSD itself displayed on the LCD also decreases. To do.

具体的には、３２０×２４０画素の画像を撮影して、文字やイラストを重ねて保存したいときに、カメラスルー画像は１６０×１２０画素に一度解像度が小さくなる。従って重ねた文字やイラストもカメラスルーでＬＣＤ表示するときには１６０×１２０画素の解像度となり、文字の判読が困難になったり、イラストの詳細が見えなかったりという問題点が生じる。図１１に示すように、本発明では、撮影画像及びＬＣＤの表示解像度と同一の画素数を持つ文字やイラストをＯＳＤ処理Ｐ１９１で生成し、ＬＣＤ表示直前のＬＣＤ表示制御処理Ｐ１３もしくはＬＣＤ１４の内部で重ねて表示し、カメラスルー時のＬＣＤ表示で文字やイラストを解像度劣化なしに表示する。 Specifically, when a 320 × 240 pixel image is captured and characters and illustrations are to be stored in an overlapping manner, the resolution of the camera-through image is once reduced to 160 × 120 pixels. Accordingly, when the superimposed characters and illustrations are displayed on the LCD through the camera, the resolution becomes 160 × 120 pixels, which causes problems that it becomes difficult to read the characters and the details of the illustrations cannot be seen. As shown in FIG. 11, in the present invention, characters and illustrations having the same number of pixels as the captured image and the display resolution of the LCD are generated by the OSD process P191, and the LCD display control process P13 or LCD 14 immediately before the LCD display is generated. It is displayed in a superimposed manner, and characters and illustrations are displayed without deterioration in resolution on the LCD display during camera-through.

そして撮影画像には、ＯＳＤ処理Ｐ１９２で生成した文字やイラストを撮影画像に重ねてＪＰＥＧエンコード処理Ｐ１６し、ＪＰＥＧファイル１７を作成することで、撮影画像と同一の解像度の高い文字やイラストの重ね合わせを行うことができる。 In the captured image, the characters and illustrations generated in the OSD process P192 are superimposed on the captured image and subjected to the JPEG encoding process P16, and the JPEG file 17 is created, thereby superimposing characters and illustrations having the same resolution as the captured image. It can be performed.

１デジタルカメラ装置
３外部記憶媒体
５被写体
１０カメラ
１１キャプチャ回路
１２画像変換回路
１３ＬＣＤドライバ
１４ＬＣＤ
１５メモリ（ＳＲＡＭ）
１７ＪＰＥＧファイル
１７１ＭＰＥＧファイル
１８ＣＰＵ
２０操作スイッチ
２１外部機器インタフェース
２２外部記憶インタフェース
２３バスインタフェース
Ｂ１ＣＰＵバス
Ｂ２高速バス
Ｐ１１キャプチャ処理
Ｐ１２画像変換処理
Ｐ１３ＬＣＤ表示制御処理
Ｐ１６ＪＰＥＧエンコード処理
Ｐ１６１ＭＰＥＧエンコード処理
Ｐ１９１、Ｐ１９２ＯＳＤ処理 DESCRIPTION OF SYMBOLS 1 Digital camera apparatus 3 External storage medium 5 Subject 10 Camera 11 Capture circuit 12 Image conversion circuit 13 LCD driver 14 LCD
15 Memory (SRAM)
17 JPEG file 171 MPEG file 18 CPU
20 Operation switch 21 External device interface 22 External storage interface 23 Bus interface B1 CPU bus B2 High-speed bus P11 Capture processing P12 Image conversion processing P13 LCD display control processing P16 JPEG encoding processing P161 MPEG encoding processing P191, P192 OSD processing

Claims

撮影した画像データをデジタルデータで一画面ずつ一定速度で連続して出力するインタフェースを有するカメラと、該カメラからの信号を取り込むインタフェースと取り込んだ画像データをメモリに書き込む機能を有するキャプチャ回路と、画像データを書き込むメモリと、該メモリに取り込まれた画像データ読み出して表示する液晶表示装置を有し、撮影時にカメラで撮影する対象と略同一の撮影範囲を目視で確認する光学式ファインダーを持たず、前記液晶表示装置で撮影する被写体を撮影前に確認するデジタルカメラ装置において、
前記一定速度でカメラから出力される画像データ一画面の画素数≧液晶表示装置の画像表示領域の画素数＞液晶表示装置に表示する画像データの画素数、であることを特徴とするデジタルカメラ装置。 A camera having an interface for continuously outputting captured image data as digital data one screen at a time at a constant speed, an interface for capturing a signal from the camera, a capture circuit having a function of writing the captured image data in a memory, and an image It has a memory to write data, and a liquid crystal display device that reads and displays image data captured in the memory, and does not have an optical viewfinder that visually confirms the same shooting range as the object to be shot by the camera at the time of shooting, In a digital camera device for confirming a subject to be photographed with the liquid crystal display device before photographing,
The number of pixels of one screen of image data output from the camera at the constant speed ≧ the number of pixels of the image display area of the liquid crystal display device> the number of pixels of the image data displayed on the liquid crystal display device .

請求項１記載のデジタルカメラ装置において、
画像データのフォーマットを変換する画像変換回路を備え、液晶表示装置に表示する画像データの画素数＞キャプチャ回路または画像変換回路とメモリとの間で転送する画像データの画素数、であることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 1, wherein
An image conversion circuit for converting the format of the image data is provided, and the number of pixels of the image data to be displayed on the liquid crystal display device is greater than the number of pixels of the image data transferred between the capture circuit or the image conversion circuit and the memory. Digital camera device.

請求項１または請求項２記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データは、拡大して液晶表示装置に表示することを特徴とするデジタルカメラ装置。 The digital camera device according to claim 1 or 2,
A digital camera device characterized in that image data to be displayed on a liquid crystal display device is enlarged and displayed on the liquid crystal display device.

請求項１乃至請求項３のいずれか１項記載のデジタルカメラ装置において、
撮影して保存する画像データの画素数≧液晶表示装置の画像表示領域の画素数であり、保存した画像データを液晶表示装置に表示する際の画像データの画素数＝液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。 The digital camera device according to any one of claims 1 to 3,
The number of pixels of image data to be captured and stored is equal to or greater than the number of pixels of the image display area of the liquid crystal display device, and the number of pixels of the image data when displaying the stored image data on the liquid crystal display device = the image display area of the liquid crystal display device The number of pixels is a digital camera device.

請求項１乃至請求項４のいずれか１項記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、可変可能であることを特徴とするデジタルカメラ装置。 The digital camera device according to any one of claims 1 to 4,
A digital camera device characterized in that the number of pixels of image data displayed on a liquid crystal display device is variable.

請求項５記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、前記カメラから一画面ずつ一定速度で連続して出力する速度に対して、液晶表示装置への転送及び表示に要する速度が遅くなる場合には、減少させることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 5, wherein
The number of pixels of the image data displayed on the liquid crystal display device is lower than the speed required for continuous transfer and display to the liquid crystal display device relative to the speed at which the camera continuously outputs one screen at a constant speed. A digital camera device characterized by being reduced.

請求項６記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、前記カメラから一画面ずつ一定速度で連続して出力する速度に対して、液晶表示装置への転送及び表示に要する速度が速い場合には、増加させることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 6, wherein
The number of pixels of image data to be displayed on the liquid crystal display device is increased when the speed required for transfer and display to the liquid crystal display device is faster than the speed at which the camera continuously outputs one screen at a constant speed. A digital camera device characterized in that

請求項６記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数の下限が予め設定されており、前記画像データの画素数が該下限に達したら、画像データの画素数の減少を行わないことを特徴とするデジタルカメラ装置。 The digital camera device according to claim 6, wherein
A digital camera characterized in that a lower limit of the number of pixels of image data to be displayed on the liquid crystal display device is set in advance, and when the number of pixels of the image data reaches the lower limit, the number of pixels of the image data is not reduced. apparatus.

請求項７記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数の上限は、液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 7, wherein
A digital camera device characterized in that the upper limit of the number of pixels of image data displayed on the liquid crystal display device is the number of pixels in the image display area of the liquid crystal display device.

請求項６乃至請求項９のいずれか１項記載のデジタルカメラ装置において、
前記カメラから一画面ずつ一定速度で連続して出力する速度と、液晶表示装置への転送及び表示に要する速度の比較は、前記カメラからの一画面の出力に要する時間と、液晶表示装置への転送及び表示に要する時間との比較で行うことを特徴とするデジタルカメラ装置。 The digital camera device according to any one of claims 6 to 9,
A comparison between the speed at which the camera continuously outputs one screen at a constant speed and the speed required for transfer and display to the liquid crystal display device is based on the time required to output one screen from the camera and the liquid crystal display device. A digital camera device characterized by being compared with the time required for transfer and display.

請求項６乃至請求項９のいずれか１項記載のデジタルカメラ装置において、
前記カメラから一画面ずつ一定速度で連続して出力する速度と、液晶表示装置への転送及び表示に要する速度の比較は、前記カメラからの一画面の出力に要する時間と、デジタルカメラ装置に搭載した動画像圧縮の処理に要する時間との比較で行うことを特徴とするデジタルカメラ装置。 The digital camera device according to any one of claims 6 to 9,
A comparison between the speed at which the camera continuously outputs at a constant speed for each screen and the speed required for transfer and display to the liquid crystal display device is included in the time required to output one screen from the camera and the digital camera device. A digital camera device characterized in that it is compared with the time required for the moving image compression processing.

請求項３記載のデジタルカメラ装置において、
撮影して保存する画像データに文字やイラスト等を重ね合わせて保存することが可能であり、撮影時には、該文字やイラスト等の表示画素数＝液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 3, wherein
It is possible to superimpose characters and illustrations on image data to be captured and stored, and at the time of shooting, the number of display pixels of the characters and illustrations is equal to the number of pixels in the image display area of the liquid crystal display device. A digital camera device characterized by the above.

請求項１２記載のデジタルカメラ装置において、
撮影して保存する画像データに重ねあわせる文字やイラスト等の画素数＝撮影して保存する画像データの画素数であることを特徴とするデジタルカメラ装置。 The digital camera device according to claim 12, wherein
A digital camera device characterized in that the number of pixels such as characters and illustrations to be superimposed on image data to be captured and stored = the number of pixels of image data to be captured and stored.