JP2006345134A

JP2006345134A - Digital camera

Info

Publication number: JP2006345134A
Application number: JP2005167839A
Authority: JP
Inventors: Masahiro Doi; 雅浩土肥
Original assignee: Tomy Co Ltd
Current assignee: Tomy Co Ltd
Priority date: 2005-06-08
Filing date: 2005-06-08
Publication date: 2006-12-21

Abstract

<P>PROBLEM TO BE SOLVED: To generate a composite image which uses a picked-up image and a frame image and brings more direction effects. <P>SOLUTION: A digital camera has an image sensor, a storage section, a trimming processing section, a blank area discrimination section, a character processing section, and an image processing section. The blank area discrimination section discriminates a blank area where no picked-up image is present in the frame image based upon a composite image generated based upon a trimming quantity. The character processing section lays out a character string input by a user in the blank area as an editor area for characters. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、デジタルカメラに係り、特に、ユーザによって入力された文字列を画像に付加する合成処理に関する。 The present invention relates to a digital camera, and more particularly to a composition process for adding a character string input by a user to an image.

デジタルカメラによって撮影された撮像画像の縁部などを装飾するフレーム画像は、デジタルカメラやパソコンなどに既に内蔵されていることが多い。フレーム画像は、ユーザが意図した意味合いで画像を強調・装飾して、閲覧者に対して画像をより印象的・魅力的なものにさせる効果があり、このフレーム画像を撮像画像に合成するための技術は数多く提案されている。 In many cases, a frame image that decorates an edge of a captured image taken by a digital camera is already built in a digital camera or a personal computer. The frame image has the effect of emphasizing and decorating the image in the meaning intended by the user and making the image more impressive and attractive to the viewer. For synthesizing this frame image with the captured image Many technologies have been proposed.

たとえば、特許文献１には、大がかりな画像処理装置を有することなく静止画像とフレーム画像とを適切に合成画像を生成するデジタルカメラが開示されている。このデジタルカメラは、合成画像の生成に必要な、撮像レンズ焦点情報・被写体距離情報・輝度情報を、電子カメラ自身が有するズーム駆動部・測距部・測光部から直接読み取ることによって実現している。 For example, Patent Document 1 discloses a digital camera that appropriately generates a combined image of a still image and a frame image without having a large-scale image processing device. This digital camera is realized by directly reading the imaging lens focus information, subject distance information, and luminance information necessary for generating a composite image from the zoom drive unit, distance measuring unit, and photometric unit of the electronic camera itself. .

特開平１０−２７１４２７号公報JP-A-10-271427

ところで、ユーザは、撮像時の時期や場所などの状況によっては、撮像画像の所望の部分のみを出力したい場合や、大切な撮像画像に演出効果を施したい場合など、さらなる編集を加えたい場合がある。しかしながら、こういった場合にも、従来ではフレーム画像を撮像画像に重ね合わせるだけに留まり、そのフレーム画像に描写されたテーマ以上の演出効果を得るには乏しい。 By the way, depending on the situation such as the time and place at the time of image capture, the user may want to make further edits, such as when outputting only a desired part of the captured image or when providing an effect on an important captured image. is there. However, even in such a case, conventionally, the frame image is merely overlapped with the captured image, and it is not sufficient to obtain an effect more than the theme depicted in the frame image.

本発明は、かかる事情に鑑みてなされたものであり、その目的は、撮像画像およびフレーム画像を用いた、より一層の演出効果を引き出す合成画像を生成可能にすることである。 The present invention has been made in view of such circumstances, and an object of the present invention is to make it possible to generate a composite image that uses a captured image and a frame image to draw a further effect.

かかる課題を解決するために、本発明は、デジタルカメラを提供する。このデジタルカメラは、イメージセンサと、記憶部と、トリミング処理部と、ブランク領域判別部と、文字処理部と、画像処理部とを有する。イメージセンサは、光学系を介して入力した光学情報に基づいて、撮像画像を出力する。記憶部は、イメージセンサから出力された撮像画像と、撮像画像を装飾するための枠状のフレーム画像とを記憶する。トリミング処理部は、ユーザの操作によってフレーム画像に対する撮像画像の相対位置をずらす場合、当該相対位置のずれをトリミング量としてカウントするとともに、フレーム画像と撮像画像とを重ね合わせることで生成した合成画像を記憶部に出力する。ブランク領域判別部は、この合成画像に関して、トリミング処理部によってカウントされたトリミング量に基づいて、フレーム画像内に撮像画像が存在しないブランク領域を判別する。文字処理部は、ブランク領域判別部によって判別されたブランク領域を文字のエディタ領域として、ユーザによって入力された文字列をブランク領域にレイアウトする。画像処理部は、ブランク領域にレイアウトされた文字列を文字画像に変換するとともに、この変換された文字画像を合成像画像を重ね合わせた画像に合成することによって、文字情報付き合成画像を出力する。 In order to solve this problem, the present invention provides a digital camera. The digital camera includes an image sensor, a storage unit, a trimming processing unit, a blank area determination unit, a character processing unit, and an image processing unit. The image sensor outputs a captured image based on optical information input through the optical system. The storage unit stores the captured image output from the image sensor and a frame-shaped frame image for decorating the captured image. When the relative position of the captured image with respect to the frame image is shifted by a user operation, the trimming processing unit counts the displacement of the relative position as a trimming amount and generates a composite image generated by superimposing the frame image and the captured image. Output to the storage unit. The blank area discriminating unit discriminates a blank area in which no captured image exists in the frame image based on the trimming amount counted by the trimming processing unit with respect to the composite image. The character processing unit lays out the character string input by the user in the blank area using the blank area determined by the blank area determining unit as the character editor area. The image processing unit converts the character string laid out in the blank area into a character image, and outputs the composite image with the character information by combining the converted character image with the composite image. .

本発明によれば、撮像画像にフレーム画像を加えた合成画像にさらに、文字画像を加えることができ、より一層の演出効果を引き出す合成画像の生成することができる。特に、本発明では、ユーザが画像をトリミングする際、そのトリミング量をカウントし、カウントされたトリミング量に基づいて、エディタ領域となるブランク領域を判別している。したがって、画像データの有無をドット単位で判別することによってエディタ領域を特定する手法と比較して、処理回路を簡略化することができる。 According to the present invention, it is possible to add a character image to a combined image obtained by adding a frame image to a captured image, and to generate a combined image that brings out a further effect. In particular, according to the present invention, when a user trims an image, the trimming amount is counted, and a blank region serving as an editor region is determined based on the counted trimming amount. Therefore, the processing circuit can be simplified as compared with the method of identifying the editor area by determining the presence or absence of image data in dot units.

図１は、デジタルカメラの構成図である。このデジタルカメラは、イメージセンサ１と、記憶部２と、トリミング処理部３と、エディタ４と、画像処理部７とを有する。イメージセンサ１は、レンズ光学系によって受光面に結像された光信号（光学情報）を電気信号に変換して撮像信号を出力する素子であり、例えばＣＣＤ（Charge Coupled Devices）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどがある。イメージセンサ１の前段に位置するレンズ光学系は、光学レンズ、絞り、焦点制御、各種光学フィルタおよびその駆動機構を含み、画角を変更する光学ズームが可能な周知なものである。また、このイメージセンサ１は、この電気信号に変換された撮像信号をデジタル撮像画像（以下、撮像画像という）に変換し、これを出力するアナログ／デジタル回路も有する。 FIG. 1 is a configuration diagram of a digital camera. This digital camera includes an image sensor 1, a storage unit 2, a trimming processing unit 3, an editor 4, and an image processing unit 7. The image sensor 1 is an element that converts an optical signal (optical information) imaged on a light receiving surface by a lens optical system into an electrical signal and outputs an imaging signal. For example, a CCD (Charge Coupled Devices) sensor, CMOS ( Complementary Metal Oxide Semiconductor) sensor. The lens optical system positioned in front of the image sensor 1 includes an optical lens, a diaphragm, a focus control, various optical filters, and a driving mechanism thereof, and is a well-known one capable of optical zoom for changing the angle of view. The image sensor 1 also has an analog / digital circuit that converts the imaging signal converted into the electrical signal into a digital captured image (hereinafter referred to as a captured image) and outputs the digital captured image.

記憶部２は、イメージセンサ１が出力した撮像画像と、撮像画像を装飾するための枠状のフレーム画像と、後述するトリミング処理部３が出力した合成画像とを記憶する記憶媒体である。記憶部２としては、例えば、ＳＤメモリーカード、メモリースティックなどといったフラッシュメモリを採用したメモリカードや、磁気ディスク、光ディスク、光磁気ディスクなどといった可搬媒体、およびハードディスクなどが挙げられる。なお、記憶部２は、物理的に単一の記憶装置であるか複数の記憶装置であるかを問わない。トリミング処理部３は、画像のトリミングを行う場合、すなわち、ユーザの操作によってフレーム画像に対する撮像画像の相対位置をずらす場合、この相対位置のずれをトリミング量として、内蔵カウンタでカウントする。それとともにトリミング処理部３は、フレーム画像と撮像画像とを重ね合わせることで生成した合成画像を記憶部２に格納する。なお、この重ね合わせ処理の具体的な動作については後述する。 The storage unit 2 is a storage medium that stores a captured image output from the image sensor 1, a frame-like frame image for decorating the captured image, and a composite image output from a trimming processing unit 3 described later. Examples of the storage unit 2 include a memory card employing a flash memory such as an SD memory card and a memory stick, a portable medium such as a magnetic disk, an optical disk, and a magneto-optical disk, and a hard disk. It does not matter whether the storage unit 2 is physically a single storage device or a plurality of storage devices. When trimming the image, that is, when the relative position of the captured image with respect to the frame image is shifted by the user's operation, the trimming processing unit 3 counts the shift of the relative position as a trimming amount by the built-in counter. At the same time, the trimming processing unit 3 stores the composite image generated by superimposing the frame image and the captured image in the storage unit 2. The specific operation of this overlay process will be described later.

エディタ４は、ブランク領域判別部５と、文字処理部６とを有し、記憶部２に出力された合成画像から、文字列が入力されたエディタ領域を出力する。ブランク領域判別部５は、トリミング処理部３によって出力された合成画像を処理対象として、カウントされたトリミング量に基づいて、フレーム画像内に撮像画像が存在しないブランク領域を判別する。文字処理部６は、ブランク領域を文字のエディタ領域として、ユーザによって入力された文字列をブランク領域にレイアウトする。具体的な動作については後述する。画像処理部７は、エディタ４から出力されたブランク領域にレイアウトされた文字列を文字画像に変換し、変換された文字画像を合成画像に重ね合わせた画像に合成することによって、文字情報付き合成画像を出力する。 The editor 4 includes a blank area determination unit 5 and a character processing unit 6, and outputs an editor area to which a character string is input from the composite image output to the storage unit 2. The blank area discriminating unit 5 discriminates a blank area in which a captured image does not exist in the frame image, based on the counted trimming amount, with the composite image output by the trimming processing unit 3 as a processing target. The character processing unit 6 lays out a character string input by the user in the blank area using the blank area as a character editor area. Specific operations will be described later. The image processing unit 7 converts the character string laid out in the blank area output from the editor 4 into a character image, and combines the converted character image with an image superimposed on the composite image, thereby combining with character information. Output an image.

図２は、トリミング処理部３の処理説明図である。同図（ａ）は、イメージセンサ１から出力される撮像画像を示した図である。本実施形態において、撮像画像は例えば１６００×１２００画素サイズであり、各画素は、撮像した被写体を含む景色に応じた画素値を有する。また、同図（ｂ）は、フレーム画像を示した図である。フレーム画像も撮像画像と同様に、１６００×１２００画素サイズであるが、フレーム画像の縁部（図中の斜線部）には所定の幅（例えば１００画素サイズ）を有した矩形枠状のフレームが設けられている。本実施形態におけるフレームは、一定の幅だけで構成されているが、本発明はそれに限らずフレームは、所定の形状や模様などを表現した中抜きの枠形状でもよい。 FIG. 2 is a process explanatory diagram of the trimming processing unit 3. FIG. 4A is a diagram showing a captured image output from the image sensor 1. In the present embodiment, the captured image has a size of, for example, 1600 × 1200 pixels, and each pixel has a pixel value corresponding to the scenery including the captured subject. FIG. 4B shows a frame image. Similarly to the captured image, the frame image has a size of 1600 × 1200 pixels. However, a rectangular frame-like frame having a predetermined width (for example, a size of 100 pixels) is formed at the edge (shaded portion in the figure) of the frame image. Is provided. Although the frame in the present embodiment is configured with only a certain width, the present invention is not limited to this, and the frame may have a hollow frame shape expressing a predetermined shape or pattern.

同図（ｃ）は、撮像画像とフレーム画像との合成処理を行った合成画像（１６００×１２００画素サイズ）である。トリミング処理部３は、同図（ａ）の撮像画像に同図（ｂ）のフレーム画像を重ね合わせ、合成画像を生成する。これにより、フレームについては、切り取られる部分が生じることなく合成画像の枠となるが、撮像画像については、枠からはみ出した部分については切り取られる。なお、合成画像はフレーム画像の位置を基準としており、撮像画像は、ユーザによって指定されたトリミング量によって、フレーム画像から上下左右にシフトされる。 FIG. 4C shows a composite image (1600 × 1200 pixel size) obtained by performing a composite process of a captured image and a frame image. The trimming processing unit 3 superimposes the frame image of FIG. 10B on the captured image of FIG. As a result, the frame becomes a frame of the composite image without causing a portion to be cut off, but the portion of the captured image that is protruded from the frame is cut off. Note that the synthesized image is based on the position of the frame image, and the captured image is shifted from the frame image up, down, left, and right by the trimming amount specified by the user.

本実施形態では、同図（ｃ）に示すように、撮像画像をフレーム画像から６００サイズ分だけ右にシフトさせている。なお、トリミング量をユーザから一括して指定することでもシフト可能であるが、合成画像をリアルタイムにディスプレイ等の表示部（図示せず）に表示しながらシフトさせてもよい。この場合、ユーザはこの表示された画像を見ながら逐次シフトさせてトリミング量を決定する。トリミング処理部３は、内蔵カウンタによってトリミング量をカウントするとともに、生成した合成画像を一時的に記憶すべく、これを記憶部２に出力する。 In this embodiment, the captured image is shifted to the right by 600 sizes from the frame image, as shown in FIG. Although it is possible to shift by specifying the trimming amount collectively from the user, it may be shifted while displaying the composite image on a display unit (not shown) such as a display in real time. In this case, the user sequentially shifts while viewing the displayed image to determine the trimming amount. The trimming processing unit 3 counts the trimming amount with a built-in counter and outputs the generated composite image to the storage unit 2 in order to temporarily store the generated composite image.

図３は、エディタ４および画像処理部７の処理説明図である。まず、記憶部２に出力された合成画像は、トリミング処理部３によってカウントされたトリミング量（６００画素サイズ）とともに、ブランク領域判別部５へ入力され、ブランク領域が抽出される。同図（ａ）は、ブランク領域を示す図である。ブランク領域判別部５は、フレーム画像の枠（幅１００画素サイズ）で囲われた合成画像のうち、画素値を有さない領域を判定する。これにより、横方向に関しては、トリミング量６００画素から左縦枠の幅１００画素を差し引いた５００画素、縦方向に関しては、上下の横枠の幅１００×２画素を差し引いた１０００画像が算出され、５００×１０００画素サイズのブランク領域が抽出・出力される。 FIG. 3 is a process explanatory diagram of the editor 4 and the image processing unit 7. First, the composite image output to the storage unit 2 is input to the blank region determination unit 5 together with the trimming amount (600 pixel size) counted by the trimming processing unit 3, and a blank region is extracted. FIG. 4A shows a blank area. The blank area determination unit 5 determines an area having no pixel value in the composite image surrounded by the frame of the frame image (width of 100 pixels). Thereby, in the horizontal direction, 500 pixels obtained by subtracting the width 100 pixels of the left vertical frame from the trimming amount 600 pixels, and in the vertical direction 1000 images obtained by subtracting the width 100 × 2 pixels of the upper and lower horizontal frames are calculated. A blank area having a size of 500 × 1000 pixels is extracted and output.

つぎに、ブランク領域判別部５から出力されたブランク領域に、文字処理部６は、ブランク領域を文字のエディタ領域として、ユーザによって入力された文字列をブランク領域にレイアウトする。同図（ｂ）は、エディタ領域を示す図である。文字処理部６は、ブランク領域の一部または全部をエディタ領域として、ユーザが文字列を入力する。文字列は、ユーザから予め設定された文字列を指定することでも入力可能であるが、同図（ｂ）の状態をリアルタイムに、ディスプレイ等の表示部（図示せず）に表示しながら入力されてもよい。なお、本実施形態では、エディタ領域へ書き込むのは文字列であるが、本発明はこれに限らず、予め記憶部２に格納されている画像や、新たにイメージセンサ１から取り込まれた撮像画像などを書き込んでもよい。 Next, in the blank area output from the blank area discriminating unit 5, the character processing unit 6 lays out the character string input by the user in the blank area, with the blank area as the character editor area. FIG. 4B shows the editor area. In the character processing unit 6, the user inputs a character string using part or all of the blank area as an editor area. The character string can be input by designating a character string set in advance by the user. However, the character string is input while displaying the state shown in FIG. 5B on a display unit (not shown) such as a display in real time. May be. In this embodiment, a character string is written in the editor area. However, the present invention is not limited to this, and an image stored in advance in the storage unit 2 or a captured image newly captured from the image sensor 1 is used. Etc. may be written.

そして、画像処理部７は、文字処理部６から出力されたエディタ領域の文字列（エディタ領域）を文字画像に変換し、変換された文字画像を合成画像に重ね合わせた画像に合成することによって、文字情報付き合成画像を出力する。同図（ｃ）は、文字情報付き画像を示す図である、表示された文字情報付き画像は、そのままディスプレイへの表示や、記憶部２もしくは他の記憶媒体への記録、プリンタなどへの出力が行われる。 Then, the image processing unit 7 converts the character string (editor region) of the editor area output from the character processing unit 6 into a character image, and combines the converted character image with an image superimposed on the composite image. Then, a composite image with character information is output. FIG. 4C is a diagram showing an image with character information. The displayed image with character information is displayed on the display as it is, recorded on the storage unit 2 or another storage medium, or output to a printer or the like. Is done.

本実施形態によれば、撮像画像にフレーム画像を加えることによって合成画像に生じたブランク領域に、エディタ４で生成されたエディタ領域（文字画像）を加えている。これにより、撮像画像をより一層の演出効果を引き出たせた合成画像の生成することができ、画像のバリエーションを拡げ、より印象の強い画像を出力することができる。なお、本実施形態において、撮像画像・フレーム画像・合成画像は全て同じ記憶部２に格納されているが、本発明はこれに限らず、各画像は記憶部２とは別の記憶部に格納されもよい。 According to the present embodiment, the editor area (character image) generated by the editor 4 is added to the blank area generated in the composite image by adding the frame image to the captured image. As a result, a composite image in which a further effect of the captured image is drawn can be generated, image variations can be expanded, and an image with a stronger impression can be output. In this embodiment, the captured image, the frame image, and the composite image are all stored in the same storage unit 2, but the present invention is not limited to this, and each image is stored in a storage unit different from the storage unit 2. May be.

なお、上述した実施形態では、横方向へのトリミング時におけるエディタ領域の設定について説明したが、縦方向へのトリミング時についても同様である。また、本発明は、このような一次元的なトリミング（縦または横）のみならず、二次元的なトリミング（縦および横の双方）に対しても適用可能である。二次元なトリミング時におけるエディタ領域の形状としては、縦横のトリミング量を考慮したＬ字状、横のトリミング量のみを考慮した縦短冊状、縦のトリミング量のみを考慮した横短冊状等が考えられる。 In the above-described embodiment, the setting of the editor area at the time of trimming in the horizontal direction has been described, but the same applies to the trimming in the vertical direction. Further, the present invention is applicable not only to such one-dimensional trimming (vertical or horizontal) but also to two-dimensional trimming (both vertical and horizontal). As the shape of the editor area at the time of two-dimensional trimming, an L-shape considering vertical and horizontal trimming amounts, a vertical strip shape considering only horizontal trimming amount, a horizontal strip shape considering only vertical trimming amount, etc. are considered. It is done.

デジタルカメラの構成図Digital camera configuration diagram トリミング処理部の処理説明図Processing explanatory diagram of trimming processing unit エディタおよび画像処理部の処理説明図Processing explanatory diagram of editor and image processing unit

符号の説明Explanation of symbols

１イメージセンサ
２記憶部
３トリミング処理部
４エディタ
５ブランク領域判別部
６文字処理部
７画像処理部 DESCRIPTION OF SYMBOLS 1 Image sensor 2 Memory | storage part 3 Trimming processing part 4 Editor 5 Blank area | region discrimination | determination part 6 Character processing part 7 Image processing part

Claims

デジタルカメラにおいて、
光学系を介して入力した光学情報に基づいて、撮像画像を出力するイメージセンサと、
前記イメージセンサから出力された撮像画像と、前記撮像画像を装飾するための枠状のフレーム画像とを記憶する記憶部と、
ユーザの操作によって前記フレーム画像に対する前記撮像画像の相対位置をずらす場合、当該相対位置のずれをトリミング量としてカウントするとともに、前記フレーム画像と前記撮像画像とを重ね合わせることで生成した合成画像を前記記憶部に出力するトリミング処理部と、
前記合成画像に関して、前記トリミング処理部によってカウントされたトリミング量に基づいて、前記フレーム画像内に前記撮像画像が存在しないブランク領域を判別するブランク領域判別部と、
前記ブランク領域判別部によって判別されたブランク領域を文字のエディタ領域として、ユーザによって入力された文字列を前記ブランク領域にレイアウトする文字処理部と、
前記ブランク領域にレイアウトされた前記文字列を文字画像に変換するとともに、当該変換された文字画像を前記合成画像を重ね合わせた画像に合成することによって、文字情報付き合成画像を出力する画像処理部と
を有することを特徴とするデジタルカメラ。 In digital cameras,
An image sensor that outputs a captured image based on optical information input via the optical system;
A storage unit that stores the captured image output from the image sensor and a frame-like frame image for decorating the captured image;
When the relative position of the captured image with respect to the frame image is shifted by a user operation, the shift of the relative position is counted as a trimming amount, and a composite image generated by superimposing the frame image and the captured image is A trimming processing unit for outputting to the storage unit;
With respect to the composite image, based on the trimming amount counted by the trimming processing unit, a blank area determination unit that determines a blank area in which the captured image does not exist in the frame image;
A character processing unit that lays out a character string input by a user in the blank region, using the blank region determined by the blank region determination unit as a character editor region,
An image processing unit that converts the character string laid out in the blank area into a character image and outputs a combined image with character information by combining the converted character image with an image obtained by superimposing the combined image And a digital camera.