JP5012668B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5012668B2 JP5012668B2 JP2008143325A JP2008143325A JP5012668B2 JP 5012668 B2 JP5012668 B2 JP 5012668B2 JP 2008143325 A JP2008143325 A JP 2008143325A JP 2008143325 A JP2008143325 A JP 2008143325A JP 5012668 B2 JP5012668 B2 JP 5012668B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- frame
- transmittance
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
撮影画像などの合成対象画像に合成用画像を合成して合成画像を生成する画像処理方法が知られている。合成用画像は、画像(色)成分および透過率成分からなる画像としてメモリなどに記憶されている。ここで、画像成分は、合成対象画像を装飾するための背景画像、フレーム画像などを表し、透過率成分は、合成対象画像に重畳される合成用画像の透過率を表している。合成画像において、合成用画像のうち透過率の高い画素では、合成対象画像の対応する画素が優先して表示され、透過率の低い画素では、合成用画像の画像成分が優先して表示される。 There is known an image processing method for generating a composite image by combining a composite image with a target image such as a photographed image. The composition image is stored in a memory or the like as an image composed of an image (color) component and a transmittance component. Here, the image component represents a background image, a frame image, or the like for decorating the composition target image, and the transmittance component represents the transmittance of the composition image superimposed on the composition target image. In a composite image, a pixel having a high transmittance in the composite image is preferentially displayed with a corresponding pixel of the synthesis target image, and a pixel with a low transmittance is preferentially displayed with an image component of the composite image. .
下記特許文献1には、合成用画像のフォーマットとして、3チャンネルの画像成分を圧縮形式で記録する画像領域と、1チャンネルの透過率成分および2チャンネルの擬似成分を画像成分と同一の圧縮形式およびデータ構造で記録する透過率領域を有する画像フォーマットが記載されている。 In the following Patent Document 1, as an image format for synthesis, an image area for recording a 3-channel image component in a compressed format, a transmission component for 1 channel, and a pseudo component for 2 channel in the same compression format as the image component and An image format having a transmittance area to be recorded in a data structure is described.
しかし、特許文献1に記載の画像フォーマットでは、合成用画像は、画像成分、および画像成分と同一の画素数からなる透過率成分として圧縮形式で記録されている。このため、透過率成分を含む合成用画像の圧縮効率を向上できないという問題がある。特に、合成画像として印刷用画像を生成する場合など、多くの画素数からなる合成用画像を用いる場合には、合成用画像を記録または記憶するために多くの容量が必要となるという問題がある。 However, in the image format described in Patent Document 1, the composition image is recorded in a compressed format as an image component and a transmittance component having the same number of pixels as the image component. For this reason, there is a problem that the compression efficiency of the composition image including the transmittance component cannot be improved. In particular, when a composite image having a large number of pixels is used, such as when generating a print image as a composite image, there is a problem that a large capacity is required to record or store the composite image. .
本発明は上記問題点に鑑みてなされたものであり、その目的は、透過率成分を含む合成用画像を効率的に処理可能な、新規かつ改良された、画像処理装置、画像処理方法、およびプログラムを提供することにある。 The present invention has been made in view of the above-described problems, and has as its object to provide a new and improved image processing apparatus, image processing method, and image processing apparatus that can efficiently process a composition image including a transmittance component. To provide a program.
上記課題を解決するために、本発明の第1の観点によれば、画像成分および透過率成分から構成される合成用画像を合成対象画像に合成するための画像処理装置が提供される。画像処理装置は、画像成分を記憶する画像成分記憶部と、画像成分より少ない画素数からなる非可逆圧縮された透過率成分を記憶する透過率成分記憶部と、非可逆圧縮された透過率成分を伸張する伸張処理部と、伸張された透過率成分の画素数を増加させて、拡大された透過率成分に変換する画素数変換部と、を備える。 In order to solve the above problems, according to a first aspect of the present invention, there is provided an image processing apparatus for synthesizing a synthesis image composed of an image component and a transmittance component into a synthesis target image. The image processing apparatus includes an image component storage unit that stores image components, a transmittance component storage unit that stores irreversibly compressed transmittance components having a smaller number of pixels than the image components, and an irreversibly compressed transmittance component. And a pixel number conversion unit that increases the number of pixels of the expanded transmittance component and converts it to an expanded transmittance component.
かかる構成によれば、画像成分より少ない画素数からなる非可逆圧縮された透過率成分が伸張されて拡大される。そして、拡大された画像成分および透過率成分から構成される合成用画像が合成対象画像に合成される。一般に、高い圧縮率で非可逆圧縮された画像を伸張した場合には、画像の高周波成分でノイズが生じるので、透過率が急変する部分の画像を適切に再現することができない。このため、透過率成分の画素数を少なくしても、再現される急変部分の画像に対しては顕著な影響が及ばず、画素数を少なくしたことによるスケールメリットだけが残ることになる。よって、非可逆圧縮された透過率成分を記憶するための記憶容量を大幅に低減することができる。 According to this configuration, the lossy-compressed transmittance component having a smaller number of pixels than the image component is expanded and expanded. Then, an image for synthesis composed of the enlarged image component and transmittance component is synthesized with the synthesis target image. In general, when an image that has been irreversibly compressed at a high compression rate is expanded, noise is generated in the high-frequency component of the image, so that the image of the portion where the transmittance changes suddenly cannot be reproduced properly. For this reason, even if the number of pixels of the transmittance component is reduced, there is no significant effect on the reproduced image of the sudden change portion, and only the merit of scale due to the reduction of the number of pixels remains. Therefore, the storage capacity for storing the irreversibly compressed transmittance component can be greatly reduced.
また、上記画像処理装置は、合成対象画像を記憶する合成対象画像記憶部と、画像成分および拡大された透過率成分から合成用画像を生成する合成用画像生成部と、合成対象画像および合成用画像から表示用画像を生成する表示用画像生成部と、表示用画像を表示する画像表示部と、をさらに備えてもよい。これにより、拡大された透過率成分を含む合成用画像および合成対象画像から表示用画像を効率的に生成して表示することができる。 In addition, the image processing apparatus includes a synthesis target image storage unit that stores a synthesis target image, a synthesis image generation unit that generates a synthesis image from the image component and the enlarged transmittance component, a synthesis target image, and a synthesis target image. You may further provide the display image production | generation part which produces | generates the image for a display from an image, and the image display part which displays the image for a display. Thereby, it is possible to efficiently generate and display a display image from the synthesis image including the enlarged transmittance component and the synthesis target image.
また、上記透過率成分記憶部は、複数の透過率成分を記憶し、合成用画像生成部は、画像成分、および複数の透過率成分から選択される透過率成分であって拡大変換された透過率成分から合成用画像を生成してもよい。これにより、透過率成分の選択に応じて、選択されて拡大変換された透過率成分を含む合成用画像、および合成対象画像から表示用画像を効率的に生成して表示することができる。 The transmittance component storage unit stores a plurality of transmittance components, and the composition image generation unit is a transmission component selected from the image components and the plurality of transmittance components, and is enlarged and converted. An image for synthesis may be generated from the rate component. Accordingly, in accordance with the selection of the transmittance component, it is possible to efficiently generate and display a synthesis image including the selected and enlarged-converted transmittance component and a display target image from the synthesis target image.
また、上記画素数変換部は、表示用の画素数に応じて合成用画像および/または合成対象画像の画素数を増加または減少させて、拡大または縮小された合成用画像および/または合成対象画像に変換し、表示用画像生成部は、拡大または縮小された合成用画像および/または合成対象画像から表示用画像を生成し、画像表示部は、表示用画像を表示してもよい。これにより、拡大された透過率成分を含む合成用画像および合成対象画像から、表示用の画素数に応じて拡大または縮小された表示用画像を効率的に生成して表示することができる。 Further, the pixel number conversion unit increases or decreases the number of pixels of the compositing image and / or the compositing target image according to the number of display pixels, and enlarges or reduces the compositing image and / or compositing target image. The display image generation unit may generate a display image from the enlarged or reduced synthesis image and / or the synthesis target image, and the image display unit may display the display image. Accordingly, it is possible to efficiently generate and display a display image enlarged or reduced according to the number of display pixels from the synthesis image including the enlarged transmittance component and the synthesis target image.
また、上記画素数変換部は、画像成分の画素数を増加させて、拡大された画像成分に変換し、合成用画像生成部は、拡大された画像成分および拡大された透過率成分から合成用画像を生成してもよい。これにより、拡大された透過率成分および拡大された画像成分を含む合成用画像、および合成対象画像から表示用画像を効率的に生成して表示することができる。 In addition, the pixel number conversion unit increases the number of pixels of the image component and converts it into an enlarged image component, and the composition image generation unit performs composition from the enlarged image component and the enlarged transmittance component. An image may be generated. Thereby, it is possible to efficiently generate and display a display image from the compositing image including the magnified transmittance component and the magnified image component, and the compositing target image.
また、上記画像処理装置は、編集用画像を記憶する編集用画像記憶部をさらに備え、表示用画像生成部は、合成対象画像、合成用画像、および編集用画像から表示用画像を生成してもよい。これにより、拡大された透過率成分を含む合成用画像、合成対象画像、および編集用画像から表示用画像を効率的に生成して表示することができる。 The image processing apparatus further includes an editing image storage unit that stores the editing image, and the display image generation unit generates a display image from the synthesis target image, the synthesis image, and the editing image. Also good. Thereby, it is possible to efficiently generate and display a display image from the image for synthesis including the enlarged transmittance component, the image to be synthesized, and the image for editing.
また、上記画像処理装置は、合成対象画像を記憶する合成対象画像記憶部と、画像成分、拡大された透過率成分、および合成対象画像から合成画像を生成する合成画像生成部と、合成画像を記憶する合成画像記憶部と、をさらに備えてもよい。これにより、拡大された透過率成分を含む合成用画像および合成対象画像から合成画像を効率的に生成して記憶することができる。 In addition, the image processing apparatus includes a synthesis target image storage unit that stores a synthesis target image, a composite image generation unit that generates a composite image from the image component, the enlarged transmittance component, and the synthesis target image, and a composite image. And a composite image storage unit for storing. As a result, a composite image can be efficiently generated and stored from the compositing image and the compositing target image including the enlarged transmittance component.
また、上記透過率成分記憶部は、複数の透過率成分を記憶し、合成画像生成部は、画像成分、複数の透過率成分から選択される透過率成分であって拡大変換された透過率成分、および合成対象画像から合成画像を生成してもよい。透過率成分の選択に応じて、選択されて拡大変換された透過率成分を含む合成用画像、および合成対象画像から合成画像を効率的に生成して記憶することができる。 In addition, the transmittance component storage unit stores a plurality of transmittance components, and the composite image generation unit is a transmittance component selected from the image components and the plurality of transmittance components, and has been subjected to enlargement conversion. A synthesized image may be generated from the synthesis target image. According to the selection of the transmittance component, it is possible to efficiently generate and store a synthesized image from the synthesis image including the selected and enlarged-converted transmittance component and the synthesis target image.
また、上記合成対象画像記憶部は、複数の合成対象画像を記憶し、合成用画像生成部は、画像成分および拡大された透過率成分から合成用画像を生成し、合成画像生成部は、各合成対象画像に合成用画像を合成した複数の合成画像を生成し、合成画像記憶部は、複数の合成画像を記憶してもよい。これにより、拡大された透過率成分を含む合成用画像および複数の合成対象画像から、同一の合成用画像を合成された複数の合成画像を効率的に生成して記憶することができる。 Further, the synthesis target image storage unit stores a plurality of synthesis target images, the synthesis image generation unit generates a synthesis image from the image component and the enlarged transmittance component, and the synthesis image generation unit A plurality of synthesized images obtained by synthesizing the synthesis image with the synthesis target image may be generated, and the synthesized image storage unit may store the plurality of synthesized images. Accordingly, a plurality of synthesized images obtained by synthesizing the same synthesis image can be efficiently generated and stored from the synthesis image including the enlarged transmittance component and the plurality of synthesis target images.
また、上記画素数変換部は、画像成分の画素数を増加させて、拡大された画像成分に変換し、合成画像生成部は、拡大された画像成分、拡大された透過率成分、および合成対象画像から合成画像を生成してもよい。これにより、拡大された透過率成分および拡大された画像成分を含む合成用画像、および合成対象画像から合成画像を効率的に生成して記憶することができる。 Further, the pixel number conversion unit increases the number of pixels of the image component and converts it into an enlarged image component, and the composite image generation unit converts the enlarged image component, the enlarged transmittance component, and the composition target A composite image may be generated from the image. As a result, a synthesized image can be efficiently generated and stored from the synthesis image including the enlarged transmittance component and the enlarged image component, and the synthesis target image.
また、上記画像処理装置は、編集用画像を記憶する編集用画像記憶部をさらに備え、合成画像生成部は、画像成分、拡大された透過率成分、合成対象画像、および編集用画像から合成画像を生成してもよい。これにより、拡大された透過率成分を含む合成用画像、合成対象画像、および編集用画像から合成画像を効率的に生成して記憶することができる。 The image processing apparatus further includes an editing image storage unit that stores an editing image, and the composite image generation unit generates a composite image from the image component, the enlarged transmittance component, the composition target image, and the editing image. May be generated. Thereby, a synthesized image can be efficiently generated and stored from the image for synthesis including the enlarged transmittance component, the image to be synthesized, and the image for editing.
上記課題を解決するために、本発明の第2の観点によれば、画像成分および透過率成分から構成される合成用画像を合成対象画像に合成するための画像処理方法が提供される。画像処理方法は、画像成分より少ない画素数からなる非可逆圧縮された透過率成分を伸張する伸張処理ステップと、伸張された透過率成分の画素数を増加させて、拡大された透過率成分に変換する画素数変換ステップと、を含む。これにより、非可逆圧縮された透過率成分を記憶するための記憶容量を大幅に低減することができる。 In order to solve the above problems, according to a second aspect of the present invention, there is provided an image processing method for synthesizing a synthesis image composed of an image component and a transmittance component with a synthesis target image. The image processing method includes an expansion processing step for expanding a lossy-compressed transmittance component having a smaller number of pixels than an image component, and increasing the number of pixels of the expanded transmittance component to obtain an expanded transmittance component. Converting the number of pixels to be converted. Thereby, the storage capacity for storing the irreversibly compressed transmittance component can be greatly reduced.
上記課題を解決するために、本発明の第3の観点によれば、本発明の第2の観点に係る画像処理方法をコンピュータに実行させるプログラムが提供される。 In order to solve the above problems, according to a third aspect of the present invention, there is provided a program for causing a computer to execute the image processing method according to the second aspect of the present invention.
本発明によれば、透過率成分を含む合成用画像を効率的に処理可能な、画像処理装置、画像処理方法、およびプログラムを提供することができる。 According to the present invention, it is possible to provide an image processing apparatus, an image processing method, and a program capable of efficiently processing a synthesis image including a transmittance component.
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
(画像処理装置の構成)
図1は、本発明の一実施形態に係る画像処理装置を示すブロック図である。画像処理装置は、後述する画像処理方法を実行可能な、スチルカメラ、ビデオカメラなどの撮像装置として構成される。図1に示すように、画像処理装置は、入力部102、表示部(画像表示部)104、撮像部106、制御部108、圧縮伸張部110(伸張処理部)、画素数変換部112、表示用画像生成部114、記憶部120、各構成要素を接続するバス116を含んで構成される。
(Configuration of image processing apparatus)
FIG. 1 is a block diagram showing an image processing apparatus according to an embodiment of the present invention. The image processing apparatus is configured as an imaging apparatus such as a still camera or a video camera that can execute an image processing method described later. As shown in FIG. 1, the image processing apparatus includes an
入力部102および表示部104は、例えば、タッチパネル機能を有する液晶表示装置として構成される。撮像部106は、CCDなどの撮像素子からなり、図示されていないレンズから受光した被写体光を画像信号に変換する。制御部108は、CPU、制御回路、他の組み換え可能なハードウェアからなり、画像処理装置全体を制御する。制御部108は、合成用画像生成部および合成画像生成部として機能する。圧縮伸張部110は、後述する画像処理方法による処理の対象となる画像に例えばJPEG形式などによる圧縮伸張処理を施し、画素数変換部112は、処理の対象となる画像に画素数(解像度)変換処理を施す。表示用画像生成部114は、後述する記憶部120の表示用画像領域A121に格納されている、透過率成分204を含む合成用画像(選択的に編集用画像を合成されている。)を、表示用画像領域B122に格納されている撮影画像206に対して、透過率成分204に含まれる合成用画像の透過率情報に応じて透過合成し、表示用画像として表示部104に供給する。なお、圧縮伸張部110および/または画素数変換部112は、処理回路として構成されてもよく、CPUとして構成されてもよい。
The
記憶部120は、RAM、ROMなどからなり、表示用画像領域A121、表示用画像領域B122、編集用画像領域123、撮影画像用領域124、画像(色)成分用領域125、透過率成分用領域126、作業用領域127、合成画像用領域128を含んで構成される。なお、撮影画像用領域124、画像成分用領域125、透過率成分用領域126、および合成画像用領域128は、例えば、リムーバブルメモリ、ハードディスク装置など、画像処理装置に接続可能な外部の記憶装置または記録装置に設けられてもよい。
The
記憶部120は、透過率情報を含む表示用画像を表示用画像領域A121に記憶し、表示用画像領域A121に記憶されている表示用画像に合成されて表示される表示用画像を表示用画像領域B122に記憶し、後述する編集機能に際して用いられる画像を編集用画像領域(編集用画像記憶部)123に記憶している。
The
記憶部120は、画像処理の対象となる撮影画像206を撮影画像用領域(撮影画像記憶部)124に記憶し、撮影画像206に合成される合成用画像を構成する画像成分202および透過率成分204を、画像成分用領域(画像成分記憶部)125および透過率成分用領域(透過率成分記憶部)126に各々に記憶している。撮影画像206は、画像処理装置としての撮像装置自体により撮影された画像でもよく、他の撮像装置から入力された画像でもよい。画像成分202および透過率成分204からなる合成用画像は、画像処理装置に予め記憶されている画像、またはユーザにより追加的に登録/記憶される画像である。撮影画像206、合成用画像を構成する画像成分202および透過率成分204は、例えばJPEG形式で非可逆圧縮されて記憶されている。なお、以下では、画像処理の対象となる画像がJPEG形式で非可逆圧縮される場合について説明するが、例えばJPEG2000など、他の形式で非可逆圧縮されてもよい。
The
作業用領域127では、後述する画像処理方法の実行に際して、制御部108により、処理の内容に応じて格納領域が確保または解放される。合成画像用領域128は、撮影画像206に合成用画像を合成して生成された合成画像208をJPEG形式で記憶している。
In the
(単一の撮影画像に合成用画像を合成する場合)
図2は、単一の撮影画像に合成用画像を合成する場合に処理の対象となる画像の一例を示す説明図である。図2には、合成用画像を構成する画像成分202および透過率成分204、合成対象画像としての撮影画像206、および合成画像208が示されている。
(When compositing an image for composition on a single shot image)
FIG. 2 is an explanatory diagram illustrating an example of an image to be processed when a composition image is combined with a single captured image. FIG. 2 shows an
画像処理装置では、画像成分202および透過率成分204から合成用画像が生成され、撮影画像206に合成されて表示され、合成画像208が生成される。画像成分202は、例えば3Mサイズ(2048×1538画素)などの画像として、透過率成分204は、例えばVGAサイズ(640×480画素)など、画像成分202よりも少ない画素数の画像として、JPEG形式で記憶部120に記憶されている。撮影画像206は、任意のサイズの画像として記憶部120にJPEG形式で記憶されている。
In the image processing apparatus, an image for synthesis is generated from the
画像成分202は、R/G/B、Y/Cb/Crなどの3チャンネルの濃度情報で構成され、濃度情報は、画素毎に3つの階調値からなる。画素毎の各階調値は、例えば8ビットで表され、この場合に画像成分202は、画素当り24ビットで表される。
The
一方、透過率成分204は、1チャンネルの透過率情報で構成され、透過率情報は、画素毎に1つの階調値からなる。画素毎の各階調値は、例えば8ビットで表され、この場合に例えば階調値0を透明(図2中で白い部分の領域に相当する。)、階調値255を不透明(図2中で黒い部分の領域に相当する。)、階調値1〜254を段階的に透過率が変化する半透明として定義する。透過率成分は、1チャンネルの透過率情報、および2チャンネルの擬似情報からなる3チャンネルの情報として記憶される。なお、擬似情報は、画像処理に用いられない情報であり、画像情報を低減するためにエントロピーが0となるように設定されてもよい。
On the other hand, the
透過率成分204は、撮影画像206に画像成分202を重畳して画像を形成する際に、重畳される画像成分202の画素と撮影画像206の画素との間の重み付けを規定する。なお、撮影画像206は、重畳される画像成分202と同一の画素数を有してもよく、重畳される画像成分202と異なる画素数を有してもよい。また、撮影画像206に画像成分202を含む合成用画像を重畳する際には、合成用画像に対する撮影画像206の配置が決定される。
The
撮影画像206に画像成分202を重畳した場合に、透過率成分204が透明を表す画素では、撮影画像206の対応する画素が優先して表示され、透過率成分204が不透明を表す画素では、画像成分202の対応する画素が優先して表示される。また、透過率成分204が半透明を表す画素では、合成用画像の透過率情報に応じて、画像成分202および撮影画像206の対応する画素が重畳されて表示される。
When the
R/G/B形式の画像成分202をJPEG形式で非可逆圧縮する場合には、画像成分202に対して、R/G/B色空間からY/Cb/Cr色空間への色変換処理を施し、ブロック化、DCT(離散コサイン変換)符号化、量子化、エントロピー符号化などの公知の処理を施すことで、画像成分202をJPEG化する。つまり、画像成分202の非可逆圧縮では、R/G/Bの3チャンネルの情報がY/Cb/Crの3チャンネルの情報に変換される。同様に、透過率成分204をJPEG形式で非可逆圧縮する場合には、1チャンネルの透過率情報をYチャンネルの情報に割当て、2チャンネルの擬似情報をCb、Crチャンネルの情報に割当てて変換処理を施した上で、他の処理を施すことで、透過率成分204をJPEG化する。つまり、透過率成分204の非可逆圧縮では、2チャンネルの擬似情報と併せて1チャンネルの透過率情報がY/Cb/Crの3チャンネルの情報に変換される。
When the
図3および図4は、合成用画像を構成する画像成分202および透過率成分204のデータ構成を例示する説明図である。
FIG. 3 and FIG. 4 are explanatory diagrams illustrating the data configuration of the
図3に示すデータ構成では、画像成分202は、JFIFフォーマットからなる第1のファイル152内の圧縮データ領域に3チャンネル(Y/Cb/Cr)のJPEG形式で格納される。また、透過率成分204は、JFIFフォーマットの第2のファイル内154の圧縮データ領域に、3チャンネル(1チャンネルの透過率情報および2チャンネルの擬似情報)のJPEG形式で格納される。これにより、画像成分202および透過率成分204を2つのファイル152、154として構成することで、各ファイル152、154が完全な汎用フォーマットとなり、画像処理速度を向上させることができる。なお、透過率成分204は、画像成分202と同様に通常の3チャンネルのJPEG圧縮データとして復号される。
In the data configuration shown in FIG. 3, the
図4に示すデータ構成では、画像成分202は、図3に示した場合と同様に、JFIFフォーマットからなるファイル156内の圧縮データ領域に3チャンネルのJPEG形式で格納される。また、透過率成分204は、画像成分202と同一のファイル156内に3チャンネルのJPEG形式のデータ158として格納される。透過率成分204は、JFIFフォーマットのファイル156に含まれるAPP1領域に対して、サムネイル画像の圧縮データを格納する場合と同様にして格納される。これにより、画像成分202および透過率成分204を1つのファイルとして構成することで、データの可搬性を向上させることができる。なお、透過率成分204は、APP1領域から切り出されることで、画像成分202と同様に通常の3チャンネルのJPEG圧縮データとして復号される。
In the data configuration shown in FIG. 4, the
ここで、本実施形態に係る画像処理装置では、透過率成分204が画像成分202よりも少ない画素数の画像として、JPEG形式で非可逆圧縮されて記憶されている。非可逆圧縮では、色の変化および画像の高周波成分(濃度情報の急変部に相当する。)に対して人間の目が鈍感であるという性質を利用して、視認され難い画像情報を低減することで、高い圧縮率を実現することができる。
Here, in the image processing apparatus according to the present embodiment, the
ところで、透過率成分204は、合成用画像の透過率を定義する画像情報であるので、画像成分202に比して視認され難い。一般に、高い圧縮率で非可逆圧縮された画像を伸張した場合には、画像の高周波成分でノイズが生じるので、画像成分202の画素数と同程度の画素数からなる透過率成分204を用いても、透過率が急変する部分の画像を適切に再現することができない。このため、透過率成分204の画素数を少なくしても、再現される急変部分の画像に対しては顕著な影響が及ばず、画素数を少なくしたことによるスケールメリットだけが残ることになる。また、画素数を少なくすると、透過率が急変する部分を表す画素の密度が小さくなり透過率が平均化されるので、隣接画素間における透過率の差が小さくなり、画像の高周波成分が削減される。よって、非可逆圧縮された透過率成分204を記憶するための記憶容量を大幅に低減することができる。
By the way, the
(画像処理装置による処理フロー)
図5は、画像処理装置による処理の流れを示すフロー図である。画像処理装置では、合成表示処理、および合成画像(逐次、一括)生成処理が行われる。合成表示処理(ステップS102)では、ユーザにより選択された1つの撮影画像206に対して、ユーザにより選択される合成用画像(画像成分202および透過率成分204)が合成されて表示され、合成用画像の選択(S104)に応じて合成されて表示される画像が切替えられる。合成画像(逐次)生成処理(S106)では、合成表示処理により表示されている画像に相当する1つの合成画像208が生成されて記憶される(S108)。合成画像(一括)生成処理(S110)では、ユーザにより選択された複数の撮影画像206に対して、合成表示処理により選択された1つの合成用画像が合成されて、同一の合成用画像が合成された複数の合成画像208が生成されて記憶される(S112)。
(Processing flow by image processing device)
FIG. 5 is a flowchart showing the flow of processing by the image processing apparatus. In the image processing apparatus, composite display processing and composite image (sequential and batch) generation processing are performed. In the composite display process (step S102), the composite image (the
(合成表示処理)
図6は、合成表示処理時における操作画面を示す説明図である。表示部104の中央領域には、撮影画像206に合成用画像(画像成分202および透過率成分204)が合成されて画像210として表示されている。また、表示部104の側方領域には、操作ボタン「前」172、「次」174、「逐次合成」176、「一括合成」178が表示されている。
(Composite display processing)
FIG. 6 is an explanatory diagram showing an operation screen during the composite display process. In the central area of the
操作ボタン「前」172、「次」174は、合成用画像の選択に際して操作される。操作ボタン「逐次合成」176、「一括合成」178は、後述する合成画像生成処理の実行に際して操作される。操作ボタン「前」172、「次」174が表示されている領域がユーザの指300などで触れられると、現在選択されている合成用画像と異なる合成用画像を構成する画像成分202および透過率成分204が画像成分用領域125および透過率成分用領域126から各々に読み出され、後述する処理を施され、現在選択されている合成用画像の代わりに撮影画像206に合成されて表示される。
The operation buttons “Previous” 172 and “Next” 174 are operated when selecting a composition image. The operation buttons “sequential composition” 176 and “collective composition” 178 are operated when executing a composite image generation process to be described later. When the area where the operation buttons “Previous” 172 and “Next” 174 are displayed is touched with the user's
図7は、合成表示処理における処理の流れを示すフロー図である。以下では、操作ボタン「前」172、「次」174の操作により合成用画像が選択されてから、合成された画像210が表示されるまでの処理を説明する。
FIG. 7 is a flowchart showing the flow of processing in the composite display processing. In the following, a process from when a compositing image is selected by operating the operation buttons “Previous” 172 and “Next” 174 to when the composited
撮影画像206について、まず、制御部108は、JPEG圧縮された撮影画像206(画像1)を撮影画像用領域124から読出す(S202)。次に、制御部108は、撮影画像206(画像1)をY/Cb/Cr画像に変換するために、圧縮伸張部110により伸張処理し、処理後の画像(画像2)を作業用領域127に格納する(S204)。そして、制御部108は、Y/Cb/Cr画像(画像2)を表示部104に表示するために、合成用画像毎に定義されている合成用サイズに応じて画素数変換部112により画素数変換処理する(S206)。なお、図6は、合成用サイズが合成用画像よりも小さなサイズとして定義されている場合を示すが、合成用サイズは、合成用画像と同一のサイズ(例えば3Mサイズ)として定義されてもよい。制御部108は、図6に示した画像210のように、処理後の画像(画像3)に対して、必要に応じて回転処理を施してもよい。そして、制御部108は、合成用画像に対する撮影画像206の配置に応じて、処理後の画像(画像3)を表示用画像領域B122内の所定の領域に格納する(S208)。なお、制御部108は、作業用領域127に対して、処理S202では画像1の格納領域を確保した上で画像1を格納し、処理S204では画像1の格納領域を解放して画像2を格納し、処理S208の処理後に画像2の格納領域を解放する。
For the captured
透過率成分204について、まず、制御部108は、VGAサイズのJPEG圧縮された透過率成分204(画像4)を透過率成分用領域126から読出す(S210)。次に、制御部108は、透過率成分204(画像4)をY/Cb/Cr画像に変換するために、圧縮伸張部110により伸張処理し、処理後の画像(画像5)を作業用領域127に格納する(S212)。ここで、透過率成分204の変換に際しては、透過率成分204の透過率情報がYチャンネルに代入されるが、2チャンネルの擬似情報は利用されない。そして、制御部108は、VGAサイズの透過率成分(画像5)を3Mサイズに変換するために、画素数変換部112により画素数変換処理し、処理後の画像(画像6)を作業用領域127に格納する(S214)。なお、制御部108は、作業用領域127に対して、処理S210では画像4の格納領域を確保した上で画像4を格納し、処理S212では画像4の格納領域を解放して画像5を格納し、処理S214では画像5の格納領域を解放して画像6を格納する。
For the
画像成分202について、まず、制御部108は、3MサイズのJPEG圧縮された画像成分202(画像7)を画像成分用領域125から読出す(S216)。次に、制御部108は、画像成分(画像7)をY/Cb/Cr画像に変換するために、圧縮伸張部110により伸張処理し、処理後の画像(画像8)を作業用領域127に格納する(S217)。なお、制御部108は、作業用領域127に対して、処理S216では画像7の格納領域を確保した上で画像7を格納し、処理S217では画像7の格納領域を解放して画像8を格納する。
For the
処理後の画像成分202および透過率成分204について、まず、制御部108は、透過率成分204(画像6)および画像成分202(画像8)を組合せて合成用画像(画像9)を生成し、作業用領域127に格納する(S220)。ここで、合成用画像は、例えばRGBα形式など、透過率情報を含む表示用画像として生成される。次に、制御部108は、合成用画像(画像9)を表示部104に表示するために、表示用サイズに応じて画素数変換部112により画素数変換処理し(S222)、処理後の画像(画像10)を表示用画像領域A121に格納する(S224)。なお、制御部108は、作業用領域127に対して、処理S220では画像6および画像8の格納領域を解放して画像9を格納し、処理S224の処理後に画像9の格納領域を解放する。そして、制御部108は、撮影画像206に合成用画像を合成して表示するために、表示用画像領域A121に格納されている合成用画像(画像10)、および表示用画像領域B122に格納されている撮影画像206(画像3)から表示用画像生成部114により表示用画像を生成し、表示部104に表示する(S226)。
For the
これにより、拡大された透過率成分204を含む合成用画像および撮影画像206から表示用画像を効率的に生成して表示することができる。
As a result, a display image can be efficiently generated and displayed from the composition image and the captured
なお、処理S214でVGAサイズの透過率成分204(画像5)を、3Mサイズの代わりに表示用サイズに変換し、処理S218で処理後の画像(画像8)を表示用サイズに変換してもよい。これにより、合成用画像(画像9)を表示用サイズに変換するための処理S222を省略することができる。 Note that the transmission component 204 (image 5) of the VGA size is converted into the display size instead of the 3M size in the process S214, and the processed image (image 8) is converted into the display size in the process S218. Good. Thereby, the process S222 for converting the composition image (image 9) into the display size can be omitted.
また、例えば1Mサイズ(1024×769画素)など3Mサイズよりも小さなサイズ(画素数が少ない)の画像として、画像成分202を画像成分用領域125に記憶してもよい。この場合、処理S216で画像成分(画像7’)を画像成分用領域125から読出し、処理S217でY/Cb/Cr画像(画像8)に伸張処理し、処理S214と同様に3Mサイズに画素数変換処理し、処理後の画像(画像8’)として作業用領域に格納にする。そして、処理S220では、透過率成分204(画像6)および画像成分202(画像8’)を組合せて合成用画像(画像9)を生成する。これにより、画像成分の精細度が低下するが、画像成分用領域125に確保すべき記憶容量を抑制することができる。
Further, the
(合成画像生成処理)
図8は、合成画像生成処理時における操作画面を示す説明図である。なお、操作画面の説明については、図6の場合と同様であるので省略する。ここで、操作ボタン「逐次合成」176、「一括合成」178が操作されると、後述する合成画像(逐次)生成処理、合成画像(一括)生成処理が各々に実行される。
(Composite image generation processing)
FIG. 8 is an explanatory diagram showing an operation screen during the composite image generation process. The description of the operation screen is the same as in the case of FIG. Here, when the operation buttons “sequential composition” 176 and “collective composition” 178 are operated, a composite image (sequential) generation process and a composite image (collective) generation process described later are respectively performed.
図9は、合成画像生成処理における処理の流れを示すフロー図である。以下では、合成表示処理された画像210が表示されている状態で操作ボタン「逐次合成」176が操作されてから、表示されている画像に相当する合成画像208が生成されるまでの合成画像(逐次)生成処理について説明した上で、合成画像(一括)合成処理について説明する。
FIG. 9 is a flowchart showing the flow of processing in the composite image generation processing. In the following, a composite image (from when the operation button “sequential composite” 176 is operated in a state where the composite display-processed
合成画像(逐次)生成処理では、撮影画像206、合成用画像を構成する透過率成分204および画像成分202の各々について、制御部108は、図7に示した合成表示処理の処理S202〜S206、処理S210〜S214、処理S216〜S218と同様に、処理S232〜S236、処理S238〜S242、処理S244〜S246を行う。なお、撮影画像206について、制御部108は、処理S206に相当する処理S236では、合成用画像毎に定義されている合成用サイズに応じて画素数変換された画像(画像3に相当する画像3’)を作業用領域127に格納する。
In the composite image (sequential) generation process, for each of the captured
処理後の撮影画像206、画像成分202および透過率成分204について、まず、制御部108は、透過率成分204(画像6)に含まれる合成用画像の透過率情報に基づいて、撮影画像206(画像3’)および画像成分202(画像8)を組合せて合成画像208(画像11)を生成し、作業用領域127に格納する(S248)。ここで、撮影画像206は、合成用画像に対する撮影画像206の配置に応じて、画像成分202と合成される。また、合成画像208は、例えばY/Cb/Cr形式など、JPEG形式で圧縮される画像として生成される。合成画像208の生成に際しては、透過率成分204に含まれる合成用画像の透過率情報に従い、Y/Cb/Cr形式の画像成分202およびY/Cb/Cr形式の撮影画像206が透過合成される。次に、制御部108は、合成画像208を記憶するために、圧縮伸張部110によりJPEG圧縮処理し、処理後の画像(画像12)を合成画像用領域128に格納する(S250)。なお、制御部108は、作業用領域127に対して、処理S248では画像3’、6、8の格納領域を解放して画像11を格納し、処理S250の処理後に画像11の格納領域を解放する。
Regarding the photographed
これにより、合成画像(逐次)生成処理では、合成表示処理された画像210に相当する合成画像208が生成されて記憶される。よって、拡大された透過率成分204を含む合成用画像および撮影画像206から合成画像208を効率的に生成して記憶することができる。
Thereby, in the composite image (sequential) generation process, a
なお、3Mサイズの合成画像208を生成する場合には、処理S236で処理後の撮影画像206(画像2)を3Mサイズの代わりに3Mサイズよりも小さなサイズ(画素数が少ない)の画像に変換し、3Mサイズの画像と変換後の画像との差分領域にダミー画素を付加してもよい。これにより、3Mサイズの画像の一部に撮影画像206が埋め込まれた合成画像208が作成可能となり、合成画像208のデザイン性を高めることができる。
When generating the 3M size
また、処理S242で透過率成分204(画像5)を3Mサイズの変わりに3Mサイズよりも小さなサイズ(画素数が少ない)の画像に変換し、3Mサイズの画像と変換後の画像との差分領域に透明または不透明の画素を付加してもよい。これにより、3Mサイズの画像の一部に透過率成分204が埋め込まれた合成画像208が作成可能となり、透過率成分用領域126に確保すべき記憶容量を抑制することができる。
In step S242, the transmittance component 204 (image 5) is converted to an image having a size smaller than the 3M size (the number of pixels is small) instead of the 3M size, and a difference area between the 3M size image and the converted image Transparent or opaque pixels may be added to the. This makes it possible to create a
また、例えば1Mサイズ(1024×769画素)など3Mサイズよりも小さなサイズ(画素数が少ない)の画像として、画像成分202を画像成分用領域125に記憶してもよい。この場合、処理S244で画像成分(画像7’)を画像成分用領域125から読出し、処理S246でY/Cb/Cr画像(画像8)に伸張処理し、処理S242と同様に3Mサイズに画素数変換処理し、処理後の画像(画像8’)として作業用領域に格納にする。そして、処理S248では、透過率成分204(画像6)に含まれる合成用画像の透過率情報に基づいて、撮影画像206(画像3’)および画像成分202(画像8’)を組合せて合成画像208(画像11)を生成する。これにより、画像成分の精細度が低下するが、画像成分用領域125に確保すべき記憶容量を抑制することができる。
Further, the
一方、合成画像(一括)生成処理では、ユーザにより選択された複数の撮影画像206に対して、ユーザにより選択された1つの合成用画像が合成されて、同一の合成用画像が合成された複数の合成画像208が生成されて記憶される。よって、拡大された透過率成分204を含む合成用画像および複数の撮影画像206から、同一の合成用画像を合成された複数の合成画像208を効率的に生成して記憶することができる。
On the other hand, in the composite image (collective) generation process, a plurality of composite images selected by the user are combined with a plurality of captured
制御部108は、選択された複数の撮影画像206について、処理S232〜S250を撮影画像206毎に行う。あるいは、制御部108は、選択された合成用画像に対して処理S238〜S246を行い、処理後の透過率成分204(画像6)および画像成分202(画像8)を組合せて合成用画像を予め生成して作業用領域127などに格納してもよい。この場合、制御部108は、選択された複数の撮影画像206について、撮影画像206毎に、処理S232〜S236を行い、処理S248において、画像成分202、透過率成分204、および撮影画像206から合成画像208を生成する代わりに、予め格納されている合成用画像、および撮影画像206から合成画像208を生成することができる。これにより、処理S248において、撮影画像206毎に3つの画像から合成画像208を生成する場合に比して、画像処理速度を向上させることができる。
The
(複数の撮影画像に合成用画像を合成する場合)
図10は、複数の撮影画像に合成用画像を合成する場合に処理の対象となる画像の一例を示す説明図である。図10には、合成用画像を構成する画像成分212および透過率成分A214、B215、合成対象画像としての撮影画像A216、B217、合成画像218が示されている。図10には、図2に示した撮影画像206と同一の撮影画像A216と併せて撮影画像B217が合成用画像に合成されて合成画像218を生成する場合が示されている。なお、各画像の詳細に関する説明については、図2に示した画像と同様であるので省略する。以下では、図2および図10を参照しながら、合成用画像を用いる場合の処理について説明する。
(When compositing images for multiple shot images)
FIG. 10 is an explanatory diagram illustrating an example of an image to be processed when a composite image is combined with a plurality of captured images. FIG. 10 shows an
図11は、合成用画像を構成する画像成分212および透過率成分A214、B215からなる合成用画像のデータ構成を例示する説明図である。図11に示すデータ構成では、図4に示した場合と同様に、2つの透過率成分A214、B215がAPP1領域にデータ164、166として各々に格納される。これにより、画像成分212および2つの透過率成分A214、B215を1つのファイル162として構成することで、データの可搬性を向上させることができる。なお、2つの透過率成分A214、B215は、APP1領域から各々に切り出されることで、画像成分212と同様に通常の3チャンネルのJPEG圧縮データとして復号される。
FIG. 11 is an explanatory diagram exemplifying the data configuration of a composition image composed of the
図12は、複数の撮影画像に合成用画像を合成する場合の処理時における操作画面を示す説明図である。表示部104の中央領域には、撮影画像A216に合成用画像が合成された画像220が表示されている。また、表示部104の側方領域には、操作ボタン「前」172、「次」174、「逐次合成」176、「一括合成」178、「2枚配置」184が表示されている。
FIG. 12 is an explanatory diagram showing an operation screen at the time of processing when a composite image is combined with a plurality of captured images. In the central area of the
図12に示す画像220は、画像成分212および透過率成分A214からなる合成用画像、および撮影画像A216に対して、図7に示した合成表示処理と同様の処理を施すことで得られる。つまり、制御部108は、処理S202〜S208と同様に、図10に示した撮影画像A216を処理し、表示用画像領域B122に格納する。また、制御部108は、処理S210〜S222と同様に、画像成分212および透過率成分A214を処理し、合成用画像を表示用画像領域A121に格納する。そして、制御部108は、処理S226と同様に、表示用画像領域A121、B122に格納されている撮影画像A216および合成用画像を合成して表示する。ここで、操作ボタン「2枚配置」184が操作されると、後述する図13に示す状態に遷移する。
An
また、操作ボタン「逐次合成」176または「一括合成」178が操作されると、画像成分212および透過率成分A214からなる合成用画像、および撮影画像A216に対して、図9に示した合成画像生成処理と同様の処理が行われる。つまり、制御部108は、処理S232〜S236と同様に、撮影画像A216を処理する。また、制御部108は、処理S238〜S246と同様に、画像成分212および透過率成分A214を処理する。そして、制御部108は、処理S248〜S250と同様に、透過率成分A214に含まれる合成用画像の透過率情報に基づいて、画像成分212および2枚の撮影画像A216、B217を組合せて合成画像を生成し、JPEG圧縮して記憶する。
When the operation button “sequential composition” 176 or “collective composition” 178 is operated, the composite image shown in FIG. 9 is displayed on the composite image composed of the
図13は、合成用画像の処理時における操作画面を示す説明図である。表示部104の中央領域には、2枚の撮影画像A216、B217に合成用画像が合成された画像222が表示されている。また、表示部104の側方領域には、操作ボタン「前」172、「次」174、「逐次合成」176、「一括合成」178、「1枚配置」182が表示されている。
FIG. 13 is an explanatory diagram showing an operation screen at the time of processing a composition image. In the central area of the
図13に示す画像222は、画像成分212および透過率成分B215からなる合成用画像、および撮影画像A216、B217に対して、図12を用いて説明した合成表示処理と同様の処理を施すことで得られる。つまり、図12を用いて説明した合成表示処理との対比において、制御部108は、撮影画像A216に対する処理と同様の処理を撮影画像A216、B217に対して行い、透過率成分A214に対する処理と同様の処理を透過率成分A214、B215に対して行う。
The
また、操作ボタン「逐次合成」176または「一括合成」178が操作されると、画像成分212および透過率成分A214、B215からなる合成用画像、および撮影画像A216、B217に対して、図12を用いて説明した合成画像生成処理と同様の処理が行われる。つまり、図12を用いて説明した合成画像生成処理との対比において、制御部108は、撮影画像A216に対する処理と同様の処理を撮影画像A216、B217に対して行い、透過率成分A214に対する処理と同様の処理を透過率成分A214、B215に対して行う。なお、操作ボタン「1枚配置」182が操作されると、図12に示した状態に遷移する。
When the operation button “sequential composition” 176 or “collective composition” 178 is operated, FIG. 12 is applied to the composition image composed of the
(編集画像処理)
図14は、編集画像処理時における操作画面を示す説明図である。表示部104の中央領域には、図2に示した撮影画像206に合成用画像および編集用画像が合成された画像230が表示されている。図14には、図2に示した撮影画像206が合成用画像としてのフレーム画像および編集用画像に合成され、画像230として表示されている。また、表示部104の側方領域には、操作ボタン「合成」190、「描画(鉛筆のマーク)」192、「消去(消しゴムのマーク)」194、「シンボル挿入(星のマーク)」196および合成用画像の一覧198が表示されている。
(Edited image processing)
FIG. 14 is an explanatory diagram showing an operation screen during editing image processing. In the central area of the
操作ボタン「合成」190は、画像230をJPEG圧縮して記憶する場合に操作される。操作ボタン「描画」192は、編集用画像を描画する場合に操作され、ボタン操作後に中央領域が触れられると、編集用画像として任意の画像(例えば、図14では「ニコニコ」という文字画像)が描画される。操作ボタン「消去」194は、描画された編集用画像を消去する場合に操作され、ボタン操作後に中央領域が指300で触れられると、編集用画像として描画された画像が消去される。操作ボタン「シンボル挿入」196は、編集用画像にシンボルを挿入する場合に操作され、ユーザにより選択されたシンボルが中央領域上の任意の位置に編集用画像の一部として挿入される。また、合成用画像の一覧としては、撮影画像206を装飾するための複数のフレーム画像として、ユーザにより選択される合成用画像が表示されている。
The operation button “composite” 190 is operated when the
図14に示す状態において、編集用画像を合成された合成用画像および撮影画像206に対して、図7に示した合成表示処理と同様の処理が行われる。つまり、制御部108は、処理S202〜S208と同様に、撮影画像206を処理し、表示用画像領域B122に格納する。また、制御部108は、処理S210〜S218と同様に、合成用画像の一覧198から選択されたフレーム画像を構成する画像成分および透過率成分を処理し、合成用画像を生成し、作業用領域127に格納する。また、制御部108は、操作ボタン「描画」192、「消去」194、「シンボル挿入」196の操作を通じて作成された3Mサイズの編集用画像を編集用画像領域123に格納する。次に、制御部108は、編集用画像を合成用画像に合成する。そして、制御部108は、処理S220〜S222と同様に、合成した画像を表示用サイズに応じて画素数変換処理し、表示用画像領域A121に格納する。最後に、制御部108は、処理S226と同様に、表示用画像領域A121に格納されている、編集用画像を合成された合成用画像、および表示用画像領域B122に格納されている撮影画像206を合成して表示する。なお、制御部108は、編集用画像が更新されるたびに、更新後の編集用画像を編集用画像領域123に格納し、合成用画像と合成し、処理S220〜S226と同様の処理を行う。
In the state shown in FIG. 14, processing similar to the composite display processing shown in FIG. 7 is performed on the composite image and the photographed
これにより、拡大された透過率成分を含む合成用画像、撮影画像206、および編集用画像から表示用画像を効率的に生成して表示することができる。
Thereby, it is possible to efficiently generate and display a display image from the compositing image including the enlarged transmittance component, the captured
また、図14に示す状態において、操作ボタン「合成」190が操作されると、編集用画像を合成された合成用画像および撮影画像206に対して、図9に示した合成画像生成処理と同様の処理が行われる。つまり、制御部108は、処理S232〜S236と同様に、撮影画像206を処理する。また、制御部108は、処理S238〜S246と同様に、フレーム画像を構成する画像成分および透過率成分を処理する。そして、制御部108は、処理S248〜S250と同様に、透過率成分に含まれる合成用画像の透過率情報に基づいて、画像成分、編集用画像、および撮影画像206を組合せて合成画像を生成し、JPEG圧縮して記憶する。
In the state shown in FIG. 14, when the operation button “composite” 190 is operated, the combined image generation processing shown in FIG. 9 is performed on the combined image and the captured
これにより、拡大された透過率成分を含む合成用画像、撮影画像206、および編集用画像から合成画像を効率的に生成して記憶することができる。
Thereby, a composite image can be efficiently generated and stored from the composite image including the enlarged transmittance component, the captured
以上説明した本実施形態に係る画像処理装置によれば、画像成分より少ない画素数からなるJPEG形式の透過率成分が伸張されて拡大される。そして、拡大された画像成分および透過率成分から構成される合成用画像が撮影画像に合成される。一般に、高い圧縮率で圧縮されたJPEG形式の画像を伸張した場合には、画像の高周波成分でノイズが生じるので、透過率が急変する部分の画像を適切に再現することができない。このため、透過率成分の画素数を少なくしても、再現される急変部分の画像に対しては顕著な影響が及ばず、画素数を少なくしたことによるスケールメリットだけが残ることになる。よって、本実施形態に係る画像処理装置によれば、非可逆圧縮された透過率成分を記憶するための記憶容量を大幅に低減することができる。 According to the image processing apparatus according to the present embodiment described above, the JPEG format transmittance component having a smaller number of pixels than the image component is expanded and expanded. Then, a composition image composed of the enlarged image component and transmittance component is synthesized with the captured image. In general, when a JPEG format image compressed at a high compression rate is expanded, noise is generated in the high-frequency component of the image, and thus the image of the portion where the transmittance changes rapidly cannot be reproduced properly. For this reason, even if the number of pixels of the transmittance component is reduced, there is no significant effect on the reproduced image of the sudden change portion, and only the merit of scale due to the reduction of the number of pixels remains. Therefore, according to the image processing apparatus according to the present embodiment, the storage capacity for storing the irreversibly compressed transmittance component can be greatly reduced.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, this invention is not limited to the example which concerns. It is obvious for those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims. It is understood that it belongs to.
102 入力部
104 表示部
106 撮像部
108 制御部
110 圧縮伸張部
112 画素数変換部
114 表示用画像生成部
116 バス
120 記憶部
202、212 画像成分
204、214、215 透過率成分
206、216、217 撮影画像
208、218 合成画像
DESCRIPTION OF
Claims (13)
前記枠画像を伸張する伸張部と、
前記伸張部により伸張された枠画像を拡大して前記対象画像と同じ画素数にする拡大部と、
を備え、
前記枠画像は、前記領域の内側を第1の画素値で表現し、前記領域の外側を第2の画素値で表現した画像である
画像処理装置。 An image for specifying a target image to be combined with an area in the target image that is allowed to be combined with an image different from the target image, and having a smaller number of pixels than the target image, A reversibly compressed frame image, a storage unit storing the frame image,
An expansion unit for expanding the frame image;
An enlargement unit that enlarges the frame image expanded by the extension unit to have the same number of pixels as the target image;
With
The frame image is an image processing device that is an image in which the inside of the region is expressed by a first pixel value and the outside of the region is expressed by a second pixel value .
請求項1に記載の画像処理装置。 Of the first and second images different from the target image, the first image is adjusted so as to be within an area where the composition is allowed in the frame image enlarged by the enlargement unit, The second image generated based on the target image and the frame image is combined with the adjusted first image.
The image processing apparatus according to claim 1.
前記第2の画像は、前記対象画像と、前記複数の枠画像から選択された枠画像を拡大した画像とに基づいて生成される、
請求項2に記載の画像処理装置。 Before Kiki憶部stores the plurality of frame images,
The second image is generated based on the target image and an image obtained by enlarging a frame image selected from the plurality of frame images .
The image processing apparatus according to claim 2.
請求項2に記載の画像処理装置。 The enlargement unit increases or decreases the number of pixels of the first image and / or the second image according to the number of pixels for display.
The image processing apparatus according to claim 2.
前記第2の画像は、拡大された前記対象画像及び拡大された前記枠画像から生成される、
請求項2に記載の画像処理装置。 The enlargement unit enlarges the target image by increasing the number of pixels,
The second image is generated from the enlarged target image and the enlarged frame image .
The image processing apparatus according to claim 2.
前記編集用画像は、前記第1の画像、前記第2の画像に合成される、
請求項2に記載の画像処理装置。 The storage unit stores an image for editing,
The editing image is combined with the first image and the second image .
The image processing apparatus according to claim 2.
前記記憶部は、前記第1の画像及び前記合成画像を記憶する、
請求項1に記載の画像処理装置。 A composite image generating unit that generates a composite image from the first image different from the target image , the enlarged frame image, and the target image ;
The storage unit stores the first image and the composite image.
The image processing apparatus according to claim 1.
前記合成画像生成部は、前記対象画像と、前記複数の枠画像から選択された枠画像を拡大した画像と、前記第1の画像とから前記合成画像を生成する、
請求項7に記載の画像処理装置。 Before Kiki憶部stores the plurality of frame images,
The composite image generating unit generates said target image, an image obtained by enlarging the frame image selected from the plurality of frame images, the composite image from said first image,
The image processing apparatus according to claim 7.
前記対象画像と異なる第2の画像は、前記対象画像及び拡大された前記枠画像から生成され、
前記合成画像は、前記各第1の画像と前記第2の画像とを合成することにより生成され、
前記記憶部は、複数の前記合成画像を記憶する、
請求項7に記載の画像処理装置。 Before Kiki憶部stores a plurality of the first image,
A second image different from the target image is generated from the target image and the enlarged frame image,
The composite picture image is generated by Rukoto be combined with said respective first image and the second image,
Before Kiki憶部stores a plurality of the composite image,
The image processing apparatus according to claim 7.
前記合成画像は、前記拡大された対象画像、拡大された前記枠画像、及び前記第1の画像から生成される、
請求項7に記載の画像処理装置。 The enlarged portion is to increase the number of pixels the object image is converted into a magnified target image,
The composite picture image, the enlarged target image, enlarged the frame image, and is generated from the first image,
The image processing apparatus according to claim 7.
前記編集用画像は、前記対象画像、拡大された前記枠画像、前記第1の画像に合成される、
請求項7に記載の画像処理装置。 The storage unit stores an image for editing,
The editing image is combined with the target image, the enlarged frame image, and the first image .
The image processing apparatus according to claim 7.
伸張された前記枠画像を拡大して前記対象画像と同じ画素数にすることと、
を含み、
前記枠画像は、前記領域の内側を第1の画素値で表現し、前記領域の外側を第2の画素値で表現した画像である
画像処理方法。 An image for specifying an area in the target image that is allowed to be combined with an image different from the target image to be combined, the frame having a smaller number of pixels than the target image and irreversibly compressed Stretching the image,
Enlarging the expanded frame image to have the same number of pixels as the target image;
Including
The frame processing method is an image processing method in which the inside of the region is expressed by a first pixel value and the outside of the region is expressed by a second pixel value .
合成対象となる対象画像と、前記対象画像とは異なる画像の合成が許容される前記対象画像中の領域を特定するための画像であって、前記対象画像よりも画素数が少なく、かつ、非可逆圧縮された枠画像と、を記憶する記憶機能と、
前記枠画像を伸張する伸張機能と、
伸張された前記枠画像を拡大して前記対象画像と同じ画素数にする拡大機能と、
を、実現させるプログラムであり、
前記枠画像は、前記領域の内側を第1の画素値で表現し、前記領域の外側を第2の画素値で表現した画像である
プログラム。 On the computer,
An image for specifying a target image to be combined with an area in the target image that is allowed to be combined with an image different from the target image, and having a smaller number of pixels than the target image, A storage function for storing a reversibly compressed frame image;
An expansion function for expanding the frame image;
An enlargement function for enlarging the expanded frame image to have the same number of pixels as the target image;
Is a program that realizes
The frame image is a program in which the inside of the region is expressed by a first pixel value and the outside of the region is expressed by a second pixel value .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008143325A JP5012668B2 (en) | 2008-05-30 | 2008-05-30 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008143325A JP5012668B2 (en) | 2008-05-30 | 2008-05-30 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009290750A JP2009290750A (en) | 2009-12-10 |
JP5012668B2 true JP5012668B2 (en) | 2012-08-29 |
Family
ID=41459450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008143325A Expired - Fee Related JP5012668B2 (en) | 2008-05-30 | 2008-05-30 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5012668B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7029413B2 (en) | 2016-02-26 | 2022-03-03 | マックグレゴー・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンディトゲゼルシャフト | Methods for handling deck equipment on ships, as well as hoisting machines for deck equipment on ships |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6090380B2 (en) * | 2015-07-29 | 2017-03-08 | 辰巳電子工業株式会社 | Game shooting device, game shooting method and computer program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151207A (en) * | 2003-11-17 | 2005-06-09 | Canon Inc | Image-coding method |
JP2008124958A (en) * | 2006-11-15 | 2008-05-29 | Fuji Xerox Co Ltd | Image processor, image processing program and image processing system |
-
2008
- 2008-05-30 JP JP2008143325A patent/JP5012668B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7029413B2 (en) | 2016-02-26 | 2022-03-03 | マックグレゴー・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンディトゲゼルシャフト | Methods for handling deck equipment on ships, as well as hoisting machines for deck equipment on ships |
Also Published As
Publication number | Publication date |
---|---|
JP2009290750A (en) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4845382B2 (en) | Image processing apparatus, control method therefor, computer program, and computer-readable storage medium | |
US8098298B2 (en) | Digital camera recording a composite image | |
WO2004008751A1 (en) | Digital camera and image processing device | |
JP2017068207A (en) | Image processing device, image processing method, and program | |
JP6588801B2 (en) | Image processing apparatus, image processing method, and program | |
JP2014204175A (en) | Image processing apparatus and control method thereof | |
JP2010081589A (en) | Digital camera and image processing program | |
JP5012668B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007201935A (en) | Control method of image processing apparatus, and image processing apparatus | |
JP4910288B2 (en) | Digital camera | |
JP2013183305A (en) | Information processing apparatus and information processing method | |
JP2007036314A (en) | Photographing apparatus and method, image region extract apparatus and method, and program | |
JP2006173931A (en) | Image processing apparatus, control method thereof, computer program, and computer readable storage medium | |
JP2004229211A (en) | Digital camera | |
JP2002204347A (en) | Apparatus for information processing, method therefor and recording medium | |
US7884859B2 (en) | Digital camera | |
JP4438357B2 (en) | Electronic still camera | |
JP2015109606A (en) | Imaging device, imaging control method, and program | |
JP4292811B2 (en) | Digital camera | |
US20070053007A1 (en) | Image signal processing device and image signal processing method | |
JPWO2002071748A1 (en) | Electronic camera and data file generator | |
JP2005236372A (en) | Image synthesizing apparatus, image synthesizing method, image processing apparatus, image layout method and storage medium | |
JP2005197822A (en) | Imaging apparatus, and generating method of title-attached thumbnail picture | |
JP4752894B2 (en) | Image editing apparatus and recording medium | |
JP2012034089A (en) | Display controller, display control method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |