JP2006060339A

JP2006060339A - Mobile communication terminal and method of extracting and combining static image

Info

Publication number: JP2006060339A
Application number: JP2004237832A
Authority: JP
Inventors: Masaaki Nakae; 優晃中江
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-08-18
Filing date: 2004-08-18
Publication date: 2006-03-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile communication terminal which extracts a plurality of static image data from moving image data while a processing load is suppressed, and creates composite image data. <P>SOLUTION: The mobile communication terminal includes an extraction range specifier 401 for specifying the extracting range in the moving image data, a static image extractor 42 for sequentially extracting a plurality of static image data from the moving image data based on the extraction range, and a static image combiner 43 for combining the static image data extracted by the static image extractor 42 to create the combined image data. The static image synthesizer 43 sequentially additionally synthesizes the static image data with the composite image data, and starts the synthesis process before the extraction of all the static image data is completed. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、移動体通信端末及び静止画像抽出合成方法に係る。更に詳しくは、動画像データから複数枚の静止画像データを抽出し、これらの静止画像データを合成して合成画像データを生成する画像処理装置、特に、画像処理機能を有する携帯電話機などの移動体通信端末の改良に関する。 The present invention relates to a mobile communication terminal and a still image extraction / synthesis method. More specifically, an image processing apparatus that extracts a plurality of still image data from moving image data and synthesizes these still image data to generate composite image data, and particularly a mobile object such as a mobile phone having an image processing function. The present invention relates to improvement of communication terminals.

ゴルフ、テニス、野球などのスポーツにおけるスイングフォームを撮影することによって得られた一連の静止画像を比較観察することにより、スイングフォームを客観的に分析することができる。この様なスイングフォームの分析が可能な従来の装置としては、表示画面を分割し、各分割領域に静止画像をそれぞれ表示させる映像記録再生装置やゴルフスイングフォーム再生装置があった（例えば、特許文献１、特許文献２）。また、各静止画像から動きを伴う被写体部分を切り出し、積み重ねて合成画像を生成し表示する画像処理装置があった（特許文献３）。
特開平６−３９０７０号公報特開平１０−２７７１９６号公報特開平１１−３３１６９３号公報 The swing form can be objectively analyzed by comparatively observing a series of still images obtained by photographing the swing form in sports such as golf, tennis, and baseball. Conventional devices capable of analyzing such a swing form include a video recording / reproducing apparatus and a golf swing form reproducing apparatus that divide a display screen and display a still image in each divided area (for example, Patent Documents) 1, Patent Document 2). In addition, there has been an image processing apparatus that cuts out a subject portion with movement from each still image and stacks to generate and display a composite image (Patent Document 3).
JP-A-6-39070 Japanese Patent Laid-Open No. 10-277196 JP-A-11-331693

このような従来の画像処理装置は、いずれも一連の静止画像データを用いて、スイングフォームなどの被写体の動きを解析するものである。このため、所望の動態解析を実現するためには、適切なタイミングで撮影された一連の静止画像データが必要となるが、このような静止画像データを取得することは容易ではないという問題があった。例えば、被写体の動作タイミングに応じて撮影の開始時及び終了時を適切に選択し、また、被写体の動作速度に応じて撮影間隔を適切に選択して、連続撮影を行わなければならず、所望の動態解析に適した一連の静止画像データを取得することは容易ではなかった。 All of such conventional image processing apparatuses analyze a motion of a subject such as a swing form using a series of still image data. For this reason, in order to realize a desired dynamic analysis, a series of still image data photographed at an appropriate timing is required. However, there is a problem that it is not easy to acquire such still image data. It was. For example, continuous shooting must be performed by appropriately selecting the start and end of shooting according to the operation timing of the subject, and appropriately selecting the shooting interval according to the operation speed of the subject. It was not easy to acquire a series of still image data suitable for dynamic analysis.

そこで、動画像データを利用して、被写体の動態解析を行うことが考えられる。すなわち、被写体を撮影した動画像データから複数枚の静止画像データを抽出し、これらの静止画像データを合成した合成画像を表示させることが考えられる。この場合、動画像データの範囲内において撮影開始時及び撮影終了時を任意に選択し、また、動画像データのフレーム間隔を限度として任意の撮影間隔で静止画像データを抽出することが可能になる。このため、様々な抽出条件について試行錯誤を行うことができ、動態解析に最も適した合成画像を生成することが可能になると考えられる。ところが、静止画像データの抽出枚数に応じて、プロセッサの演算処理量が増大し、また、メモリ使用量が増大するため、画像処理装置に大きな負荷がかかるという問題があった。 Therefore, it is conceivable to perform dynamic analysis of the subject using moving image data. That is, it is conceivable to extract a plurality of still image data from moving image data obtained by photographing a subject and display a synthesized image obtained by synthesizing these still image data. In this case, it is possible to arbitrarily select the start of shooting and the end of shooting within the range of moving image data, and to extract still image data at an arbitrary shooting interval up to the frame interval of moving image data. . For this reason, trial and error can be performed for various extraction conditions, and it is considered that a composite image most suitable for dynamic analysis can be generated. However, according to the number of still image data extracted, there is a problem that the processing amount of the processor increases and the amount of memory used increases, which places a heavy load on the image processing apparatus.

最近では、動画像を撮影可能なカメラ付携帯電話機が急速に普及しつつある。その性質上、常時携帯されている場合が多い携帯電話機を用いてスポーツフォーム等の動態解析を行うことができれば、その利便性は極めて高いと考えられる。ところが、この種の携帯電話機には、小型化、軽量化、低価格化などの要請があり、通常の画像処理用コンピュータに比べ、演算処理能力は低く、メモリ容量も少ない。このため、動画像データから静止画像データを抽出して合成画像を生成するという負荷の大きな処理を実現することは困難であった。 Recently, camera-equipped mobile phones capable of capturing moving images are rapidly spreading. Due to its nature, if a dynamic analysis of sports form or the like can be performed using a mobile phone that is often carried at all times, the convenience is considered extremely high. However, this type of mobile phone is required to be smaller, lighter, and less expensive, and has a lower processing capacity and a smaller memory capacity than a normal image processing computer. For this reason, it has been difficult to realize a processing with a heavy load of extracting still image data from moving image data and generating a composite image.

このような処理負荷を軽減する一つの方法として、動画像データから抽出される静止画像データの枚数を制限することも考えられる。しかしながら、この場合、静止画像データを抽出可能な動画像データの抽出範囲や抽出間隔が制限されることになる。このため、所望の動態解析を行うことができず、あるいは、静止画像データの抽出条件が得られるまでに、試行錯誤を何度も繰り返さなければならなくなる。例えば、全体的には緩慢な動きであるが、一部に速い動きを含むスイングフォームの解析を行いたい場合、静止画像データの枚数が制限されていると、所望の合成画像を生成するのは困難になると考えられる。 As one method for reducing such processing load, it is conceivable to limit the number of still image data extracted from moving image data. However, in this case, the extraction range and extraction interval of moving image data from which still image data can be extracted are limited. For this reason, a desired dynamic analysis cannot be performed, or trial and error must be repeated many times before a still image data extraction condition is obtained. For example, if you want to analyze a swing form that is slow movement as a whole, but includes some fast movements, if the number of still image data is limited, the desired composite image is generated. It will be difficult.

本発明は、上記の事情に鑑みてなされたものであり、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末を提供することを目的とする。特に、使用するメモリ容量に比べ、多数の静止画像データを抽出し、合成することができる移動体通信端末を提供することを目的とする。また、試行錯誤により静止画像データの抽出条件を容易に求めることができる携帯通信端末を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a mobile communication terminal that extracts a plurality of still image data from moving image data and generates composite image data while suppressing a processing load. With the goal. In particular, an object of the present invention is to provide a mobile communication terminal capable of extracting and synthesizing a large number of still image data compared to the memory capacity to be used. It is another object of the present invention to provide a portable communication terminal that can easily obtain the still image data extraction conditions by trial and error.

更に、本発明は、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する画像処理方法を提供することを目的とする。 It is another object of the present invention to provide an image processing method for extracting a plurality of still image data from moving image data and generating composite image data while suppressing a processing load.

本発明による移動体通信端末は、動画像データを記憶する動画像データ記憶手段と、静止画像データを抽出するための抽出範囲として、動画像データにおける時間軸上の範囲を指定する抽出条件指定手段と、上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出された静止画像データを合成し、合成画像データを生成する静止画像合成手段とを備え、上記静止画像合成手段が合成画像データに静止画像データを順次に追加合成し、全ての静止画像データの抽出が完了する前に、上記合成処理を開始するように構成される。 The mobile communication terminal according to the present invention includes moving image data storage means for storing moving image data, and extraction condition specifying means for specifying a range on the time axis in moving image data as an extraction range for extracting still image data. And, based on the extraction range, a still image extraction unit that sequentially extracts a plurality of still image data from the moving image data, and the still image data extracted by the still image extraction unit. A still image synthesizing unit for generating the still image synthesizing unit, the still image synthesizing unit sequentially adding and synthesizing the still image data to the synthesized image data, and starting the synthesizing process before extracting all the still image data is completed. Configured.

また、本発明による移動体通信端末は、上記静止画像合成手段が、上記静止画像抽出手段により１枚の静止画像データが抽出されるごとに追加合成を実行し、上記静止画像抽出手段が、上記静止画像合成手段により１枚の静止画像データが追加合成されるごとに新たな静止画像データの抽出を行うように構成される。 In the mobile communication terminal according to the present invention, the still image synthesizing unit performs additional synthesis every time one still image data is extracted by the still image extracting unit, and the still image extracting unit New still image data is extracted each time one still image data is additionally synthesized by the still image synthesis means.

また、本発明による移動体通信端末は、上記構成に加えて、上記動画像データ記憶手段に保持されている動画像データに基づいて、動画像を再生し、画面表示する動画像再生手段を備え、上記抽出条件指定手段が、ユーザ操作が行われた時の動画像データの再生位置に基づいて、上記抽出範囲を指定するように構成される。 In addition to the above configuration, the mobile communication terminal according to the present invention further includes a moving image reproducing unit that reproduces a moving image based on the moving image data stored in the moving image data storage unit and displays the screen. The extraction condition designating unit is configured to designate the extraction range based on the reproduction position of the moving image data when the user operation is performed.

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段において静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示手段を備え、上記静止画像合成手段が、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止するように構成される。 In addition to the above configuration, the mobile communication terminal according to the present invention includes a composite image display unit that sequentially displays on the screen composite image data obtained by additionally combining still image data in the still image combining unit. The still image synthesizing means is configured to stop the synthesis process based on a user operation during the synthesis process.

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、静止画像データの合成処理中に着信があった場合、当該合成処理を中断し、終話後に中断中の合成処理を再開するように構成される。 In addition to the above-described configuration, the mobile communication terminal according to the present invention interrupts the synthesis process when the still image synthesis unit receives an incoming call during the synthesis process of the still image data, and is suspended after the end of the call. The composition process is resumed.

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、終話時に、中断中の合成処理を再開するか否かをユーザの操作入力に基づいて決定するように構成される。 In addition to the above-described configuration, the mobile communication terminal according to the present invention may determine whether or not the still image synthesizing unit resumes the interrupted synthesizing process based on a user operation input at the end of the call. Configured.

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、静止画像データの合成処理中にメール受信通知があった場合，当該合成処理を中断し、メール受信処理後に中断している合成処理を再開するように構成される。 In addition to the above-described configuration, the mobile communication terminal according to the present invention interrupts the combining process when the still image combining unit has received a mail reception notification during the combining process of the still image data. It is configured to resume the composition processing that has been interrupted later.

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、メール受信処理後に、中断中の合成処理を再開するか否かをユーザに選択させるように構成される。 In addition to the above-described configuration, the mobile communication terminal according to the present invention is configured such that the still image combining unit allows the user to select whether to resume the interrupted combining process after the mail receiving process. .

また、本発明による静止画像抽出合成方法は、動画像データに基づいて動画像を再生し、画面表示する動画像再生ステップと、ユーザ操作が行われた時の動画像データの再生位置に基づいて、動画像データから静止画像データを抽出する抽出範囲を指定する抽出範囲指定ステップと、上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出ステップと、上記静止画像抽出ステップにより抽出された静止画像データを合成し、合成画像データを生成する静止画像合成ステップとを備え、上記静止画像合成ステップは、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出ステップにおいて全ての静止画像データの抽出が完了する前に、上記合成処理を開始する様に構成される。 Also, the still image extraction and synthesis method according to the present invention reproduces a moving image based on moving image data and displays the moving image on the screen, and the reproduction position of the moving image data when a user operation is performed. An extraction range specifying step for specifying an extraction range for extracting still image data from the moving image data; and a still image extracting step for sequentially extracting a plurality of still image data from the moving image data based on the extraction range; A still image synthesizing step for synthesizing the still image data extracted by the still image extraction step and generating synthesized image data. The still image synthesizing step sequentially adds and synthesizes still image data to the synthesized image data. The composition processing is started before the extraction of all the still image data is completed in the still image extraction step.

また、本発明による静止画像抽出合成方法は、上記構成に加えて、上記静止画像合成ステップにおいて静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示ステップを備え、上記静止画像合成ステップが、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止するように構成される。 In addition to the above-described configuration, the still image extraction and synthesis method according to the present invention further includes a composite image display step of sequentially displaying the composite image data obtained by additionally combining the still image data in the still image synthesis step. The still image synthesis step is configured to stop the synthesis process based on a user operation during the synthesis process.

本発明によれば、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末を提供することができる。特に、使用するメモリ容量に比べ、多数の静止画像データを抽出し、合成することができる移動体通信端末を提供することができる。また、試行錯誤により静止画像データの抽出条件を容易に求めることができる携帯通信端末を提供することができる。 According to the present invention, it is possible to provide a mobile communication terminal that extracts a plurality of still image data from moving image data and generates composite image data while suppressing processing load. In particular, it is possible to provide a mobile communication terminal that can extract and synthesize a large number of still image data compared to the memory capacity to be used. In addition, it is possible to provide a mobile communication terminal that can easily obtain still image data extraction conditions by trial and error.

更に、本発明によれば、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する画像処理方法を提供することができる。 Furthermore, according to the present invention, it is possible to provide an image processing method for extracting a plurality of still image data from moving image data and generating composite image data while suppressing a processing load.

図１は、本発明による移動体通信端末の一例を示した外観図であり、デジタルカメラを備えた携帯電話機１、いわゆるカメラ付携帯電話機が示されている。この携帯電話機１は、クラムシェル型と呼ばれる折り畳み式の筐体からなり、図中の（ａ）には、筐体を展開させた時の状態における操作面側が示され、（ｂ）には折り畳んだ時の状態が示されている。 FIG. 1 is an external view showing an example of a mobile communication terminal according to the present invention, and shows a mobile phone 1 equipped with a digital camera, a so-called camera-equipped mobile phone. The mobile phone 1 is composed of a foldable casing called a clamshell type, in which (a) in the figure shows the operation surface side when the casing is unfolded, and (b) is folded. The situation at the time is shown.

携帯電話機１の筐体は、回転軸１０２を中心に回転可能に連結された上部本体１００及び下部本体１０１からなり、上部本体１００及び下部本体１０１の操作面を対向させて折り畳むことができる。このため、通話時には筐体を開いて使用される一方、通話を行わない場合には、操作面が内側、背面が外側となるように閉じて小型化することができる。 The casing of the mobile phone 1 includes an upper main body 100 and a lower main body 101 that are rotatably connected around a rotation shaft 102, and can be folded with the operation surfaces of the upper main body 100 and the lower main body 101 facing each other. For this reason, it is used by opening the casing when making a call, but when not making a call, it can be closed and downsized so that the operation surface is inside and the back is outside.

上部本体１００の操作面側には、音声出力を行うためのレシーバ１０と、液晶表示装置からなるメイン表示部１１が設けられている。また、下部本体１０１の操作面側には、筐体の展開時に操作入力を行うためのキー操作部１２と、音声入力を行うためのマイクロフォン１３が設けられている。さらに、上部本体１００の背面側には、動画像の撮像手段としてのカメラ部２０と、露出調整のためのライト部２１と、メイン表示部１１よりも表示領域の小さい液晶表示装置からなるサブ表示部２２と、操作入力を行うためのキー操作部２３が設けられている。 On the operation surface side of the upper main body 100, a receiver 10 for outputting sound and a main display unit 11 including a liquid crystal display device are provided. Further, on the operation surface side of the lower main body 101, a key operation unit 12 for performing operation input when the casing is unfolded and a microphone 13 for performing voice input are provided. Further, on the back side of the upper main body 100, a camera unit 20 as a moving image capturing unit, a light unit 21 for adjusting exposure, and a sub display including a liquid crystal display device having a display area smaller than that of the main display unit 11 A unit 22 and a key operation unit 23 for performing operation input are provided.

図２は、図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。図中の３０はプロセッサ（ＣＰＵ）、３１は一時記憶メモリ、３２は画像メモリ、３３は表示制御部、３４は無線部である。なお、図１に示された構成要素に相当するブロックには同一の符号を付している。 FIG. 2 is a block diagram showing an example of the internal configuration of the main part of the mobile phone 1 of FIG. In the figure, 30 is a processor (CPU), 31 is a temporary storage memory, 32 is an image memory, 33 is a display control unit, and 34 is a wireless unit. In addition, the same code | symbol is attached | subjected to the block corresponded to the component shown by FIG.

プロセッサ３０は、携帯電話機１の主要な動作制御を行っている演算処理部である。一時記憶メモリ３１は、ＤＲＡＭなどの揮発性記憶装置からなり、保存メモリ３２は、フラッシュメモリなどの不揮発性記憶装置からなる。いずれのメモリも、データの書き込み、読み出し及び消去はプロセッサ３０によって行われるが、一時記憶メモリ３１は、保存メモリ３２に比べ、より高速にアクセスすることができるため、プロセッサ３０の作業領域として用いられる。一方、保存メモリ３２は、不揮発性であることから、画像データなどの保存領域として用いられる。 The processor 30 is an arithmetic processing unit that performs main operation control of the mobile phone 1. The temporary storage memory 31 is a volatile storage device such as a DRAM, and the storage memory 32 is a non-volatile storage device such as a flash memory. In any memory, writing, reading and erasing of data is performed by the processor 30, but the temporary storage memory 31 can be accessed at a higher speed than the storage memory 32 and is used as a work area for the processor 30. . On the other hand, since the storage memory 32 is non-volatile, it is used as a storage area for image data and the like.

表示制御部３３は、メイン表示部１１及びサブ表示部２２の表示制御を行っている。メイン表示部１１及びサブ表示部２２の表示内容は、プロセッサ３０が決定し、表示制御部３３に指示している。無線部３４は、図示しない無線基地局との間で双方向の無線通信を行っており、無線部３４を介して通話及び電子メールの送受信が行われる。 The display control unit 33 performs display control of the main display unit 11 and the sub display unit 22. The display contents of the main display unit 11 and the sub display unit 22 are determined by the processor 30 and instructed to the display control unit 33. The wireless unit 34 performs two-way wireless communication with a wireless base station (not shown), and calls and electronic mail are transmitted and received through the wireless unit 34.

カメラ部２０は、光電変換素子としてＣＣＤ（Charge Coupled Device）又はＣＭＯＳイメージセンサを備え、光電変換により得られた２次元画像データをフレーム画像データとしてプロセッサ３０へ出力している。このフレーム画像データは、各ピクセルがＲＧＢで表現されたＲＢＧデータであるものとする。カメラ部２０は、プロセッサ３０から撮影開始信号が出力されると、所定のフレーム周期（例えば１／６０秒）ごとに被写体を撮影し、フレーム画像データを順次に出力する。プロセッサ３０は、これらの一連のフレーム画像データを一時記憶メモリ３１に格納した後、必要に応じて圧縮処理などを施し、動画像データとして保存メモリ３２に格納する。なお、撮影時には、必要に応じてライト部２１が発光して露出調整が行われる。 The camera unit 20 includes a charge coupled device (CCD) or a CMOS image sensor as a photoelectric conversion element, and outputs two-dimensional image data obtained by photoelectric conversion to the processor 30 as frame image data. This frame image data is RBG data in which each pixel is expressed in RGB. When the imaging start signal is output from the processor 30, the camera unit 20 captures a subject every predetermined frame period (for example, 1/60 seconds) and sequentially outputs frame image data. The processor 30 stores the series of frame image data in the temporary storage memory 31, and then performs compression processing or the like as necessary, and stores it as moving image data in the storage memory 32. At the time of shooting, the light unit 21 emits light as necessary to adjust exposure.

キー操作部１２，２３は、複数の操作キーからなり、ユーザがキー操作を行った場合にキー操作信号が生成される。このキー操作信号に基づいてプロセッサ３０への割り込みが発生し、プロセッサ３０は割り込み処理を実行する。なお、この割り込み処理は、操作キーごとに予め定められている。 The key operation units 12 and 23 include a plurality of operation keys, and a key operation signal is generated when the user performs a key operation. Based on this key operation signal, an interrupt to the processor 30 occurs, and the processor 30 executes an interrupt process. This interrupt process is predetermined for each operation key.

図３は、プロセッサ３０により実行されるプログラムについて要部の一例を示した機能ブロック図である。図中の４０は合成処理制御部、４１は動画像再生部、４２は静止画像抽出部、４３は静止画像合成部である。 FIG. 3 is a functional block diagram illustrating an example of a main part of a program executed by the processor 30. In the figure, 40 is a synthesis processing control unit, 41 is a moving image reproduction unit, 42 is a still image extraction unit, and 43 is a still image synthesis unit.

動画像再生部４１は、ユーザ操作によって起動され、保存メモリ３２に保持されている動画像データを読み出して動画像を再生する。つまり、動画像の再生中は、動画像再生部４１においてフレーム周期ごとにフレーム画像データが生成されている。このフレーム画像データは、ＲＧＢデータからなり、表示制御部３３によってメイン表示部１１又はサブ表示部２２に表示される。 The moving image reproduction unit 41 is activated by a user operation, reads out the moving image data held in the storage memory 32, and reproduces the moving image. That is, during the reproduction of a moving image, frame image data is generated for each frame period in the moving image reproduction unit 41. The frame image data is composed of RGB data, and is displayed on the main display unit 11 or the sub display unit 22 by the display control unit 33.

静止画像抽出部４２は、合成処理制御部４０によって指定された抽出条件に基づいて、静止画像データを生成している。この静止画像データはＹＵＶデータからなり、静止画像抽出部４２は、上記抽出条件に一致するフレーム画像データを動画像再生部４１から取得するとともに、当該フレーム画像データをフォーマット変換することにより、静止画像データを生成している。 The still image extraction unit 42 generates still image data based on the extraction conditions specified by the synthesis processing control unit 40. The still image data is composed of YUV data, and the still image extraction unit 42 obtains frame image data that matches the extraction condition from the moving image reproduction unit 41, and converts the format of the frame image data to obtain a still image. Data is being generated.

静止画像合成部４３は、静止画像抽出部４２において抽出された複数の静止画像データをオーバーラップ合成した合成画像データを生成している。この合成処理は、例えば、ピクセルごとに平均値を求める演算によって実現される。また、この静止画像合成部４３は、合成画像データに対し、静止画像データを順次に追加合成することによって、全ての静止画像データを合成した合成画像データを生成している。 The still image synthesizing unit 43 generates synthesized image data obtained by overlapping and synthesizing a plurality of still image data extracted by the still image extracting unit 42. This combining process is realized by, for example, an operation for obtaining an average value for each pixel. In addition, the still image synthesis unit 43 generates synthesized image data obtained by synthesizing all still image data by sequentially adding and synthesizing still image data to the synthesized image data.

このため、合成対象となる全ての静止画像データが静止画像抽出部４２により生成されるのを待つことなく、合成処理を開始することができる。例えば、静止画像抽出部４２による抽出処理と、静止画像合成部４３により合成処理とを交互に実行することができる。本実施の形態では、１枚の静止画像データが抽出されるごとに、静止画像合成部４３が既存の合成画像データに対し当該静止画像データを追加合成し、静止画像抽出部４２は、この追加合成処理の完了を待って、次の静止画像データを抽出しているものとする。 Therefore, the synthesis process can be started without waiting for all the still image data to be synthesized to be generated by the still image extraction unit 42. For example, extraction processing by the still image extraction unit 42 and synthesis processing by the still image synthesis unit 43 can be executed alternately. In this embodiment, every time one piece of still image data is extracted, the still image combining unit 43 additionally combines the still image data with the existing combined image data, and the still image extracting unit 42 It is assumed that the next still image data is extracted after completion of the synthesis process.

このような追加合成処理が行われている場合、静止画像合成部４３において生成される合成画像データは、新たな静止画像データが追加合成されるごとに順次に更新されていく。これらの各合成画像データは、動画像再生部４１へ順次に出力され、合成処理中は、動画像に代えて、合成画像がコマ送り表示される。このため、ユーザは、合成処理の経過を視覚的に確認することができ、抽出条件が不適切であった場合には、全ての合成処理の完了を待つことなく、当該合成処理を直ちに中止させ、抽出条件の異なる合成処理を再実行することができる。 When such additional synthesis processing is performed, the synthesized image data generated in the still image synthesizing unit 43 is sequentially updated each time new still image data is additionally synthesized. Each of these synthesized image data is sequentially output to the moving image reproduction unit 41, and during the synthesizing process, the synthesized image is displayed in frame advance instead of the moving image. For this reason, the user can visually check the progress of the synthesis process, and if the extraction conditions are inappropriate, the user can immediately stop the synthesis process without waiting for the completion of all the synthesis processes. The synthesis process with different extraction conditions can be re-executed.

合成処理中における動画像再生部４１、静止画像抽出部４２及び静止画像合成部４３の間における画像データ（フレーム画像データ、静止画像データ及び合成画像データ）の受け渡しは、一時記憶メモリ３１を介して行われる。すなわち、動画像再生部４１により生成されたフレーム画像データは、一旦、一時記憶メモリ３１に格納され、静止画像抽出部４２は、一時記憶メモリ３１上のフレーム画像データを静止画像データに変換し、一時記憶メモリ３１上に格納する。また、静止画像合成部４３は、合成画像データを一時記憶メモリ３１に格納しており、一時記憶メモリ３１上の合成画像データに、一時記憶メモリ３１上の静止画像データを追加合成している。さらに、動画像再生部４１は、一時記憶メモリ３１上の合成画像データをコマ送り表示している。 Transfer of image data (frame image data, still image data, and synthesized image data) among the moving image reproduction unit 41, the still image extraction unit 42, and the still image synthesis unit 43 during the synthesis process is performed via the temporary storage memory 31. Done. That is, the frame image data generated by the moving image playback unit 41 is temporarily stored in the temporary storage memory 31, and the still image extraction unit 42 converts the frame image data on the temporary storage memory 31 into still image data, Store in the temporary storage memory 31. The still image composition unit 43 stores the composite image data in the temporary storage memory 31, and additionally composites the still image data on the temporary storage memory 31 with the composite image data on the temporary storage memory 31. Further, the moving image reproduction unit 41 displays the composite image data on the temporary storage memory 31 by frame advance display.

合成処理制御部４０は、抽出条件指定部４０１、中断処理部４０２及び再開処理部４０３を有し、オーバーラップ合成処理時に、動画像再生部４１、静止画像抽出部４２及び静止画像合成部４３を制御している。 The composition processing control unit 40 includes an extraction condition designating unit 401, an interruption processing unit 402, and a restart processing unit 403. During the overlap composition processing, the composition processing control unit 40 includes the moving image reproduction unit 41, the still image extraction unit 42, and the still image composition unit 43. I have control.

抽出条件指定部４０１は、ユーザのキー操作に基づいて、静止画像データの抽出条件を指定している。この抽出条件は、抽出対象ファイル、抽出範囲及び抽出間隔からなる。まず最初に、抽出対象ファイルとして、保存メモリ３２に格納されている動画像データのファイルが指定される。抽出対象ファイルは、通常、ファイル名によって指定される。 The extraction condition designating unit 401 designates still image data extraction conditions based on user key operations. This extraction condition includes an extraction target file, an extraction range, and an extraction interval. First, a moving image data file stored in the storage memory 32 is designated as an extraction target file. The extraction target file is usually specified by a file name.

抽出対象が動画像データの一部である場合、ユーザ操作に基づいて抽出範囲が指定される。抽出範囲とは、動画像データにおける時間軸上の範囲であり、始点及び終点の一方又は両方を指定するユーザのキー操作に基づいて決定される。始点及び終点の指定は、ユーザが数値入力などにより指定することもできるが、動画像再生中におけるキー操作のタイミングに基づいて決定することもできる。例えば、動画像再生部４１による再生中にキー操作が行われた場合、その時点における再生位置を始点又は終点として決定すれば、ユーザは、被写体の動きを閲覧しながら抽出範囲を指定することができる。この場合、簡単な操作で、抽出範囲の指定を的確に行うことができる。 When the extraction target is a part of moving image data, an extraction range is designated based on a user operation. The extraction range is a range on the time axis in the moving image data, and is determined based on a user's key operation that specifies one or both of the start point and the end point. The start point and end point can be specified by the user by numerical input or the like, but can also be determined based on the key operation timing during moving image reproduction. For example, when a key operation is performed during playback by the moving image playback unit 41, if the playback position at that time is determined as the start point or end point, the user can specify the extraction range while viewing the movement of the subject. it can. In this case, the extraction range can be specified accurately with a simple operation.

また、ユーザ操作に基づいて抽出間隔が指定される。抽出間隔は、静止画像データが抽出される時間間隔であり、ユーザは、上記抽出間隔に代えて、抽出枚数を指定することもできる。この場合、上記抽出範囲に基づいて、抽出枚数が抽出間隔に変換される。なお、抽出間隔又は枚数は、予め定められた値であってもよく、この場合には、ユーザが指定する必要はない。 Further, an extraction interval is designated based on a user operation. The extraction interval is a time interval at which still image data is extracted, and the user can designate the number of extractions instead of the extraction interval. In this case, the number of extracted sheets is converted into an extraction interval based on the extraction range. Note that the extraction interval or the number of sheets may be a predetermined value, and in this case, the user does not need to specify.

中断処理部４０２は、合成処理中に着信又はメール受信通知があった場合に、当該合成処理を一旦中断する処理を行う。すなわち、無線部３４が着信信号又はメール受信通知を受信した場合には、一時記憶メモリ３１に保持されている作業用データ、例えば、抽出条件や合成画像データなどを保存メモリ３２に退避させ、着信処理又はメール受信処理が開始される。 When there is an incoming call or mail reception notification during the composition processing, the interruption processing unit 402 performs processing for temporarily interrupting the composition processing. That is, when the wireless unit 34 receives an incoming signal or mail reception notification, the work data stored in the temporary storage memory 31, for example, the extraction conditions and the composite image data are saved in the storage memory 32 and the incoming call is received. Processing or mail reception processing is started.

再開処理部４０３は、合成処理を中断させていた通話処理が終了し、あるいは、メール受信処理が終了した場合に、中断中の合成処理を再開させるための処理を行っている。すなわち、保存メモリ３２に一時退避させていた上記作業用データを一時記憶メモリ３１上に復元させ、合成処理を継続させる。その際、ユーザ選択メニューを画面表示させ、合成処理を再開させるか否かをユーザに照会する。 The resume processing unit 403 performs processing for resuming the suspended synthesis process when the call process that interrupted the synthesis process ends or when the mail reception process ends. That is, the work data temporarily saved in the storage memory 32 is restored on the temporary storage memory 31, and the synthesis process is continued. At that time, the user selection menu is displayed on the screen, and the user is inquired whether or not to resume the synthesis process.

<画面表示>
図４は、メイン表示部１１の表示例を示した図である。図中の（ａ）には、動画像再生中における画面表示例が示されている。５０は画像表示領域であり、動画像再生中は動画像が表示され、合成処理中は合成画像が表示される。５１は再生位置表示手段であり、総再生時間に対する現在の再生位置をメーター表示している。例えば、総再生時間に相当する横長の表示領域のうち、再生済みの部分が青く表示され、未再生の部分が赤く表示される。 <Screen display>
FIG. 4 is a diagram illustrating a display example of the main display unit 11. (A) in the figure shows a screen display example during moving image reproduction. Reference numeral 50 denotes an image display area. A moving image is displayed during reproduction of a moving image, and a combined image is displayed during composition processing. A reproduction position display means 51 displays the current reproduction position with respect to the total reproduction time as a meter. For example, in a horizontally long display area corresponding to the total reproduction time, a reproduced part is displayed in blue and an unreproduced part is displayed in red.

図中の（ｂ）には、抽出範囲指定中における画面表示例が示されている。動画像生成中にユーザがキー操作を行うことによって、再生中の動画像データを対象とするオーバラップ合成モードに移行することができ、抽出範囲の指定が行われる。図中の５２及び５３は、抽出範囲の始点及び終点を指定するポインタであり、再生位置表示手段５１上に表示される。ポインタ５２，５３は、動画像再生中にユーザがキー操作を行った場合に、その操作時点での再生位置として指定される。また、ユーザによる方向キーの操作によって、ポインタ５２，５３を移動させることもできる。 (B) in the figure shows a screen display example during extraction range designation. When the user performs a key operation during moving image generation, it is possible to shift to an overlap synthesis mode for moving image data being reproduced, and an extraction range is designated. 52 and 53 in the figure are pointers for designating the start point and end point of the extraction range, and are displayed on the reproduction position display means 51. The pointers 52 and 53 are designated as reproduction positions at the time of operation when the user performs key operations during moving image reproduction. Further, the pointers 52 and 53 can be moved by the operation of the direction key by the user.

図５は、オーバーラップ合成モードの実行中におけるメイン表示部１１の表示例を示した図である。図中の（ａ）〜（ｅ）には、合成処理中に順次に生成され、画像表示領域５０にコマ送り表示される合成画像データが示されている。（ａ）には、最初に抽出された１枚の静止画像データが示されている。（ｂ）には、２枚の静止画像データをオーバーラップ合成して得られる合成画像データが示されている。さらに、（ｃ）には、（ｂ）の合成画像データに１枚の静止画像データが追加合成されて得られた合成画像データが示されている。同様にして、１枚の静止画像データが順次に追加合成され、（ｄ），（ｅ）のように表示される。 FIG. 5 is a diagram illustrating a display example of the main display unit 11 during execution of the overlap composition mode. (A) to (e) in the figure show combined image data that is sequentially generated during the combining process and displayed in the image display area 50 by frame advance. (A) shows one still image data extracted first. (B) shows composite image data obtained by overlapping two still image data. Further, (c) shows composite image data obtained by additionally combining one still image data with the composite image data of (b). Similarly, one still image data is sequentially added and synthesized and displayed as (d) and (e).

（ｆ）には、全ての合成処理が完了し、ユーザ選択メニューが示されている様子が示されている。このユーザ選択メニューは「継続」、「保存」及び「取消」の選択肢からなり、全ての合成処理の終了時、合成処理中における中止操作時、あるいは、中断中の合成処理の再開時に表示される。ユーザは、方向キーを操作し、フォーカスＦＣを上下移動させて、いずれかの選択肢を選択することができる。「継続」が選択された場合には、合成処理が再開され、「保存」が選択された場合には、合成画像データが保存メモリ３２に格納され、「取消」が選択された場合には、合成画像データが破棄される。全ての合成処理が完了した場合、（ｅ）の表示に引き続いて、選択肢「継続」がグレーアウトされたユーザ選択メニューが表示され、ユーザは、「保存」又は「取消」を選択することができる。 (F) shows a state in which all the synthesis processes are completed and the user selection menu is shown. This user selection menu has choices of “Continue”, “Save” and “Cancel”, and is displayed at the end of all the compositing processes, when canceling the compositing process, or when resuming the composing process being interrupted. . The user can select one of the options by operating the direction key to move the focus FC up and down. When “Continue” is selected, the compositing process is resumed. When “Save” is selected, the composite image data is stored in the storage memory 32, and when “Cancel” is selected, The composite image data is discarded. When all the synthesis processes are completed, a user selection menu in which the option “continue” is grayed out is displayed following the display of (e), and the user can select “save” or “cancel”.

<オーバラップ合成モードの動作>
図６のステップＳ１０１〜Ｓ１１０は、オーバーラップ合成処理の一例を示したフローチャートである。この携帯電話機は、動画像再生中のユーザ操作により、オーバーラップ合成モードに移行する。オーバーラップ合成モードでは、まず最初に、抽出条件指定部４０１において、ユーザ操作に基づき、抽出範囲、抽出間隔などの抽出条件の設定が行われる（ステップＳ１０１）。 <Overlap synthesis mode operation>
Steps S101 to S110 in FIG. 6 are flowcharts illustrating an example of the overlap synthesis process. This mobile phone shifts to the overlap synthesis mode by a user operation during moving image reproduction. In the overlap synthesis mode, first, the extraction condition designating unit 401 sets extraction conditions such as an extraction range and an extraction interval based on a user operation (step S101).

抽出条件の設定後、静止画像抽出部４２により、動画像データから１枚の静止画像データが抽出される（ステップＳ１０２）。抽出された静止画像データは、静止画像合成部４３により、合成画像データに追加合成される（ステップＳ１０３）。ただし、１枚目の静止画像データが抽出された時点では、未だ合成画像データは生成されておらず、当該静止画像データが、そのまま合成画像データとなる。２枚目以降の静止画像データは、既に生成されている合成画像データに追加合成される。この様にして生成された合成画像データは、動画像再生部４１によって画面表示される（ステップＳ１０４）。 After setting the extraction conditions, one still image data is extracted from the moving image data by the still image extraction unit 42 (step S102). The extracted still image data is additionally combined with the combined image data by the still image combining unit 43 (step S103). However, at the time when the first still image data is extracted, the composite image data has not yet been generated, and the still image data becomes the composite image data as it is. The second and subsequent still image data are additionally combined with the already generated combined image data. The composite image data generated in this way is displayed on the screen by the moving image reproduction unit 41 (step S104).

上述した静止画像データの抽出処理（ステップＳ１０２）及び追加合成処理（ステップＳ１０３）は、抽出条件に合致する全ての静止画像データを合成した合成画像データが得られるまで、交互に繰り返される（ステップＳ１０６）。全ての静止画像データが抽出され、その合成が完了すれば、ユーザ選択メニューが画面表示される（ステップＳ１０７）。また、ステップＳ１０２〜Ｓ１０６の実行中に、ユーザが中止キーを操作した場合にも、抽出及び合成処理が中断され、ユーザ選択メニューが画面表示される（ステップS１０５）。 The still image data extraction process (step S102) and the additional synthesis process (step S103) described above are alternately repeated until synthesized image data obtained by synthesizing all the still image data matching the extraction condition is obtained (step S106). ). When all the still image data is extracted and the synthesis is completed, a user selection menu is displayed on the screen (step S107). Also, when the user operates the cancel key during the execution of steps S102 to S106, the extraction and synthesis process is interrupted and the user selection menu is displayed on the screen (step S105).

ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、中止キーの操作により中断していた抽出処理及び合成処理が再開される（ステップＳ１０８）。ユーザが「保存」を選択した場合には、静止画像合成部４３により生成された一時記憶メモリ３１上の合成画像データが、保存メモリ３２に格納され、オーバーラップ合成モードを終了する（ステップＳ１０９，Ｓ１１０）。一方、「取消」が選択された場合には、一時記憶メモリ３１上の合成画像データを破棄し、オーバーラップ合成モードを終了する。 If the user selects “Continue” in the user selection menu, the extraction process and the synthesis process that were interrupted by the operation of the cancel key are resumed (step S108). When the user selects “save”, the composite image data on the temporary storage memory 31 generated by the still image composition unit 43 is stored in the storage memory 32, and the overlap composition mode ends (step S109, S110). On the other hand, when “Cancel” is selected, the composite image data on the temporary storage memory 31 is discarded, and the overlap composition mode is terminated.

この様にして、抽出処理及び合成処理（ステップＳ１０２及び１０３）を交互に実行することにより、一旦、全ての静止画像データを抽出してから合成する場合に比べて、オーバーラップ合成処理に必要となる一時記憶メモリ３１の領域を小さくすることができる。特に、静止画像データの枚数が増大しても、必要となるメモリ領域が増大しないため、メモリサイズによって抽出条件が制限されることはなく、ユーザは抽出条件を自由に指定することができる。 In this way, the extraction process and the synthesis process (steps S102 and 103) are alternately performed, so that it is necessary for the overlap synthesis process compared to the case where all the still image data is extracted and then synthesized. Thus, the area of the temporary storage memory 31 can be reduced. In particular, even if the number of still image data increases, the required memory area does not increase. Therefore, the extraction condition is not limited by the memory size, and the user can freely specify the extraction condition.

<着信時の動作>
図７のステップＳ２０１〜Ｓ２０８は、着信時の動作の一例を示したフローチャートである。携帯電話機は、無線基地局から着信信号を受信した場合、ユーザがオフフック操作を行えば、直ちに通話可能な状態に移行する必要がある。しかしながら、いつ着信があるのかは予測することが出来ないため、オーバーラップ合成モードの実行中に着信する場合も生ずる。 <Action on incoming call>
Steps S201 to S208 in FIG. 7 are flowcharts showing an example of the operation at the time of an incoming call. When the mobile phone receives an incoming signal from the radio base station, it is necessary to immediately shift to a state where a call can be made if the user performs an off-hook operation. However, since it is impossible to predict when there is an incoming call, the incoming call may occur during the execution of the overlap synthesis mode.

無線部３４が無線基地局から着信信号を受信した場合、無線部３４からプロセッサ３０へ着信通知が行われ、図７の処理が開始される。プロセッサ３０は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ２０１）。オーバーラップ合成モードの実行中でなければ、通常通りの着信処理が行われる。すなわち、着信のあったことを画面表示するとともに、スピーカを鳴動させて呼び出し音を出力し、ユーザがオフフックボタンを操作すれば通話が開始される。この通話状態は、その後、ユーザがオンフックボタンを操作するまで継続される。 When the radio unit 34 receives an incoming signal from the radio base station, the radio unit 34 notifies the processor 30 of the incoming call, and the processing in FIG. 7 is started. The processor 30 first determines whether or not the overlap synthesis mode is being executed (step S201). If the overlap synthesis mode is not being executed, normal incoming processing is performed. That is, the incoming call is displayed on the screen, the speaker is ringed to output a ringing tone, and the call is started when the user operates the off-hook button. This call state is then continued until the user operates the on-hook button.

一方、オーバーラップ合成モードの実行中であれば、プロセッサ３０はオーバーラップ合成モードの実行を一時中断し、その作業用データを一時記憶メモリ３１から保存メモリ３２に退避させて、着信処理を開始する（ステップＳ２０２〜Ｓ２０３）。 On the other hand, if the overlap synthesis mode is being executed, the processor 30 temporarily suspends the execution of the overlap synthesis mode, saves the work data from the temporary storage memory 31 to the storage memory 32, and starts incoming processing. (Steps S202 to S203).

その後、通話が終了すれば、ユーザ選択メニューを画面表示させる（ステップＳ２０４〜Ｓ２０５）。ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、上記作業用データを一時記憶メモリ３１上に復元し、オーバーラップ合成処理を再開する（ステップＳ２０６〜Ｓ２０８）。一方、「取消」が選択された場合には、保存メモリ３２上に退避させていた作業用データ及び合成画像データを破棄し、オーバーラップ合成モードを終了する。 Thereafter, when the call ends, the user selection menu is displayed on the screen (steps S204 to S205). When the user selects “Continue” in the user selection menu, the work data is restored on the temporary storage memory 31 and the overlap composition process is resumed (steps S206 to S208). On the other hand, when “Cancel” is selected, the work data and the composite image data saved in the storage memory 32 are discarded, and the overlap composition mode is terminated.

<電子メール受信時の動作>
携帯電話機を宛先とする電子メールは、一旦、通信事業者のメールサーバ（不図示）に送信される。この電子メールを受信したメールサーバは、無線基地局を介して当該携帯電話機に対しメール受信通知を送信する。電子メールの受信機能を有する携帯電話機は、このメール受信通知を受信すれば直ちに電子メールの受信を開始する必要がある。オーバーラップ合成モードの実行中に、このようなメール受信通知を受信する場合も生ずる。オーバーラップ合成処理の実行中にメール受信通知があった場合、着信時と同様にして、オーバーラップ合成処理が中断又は中止される。 <Operation when receiving e-mail>
An e-mail addressed to the mobile phone is once transmitted to a mail server (not shown) of the communication carrier. The mail server that has received the electronic mail transmits a mail reception notification to the mobile phone via the wireless base station. A mobile phone having an e-mail receiving function needs to start receiving e-mail immediately upon receiving this e-mail reception notification. Such a mail reception notification may be received during execution of the overlap composition mode. When there is a mail reception notification during the execution of the overlap composition process, the overlap composition process is interrupted or stopped in the same manner as when an incoming call is received.

図８のステップＳ３０１〜Ｓ３０８は、電子メール受信通知を受信した場合の動作の一例を示したフローチャートである。無線部３４が無線基地局からメール受信通知を受信した場合、無線部３４からプロセッサ３０へメール受信通知の受信通知が行われ、図８の処理が開始される。プロセッサ３０は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ３０１）。オーバーラップ合成モードの実行中でなければ、通常通りのメール受信処理が行われる。すなわち、電子メールの受信を開始するとともに、画面表示や鳴動等により電子メールを受信したことをユーザに対し通知する。このとき、ユーザは受信メールの閲覧操作を行うことができる。 Steps S301 to S308 in FIG. 8 are a flowchart illustrating an example of an operation when an e-mail reception notification is received. When the wireless unit 34 receives the mail reception notification from the wireless base station, the wireless unit 34 notifies the processor 30 of the reception of the mail reception notification, and the processing of FIG. 8 is started. First, the processor 30 determines whether or not the overlap synthesis mode is being executed (step S301). If the overlap composition mode is not being executed, mail reception processing is performed as usual. That is, the reception of the e-mail is started, and the user is notified that the e-mail has been received by screen display or ringing. At this time, the user can perform a browsing operation of the received mail.

一方、オーバーラップ合成モードの実行中であれば、プロセッサ３０はオーバーラップ合成モードの実行を一時中断し、その作業用データを一時記憶メモリ３１から保存メモリ３２に退避させて、着信処理を開始する（ステップＳ３０２〜Ｓ３０４）。 On the other hand, if the overlap synthesis mode is being executed, the processor 30 temporarily suspends the execution of the overlap synthesis mode, saves the work data from the temporary storage memory 31 to the storage memory 32, and starts incoming processing. (Steps S302 to S304).

その後、メール受信処理（ユーザへの通知、メール閲覧処理を含めてもよい）が終了すれば、ユーザ選択メニューを画面表示させる（ステップＳ３０５）。ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、上記作業用データを一時記憶メモリ３１上に復元し、オーバーラップ合成処理を再開する（ステップＳ３０６〜Ｓ３０８）。一方、「取消」が選択された場合には、保存メモリ３２上に退避させていた作業用データ及び合成画像データを破棄し、オーバーラップ合成モードを終了する。 Thereafter, when the mail reception process (notification to the user and mail browsing process may be included) is completed, the user selection menu is displayed on the screen (step S305). When the user selects “Continue” in the user selection menu, the work data is restored to the temporary storage memory 31 and the overlap composition process is resumed (steps S306 to S308). On the other hand, when “Cancel” is selected, the work data and the composite image data saved in the storage memory 32 are discarded, and the overlap composition mode is terminated.

本実施の形態では、着信又はメール受信通知があった場合に、オーバーラップ合成モードの実行を中断又は中止する場合について説明したが、その他の条件又は手段によって中断又は中止させるように構成することもできる。例えば、予め設定された時刻にアラーム音が出力されるような場合に、オーバーラップ合成モードの実行を中断又は中止させてもよい。 In the present embodiment, the case where the overlap synthesis mode is interrupted or stopped when there is an incoming call or mail reception notification has been described. However, it may be configured to be interrupted or stopped by other conditions or means. it can. For example, when an alarm sound is output at a preset time, the execution of the overlap synthesis mode may be interrupted or stopped.

<合成処理>
次に、静止画像合成部４３による合成処理の詳細について説明する。 <Compositing process>
Next, details of the composition processing by the still image composition unit 43 will be described.

図９は、静止画像抽出部４２により生成される静止画像データのフォーマットの一例を示した図である。このデータフォーマットは、ＹＵＶ４２０と呼ばれ、人間の目が輝度に比べ色度には鈍感であることを利用してデータ量を削減したフォーマットである。すなわち、各ピクセル（画素）ごとの輝度データＹと、隣接する４ピクセルごとの色差データにより構成される。色差データは、さらに赤の色差Ｕ及び青の色差Ｖからなる。図示した静止画像の場合、横２ｍピクセル、縦２ｎピクセルからなり、４ｍｎ個の輝度データＹ_１〜Ｙ_４ｍｎと、ｍｎ個の赤の色差データＵ_１〜Ｕ_ｍｎと、ｍｎ個の青の色差データＶ_１〜Ｖ_ｍｎからなる。 FIG. 9 is a diagram illustrating an example of a format of still image data generated by the still image extraction unit 42. This data format is called YUV420 and is a format in which the amount of data is reduced by utilizing the fact that the human eye is less sensitive to chromaticity than luminance. That is, it is composed of luminance data Y for each pixel (pixel) and color difference data for every four adjacent pixels. The color difference data further includes a red color difference U and a blue color difference V. In the case of the illustrated still image, it is composed of 2 m pixels in the horizontal direction and 2n pixels in the vertical _direction , 4 mn luminance data Y _{1 to} Y ₄ mn, mn red color difference data U _{1 to} U _mn , and mn blue color difference data. consisting of V ₁ ~V _mn.

静止画像合成部４３は、ＹＵＶ４２０フォーマットからなる複数枚の静止画像データを合成し、ＹＵＶ４２０フォーマットからなる１枚の合成画像データを生成する。この合成処理は、従来の合成処理（例えば特許文献３）の様に画像データの２次元的な広がりを考慮するのではなく、ピクセルごとに独立して行われる。つまり、合成される各静止画像において位置的に対応するピクセルの画像データのみに基づいて、合成画像中の位置的に対応するピクセルの画像データが決定され、この様な処理を全てのピクセルについて繰り返し実行することにより合成画像が生成される。 The still image synthesizing unit 43 synthesizes a plurality of still image data having the YUV420 format, and generates one synthesized image data having the YUV420 format. This synthesizing process is performed independently for each pixel instead of considering the two-dimensional spread of the image data as in the conventional synthesizing process (for example, Patent Document 3). In other words, based on only the image data of the corresponding pixel in each synthesized still image, the image data of the corresponding pixel in the synthesized image is determined, and such processing is repeated for all the pixels. By executing this, a composite image is generated.

図１０は、合成対象となる５枚の静止画像データと、合成画像データとを模式的に示した図である。静止画像データ及び合成画像データは、それぞれが輝度データＹ_１〜Ｙ_４ｎｍと色差データＵ_１〜Ｕ_ｎｍ及びＶ_１〜Ｖ_ｎｍからなり、各画像データを区別するため、１〜５枚目の静止画像のデータには右上に１〜５を、合成画像データにはＳを右上にそれぞれ付して区別している。 FIG. 10 is a diagram schematically showing five still image data to be combined and combined image data. Each of the still image data and the composite image data is composed of luminance data Y _{1 to} Y _{4 nm} and color difference data U _{1 to} U _nm and V _{1 to} V _nm. The image data is distinguished by attaching 1 to 5 in the upper right and S in the upper right of the composite image data.

この様な５枚の合成画像データを合成することにより最終的に得られる合成画像データは、次式の通りである。すなわち、合成画像データの輝度データＹ_ｉ ^Ｓは、それぞれが対応するピクセルの輝度データＹ_ｉ ^１〜Ｙ_ｉ ^５の平均値として与えられる。同様にして、合成画像データのＵ_ｊ ^Ｓ，Ｕ_ｊ ^Ｓは、それぞれが対応するピクセルの色差データＵ_ｊ ^１〜Ｕ_ｊ ^５，Ｖ_ｊ ^１〜Ｖ_ｊ ^５の平均値として与えられる。

The synthesized image data finally obtained by synthesizing such five synthesized image data is as follows. That is, the luminance data Y _i ^S of the composite image data is given as an average value of the luminance data Y _i ^{1 to} Y _i ⁵ of the corresponding pixels. Similarly, the composite image data U _j ^S and U _j ^S are given as average values of the color difference data U _j ^{1 to} U _j ⁵ and V _j ^{1 to} V _j ⁵ of the corresponding pixels.

静止画像合成部４３では、（ｎ−１）枚目までの合成画像データに対し、ｎ枚目の静止画像データを追加合成する処理が行われている。この処理は、次式で表される。

In the still image synthesis unit 43, processing for additionally synthesizing the nth still image data with respect to the (n-1) th synthesized image data is performed. This process is expressed by the following equation.

この様な合成処理は、ピクセルごとの合成処理であるため、従来の合成処理（例えば特許文献３）に比べて、処理負荷が比較的軽く、処理速度が速い。このため、小型化、軽量化が要求され、演算処理能力が比較的低い携帯電話機などのような画像処理装置に好適である。また、静止画像データを順次に追加合成することができるため、動画像データから抽出される静止画像データの枚数が増大しても、使用するメモリ領域は増大しない。従って、ユーザは、メモリサイズによる制限を受けることなく、抽出範囲や抽出間隔を自由に指定することができる。 Since such a synthesis process is a pixel-by-pixel synthesis process, the processing load is relatively light and the processing speed is high compared to the conventional synthesis process (for example, Patent Document 3). For this reason, it is suitable for an image processing apparatus such as a mobile phone which requires a reduction in size and weight and a relatively low arithmetic processing capability. Further, since still image data can be added and synthesized sequentially, even if the number of still image data extracted from moving image data increases, the memory area to be used does not increase. Therefore, the user can freely specify the extraction range and the extraction interval without being restricted by the memory size.

本実施の形態によれば、ユーザが抽出条件を任意に指定し、動画像データから複数の静止画像データを抽出して合成画像を生成することができる。このため、１回だけ撮影を行った後、抽出条件を異ならせて合成処理を繰り返せば、所望の合成画像データを得ることができる。従って、撮影前に撮影間隔や撮影回数を慎重に決定し、一連の静止画像データを取得する必要がなく、所望の合成画像データを容易に生成することができる。 According to the present embodiment, a user can arbitrarily specify an extraction condition and extract a plurality of still image data from moving image data to generate a composite image. For this reason, the desired combined image data can be obtained by performing the image capturing only once and then repeating the combining process with different extraction conditions. Therefore, it is not necessary to carefully determine the shooting interval and the number of shots before shooting, and to obtain a series of still image data, and desired composite image data can be easily generated.

また、合成画像データに対し、静止画像データを順次に追加合成することにより、合成対象となる静止画像データの枚数を制限することなく、演算処理能力が比較的低い携帯電話機などにおいても実行することができる。 In addition, by sequentially adding still image data to the synthesized image data, it can be executed even on a cellular phone having a relatively low arithmetic processing capability without limiting the number of still image data to be synthesized. Can do.

また、追加合成により得られた合成画像データを順次に画面表示することにより、ユーザは、全ての合成処理が完了する前に当該処理を中断することができる。このため、抽出条件が適切でなく、所望の合成画像データが得られない場合に、当該合成処理を早い段階で中止し、抽出条件を変更して再び合成処理を開始することができる。 Further, by sequentially displaying the composite image data obtained by the additional composition on the screen, the user can interrupt the process before all the composition processes are completed. For this reason, when the extraction conditions are not appropriate and desired composite image data cannot be obtained, the synthesis processing can be stopped at an early stage, the extraction conditions can be changed, and the synthesis processing can be started again.

本発明による移動体通信端末の一例を示した外観図である。It is the external view which showed an example of the mobile communication terminal by this invention. 図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。FIG. 2 is a block diagram illustrating an example of an internal configuration of a main part of the mobile phone 1 in FIG. 1. プロセッサ３０により実行されるプログラムの要部について一例を示した機能ブロック図である。3 is a functional block diagram illustrating an example of a main part of a program executed by a processor 30. FIG. メイン表示部１１の表示例を示した図である。4 is a diagram showing a display example of a main display unit 11. FIG. オーバーラップ合成モードの実行中におけるメイン表示部１１の表示例を示した図である。It is the figure which showed the example of a display of the main display part 11 in execution of overlap synthetic | combination mode. オーバーラップ合成処理の動作の一例を示したフローチャートである。It is the flowchart which showed an example of the operation | movement of an overlap synthetic | combination process. 着信時の動作の一例を示したフローチャートである。It is the flowchart which showed an example of the operation | movement at the time of an incoming call. メール受信時における動作の一例を示したフローチャートである。It is the flowchart which showed an example of the operation | movement at the time of mail reception. 静止画像抽出部４２により生成される静止画像データのフォーマットの一例を示した図である。It is the figure which showed an example of the format of the still image data produced | generated by the still image extraction part. 合成対象となる５枚の静止画像データと、合成画像データとを模式的に示した図である。It is the figure which showed typically the still image data of 5 sheets used as a synthetic | combination object, and synthetic | combination image data.

符号の説明Explanation of symbols

１携帯電話機
１１メイン表示部
１２，２３キー操作部
３０プロセッサ
３１一時記憶メモリ
３２保存メモリ
３４無線部
４０合成処理制御部
４１動画像再生部
４２静止画像抽出部
４３静止画像合成部
５０画像表示領域
５１再生位置表示手段
５２，５３ポインタ
４０１抽出条件指定部
４０２中断処理部
４０３再開処理部
ＦＣフォーカス
Ｕ_１-Ｕ_ｍｎ，Ｖ_１-Ｖ_ｍｎ色差データ
Ｙ_１-Ｙ_４ｎｍ輝度データ
DESCRIPTION OF SYMBOLS 1 Cellular phone 11 Main display part 12, 23 Key operation part 30 Processor 31 Temporary storage memory 32 Storage memory 34 Radio | wireless part 40 Compositing process control part 41 Moving image reproduction part 42 Still image extraction part 43 Still image composition part 50 Image display area 51 Playback position display means 52, 53 Pointer 401 Extraction condition designation unit 402 Interruption processing unit 403 Resumption processing unit FC Focus U ₁ -U _mn , V ₁ -V _mn Color difference data Y ₁ -Y _{4 nm} luminance data

Claims

動画像データを記憶する動画像データ記憶手段と、
静止画像データを抽出するための抽出範囲として、動画像データにおける時間軸上の範囲を指定する抽出条件指定手段と、
上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出手段と、
上記静止画像抽出手段により抽出された静止画像データを合成し、合成画像データを生成する静止画像合成手段とを備え、
上記静止画像合成手段は、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出手段が全ての静止画像データの抽出を完了する前に、上記合成処理を開始することを特徴とする移動体通信端末。 Moving image data storage means for storing moving image data;
As an extraction range for extracting still image data, an extraction condition specifying means for specifying a range on the time axis in moving image data;
Still image extraction means for sequentially extracting a plurality of still image data from the moving image data based on the extraction range;
Still image synthesis means for synthesizing still image data extracted by the still image extraction means and generating synthesized image data,
The still image synthesizing unit sequentially adds and synthesizes still image data to the synthesized image data, and starts the synthesizing process before the still image extracting unit completes the extraction of all the still image data. Mobile communication terminal.

上記静止画像合成手段は、上記静止画像抽出手段により１枚の静止画像データが抽出されるごとに追加合成を実行し、
上記静止画像抽出手段は、上記静止画像合成手段により１枚の静止画像データが追加合成されるごとに新たな静止画像データの抽出を行うことを特徴とする請求項１に記載の移動体通信端末。 The still image composition means performs additional composition every time one still image data is extracted by the still image extraction means,
2. The mobile communication terminal according to claim 1, wherein the still image extracting means extracts new still image data every time one still image data is additionally synthesized by the still image synthesizing means. .

上記動画像データ記憶手段に保持されている動画像データに基づいて、動画像を再生し、画面表示する動画像再生手段を備え、
上記抽出条件指定手段は、ユーザ操作が行われた時の動画像データの再生位置に基づいて、上記抽出範囲を指定することを特徴とする請求項１に記載の移動体通信端末。 Based on the moving image data stored in the moving image data storage means, a moving image reproducing means for reproducing a moving image and displaying the screen is provided.
The mobile communication terminal according to claim 1, wherein the extraction condition designating unit designates the extraction range based on a playback position of moving image data when a user operation is performed.

上記静止画像合成手段において静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示手段を備え、
上記静止画像合成手段は、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止することを特徴とする請求項１に記載の移動体通信端末。 The composite image display means for sequentially displaying the composite image data obtained by additionally combining the still image data in the still image composition means on the screen,
2. The mobile communication terminal according to claim 1, wherein the still image synthesizing unit stops the synthesis process based on a user operation during the synthesis process.

上記静止画像合成手段は、静止画像データの合成処理中に着信があった場合、当該合成処理を中断し、終話後に中断中の合成処理を再開することを特徴とする請求項１に記載の移動体通信端末。 The said still image synthetic | combination means interrupts the said synthetic | combination process, when there exists an incoming call during the synthetic | combination process of still image data, The synthetic | combination process interrupted is resumed after the end of a call | call. Mobile communication terminal.

上記静止画像合成手段は、終話時に、中断中の合成処理を再開するか否かをユーザの操作入力に基づいて決定することを特徴とする請求項５に記載の移動体通信端末。 6. The mobile communication terminal according to claim 5, wherein the still image synthesizing unit determines, based on a user operation input, whether or not to resume the interrupted synthesizing process at the end of the talk.

上記静止画像合成手段は、静止画像データの合成処理中にメール受信通知があった場合，当該合成処理を中断し、メール受信処理後に中断している合成処理を再開することを特徴とする請求項１に記載の移動体通信端末。 The said still image composition means, when there is a mail reception notification during still image data composition processing, interrupts the composition processing and resumes the composition processing suspended after the mail reception processing. The mobile communication terminal according to 1.

上記静止画像合成手段は、メール受信処理後に、中断中の合成処理を再開するか否かをユーザに選択させることを特徴とする請求項７に記載の移動体通信端末。 8. The mobile communication terminal according to claim 7, wherein the still image synthesizing unit causes the user to select whether or not to resume the suspended synthesis process after the mail reception process.

動画像データに基づいて動画像を再生し、画面表示する動画像再生ステップと、
ユーザ操作が行われた時の動画像データの再生位置に基づいて、動画像データから静止画像データを抽出する抽出範囲を指定する抽出範囲指定ステップと、
上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出ステップと、
上記静止画像抽出ステップにより抽出された静止画像データを合成し、合成画像データを生成する静止画像合成ステップとを備え、
上記静止画像合成ステップは、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出ステップにおいて全ての静止画像データの抽出が完了する前に、上記合成処理を開始することを特徴とする静止画像抽出合成方法。 A moving image reproduction step for reproducing a moving image based on the moving image data and displaying it on the screen;
An extraction range designation step for designating an extraction range for extracting still image data from moving image data based on a reproduction position of the moving image data when a user operation is performed;
A still image extraction step for sequentially extracting a plurality of still image data from the moving image data based on the extraction range;
A still image synthesis step of synthesizing the still image data extracted by the still image extraction step and generating synthesized image data;
In the still image synthesis step, still image data is sequentially added and synthesized to the synthesized image data, and the synthesis process is started before extraction of all the still image data is completed in the still image extraction step. Still image extraction and synthesis method.

上記静止画像合成ステップにおいて静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示ステップを備え、
上記静止画像合成ステップは、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止することを特徴とする請求項９に記載の静止画像抽出合成方法。
A composite image display step for sequentially displaying the composite image data obtained by additionally combining the still image data in the still image composition step on the screen;
10. The still image extracting and synthesizing method according to claim 9, wherein the still image synthesizing step stops the synthesizing process based on a user operation during the synthesizing process.