JP5464926B2

JP5464926B2 - Image processing apparatus and image processing method

Info

Publication number: JP5464926B2
Application number: JP2009155974A
Authority: JP
Inventors: 卓草薙
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-30
Filing date: 2009-06-30
Publication date: 2014-04-09
Anticipated expiration: 2029-06-30
Also published as: JP2011015061A

Description

本発明は画像処理装置および画像処理方法に関し、特に、一旦記録した動画像の中から所望のフレームを静止画として記録するために用いて好適な技術に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique suitable for use in recording a desired frame as a still image from a once recorded moving image.

従来、動画や静止画を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。
また、近年では、撮像素子の画素数の増加などにより高精細な動画像を撮影できるようになっているため、一旦記録した動画像の中から所望のフレームを静止画として記録する機能を持つビデオカメラが登場している。 2. Description of the Related Art Conventionally, a video camera that captures moving images and still images and records them on a recording medium such as a memory card is known.
In recent years, a high-definition moving image can be taken due to an increase in the number of pixels of an image sensor, etc., and thus a video having a function of recording a desired frame as a still image from a once recorded moving image. A camera has appeared.

この様に、一旦記録した動画像のうちの一画面を静止画として取り出す際、ユーザが指定した画面の前後の画面を表示し、所望の画面を選択しやすくする技術も考えられている（例えば、特許文献１参照)。 In this way, when one screen of a recorded moving image is taken out as a still image, a technique for displaying the screens before and after the screen specified by the user to make it easier to select a desired screen is also considered (for example, , See Patent Document 1).

特開平７−２９８１７６号公報JP-A-7-298176

前述した特許文献１により提案されたビデオプリンタや、ハンディ型のビデオカメラでは、一般に、液晶パネルなどの表示画面のサイズはせいぜい２、３インチ程度である。そのため、動画像から静止画を取り出す際に、ユーザが指定した画面の前後の画面を一覧表示しても、各画像のサイズが小さいので、内容を確認しづらい、という問題があった。 In the video printer and the handy type video camera proposed by Patent Document 1 described above, the size of a display screen such as a liquid crystal panel is generally about 2 to 3 inches at most. Therefore, when taking out a still image from a moving image, there is a problem that even if a list of screens before and after the screen designated by the user is displayed, the size of each image is small and it is difficult to confirm the contents.

このため、ユーザは、表示画面に一覧表示された縮小画像のうち、選択した画像を改めて拡大表示させ、所望の画像かどうかを確認する必要があり、使い勝手が悪いものであった。 For this reason, it is necessary for the user to enlarge the selected image among the reduced images displayed as a list on the display screen to confirm whether the image is a desired image, which is inconvenient.

本発明はこの様な問題を解決し、動画像のうちの一画面を選択して静止画像として取り出す際に、所望の画面を簡単に選択できるようにすることを目的とする。 An object of the present invention is to solve such a problem and to easily select a desired screen when selecting one screen of a moving image and taking it out as a still image.

本発明の画像処理装置は、動画データ中のフレームを選択する選択手段と、前記選択されたフレームの画像における一部の領域を指定領域として指定する指定手段と、前記選択されたフレームの画像における前記指定領域に基づいて、前記動画データ中の前記選択されたフレームの前または後のフレームの画像における一部の領域を表示領域として決定する決定手段と、前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示するように制御する制御手段と、を有し、前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定手段は、前記選択されたフレームの画像における前記指定領域の変更が可能であり、前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定手段により前記指定領域が変更された場合には、前記決定手段は、前記変更された指定領域に基づいて、前記選択されたフレームの前または後のフレームの画像における前記表示領域を決定し、前記制御手段は、前記選択されたフレームの画像と、前記変更された指定領域に基づいて決定された前記表示領域の画像とを表示するように制御することを特徴とする。
The image processing apparatus of the present invention includes a frame to that selection means select in moving image data, and specifying means to specify as the designated region a partial area in the selected frame of the image, which is the selected based on the specified area in the frame of the image, and determine means that determine a partial area as the display area of the image before or after the frame of the selected frame in the video data, pre-Symbol and images of the selected frames, and a control means for controlling to display the image of said determined the display area, an image of the selected frame, the determined of the display region In the state where the image is displayed, the designating unit can change the designated area in the image of the selected frame, and the image of the selected frame is determined. In the state where the image of the display area is being displayed, if the designated area is changed by the designation means, the determining means may determine the selected frame based on the changed designated area. The display area in the image of the previous or subsequent frame is determined, and the control means displays the image of the selected frame and the image of the display area determined based on the changed designated area. It is characterized by controlling as follows.

本発明によれば、動画像ストリームの中から所定のフレームを選択するときに、時系列に並べられた所定数のフレームから所望のフレームを選択することができ、所望の画面を簡単に選択することができる。 According to the present invention, when a predetermined frame is selected from a moving image stream, a desired frame can be selected from a predetermined number of frames arranged in time series, and a desired screen can be easily selected. be able to.

本発明の第１の実施形態を示し、静止画像や動画像を光ディスクに記録する機能を備えたＤＶＤビデオカメラの構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of a DVD video camera that has a function of recording a still image or a moving image on an optical disc according to a first embodiment of this invention. FIG. 本発明の第１の実施形態を示し、操作部および表示部の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of an operation part and a display part. 本発明の第１の実施形態を示し、動画像から所定のフレームを選択して保存するまでの処理手順の一例を説明するフローチャートである。5 is a flowchart illustrating an example of a processing procedure until a predetermined frame is selected from a moving image and stored according to the first embodiment of this invention. 本発明の第１の実施形態を示し、動画像ファイルを構成するフレームを再生方向に対して時系列に並べた図である。FIG. 3 is a diagram illustrating the first embodiment of the present invention, in which frames constituting a moving image file are arranged in time series with respect to a reproduction direction. 本発明の第１の実施形態を示し、選択ファイル内のフレーム解析の手順の一例を示すフローチャートである。It is a flowchart which shows the 1st Embodiment of this invention and shows an example of the procedure of the frame analysis in a selection file. 本発明の第１の実施形態を示し、選択フレームにおける領域指定を行うときに表示部に表示される操作画面の一例を説明する図である。It is a figure which shows the 1st Embodiment of this invention and demonstrates an example of the operation screen displayed on a display part when performing the area | region designation | designated in a selection frame. 本発明の第１の実施形態を示し、前後フレームの画面確認を行うときに表示部に表示される操作画面の一例を説明する図である。It is a figure which shows the 1st Embodiment of this invention and demonstrates an example of the operation screen displayed on a display part when performing the screen confirmation of the back and front frame. 本発明の第１の実施形態を示し、選択フレームの画面確認を行うときに表示部に表示される操作画面の一例を説明する図である。It is a figure which shows the 1st Embodiment of this invention and demonstrates an example of the operation screen displayed on a display part when performing screen confirmation of a selection frame. 本発明の第２の実施形態を示し、連続撮影した静止画から所望の画像を選択する手順の一例を示したフローチャートである。FIG. 10 is a flowchart illustrating an example of a procedure for selecting a desired image from still images captured continuously, according to the second embodiment of the present invention.

以下、本発明の実施形態を説明する。本発明はビデオカメラ、デジタルスチルカメラ、携帯電話、パーソナルコンピューターなどの動画像もしくは静止画像を編集可能な機器に対して適用が可能である。
（第１の実施形態）
図１は、本発明を適用した静止画像や動画像を光ディスクやメモリカード等の記録媒体に記録する機能を備えたビデオカメラ１００の構成例を示すブロック図である。
図１に示すように、本実施形態のビデオカメラ１００は撮像部１０１、映像信号処理部１０２、音声信号処理部１０３、マイク１０４、システム制御部１０５、フレームメモリ１０６、顔検出部１０７を備える。さらに、動画符号化部１０８、静止画符号化部１０９、アナログフロントエンド（アナログＦＥ）１１０、操作部１１１、表示部１１２、フラッシュメモリ１１３、ストリームバッファ１１４および多重化処理部１１５などを備えている。また、本実施形態では、光ディスク１１６に対して後述の様に動画や音声を記録再生するが、もちろん、これ以外の記録媒体を用いる構成でもよい。 Embodiments of the present invention will be described below. The present invention can be applied to a device capable of editing a moving image or a still image such as a video camera, a digital still camera, a mobile phone, and a personal computer.
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a video camera 100 having a function of recording a still image or a moving image to which the present invention is applied to a recording medium such as an optical disk or a memory card.
As shown in FIG. 1, the video camera 100 of this embodiment includes an imaging unit 101, a video signal processing unit 102, an audio signal processing unit 103, a microphone 104, a system control unit 105, a frame memory 106, and a face detection unit 107. Furthermore, a moving image encoding unit 108, a still image encoding unit 109, an analog front end (analog FE) 110, an operation unit 111, a display unit 112, a flash memory 113, a stream buffer 114, a multiplexing processing unit 115, and the like are provided. . In this embodiment, moving images and audio are recorded / reproduced on / from the optical disc 116 as will be described later. Of course, other recording media may be used.

図１において、撮像部１０１は、被写体像を電気信号に変換するものであり、動画像や静止画像の撮影機能を有する。映像信号処理部１０２は、撮像部１０１で得られた映像信号にＡ/Ｄ変換および適切な画像処理を施すものである。マイク１０４は、外部の音声を取り込むものであり、音声信号処理部１０３はマイク１０４で得られた音声信号にＡ/Ｄ変換および適切な信号処理を施すものである。 In FIG. 1, an imaging unit 101 converts a subject image into an electrical signal, and has a shooting function for moving images and still images. The video signal processing unit 102 performs A / D conversion and appropriate image processing on the video signal obtained by the imaging unit 101. The microphone 104 captures external sound, and the sound signal processing unit 103 performs A / D conversion and appropriate signal processing on the sound signal obtained by the microphone 104.

システム制御部１０５は、フラッシュメモリ１１３に記録されているプログラムを実行し、各種処理を行う。フレームメモリ１０６は、記録時においては撮影して得られた映像・音声データを符号化・多重化するまで一時記憶し、再生時においては多重分離・復号化された映像・音声データを出力するまで記憶するものである。 The system control unit 105 executes a program recorded in the flash memory 113 and performs various processes. The frame memory 106 temporarily stores video / audio data obtained by shooting at the time of recording until it is encoded / multiplexed, and at the time of reproduction until it outputs video / audio data that has been demultiplexed / decoded. It is something to remember.

顔検出部１０７は、フレームメモリ１０６に一時保持された画像データを処理し、人間の顔を検出し、その位置や大きさを特定する機能を有する。顔検出のアルゴリズムに関しては、肌色検出、目鼻口検出、顔の輪郭検出等、既知の技術を用いることができるので、詳細な説明を省略する。顔認識部１１９は、顔検出部１０７により検出された顔が誰の顔であるかの特定をするものである。 The face detection unit 107 has a function of processing image data temporarily stored in the frame memory 106, detecting a human face, and specifying its position and size. Regarding the face detection algorithm, since known techniques such as skin color detection, eye nose and mouth detection, face contour detection, and the like can be used, detailed description thereof will be omitted. The face recognizing unit 119 identifies who the face detected by the face detecting unit 107 is.

動き検出部１１８は、フレーム間の動きを検出する。本実施形態においては、フレームメモリ１０６に保存されたフレームと他のフレーム、例えば最新フレームとの間で動きベクトルを算出し、動きベクトルから動き量と動く方向を検出する。動画符号化部１０８は、ビデオデータ・音声データを圧縮符号化するものである。静止画符号化部１０９は、非圧縮画像データを、JPEG等所定の圧縮方式に従って圧縮符号化するものである。 The motion detection unit 118 detects motion between frames. In the present embodiment, a motion vector is calculated between a frame stored in the frame memory 106 and another frame, for example, the latest frame, and a motion amount and a moving direction are detected from the motion vector. The moving image encoding unit 108 compresses and encodes video data / audio data. The still image encoding unit 109 compresses and encodes uncompressed image data according to a predetermined compression method such as JPEG.

アナログフロントエンド１１０は、光ディスク１１６に対して読み取り・書き込みを行うものである。操作部１１１は、ユーザからの操作を受け付けて、ビデオカメラ１００を操作するためのものである。表示部１１２は液晶パネルを有し、記録時は撮像部１０１で撮影した画像を表示し、再生時は再生映像を表示する。また、ビデオカメラ１００に対する設定メニュー等を表示する機能を有する。なお、本実施形態では、表示部１１２における液晶パネルのサイズを３インチ程度とする。 The analog front end 110 reads / writes data from / to the optical disk 116. The operation unit 111 is for receiving an operation from the user and operating the video camera 100. The display unit 112 has a liquid crystal panel, and displays an image captured by the image capturing unit 101 during recording, and displays a playback video during playback. Further, it has a function of displaying a setting menu for the video camera 100 and the like. In the present embodiment, the size of the liquid crystal panel in the display unit 112 is about 3 inches.

フラッシュメモリ１１３は、電源OFF状態でも保持する必要のある情報を記憶するために用いられる。また、撮影中のバッテリ外しなどが発生した時に撮影可能な状態に復帰するため必要な情報の格納にも使用される。ＲＡＭ１１７は、システム制御部１０５が使用する情報を一時的に保存しておくためのメモリである。 The flash memory 113 is used to store information that needs to be retained even when the power is off. It is also used to store information necessary for returning to a state in which photographing can be performed when the battery is removed during photographing. The RAM 117 is a memory for temporarily storing information used by the system control unit 105.

ストリームバッファ１１４は、多重化されたストリームデータを保持するためのものである。多重化処理部（マルチプレクサ・デマルチプレクサ）１１５は、記録時は圧縮符号化された映像・音声データを多重化してストリームデータを生成し、再生時はストリームデータを多重分離して映像・音声データを生成する。光ディスク１１６は、ＤＶＤ―ＲやＤＶＤ―ＲＷ等の記録可能なメディアであり、これらのメディアに対して映像や静止画像が記録・再生される。 The stream buffer 114 is for holding multiplexed stream data. A multiplexing processing unit (multiplexer / demultiplexer) 115 multiplexes the compressed and encoded video / audio data at the time of recording to generate stream data, and demultiplexes the stream data at the time of reproduction to generate the video / audio data. Generate. The optical disk 116 is a recordable medium such as a DVD-R or a DVD-RW, and video and still images are recorded and reproduced on these media.

前述のような構成により、本実施形態においては、動画像の撮影時には、撮像部１０１で得られた電気信号は映像信号処理部１０２においてデジタルデータに変換され、フレームメモリ１０６にバッファリングされる。フレームメモリ１０６には、直前のフレームの画像情報も保持されており、動き検出部１１８により、２つのフレーム間の動きが検出される。動き検出部１１８により検出された動きの情報は、システム制御部１０５によりフレームの画像情報に付加される。 With the above-described configuration, in the present embodiment, when capturing a moving image, the electric signal obtained by the imaging unit 101 is converted into digital data by the video signal processing unit 102 and buffered in the frame memory 106. The frame memory 106 also holds image information of the immediately preceding frame, and the motion detection unit 118 detects the motion between the two frames. The motion information detected by the motion detection unit 118 is added to the frame image information by the system control unit 105.

また、動きの情報の付加と同時に、マイク１０４より取得した音声信号は音声信号処理部１０３においてデジタルデータに変換され、フレームメモリ１０６にバッファリングされる。フレームメモリ１０６に格納された映像・音声データは、動画符号化部１０８によってそれぞれ圧縮され、多重化処理部１１５において多重化を施された後、ストリームデータとしてストリームバッファ１１４に保持される。 Simultaneously with the addition of motion information, the audio signal acquired from the microphone 104 is converted into digital data by the audio signal processing unit 103 and buffered in the frame memory 106. The video / audio data stored in the frame memory 106 is compressed by the moving image encoding unit 108, multiplexed by the multiplexing processing unit 115, and then held in the stream buffer 114 as stream data.

システム制御部１０５は、ストリームバッファ１１４内に保持されているストリームデータを、アナログフロントエンド１１０によって光ディスク１１６へ書き込むよう制御する。本実施形態では、動画、音声データはファイルとして光ディスク１１６に記録される。また、撮影開始の指示から撮影停止の指示までの間に光ディスク１１６に記録された一連のシーンの動画、音声を一つのファイルとして管理する。 The system control unit 105 controls the stream data held in the stream buffer 114 to be written to the optical disc 116 by the analog front end 110. In the present embodiment, moving image and audio data are recorded on the optical disc 116 as files. Also, a series of scenes of moving images and audio recorded on the optical disc 116 from the start of shooting to the stop of shooting are managed as one file.

静止画の撮影時には、撮像部１０１で得られた電気信号は映像信号処理部１０２においてデジタルデータに変換され、フレームメモリ１０６にバッファリングされる。
静止画符号化部１０９は、フレームメモリ１０６に格納された映像データを、システム制御部１０５から指示された符号化パラメータで符号化を行う。静止画符号化部１０９により符号化された静止画データは、ストリームバッファ１１４に保持される。そして、アナログフロントエンド１１０により、光ディスク１１６に記録される。本実施形態では、１回の静止画撮影指示によって記録する１画面の静止画を一つのファイルとして管理する。 At the time of shooting a still image, the electric signal obtained by the imaging unit 101 is converted into digital data by the video signal processing unit 102 and buffered in the frame memory 106.
The still image encoding unit 109 encodes the video data stored in the frame memory 106 with the encoding parameter specified by the system control unit 105. Still image data encoded by the still image encoding unit 109 is held in the stream buffer 114. Then, it is recorded on the optical disk 116 by the analog front end 110. In the present embodiment, one screen still image to be recorded by one still image shooting instruction is managed as one file.

操作部１１１は、図２に示す様に、十字キー３０１、決定ボタン３０２、戻りボタン３０３、メニュー呼び出しボタン３０４、再生ボタン３０５、後戻りボタン３０６、先送りボタン３０７、停止ボタン３０８などがある。これらのボタンは記録再生でボタンに割り振る機能を変更することが可能である。これらのボタンを用いてユーザは記録・再生の指示などの操作を行う。 As shown in FIG. 2, the operation unit 111 includes a cross key 301, a determination button 302, a return button 303, a menu call button 304, a playback button 305, a backward button 306, a forward button 307, a stop button 308, and the like. These buttons can change the function assigned to the buttons during recording and playback. Using these buttons, the user performs operations such as recording / playback instructions.

表示部１１２は、撮像部１０１によって生成された被写体像、あるいは光ディスク１１６内のデータを再生するときには再生画像を表示する液晶パネルを有している。また、表示部１１２は、本実施形態のビデオカメラ１００に対する設定を行うために必要なメニュー表示等の機能も有する。なお、再生時、アナログフロントエンド１１０によって光ディスク１１６から読み取ったデータはストリームバッファ１１４に格納され、システム制御部１０５により復号化される。 The display unit 112 includes a liquid crystal panel that displays a reproduction image when reproducing a subject image generated by the imaging unit 101 or data in the optical disc 116. The display unit 112 also has functions such as menu display necessary for performing settings for the video camera 100 of the present embodiment. During reproduction, the data read from the optical disk 116 by the analog front end 110 is stored in the stream buffer 114 and decoded by the system control unit 105.

復号化されたデータは、多重化処理部１１５において映像ストリームと音声ストリームに分離（展開）されてフレームメモリ１０６に格納される。展開された映像・音声データは、映像信号処理部１０２および音声信号処理部１０３によって適切な信号処理を施した後、表示部１１２の液晶パネルやスピーカー（図示しない）からそれぞれ出力される。 The decoded data is separated (expanded) into a video stream and an audio stream in the multiplexing processing unit 115 and stored in the frame memory 106. The developed video / audio data is subjected to appropriate signal processing by the video signal processing unit 102 and the audio signal processing unit 103, and then output from a liquid crystal panel or a speaker (not shown) of the display unit 112, respectively.

次に、図３のフローチャートを用いて動画像から所定のフレームを選択して保存するまでの処理手順の一例を説明する。ユーザは、操作部１１１を操作することにより、光ディスク１１６に記録された動画の中から所望のフレームを静止画として記録するための処理を指示することができる。
ユーザの支持により、処理が開始されると、ステップＳ２０１において、光ディスク１１６に記録された動画像ファイルの代表画像（サムネイル）を表示部１１２に表示する。そして、ユーザが操作部１１１を操作して、所望の動画像ファイルが選択されるまで待機する。なお、本実施形態では、動画ファイルの代表画像を縮小画像にして複数枚ならべて所定数表示させるが、その他の表示方法を用いてもよい。本実施形態においては、システム制御部１０５が表示制御を行い、表示部１１２に種々の画面を表示するようにしている。 Next, an example of a processing procedure until a predetermined frame is selected from a moving image and stored will be described using the flowchart of FIG. The user can instruct a process for recording a desired frame as a still image from the moving images recorded on the optical disc 116 by operating the operation unit 111.
When the process is started with the support of the user, the representative image (thumbnail) of the moving image file recorded on the optical disc 116 is displayed on the display unit 112 in step S201. And it waits until a user operates the operation part 111 and a desired moving image file is selected. In the present embodiment, the representative image of the moving image file is reduced and displayed as a predetermined number, and other display methods may be used. In the present embodiment, the system control unit 105 performs display control, and displays various screens on the display unit 112.

ステップＳ２０１において動画像ファイルが選択されると、次に、ステップＳ２０２に進む。ステップＳ２０２においては、システム制御部１０５は、ステップＳ２０１で選択された動画像ファイルの再生を行う。この際、動画像ファイルが符号化されていれば復号化を行い、表示部１１２の液晶パネルに再生された動画像を表示する。その後、ステップＳ２０３に進む。 If a moving image file is selected in step S201, the process proceeds to step S202. In step S202, the system control unit 105 reproduces the moving image file selected in step S201. At this time, if the moving image file is encoded, decoding is performed, and the reproduced moving image is displayed on the liquid crystal panel of the display unit 112. Thereafter, the process proceeds to step S203.

ステップＳ２０３においては、所望のフレームが表示部１１２に表示された際に、ユーザが操作部１１１を操作して、動画再生を一時停止させるまで待機する。本実施形態においては、ユーザの操作により動画再生が一時停止された場合、所定の時間経過してから次のステップＳ２０４に移行するようにしている。したがって、ユーザは表示部１１２に表示されたフレームが所望のフレームでなかった場合には、操作部１１１により一時停止の解除やコマ送り等を行うことにより、所望のフレームを確実に選択することができる。表示部１１２に表示されたフレームが所望のフレームであり、一時停止の状態が所定の時間経過するとステップＳ２０４に移行する。 In step S203, when a desired frame is displayed on the display unit 112, the user operates the operation unit 111 to wait until the moving image reproduction is paused. In the present embodiment, when moving image playback is paused by a user operation, the process proceeds to the next step S204 after a predetermined time has elapsed. Therefore, when the frame displayed on the display unit 112 is not a desired frame, the user can reliably select the desired frame by canceling the pause or moving the frame by the operation unit 111. it can. When the frame displayed on the display unit 112 is a desired frame and the pause state has elapsed for a predetermined time, the process proceeds to step S204.

ステップＳ２０４においては、図６に示すような領域選択モードへ移行し、メニュー画面の呼び出しが行われる。領域選択モードにおいて表示されたフレームを基準フレームとして以降の処理が行われる。図６に示すように、領域選択モードの画面は、少なくともＳ２０３で選択された基準フレーム４０４を表示する領域と基準フレーム４０４内の領域を指定する領域指定枠６０１で構成される。 In step S204, the area selection mode as shown in FIG. 6 is entered and a menu screen is called. Subsequent processing is performed using the frame displayed in the region selection mode as a reference frame. As shown in FIG. 6, the screen in the area selection mode includes at least an area for displaying the reference frame 404 selected in S <b> 203 and an area designation frame 601 for designating an area in the reference frame 404.

ステップＳ２０５においては、ユーザが操作部１１１を操作して、フレーム内の所望の座標とサイズで領域が選択されるまで待機する。ここで、ユーザにより行われる選択操作の一例を具体的に説明する。まず、十字キー３０１を操作して領域指定枠６０１の位置を指定し、決定ボタン３０２で位置を確定する。次に、十字キー３０１を操作して領域指定枠６０１の大きさを指定し、決定ボタン３０２で大きさを確定する。システム制御部１０５は、ユーザの操作により確定された位置と大きさを基に基準フレーム４０４内の領域指定枠６０１を更新する。ここでは、領域の指定は矩形で行っているが、例えば円や任意の多角形で選択してもよい。 In step S205, the user operates the operation unit 111 to wait until an area is selected with desired coordinates and size in the frame. Here, an example of the selection operation performed by the user will be specifically described. First, the position of the area designation frame 601 is designated by operating the cross key 301, and the position is determined by the enter button 302. Next, the size of the area designation frame 601 is designated by operating the cross key 301, and the size is determined by the decision button 302. The system control unit 105 updates the area designation frame 601 in the reference frame 404 based on the position and size determined by the user operation. Here, the area is designated by a rectangle, but may be selected by, for example, a circle or an arbitrary polygon.

ステップＳ２０６においては、システム制御部１０５は顔検出部１０７からの情報を基に、ステップＳ２０５で選択された領域指定枠６０１の中に顔が存在するかの判断を行う。この判断の結果、顔が存在する場合はステップＳ２０７に進み、システム制御部１０５は顔が検出された位置と大きさをＲＡＭ１１７へ格納する。また、顔が存在しない場合はステップＳ２０８に進む。 In step S206, the system control unit 105 determines whether a face exists in the area designation frame 601 selected in step S205, based on information from the face detection unit 107. If it is determined that a face exists, the process proceeds to step S207, and the system control unit 105 stores the position and size at which the face is detected in the RAM 117. If no face exists, the process proceeds to step S208.

ステップＳ２０７においては、ステップＳ２０６で検出した顔が前後フレームにも存在するか否かの解析を行う。このステップＳ２０７の顔解析処理により、前後フレームで顔の位置が変更になったときにでも顔を中心とした画像を表示できるようになる。システム制御部１０５は、ステップＳ２０３で選択された基準フレームを中心とした前のフレーム、または後ろのフレームを所定数、復号した状態でストリームバッファ１１４に格納する。 In step S207, it is analyzed whether the face detected in step S206 is also present in the previous and next frames. By the face analysis process in step S207, an image centered on the face can be displayed even when the position of the face is changed in the preceding and following frames. The system control unit 105 stores a predetermined number of previous or subsequent frames centered on the reference frame selected in step S203 in the stream buffer 114 in a decoded state.

図４は、動画像ファイルを構成するフレームを再生方向に対し、時系列に並べたもので、ステップＳ２０３で選択されたフレームが図４中のフレーム４０４であるとする。 FIG. 4 shows the frames constituting the moving image file arranged in time series with respect to the playback direction, and it is assumed that the frame selected in step S203 is the frame 404 in FIG.

次に、ステップＳ２０７で行われる解析の手順を図５のフローチャートと、図４とを用いて説明する。
ステップＳ５０１においては、基準フレーム４０４の次フレーム４０５を解析フレームとする。次に、ステップＳ５０２において、解析フレーム４０５の顔検出処理を行う。ステップＳ５０２の顔検出処理の結果、顔が検出されなかったときには処理を終了させる。また、顔が検出されたときには顔の位置と大きさをＲＡＭ１１７へ格納する。フレーム内に顔が複数検出されたときには顔認識部１１９により検出された顔の認識を行い、ステップＳ２０６で検出した顔と同一の顔であるか否かの判断を行う。 Next, the analysis procedure performed in step S207 will be described with reference to the flowchart of FIG. 5 and FIG.
In step S501, the next frame 405 of the reference frame 404 is set as an analysis frame. Next, in step S502, face detection processing of the analysis frame 405 is performed. If no face is detected as a result of the face detection process in step S502, the process ends. When a face is detected, the face position and size are stored in the RAM 117. When a plurality of faces are detected in the frame, the face detected by the face recognition unit 119 is recognized, and it is determined whether or not the face is the same as the face detected in step S206.

ステップＳ５０２の処理を終了したら、次に、ステップＳ５０３に移行する。ステップＳ５０３においては、解析したフレームが所定数であるかの判断を行う。この判断の結果、所定数のフレームに対して処理が完了していれば解析を完了とする。また、完了していなければステップＳ５０１へ移行し、次のフレームを解析対象のフレームとして選択する。基準フレーム４０４から再生方向への解析が終了したら基準フレーム４０４から再生方向と反対方向に対しても同様の解析を行う。 When the process of step S502 is completed, the process proceeds to step S503. In step S503, it is determined whether the number of analyzed frames is a predetermined number. As a result of this determination, if the processing is completed for a predetermined number of frames, the analysis is completed. If not completed, the process proceeds to step S501, and the next frame is selected as a frame to be analyzed. When the analysis from the reference frame 404 to the reproduction direction is completed, the same analysis is performed from the reference frame 404 to the direction opposite to the reproduction direction.

ステップＳ２０８においては、ステップＳ２０３で選択された基準フレーム４０４の前後フレームの動きを解析する。このステップＳ２０８の処理を行うことにより、カメラがパン、ズーム、チルトしたときでもステップＳ２０５で指定した領域を、どのフレームでも確認することが可能となる。 In step S208, the motion of the frames before and after the reference frame 404 selected in step S203 is analyzed. By performing the processing in step S208, it is possible to confirm the area specified in step S205 in any frame even when the camera is panned, zoomed, or tilted.

ステップＳ２０８において行われる解析処理においては、記録時に動画像ストリームに付加されて記録された動きの情報を取得し、ステップＳ２０５で選択された領域が前後のフレームのどの領域に相当するかの解析を行う。画像ストリーム内に動きの情報が存在しないときには動き検出部１１８により解析対象となるフレームの前後のフレームから動きの情報を取得すればよい。ステップＳ２０７、またはステップＳ２０８の処理が終るとステップＳ２０９に移行する。 In the analysis process performed in step S208, motion information added to the moving image stream at the time of recording is recorded, and analysis is performed to determine which region of the previous and subsequent frames corresponds to the region selected in step S205. Do. When there is no motion information in the image stream, the motion detection unit 118 may acquire motion information from frames before and after the analysis target frame. When the process of step S207 or step S208 ends, the process proceeds to step S209.

ステップＳ２０９においては、前後フレームの表示領域の確定を行う。これは、システム制御部１０５が、ステップＳ２０７もしくはステップＳ２０８において解析された情報を基に、前後フレーム内の表示する領域を決定する領域決定処理である。この場合、顔が検出されたときには検出された顔を中心に、Ｓ２０５で選択された領域の大きさに従い、前後のフレームから一部を抽出して表示する。また、顔が検出されなかったときにはステップＳ２０８で取得した動きに関する情報を基に、前後のフレームにおいて、検出した動きの分だけ表示する領域を移動する。その後、移動した領域を抽出して表示する。 In step S209, the display area of the previous and subsequent frames is determined. This is a region determination process in which the system control unit 105 determines a region to be displayed in the preceding and following frames based on the information analyzed in step S207 or step S208. In this case, when a face is detected, a part of the detected face is extracted and displayed according to the size of the area selected in S205, centering on the detected face. In addition, when a face is not detected, the area to be displayed is moved by the detected motion in the previous and subsequent frames based on the information regarding the motion acquired in step S208. Thereafter, the moved area is extracted and displayed.

次に、ステップＳ２１０において、前後フレームの表示を行う。前後フレームの表示画面の一例を図７に示す。これは、図４の動画像ストリームに対して解析を行った結果を表示したものである。表示部１１２には、少なくともステップＳ２０３で選択された基準フレーム４０４を表示する領域と、前後フレームの一部の領域を拡大した画像を表示する領域がある。 Next, in step S210, the previous and next frames are displayed. An example of the display screen of the front and rear frames is shown in FIG. This is a display of the result of analyzing the moving image stream of FIG. The display unit 112 includes at least an area for displaying the reference frame 404 selected in step S203 and an area for displaying an image obtained by enlarging a partial area of the preceding and following frames.

図７の７０１から７０７は図４の４０１から４０７のフレームに対して、ステップＳ２０７、ステップＳ２０８の処理を行い、顔を中心とした領域を抽出して表示させたものである。ここでは、ステップＳ２０３で選択されたフレームを中心とした前後３フレームしか表示させていないが、前後フレームを何枚表示させてもよい。なお、顔が存在しないときにはステップＳ２０８の結果に基づいて前後フレームの所定の領域を表示する。 Reference numerals 701 to 707 in FIG. 7 are obtained by performing the processing in steps S207 and S208 on the frames 401 to 407 in FIG. 4 to extract and display the area centered on the face. Here, only the three frames before and after the frame selected in step S203 are displayed, but any number of frames before and after may be displayed. When no face is present, a predetermined area of the preceding and following frames is displayed based on the result of step S208.

次に、ステップＳ２１１において領域は決定されたか否かを判断する。この判断は、領域指定枠６０１で指定した領域が所望の領域であるかに基いて行われる。この判断の結果、領域が所望のものであれば次のステップＳ２１２へ移行する。一方、所望の領域では無い時にはステップＳ２０５へ戻る。そして、Ｓ２０５にて再度領域の位置、大きさが変更されると、それに合わせて、前後フレームから抽出、表示する領域も変更される。 Next, it is determined whether or not an area has been determined in step S211. This determination is made based on whether the area designated by the area designation frame 601 is a desired area. If the result of this determination is that the area is desired, the process proceeds to the next step S212. On the other hand, when it is not the desired region, the process returns to step S205. Then, when the position and size of the area are changed again in S205, the area extracted and displayed from the previous and next frames is also changed accordingly.

ステップＳ２１２においては、表示部１１２に表示された動画像ストリーム内の任意のフレームを選択するフレーム選択が行われるまで待機する。ここでは、ユーザが操作部１１１内の十字キー３０１により、図７のカーソル７００を移動させ、図７に表示されたフレームの中から所望のフレームが選択されるまで待機する。所望のフレームが選択されたらステップＳ２１３に進む。 In step S212, the process waits until frame selection for selecting an arbitrary frame in the moving image stream displayed on the display unit 112 is performed. Here, the user moves the cursor 700 in FIG. 7 using the cross key 301 in the operation unit 111, and waits until a desired frame is selected from the frames displayed in FIG. If a desired frame is selected, the process proceeds to step S213.

ステップＳ２１３においては、選択フレームの拡大表示を行う。例えば、ステップＳ２１２で選択されたフレームが、図７中の画像７０１であったとする。システム制御部１０５は、図８に示すように、画像７０１を拡大し、表示部１１２に表示する。このように、画像７０１を拡大して表示することによって、ユーザは選択したフレームが所望のものであるか否かを正確に確認することが可能となる。 In step S213, the selected frame is enlarged and displayed. For example, assume that the frame selected in step S212 is the image 701 in FIG. As shown in FIG. 8, the system control unit 105 enlarges the image 701 and displays it on the display unit 112. Thus, by enlarging and displaying the image 701, the user can accurately confirm whether or not the selected frame is a desired one.

ステップＳ２１４においては、全体の画角を確認するために、選択したフレームのすべての領域を表示部１１２へ表示させる選択フレームの全体表示を行う。画像７０１は、フレーム４０１の顔を中心とした領域の拡大画像である。よって、表示部１１２にはフレーム４０１が全画面表示されることになる。 In step S214, the entire selected frame is displayed so that the entire area of the selected frame is displayed on the display unit 112 in order to confirm the entire angle of view. An image 701 is an enlarged image of an area centered on the face of the frame 401. Therefore, the frame 401 is displayed on the full screen on the display unit 112.

ステップＳ２１５においては、ステップＳ２１２で選択されたフレームを保存する画像保存処理を行う。この画像保存処理は、ユーザの指示に基いて行われる。システム制御部１０５は、静止画符号化部１０９を制御して、選択されたフレームのデータをストリームバッファ１１４から読み出し、を所定の静止画のフォーマット、例えばJPEGなどの画像フォーマットに符号化する。また、アナログフロントエンド１１０を制御して、符号化した静止画を光ディスク１１６へ保存する。 In step S215, image storage processing for storing the frame selected in step S212 is performed. This image storage process is performed based on a user instruction. The system control unit 105 controls the still image encoding unit 109 to read out data of the selected frame from the stream buffer 114 and encode it into a predetermined still image format, for example, an image format such as JPEG. Further, the analog front end 110 is controlled to store the encoded still image on the optical disc 116.

ユーザが操作をする操作画面は、操作部１１１の戻るボタン３０３をクリックすることにより、一つ前の操作画面に戻ることが可能である。また、メニュー呼び出しボタン３０４を押すと、表示部１１２にフレームの選択や領域の選択などの移行を可能とする操作画面が表示される。さらに、十字キー３０１によって表示された操作画面を選択することによって任意の操作画面に移行することが可能である。 The operation screen operated by the user can be returned to the previous operation screen by clicking the return button 303 of the operation unit 111. In addition, when the menu call button 304 is pressed, an operation screen that enables transition of frame selection, region selection, and the like is displayed on the display unit 112. Furthermore, it is possible to shift to an arbitrary operation screen by selecting an operation screen displayed by the cross key 301.

なお、前述したフローチャートでは、ステップＳ２１１で領域が所望のものでなかったときにはステップＳ２０５に戻る処理手順について説明したが、図７の画面で、領域の指定を行わせてもよい。十字キー３０１によって領域指定枠６０１を操作することにより画像７０４は随時更新される。画像７０４が更新されるとシステム制御部１０５は更新された領域を基に前後フレームの解析を行い、画像７０１〜７０３、７０５〜７０７も随時更新される。
なお、本実施形態では、動画再生中に選択されたフレームの前後の画面を表示していたが、例えば、選択されたフレームが動画の先頭、或いは最後などの場合は、選択されたフレームの前又は後のフレームのみを表示するようにしてもよい。
また、選択されたフレームが動画像の途中であっても、選択されたフレームの前、或いは後ろの所定数のフレームの一方を表示するようにしてもよい。 In the above-described flowchart, the processing procedure for returning to step S205 when the region is not desired in step S211 has been described. However, the region may be designated on the screen of FIG. By operating the area designation frame 601 with the cross key 301, the image 704 is updated as needed. When the image 704 is updated, the system control unit 105 analyzes the previous and next frames based on the updated area, and the images 701 to 703 and 705 to 707 are also updated as needed.
In the present embodiment, the screens before and after the selected frame are displayed during the playback of the moving image. For example, when the selected frame is at the beginning or end of the moving image, the screen before the selected frame is displayed. Alternatively, only the subsequent frame may be displayed.
Further, even if the selected frame is in the middle of the moving image, one of a predetermined number of frames before or after the selected frame may be displayed.

（第２の実施形態）
次に、図９のフローチャートを参照しながら本発明の第２の実施形態を説明する。
本発明は連続撮影をした静止画から所望の静止画を選択するときにも有効である。即ち、本実施形態のビデオカメラ１００は、静止画撮影ボタンを操作している間、連続して複数の静止画を撮影する連写撮影機能を持つ。そして、この様に１回の操作で連写により記録された複数の静止画に対し、同じ静止画撮影操作による連写記録された静止画である旨の識別情報を各静止画ファイルに付加して記録する。ユーザは、操作部１１１を操作して、この連写された複数の静止画のうちの一つを選択するため、選択処理を指示することができる。図９は、この様に、連続撮影した静止画から所望の画像を選択する静止画選択手順の一例を示したフローチャートである。以下、動画像との違いのみを説明する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to the flowchart of FIG.
The present invention is also effective when a desired still image is selected from still images taken continuously. That is, the video camera 100 according to the present embodiment has a continuous shooting function for continuously shooting a plurality of still images while operating the still image shooting button. Then, identification information indicating that still images are recorded continuously by the same still image shooting operation is added to each still image file for a plurality of still images recorded by continuous shooting in one operation. Record. The user operates the operation unit 111 to select one of the plurality of still images taken continuously, and can instruct selection processing. FIG. 9 is a flowchart showing an example of a still image selection procedure for selecting a desired image from still images continuously shot. Only the difference from the moving image will be described below.

ユーザの指示があると、ステップＳ９０１においては、光ディスク１１６に記録された静止画のうち、連写によって記録された静止画ファイルの代表画像を表示部１１２に表示する。そして、ユーザは操作部１１１を操作して、所望のファイルを選択する。静止画ファイルを表示部１１２に表示させるときには、静止画ファイルの代表画像を縮小画像にして複数枚ならべて表示させるのが好ましいが、その他の表示方法を用いてもよい。 When the user gives an instruction, in step S901, a representative image of a still image file recorded by continuous shooting among the still images recorded on the optical disc 116 is displayed on the display unit 112. Then, the user operates the operation unit 111 to select a desired file. When displaying the still image file on the display unit 112, it is preferable to display a plurality of the representative images of the still image file as reduced images, but other display methods may be used.

ステップＳ９０２〜ステップＳ９１２までの処理は、動画のステップＳ２０４〜ステップＳ２１４の処理に相当する。なお、第１の実施形態においては、選択されたフレームの前後のフレーム内の領域を決定する領域決定処理を行っていたが、本実施形態においては、選択された静止画の前後の静止画内の領域を決定する領域決定処理を行う。 The processing from step S902 to step S912 corresponds to the processing from step S204 to step S214 for a moving image. In the first embodiment, the area determination process for determining the area in the frame before and after the selected frame is performed. However, in the present embodiment, in the still image before and after the selected still image. An area determination process for determining the area is performed.

ステップＳ９１２で画像の選択が完了したら、ステップＳ９１３に進み、選択された画像を所望の領域へコピーする処理を行う。ここでは、選択されたファイルをそのままコピーしてもよいし、ユーザの指定する所望のフォーマットに変化してからコピーを行ってもよい。以上、本発明に係る画像編集装置の実施形態の例について説明したが、本発明は前述した実施形態の例に限定されるものではなく、各種の態様を採用することができる。 When the selection of the image is completed in step S912, the process proceeds to step S913, and a process of copying the selected image to a desired area is performed. Here, the selected file may be copied as it is, or may be copied after changing to a desired format designated by the user. The example of the embodiment of the image editing apparatus according to the present invention has been described above, but the present invention is not limited to the above-described example of the embodiment, and various aspects can be adopted.

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像処理装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 (Another embodiment according to the present invention)
Each means constituting the image processing apparatus according to the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.

なお、本発明は、前述した画像処理方法における各工程を実行するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。実施の形態では図３、図５、図９に示すフローチャートに対応したプログラムを供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program for executing each step in the above-described image processing method is supplied directly or remotely to a system or apparatus. In the embodiment, a program corresponding to the flowcharts shown in FIGS. 3, 5, and 9 is supplied. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。 Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

１００ＤＶＤビデオカメラ、１０１撮像部、１０２映像信号処理部、１０３音声信号処理部、１０４マイク、１０５システム制御部、１０６フレームメモリ、１０７顔検出部、１０８動画符号化部、１０９静止画符号化部、１１０アナログフロントエンド、１１１操作部、１１２表示部、１１３フラッシュメモリ、１１４ストリームバッファ、１１５多重化処理部、１１６光ディスク、１１７ＲＡＭ、１１８動き検出部、１１９顔認識部 100 DVD video camera, 101 imaging unit, 102 video signal processing unit, 103 audio signal processing unit, 104 microphone, 105 system control unit, 106 frame memory, 107 face detection unit, 108 video encoding unit, 109 still image encoding unit 110 Analog front end, 111 Operation unit, 112 Display unit, 113 Flash memory, 114 Stream buffer, 115 Multiplexing processing unit, 116 Optical disc, 117 RAM, 118 Motion detection unit, 119 Face recognition unit

Claims

動画データ中のフレームを選択する選択手段と、
前記選択されたフレームの画像における一部の領域を指定領域として指定する指定手段と、
前記選択されたフレームの画像における前記指定領域に基づいて、前記動画データ中の前記選択されたフレームの前または後のフレームの画像における一部の領域を表示領域として決定する決定手段と、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示するように制御する制御手段と、を有し、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定手段は、前記選択されたフレームの画像における前記指定領域の変更が可能であり、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定手段により前記指定領域が変更された場合には、前記決定手段は、前記変更された指定領域に基づいて、前記選択されたフレームの前または後のフレームの画像における前記表示領域を決定し、前記制御手段は、前記選択されたフレームの画像と、前記変更された指定領域に基づいて決定された前記表示領域の画像とを表示するように制御することを特徴とする画像処理装置。 A selection means for selecting a frame in the video data;
Designating means for designating a partial area in the image of the selected frame as a designated area;
Determining means for determining, as a display area, a partial area in an image of a frame before or after the selected frame in the moving image data based on the designated area in the image of the selected frame;
Control means for controlling to display the image of the selected frame and the image of the determined display area;
In the state where the image of the selected frame and the image of the determined display area are displayed, the designation unit can change the designation area in the image of the selected frame,
In the state where the image of the selected frame and the image of the determined display area are displayed, when the designated area is changed by the designation means, the decision means is changed. The display area in the image of the frame before or after the selected frame is determined based on the designated area, and the control means is based on the image of the selected frame and the changed designated area. An image processing apparatus that controls to display an image of the display area determined in step S1.

前記決定手段は、前記選択されたフレームの画像における前記指定領域に含まれる画像を認識し、前記指定領域に含まれる画像に基づいて、前記選択されたフレームの前または後のフレームにおける前記表示領域を決定することを特徴とする請求項１に記載の画像処理装置。 The determining means recognizes an image included in the designated area in the image of the selected frame, and based on the image included in the designated area, the display area in a frame before or after the selected frame The image processing apparatus according to claim 1, wherein:

前記制御手段は、前記選択されたフレームの画像と、前記決定された前記表示領域の画像と、前記指定された前記指定領域の画像とを表示するように制御することを特徴とする請求項１または２に記載の画像処理装置。 The control means controls to display the image of the selected frame, the image of the determined display area, and the image of the designated area specified. Or the image processing apparatus of 2.

前記表示された前記表示領域の画像のうち、選択された前記表示領域の画像を含むフレームの画像を静止画として記録媒体に記録する手段を備えたことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 4. The apparatus according to claim 1, further comprising: a unit configured to record a frame image including the selected image in the display area among the displayed images in the display area as a still image on a recording medium. The image processing apparatus according to claim 1.

前記選択手段は、前記動画データの再生中における一時停止の指示に応じて、前記一時停止の指示に対応したフレームを選択し、前記指定手段は、前記一時停止の指示に応じて選択された前記フレームの画像における一部の領域を指定領域として指定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The selection unit selects a frame corresponding to the pause instruction in response to a pause instruction during reproduction of the moving image data, and the designation unit is selected according to the pause instruction. 5. The image processing apparatus according to claim 1, wherein a partial area in the image of the frame is designated as the designated area.

前記制御手段は、前記決定された前記表示領域の画像を拡大して表示することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the control unit enlarges and displays the image of the determined display area.

動画データ中のフレームを選択する選択工程と、
前記選択されたフレームの画像における一部の領域を指定領域として指定する指定工程と、
前記選択されたフレームの画像における前記指定領域に基づいて、前記動画データ中の前記選択されたフレームの前または後のフレームの画像における一部の領域を表示領域として決定する決定工程と、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示するように制御する制御工程と、を有し、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定工程では、前記選択されたフレームの画像における前記指定領
域の変更が可能であり、
前記選択されたフレームの画像と、前記決定された前記表示領域の画像とを表示している状態において、前記指定工程で前記指定領域が変更された場合には、前記決定工程において、前記変更された指定領域に基づいて、前記選択されたフレームの前または後のフレームの画像における前記表示領域を決定し、前記制御工程において、前記選択されたフレームの画像と、前記変更された指定領域に基づいて決定された前記表示領域の画像とを表示するように制御することを特徴とする画像処理方法。 A selection process for selecting a frame in the video data;
A designation step of designating a partial area in the image of the selected frame as a designated area;
A determination step of determining, as a display area, a partial area in an image of a frame before or after the selected frame in the moving image data based on the designated area in the image of the selected frame;
A control step of controlling to display the image of the selected frame and the image of the determined display area;
In the state in which the image of the selected frame and the image of the determined display area are displayed, the designation step can change the designated area in the image of the selected frame,
In the state where the image of the selected frame and the image of the determined display area are displayed, when the designated area is changed in the designation step, the change is performed in the decision step. Based on the designated area, the display area in the image of the frame before or after the selected frame is determined, and in the control step, based on the image of the selected frame and the changed designated area And an image processing method for controlling the display area to be displayed.