JP2008199330A - Moving image management apparatus - Google Patents

Moving image management apparatus Download PDF

Info

Publication number
JP2008199330A
JP2008199330A JP2007032890A JP2007032890A JP2008199330A JP 2008199330 A JP2008199330 A JP 2008199330A JP 2007032890 A JP2007032890 A JP 2007032890A JP 2007032890 A JP2007032890 A JP 2007032890A JP 2008199330 A JP2008199330 A JP 2008199330A
Authority
JP
Japan
Prior art keywords
person
image
moving image
frame
thumbnail image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007032890A
Other languages
Japanese (ja)
Inventor
Satoru Kobayashi
悟 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007032890A priority Critical patent/JP2008199330A/en
Publication of JP2008199330A publication Critical patent/JP2008199330A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To generate a representative image with which the content of a moving image is easily understood. <P>SOLUTION: A person analyzing device 14 analyzes photographing status of a person based on moving image data from a camera unit 12. A user uses a condition specifying device 16 to specify a thumb nail image generation condition on a thumb nail image generating device 18. The thumb nail image generating device 18 generates a representative image according to the person imaging information from the device 14 and the thumb nail image generation condition from the device 16, based on the moving image that has been recorded. A recording device 20 records moving image data from the camera unit 12, and relates the thumb nail image generated by the device 18 to the moving image for recording. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、動画像データを管理する動画像管理装置に関し、より具体的には、動画像データの内容を象徴する代表画像を作成する動画像管理装置に関する。   The present invention relates to a moving image management apparatus that manages moving image data, and more specifically to a moving image management apparatus that creates a representative image that symbolizes the content of moving image data.

近年、動画像をDVDディスクやメモリーカードなどのランダムアクセスが可能な記録媒体に記録するデジタルビデオカメラやDVDレコーダなどが製品化されている。ユーザは、これらの装置で、又は、パーソナルコンピュータやDVDプレーヤなどを用いて、記録画像を視聴できる。   In recent years, digital video cameras, DVD recorders, and the like that record moving images on a randomly accessible recording medium such as a DVD disk or a memory card have been commercialized. The user can view the recorded image with these devices or using a personal computer, a DVD player, or the like.

ランダムアクセス可能な記録媒体を用いる場合、デジタルビデオカメラやDVDレコーダでは、記録された動画像の先頭部分のフレーム又はフィールドを代表画像(例えば、解像度を下げたサムネイル画像等)として別途、記録媒体に保存する。記録画像を一覧する際に、各記録画像の記録日時だけでなく、代表画像を同時に表示することで、一覧性が良くなる。   When a randomly accessible recording medium is used, a digital video camera or DVD recorder uses a frame or field at the beginning of a recorded moving image as a representative image (for example, a thumbnail image with a reduced resolution) separately on the recording medium. save. When listing the recorded images, not only the recording date and time of each recorded image but also the representative images are displayed at the same time, thereby improving the listability.

一般的には、代表画像は、各カットの先頭フレーム(又はフィールド)画像か、各カットの先頭フレームから固定時間後のフレーム(又はフィールド)画像から作成される。この代表画像一覧表示機能により、ユーザはいちいち動画像を再生しなくても、動画像のおおまかな内容を把握できるようになっている(例えば、特許文献1参照)。   In general, the representative image is created from the first frame (or field) image of each cut or a frame (or field) image after a fixed time from the first frame of each cut. With this representative image list display function, the user can grasp a rough content of a moving image without reproducing the moving image one by one (see, for example, Patent Document 1).

代表画像一覧表示機能で表示される代表画像の画面内で動画像を再生するDVDレコーダも市販されている。
特開2002−27411号公報
A DVD recorder that reproduces a moving image on the screen of the representative image displayed by the representative image list display function is also commercially available.
JP 2002-27411 A

先頭部分の代表画像のみでは、動画像の内容を把握することが難しい場合がある。このような例を、図12及び図13を参照して説明する。図12は、撮影時間40秒の1カット又は1シーンの動画像(カットB)のタイムスケールを示す。代表画像としてのサムネイル画像が、カットBに対して1つだけ作成される。   It may be difficult to grasp the content of the moving image only with the representative image of the head portion. Such an example will be described with reference to FIGS. FIG. 12 shows a time scale of one cut of a shooting time of 40 seconds or a moving image (cut B) of one scene. Only one thumbnail image as a representative image is created for cut B.

カットBの撮影では、例えば、撮影時間0秒〜10秒では図13(a)に示すような風景が撮影されて、撮影時間10秒〜40秒では図13(b)に示すように人物が撮影されていたとする。この場合、従来の代表画像作成方法では、カットBの先頭フレームP1(図12)、又は、先頭フレームから固定時間後(この場合は5秒後)のフレームP2(図12)が代表画像とされる。フレームP1及びP2の何れにも人物が映っていないので、代表画像は、図13(a)に示すような画像になる。   In the shooting of cut B, for example, a landscape as shown in FIG. 13A is shot at a shooting time of 0 to 10 seconds, and a person is shot as shown in FIG. 13B at a shooting time of 10 to 40 seconds. Suppose that it was filmed. In this case, in the conventional representative image creation method, the first frame P1 (FIG. 12) of the cut B or the frame P2 (FIG. 12) after a fixed time (in this case, 5 seconds) from the first frame is set as the representative image. The Since no person is shown in either of the frames P1 and P2, the representative image is an image as shown in FIG.

例えば、主被写体として人物を撮影する機会が多いホームビデオ撮影等においては、人物が映っていない代表画像では、記録された動画の内容を把握することが難しいといった課題がある。   For example, in home video shooting where there are many opportunities to shoot a person as a main subject, there is a problem that it is difficult to grasp the contents of a recorded moving image with a representative image in which no person is shown.

そこで、本発明は、このような問題点を解決する動画像管理装置を提示することを目的とする。   Therefore, an object of the present invention is to provide a moving image management apparatus that solves such problems.

上記の目的を達成するために、本発明に係る動画像管理装置は、撮像によって得られる動画像データを管理する動画像管理装置であって、前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置と、前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置とを備えることを特徴とすることを特徴とする。   In order to achieve the above object, a moving image management apparatus according to the present invention is a moving image management apparatus that manages moving image data obtained by imaging, analyzing a shooting situation of a person in the moving image data, A person analyzing apparatus that outputs person photographing information, and a representative image creating apparatus that creates a representative image that symbolizes the content of the moving image data from the moving image data according to the person photographing information. Features.

好ましくは、本発明に係る動画像管理装置は、さらに、代表画像条件を前記代表画像作成装置に指定する条件指定装置を備え、前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成することを特徴とする。   Preferably, the moving image management device according to the present invention further includes a condition designating device for designating a representative image condition to the representative image creating device, wherein the representative image creating device is in accordance with the person photographing information and the representative image condition. The representative image is created from the moving image data.

好ましくは、前記条件指定装置は、複数の代表画像条件から一つの代表画像条件を選択可能であることを特徴とする。   Preferably, the condition designating device can select one representative image condition from a plurality of representative image conditions.

好ましくは、前記複数の代表画像条件は、「撮影されている時間が最も長い人物が写っているフレーム」、「撮影されている人物の数が最も多いフレーム」、及び「撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする。   Preferably, the plurality of representative image conditions include “a frame in which a person who has been photographed for the longest time is shown”, “a frame in which the number of photographed people is the largest”, and “the number of times the photograph has been taken. It includes one or more conditions of “a frame in which the most people are shown”.

好ましくは、前記人物撮影情報は、人物ごとに撮影されているか否かを時系列で表した情報であることを特徴とする。   Preferably, the person photographing information is information representing in time series whether or not each person is photographed.

好ましくは、前記代表画像作成装置は、1つの前記動画像データに対して少なくとも1枚の代表画像を作成することを特徴とする。   Preferably, the representative image creation device creates at least one representative image for one moving image data.

好ましくは、前記代表画像作成装置は、選択可能な代表画像条件ごとに、前記人物撮影情報に従い、前記動画像データから前記代表画像を作成すること特徴とする。   Preferably, the representative image creating device creates the representative image from the moving image data according to the person photographing information for each selectable representative image condition.

好ましくは、本発明に係る動画像管理装置は、更に、前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置と、前記代表画像条件から1つの代表画像条件を指定する条件指定装置と、前記条件指定装置により指定される前記1つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置とを具備することを特徴とする。   Preferably, the moving image management apparatus according to the present invention further specifies a recording device for recording representative image data relating to a representative image created by the representative image creation device, and one representative image condition from the representative image condition. And an image output device that reads representative image data that matches the one representative image condition designated by the condition designating device from the recording device and outputs it for display. .

好ましくは、前記人物撮影情報は、人物ごとに画像中央部に撮影されているか否か時系列で表した情報であることを特徴とする。   Preferably, the person photographing information is information indicating in time series whether or not each person is photographed in the central portion of the image.

好ましくは、前記代表画像条件は、「画像中央部で撮影されている時間が最も長い人物が写っているフレーム」、「画像中央部で撮影されている人物の数が最も多いフレーム」、「画像中央部で撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする。   Preferably, the representative image condition is “a frame in which a person having the longest time taken in the central part of the image is captured”, “a frame in which the number of persons photographed in the central part of the image is largest”, “image” It includes one or more conditions of “a frame in which a person who has been photographed most frequently in the central portion is captured”.

本発明によれば、人物撮影状況に従って代表画像を作成するので、動画像データの内容を良く象徴する代表画像を作成できる。これにより、動画像の内容をより把握し易くなる。   According to the present invention, since the representative image is created according to the person photographing situation, it is possible to create a representative image that well symbolizes the content of the moving image data. This makes it easier to grasp the content of the moving image.

以下、図面を参照して、本発明の実施例を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の実施例1である撮像装置の概略構成ブロック図である。この実施例では、撮像される動画像の記録動作と並行して代表画像としてのサムネイル画像を選定又は抽出し、撮像された動画像に関連付けて、動画像データと同じ記録媒体にサムネイル画像(代表画像)データを記録する。   FIG. 1 is a schematic configuration block diagram of an image pickup apparatus that is Embodiment 1 of the present invention. In this embodiment, a thumbnail image as a representative image is selected or extracted in parallel with the recording operation of the captured moving image, and the thumbnail image (representative image) is recorded on the same recording medium as the moving image data in association with the captured moving image. Record the image data.

撮像装置10は、被写体の動画像データを出力するカメラユニット12と、カメラユニット12からの動画像データを記録媒体に記録する記録装置20を具備する。カメラユニット12は、例えば、レンズ、CCD撮像素子、A/D変換器及びカメラ信号処理装置からなり、NTSC等の一定形式のデジタル映像信号からなる動画像データを出力する。記録装置20は、カメラユニット12からの動画像データを順次、内蔵する記録媒体に記録する。   The imaging device 10 includes a camera unit 12 that outputs moving image data of a subject, and a recording device 20 that records moving image data from the camera unit 12 on a recording medium. The camera unit 12 includes, for example, a lens, a CCD image pickup device, an A / D converter, and a camera signal processing device, and outputs moving image data including a digital video signal of a certain format such as NTSC. The recording device 20 sequentially records moving image data from the camera unit 12 on a built-in recording medium.

撮像装置10は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置10は、人物解析装置14、条件指定装置16及びサムネイル画像作成装置18を具備する。   The imaging device 10 extracts or creates a thumbnail image as a representative image as a moving image management device. In order to create a representative image, the imaging device 10 includes a person analysis device 14, a condition designation device 16, and a thumbnail image creation device 18.

人物解析装置14は、カメラユニット12から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、どのフレームにどの人物が含まれているかを示す人物撮影情報をサムネイル画像作成装置18に出力する。ここで、人物は特定される必要はなく、少なくとも、人物間の相違とフレーム間での同一性が識別されれば良い。人物解析装置14は、画面内で1オブジェクトとして人間の存在を識別する技術を使用する。識別されたオブジェクトを連続する画面間で追跡する技術を利用することで、フレーム間の連続性の判定が容易になる。また、ユーザは条件指定装置16を使って、代表画像条件としてのサムネイル画像作成条件を指定し、サムネイル画像作成装置18に入力する。人物解析装置14及び条件指定装置16の機能は、後ほど詳細に説明する。   The person analysis device 14 analyzes, for each frame, whether or not a person is included in the moving image data output from the camera unit 12, and the person photographing information indicating which person is included in which frame is displayed as a thumbnail. The image is output to the image creation device 18. Here, the person need not be specified, and at least the difference between the persons and the identity between the frames may be identified. The person analysis device 14 uses a technique for identifying the presence of a person as one object on the screen. By using a technique for tracking an identified object between successive screens, it is easy to determine continuity between frames. In addition, the user designates a thumbnail image creation condition as a representative image condition using the condition designation device 16 and inputs it to the thumbnail image creation device 18. The functions of the person analysis device 14 and the condition specifying device 16 will be described in detail later.

サムネイル画像作成装置18は、特許請求の範囲に規定される代表画像作成装置である。サムネイル画像作成装置18は、人物解析装置14による人物撮影情報と条件指定装置16によるサムネイル画像作成条件とに基づき、記録装置20に記録済みの動画像からサムネイル画像を作成し、記録装置20に記録する。例えば、サムネイル画像作成装置18は、記録装置20に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する1フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。   The thumbnail image creation device 18 is a representative image creation device defined in the claims. The thumbnail image creation device 18 creates a thumbnail image from the moving image recorded in the recording device 20 based on the person photographing information by the person analysis device 14 and the thumbnail image creation conditions by the condition designating device 16 and records the thumbnail image in the recording device 20. To do. For example, the thumbnail image creation device 18 cuts out one frame that matches the thumbnail image creation conditions from the moving image data for each cut recorded in the recording device 20 as a thumbnail image. By including the presence of a person in the thumbnail image creation condition, a frame including the person can be made a thumbnail image.

記録装置20は、カメラユニット12からの動画像データ及びサムネイル画像作成装置18からのサムネイル画像データ(代表画像データ)を記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置14の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置20に記録しても良い。   The recording device 20 records moving image data from the camera unit 12 and thumbnail image data (representative image data) from the thumbnail image creation device 18. The thumbnail image may be pointer information indicating a frame used as a thumbnail image in the moving image data. The person photographing information based on the analysis result of the person analyzing device 14 may be recorded in the recording device 20 as attribute information of the corresponding frame of the recorded moving image data.

画像出力装置22は、記録装置20からサムネイル画像を読み出し、表示装置24にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置20に記録された動画像のリストを代表画像付きで確認できる。   The image output device 22 reads out thumbnail images from the recording device 20 and outputs a thumbnail image list to the display device 24. Thereby, the user can confirm the list of moving images recorded in the recording device 20 with the representative image.

画像出力装置22はまた、サムネイル画像一覧で選択された動画像データを画像データ記録装置20から読み出し、表示装置24に供給する。これにより、選択された動画像が、表示装置24の画面上に再生表示される。   The image output device 22 also reads out the moving image data selected in the thumbnail image list from the image data recording device 20 and supplies it to the display device 24. As a result, the selected moving image is reproduced and displayed on the screen of the display device 24.

理解を容易にするために、動画像の圧縮伸長処理の説明を省略しているが、記録装置20は、動画像データ及びサムネイル画像を非圧縮のままで記録しても、圧縮記録しても良い。動画像の圧縮方式には、例えば、MPEG符号化方式やH.264符号化方式があり、サムネイル画像の圧縮方式には、例えばJPEG方式がある。   In order to facilitate understanding, the description of the compression / decompression process of the moving image is omitted, but the recording device 20 may record the moving image data and the thumbnail image without compression or with compression recording. good. Examples of the moving image compression method include the MPEG encoding method and the H.264 encoding method, and the thumbnail image compression method includes, for example, the JPEG method.

図2は、人物解析装置14の動作フローチャートである。図2を参照して、人物解析装置14の動作を説明する。   FIG. 2 is an operation flowchart of the person analysis device 14. The operation of the person analysis device 14 will be described with reference to FIG.

人物解析装置14は、カメラユニット12の撮影(と記録装置20への記録)が開始されると、フレーム番号変数Iを0で初期化する(S11)。人物解析装置14は、カメラユニット12からの動画像データから取り込んだ最初のフレームを解析対象のIフレームとする(S12)。Iフレームの画像内に人物が含まれているか否かを解析する(S13)。人物が撮影されているか否かは、例えば、顔認識技術を使って、判別できる。   The person analysis device 14 initializes the frame number variable I to 0 when shooting of the camera unit 12 (and recording to the recording device 20) is started (S11). The person analysis device 14 sets the first frame taken from the moving image data from the camera unit 12 as the I frame to be analyzed (S12). It is analyzed whether or not a person is included in the image of the I frame (S13). Whether or not a person is photographed can be determined using, for example, face recognition technology.

Iフレームに人物が存在しない場合(S14)、フレーム番号Iをインクリメントし(S15)、次のフレームを解析対象として、ステップS12以降を繰り返す。   If there is no person in the I frame (S14), the frame number I is incremented (S15), and the subsequent frames are repeated for the next frame as an analysis target.

人物解析(S13)の結果、Iフレームの画像内に人物が少なくとも1名以上存在する場合(S14)、各人物が登録済みか否かを調べる(S16)。人物解析装置14は、人物の特徴を記憶する特徴記憶装置を具備し、この特徴記憶装置に記憶される特徴との対比によりIフレーム内の人物が登録済みか否かを判断する。人物の特徴は、容姿(又はその一部である顔)そのものの画像でも、容姿又はその一部から抽出される要素でもよい。人物の同一性判断に、直前フレームからの移動を追跡する技術を使っても、この追跡技術と特徴の近似性とを併用しても良い。   As a result of the person analysis (S13), when at least one person exists in the image of the I frame (S14), it is checked whether or not each person has been registered (S16). The person analysis device 14 includes a feature storage device that stores the features of the person, and determines whether or not a person in the I frame has been registered by comparison with the features stored in the feature storage device. The feature of the person may be an image of the appearance (or a face that is a part thereof) itself or an element extracted from the appearance or a part thereof. In determining the identity of a person, a technique for tracking movement from the immediately preceding frame may be used, or this tracking technique and feature approximation may be used in combination.

検出された人物が未登録の場合(S16)、人物解析装置14は、未登録の人物の特徴を特徴記憶装置に新規登録する(S17)。   When the detected person is unregistered (S16), the person analysis device 14 newly registers the characteristics of the unregistered person in the feature storage device (S17).

ステップS16又はS17の後、Iフレームに対して、その人物を特定する人物IDと画面内での位置を示す情報を記憶する(S18)。   After step S16 or S17, information indicating the person ID for identifying the person and the position in the screen is stored for the I frame (S18).

Iフレーム内の全人物の解析を終了するまで(S19)、ステップS16,S17,S18を繰り返す。   Steps S16, S17, and S18 are repeated until analysis of all persons in the I frame is completed (S19).

撮影が終了していなければ(S20)、フレーム番号変数Iをインクリメントし(S15)、ステップS12以降を繰り返す。   If shooting has not been completed (S20), the frame number variable I is incremented (S15), and step S12 and subsequent steps are repeated.

撮影が終了したら(S20)、人物解析装置14は、収集したデータからなる人物撮影情報を、適当なタイミングでサムネイル画像作成装置18に出力する(S21)。人物撮影情報は、人物解析装置14の特徴記憶装置に記憶される各人物が、1カットの撮影内でどのフレームのどの画面位置に出現しているかを示す。   When shooting is finished (S20), the person analysis device 14 outputs the person shooting information including the collected data to the thumbnail image creation device 18 at an appropriate timing (S21). The person photographing information indicates at which screen position of which frame each person stored in the feature storage device of the person analyzing device 14 appears in one cut of photographing.

図3を参照して、人物解析装置14により生成される人物撮影情報の概要を説明する。横軸は時間を示す。図3に示す例では、3人の人物1,2,3が1カットA内に出現している。各人物が撮影されている期間には、斜線を付してある。図3に示す例では、人物1は、撮影時間10秒〜40秒の間に撮影されている。人物2は、撮影時間5秒〜10秒の間及び20秒〜30秒の間に撮影されている。人物3は、撮影時間5秒〜15秒の間、20秒〜25秒の間及び35秒〜40秒の間に、撮影されている。   With reference to FIG. 3, an outline of person photographing information generated by the person analyzing apparatus 14 will be described. The horizontal axis indicates time. In the example shown in FIG. 3, three persons 1, 2, and 3 appear in one cut A. The period during which each person is photographed is hatched. In the example shown in FIG. 3, the person 1 is photographed during the photographing time of 10 seconds to 40 seconds. The person 2 is photographed during the photographing time of 5 seconds to 10 seconds and between 20 seconds and 30 seconds. The person 3 is photographed during the photographing time of 5 seconds to 15 seconds, between 20 seconds to 25 seconds, and between 35 seconds to 40 seconds.

人物撮影情報は、図3に示すように、各人物がどのフレーム(又は時刻)に出現するかを時系列で表現するデータからなる。人物撮影情報にフレーム内の撮影位置のデータをも含めることで、サムネイル画像作成条件に撮影位置を含めることができる。   As shown in FIG. 3, the person photographing information is made up of data expressing in time series which frame (or time) each person appears in. By including the shooting position data in the frame in the person shooting information, the shooting position can be included in the thumbnail image creation conditions.

条件指定装置16で指定するサムネイル画像作成条件を説明する。サムネイル画像は、動画像の内容を代表する画像であるので、サムネイル画像を見ることにより動画像のおおまかな内容を推測できる画像であることが望ましい。   The thumbnail image creation conditions specified by the condition specifying device 16 will be described. Since the thumbnail image is an image representative of the content of the moving image, it is preferable that the thumbnail image can be used to guess the rough content of the moving image.

特に、人物を撮影する機会が多いホームビデオ撮影等においては、サムネイル画像は人物であることが望ましい。人物が多数存在する場合は、サムネイル画像は主たる人物を含むのが望ましい。サムネイル画像作成条件の説明例として、
条件1:被撮影総時間が最も長い人物が写っているフレーム、
条件2:撮影人数が最も多いフレーム、及び
条件3:被撮影回数が最も多い人物が写っているフレーム
の3条件を考慮する。
In particular, in home video shooting or the like where there are many opportunities to photograph a person, it is desirable that the thumbnail image is a person. When there are a large number of persons, it is desirable that the thumbnail image includes the main person. As an example of thumbnail image creation conditions,
Condition 1: a frame in which a person with the longest total shooting time is shown,
Condition 2: Consider three conditions: a frame with the largest number of photographers and a condition 3: a frame in which a person with the largest number of shots is shown.

条件1は、あるカットにおいて、撮影されている総時間が最も長い人物が写っている最初のフレームをサムネイル画像とする。条件2は、あるカットにおいて、撮影人数が最も多い最初のフレームをサムネイル画像とする。条件3は、あるカットにおいて、撮影回数(フレーム数)が最も多い人物が写っている最初のフレームをサムネイル画像とする。   Condition 1 is that a first frame in which a person with the longest total time is captured in a certain cut is a thumbnail image. Condition 2 is that a first frame having the largest number of photographers in a certain cut is a thumbnail image. Condition 3 is that a first frame in which a person with the largest number of shootings (number of frames) is captured in a certain cut is a thumbnail image.

なお、主人物は、画像中央部で撮影されていることが多いと考えられる。これに対応するために、評価対象を画像中央部に限定する条件を追加し、条件1,2,3を以下のように変更するか、以下の3条件を追加しても良い。即ち、
条件4:画像中央部における被撮影総時間が最も長い人物が写っているフレーム
条件5:画像中央部における人物数が最も多いフレーム
条件6:画像中央部での被撮影回数が最も多い人物が写っているフレーム
を考慮する。
Note that it is considered that the main character is often photographed in the center of the image. In order to cope with this, a condition for limiting the evaluation target to the center of the image may be added, and the conditions 1, 2, and 3 may be changed as follows, or the following three conditions may be added. That is,
Condition 4: A frame in which the person with the longest total shooting time is shown in the central part of the image Condition 5: A frame in which the number of persons in the central part of the image is the largest Consider the frame that is.

条件4,5,6に対応するには、人物解析装置14は、各フレーム内で人物画像中央部に位置するか否かを検出し、その検出結果を人物撮影情報に含めれば良い。勿論、先に説明したように、人物撮影情報にはフレーム内の人物の位置を示す情報を含め、サムネイル画像作成装置18が、撮影された人物が画像中央部に位置するか否かを判断しても良い。   In order to deal with the conditions 4, 5, and 6, the person analysis device 14 may detect whether or not the person analysis device 14 is located in the center of the person image within each frame and include the detection result in the person photographing information. Of course, as described above, the person photographing information includes information indicating the position of the person in the frame, and the thumbnail image creating device 18 determines whether or not the photographed person is located at the center of the image. May be.

結局、ユーザは、条件指定装置16を使って、上述の条件1〜6のいずれ1つをサムネイル画像作成装置18に指定する。   Eventually, the user uses the condition specifying device 16 to specify any one of the above-described conditions 1 to 6 to the thumbnail image creating device 18.

サムネイル画像作成装置18のサムネイル画像作成動作を説明する。サムネイル画像作成装置18は、条件指定装置16で指定されたサムネイル画像作成条件と、人物解析装置14でからの人物撮影情報に従って、記録装置20の記録動画像データからサムネイル画像を作成する。ここでは、サムネイル画像は、1カットに1枚作成されるとする。また、人物撮影情報は、図3に示す状況を示しているとする。   The thumbnail image creation operation of the thumbnail image creation device 18 will be described. The thumbnail image creation device 18 creates a thumbnail image from the recorded moving image data of the recording device 20 in accordance with the thumbnail image creation conditions designated by the condition designation device 16 and the person photographing information from the person analysis device 14. Here, it is assumed that one thumbnail image is created for each cut. Further, it is assumed that the person photographing information indicates the situation shown in FIG.

サムネイル画像作成装置18は、条件指定装置16で指定された条件1に対して、以下のように動作する。サムネイル画像作成装置18は、人物撮影情報を参照して、被撮影総時間が最も長い人物が写っている最初のフレームを検索することになる。図3に示すカットAの例では、人物1の被撮影総時間は30秒であり、人物2の被撮影総時間は15秒であり、人物3の被撮影総時間は20秒である。従って、最も被撮影総時間が長い人物は、人物1となる。サムネイル画像作成装置18は、人物1が撮影されている最初のフレーム(図3では、撮影時間P1のフレーム)をカットAにおけるサムネイル画像と決定する。   The thumbnail image creation device 18 operates as follows for the condition 1 designated by the condition designation device 16. The thumbnail image creating device 18 refers to the person shooting information and searches for the first frame in which the person with the longest total shooting time is shown. In the example of cut A shown in FIG. 3, the total shooting time of the person 1 is 30 seconds, the total shooting time of the person 2 is 15 seconds, and the total shooting time of the person 3 is 20 seconds. Accordingly, the person with the longest total time to be photographed is person 1. The thumbnail image creation device 18 determines the first frame in which the person 1 is photographed (the frame at the photographing time P1 in FIG. 3) as the thumbnail image in the cut A.

サムネイル画像作成装置18は、サムネイル画像用に決定したフレームの画像データを記録装置20から読み出し、サムネイル画像データを作成する。作成されたサムネイル画像データは、記録装置20にカットAのサムネイル画像情報として記録される。サムネイル画像データを作成せずに、サムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録してもよい。   The thumbnail image creation device 18 reads the frame image data determined for the thumbnail image from the recording device 20 and creates thumbnail image data. The created thumbnail image data is recorded as thumbnail image information of cut A in the recording device 20. Instead of creating thumbnail image data, a pointer indicating a frame to be a thumbnail image may be recorded as thumbnail image information of the cut A of the recording device 20.

条件2が指定された場合、サムネイル画像作成装置18は、人物撮影情報を参照して、撮影人数が最も多い最初のフレームを検索する。図3に示す例では、撮影時間20秒〜25秒の間に3人の人物1,2,3が撮影されており、この期間で撮影人数が最大である。サムネイル画像作成装置18は、撮影時間20秒〜30秒の先頭フレーム(撮影時間P2のフレーム)をカットAのサムネイル画像と決定する。サムネイル画像作成装置18は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録する。   When the condition 2 is designated, the thumbnail image creating apparatus 18 refers to the person photographing information and searches for the first frame with the largest number of photographers. In the example shown in FIG. 3, three persons 1, 2, and 3 are photographed during the photographing time of 20 seconds to 25 seconds, and the number of photographers is maximum during this period. The thumbnail image creation device 18 determines the first frame (frame of the shooting time P2) having the shooting time of 20 seconds to 30 seconds as the thumbnail image of the cut A. The thumbnail image creation device 18 records the image data of the determined thumbnail image or the pointer indicating the frame to be the thumbnail image as the thumbnail image information of the cut A of the recording device 20.

条件3が指定された場合、サムネイル画像作成装置18は、人物撮影情報を参照して、被撮影回数が最も多い人物が写っている最初のフレームを検索する。図3に示す例では、人物1の被撮影回数は1回であり、人物2の被撮影回数は2回であり、人物3の被撮影回数は3回である。従って、最も被撮影回数が多い人物は人物3である。サムネイル画像作成装置18は、人物3が撮影されている先頭フレーム(図3に示す例では、撮影時間P3のフレーム)をカットAのサムネイル画像と決定する。サムネイル画像作成装置18は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録する。   When the condition 3 is designated, the thumbnail image creating device 18 refers to the person photographing information and searches for the first frame in which the person with the largest number of times of photographing is shown. In the example shown in FIG. 3, the number of times the person 1 is photographed is 1, the number of times the person 2 is photographed is 2, and the number of times the person 3 is photographed is 3. Therefore, the person with the highest number of times of photographing is the person 3. The thumbnail image creation device 18 determines the first frame in which the person 3 is photographed (the frame at the photographing time P3 in the example shown in FIG. 3) as the thumbnail image of the cut A. The thumbnail image creation device 18 records the image data of the determined thumbnail image or the pointer indicating the frame to be the thumbnail image as the thumbnail image information of the cut A of the recording device 20.

条件4,5,6は、それぞれ条件1,2,3に対して、画像中央部という限定が追加されている。従って、条件4,5,6に対するサムネイル画像作成装置18の動作では、条件1,2,3に対する動作に、画像中央部に人物が写っているという条件が追加される。基本的な動作は、条件1,2,3に対する動作と同じなので、説明を省略する。   Conditions 4, 5, and 6 are limited to the image center portion with respect to conditions 1, 2, and 3 respectively. Therefore, in the operation of the thumbnail image creating apparatus 18 for the conditions 4, 5, and 6, the condition that a person is shown in the center of the image is added to the operations for the conditions 1, 2, and 3. Since the basic operation is the same as the operation for the conditions 1, 2, and 3, description thereof will be omitted.

サムネイル画像作成条件に数量的要素を追加しても良い。例えば、サムネイル画像作成条件に最低値を設定し、最低値以下であった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。例えば、条件1に対し、被撮影総時間が最も長い人物の被撮影総時間が最低被撮影総時間に満たなかった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。   A quantitative element may be added to the thumbnail image creation conditions. For example, a minimum value is set as the thumbnail image creation condition, and if it is equal to or less than the minimum value, the head frame or a frame after a certain time from the head frame is used as a thumbnail image as usual. For example, if the total shooting time of the person with the longest total shooting time is less than the minimum total shooting time for the condition 1, the first frame or a frame after a certain time from the first frame is displayed as a thumbnail image as usual. And

条件2には、最低人数を設定する。最低人数以上に多い人数が写っているフレームが無い場合、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。   Condition 2 sets the minimum number of people. If there is no frame in which there are more people than the minimum number, the first frame or a frame after a certain time from the first frame is used as a thumbnail image as before.

条件3には、最低被撮影回数を設定する。被撮影回数が最も多い人物の被撮影回数が最低被撮影回数より少ない場合には、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。   In condition 3, the minimum number of times of photographing is set. When the number of times of photographing of the person with the largest number of times of photographing is smaller than the minimum number of times of photographing, the first frame or a frame after a certain time from the first frame is used as a thumbnail image as usual.

図4は、本実施例の撮影、人物解析、及びサムネイル画像記録の一連の処理の動作フローチャートを示す。   FIG. 4 shows an operation flowchart of a series of processing of photographing, person analysis, and thumbnail image recording of the present embodiment.

ユーザは、条件指定装置16によりサムネイル画像作成条件を選択する(S31)。条件指定装置16は、例えば、複数のサムネイル画像作成条件を選択肢とする選択画面をモニタ画面上に表示する手段を具備する。   The user selects a thumbnail image creation condition using the condition designating device 16 (S31). The condition designating device 16 includes, for example, means for displaying on the monitor screen a selection screen using a plurality of thumbnail image creation conditions as options.

カメラユニット12の撮影が開始されると、フレーム番号変数Iが0で初期化される(S32)。カメラユニット12からの動画像データの最初のフレームがIフレームとして人物解析装置14と記録装置20に取り込まれる(S33)。記録装置20は、カメラユニット12からのIフレームを、内蔵する記録媒体に記録する(S34)。これと同時に、人物解析装置14は、Iフレームの画像内に人物が含まれているか否かを解析する(S35)。人物解析装置14の動作は、図2を参照して説明した通りである。   When the photographing of the camera unit 12 is started, the frame number variable I is initialized with 0 (S32). The first frame of the moving image data from the camera unit 12 is taken into the person analysis device 14 and the recording device 20 as an I frame (S33). The recording device 20 records the I frame from the camera unit 12 on a built-in recording medium (S34). At the same time, the person analysis device 14 analyzes whether or not a person is included in the image of the I frame (S35). The operation of the person analysis device 14 is as described with reference to FIG.

撮影が終了するまで(S36)、フレーム番号変数Iをインクリメントして(S37)、ステップS33,S34,S35の動作、即ち、フレームの取り込み(S33)、フレーム毎の画像データの記録(S34)及び人物解析(S35)を繰り返す。   Until the photographing is completed (S36), the frame number variable I is incremented (S37), and the operations of steps S33, S34, and S35, that is, the capture of the frame (S33), the recording of the image data for each frame (S34), and The person analysis (S35) is repeated.

撮影が終了したら(S36)、サムネイル画像作成装置18は、条件指定装置16によりステップS31で選択されたサムネイル画像作成条件を取り込む(S38)。人物解析装置14は、収集したデータからなる人物撮影情報をサムネイル画像作成装置18に出力する(S39)。   When shooting is finished (S36), the thumbnail image creating device 18 takes in the thumbnail image creating conditions selected in step S31 by the condition designating device 16 (S38). The person analysis device 14 outputs the person photographing information including the collected data to the thumbnail image creation device 18 (S39).

サムネイル画像作成装置18は、人物解析装置14からの人物撮影情報と、条件指定装置16からのサムネイル画像作成条件とに従って、先に説明したようにサムネイル画像を決定する(S40)。サムネイル画像作成装置18は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置20に記録する(S41)。   The thumbnail image creation device 18 determines a thumbnail image as described above according to the person photographing information from the person analysis device 14 and the thumbnail image creation conditions from the condition designating device 16 (S40). The thumbnail image creation device 18 records thumbnail image data or a pointer indicating a frame to be a thumbnail image in the recording device 20 (S41).

図5を参照して、サムネイル画像一覧の表示動作を説明する。図5は、サムネイル画像一覧表示の動作フローチャートである。   The thumbnail image list display operation will be described with reference to FIG. FIG. 5 is an operation flowchart of thumbnail image list display.

サムネイル画像一覧表示が要求されると(S51)、画像出力装置22は、記録装置20から所定数のサムネイル画像データを読み出す(S52)。画像出力装置22は、読み出したサムネイル画像データを表示装置24の表示用に変換して、表示装置24に供給する(S53)。これにより、記録装置20に記録される複数の動画のサムネイル画像が、表示装置24の画面上に一覧表示される。   When a thumbnail image list display is requested (S51), the image output device 22 reads a predetermined number of thumbnail image data from the recording device 20 (S52). The image output device 22 converts the read thumbnail image data for display on the display device 24 and supplies it to the display device 24 (S53). Thereby, thumbnail images of a plurality of moving images recorded in the recording device 20 are displayed as a list on the screen of the display device 24.

図6は、本発明の実施例2である撮像装置の概略構成ブロック図である。   FIG. 6 is a schematic block diagram of an image pickup apparatus that is Embodiment 2 of the present invention.

撮像装置110は、被写体の動画像データを出力するカメラユニット112と、カメラユニット112からの動画像データを記録媒体に記録する記録装置120を具備する。カメラユニット112は、カメラユニット12と同様の機能を具備する。記録装置120は、カメラユニット112からの動画像データを順次、内蔵する記録媒体に記録する。   The imaging device 110 includes a camera unit 112 that outputs moving image data of a subject, and a recording device 120 that records moving image data from the camera unit 112 on a recording medium. The camera unit 112 has the same function as the camera unit 12. The recording device 120 sequentially records moving image data from the camera unit 112 on a built-in recording medium.

撮像装置110は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像の作成・表示のために、撮像装置110は、人物解析装置114、条件指定装置116及びサムネイル画像作成装置118を具備する。   The imaging device 110 extracts or creates a thumbnail image as a representative image as a moving image management device. In order to create and display a representative image, the imaging device 110 includes a person analysis device 114, a condition designation device 116, and a thumbnail image creation device 118.

人物解析装置114は、人物解析装置14と同様の機能からなる。即ち、人物解析装置114は、カメラユニット112から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、人物撮影情報をサムネイル画像作成装置118に出力する。   The person analysis device 114 has the same function as the person analysis device 14. That is, the person analysis device 114 analyzes whether or not a person is included in the moving image data output from the camera unit 112, and outputs the person photographing information to the thumbnail image creation device 118.

人物解析装置114は、解析結果である人物撮影情報を記録装置120に供給しても良い。その場合、記録装置120は、人物撮影情報を動画像データの対応するフレームの属性情報として、動画像データに関連付けて記憶する。   The person analysis device 114 may supply the person photographing information as the analysis result to the recording device 120. In that case, the recording device 120 stores the person shooting information as attribute information of the corresponding frame of the moving image data in association with the moving image data.

ユーザは条件指定装置116を使って、サムネイル画像一覧表示で使用するサムネイル画像を指定できる。但し、選択可能なサムネイル画像表示条件は予め規定されており、ユーザは、これらの選択肢の一つを条件指定装置116で指定することになる。サムネイル画像表示条件は、特許請求の範囲の代表画像条件に対応する。   The user can designate a thumbnail image to be used in the thumbnail image list display using the condition designation device 116. However, selectable thumbnail image display conditions are defined in advance, and the user designates one of these options with the condition designation device 116. The thumbnail image display conditions correspond to the representative image conditions in the claims.

サムネイル画像作成装置118は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置118は、撮影終了後に、人物解析装置114による人物撮影情報と条件指定装置116で選択可能なサムネイル画像表示条件とに基づき、記録済みの動画像データからサムネイル画像を作成する。何れか1つのサムネイル画像表示条件に合致すれば、サムネイル画像とする。   The thumbnail image creation device 118 corresponds to the representative image creation device recited in the claims. The thumbnail image creating device 118 creates a thumbnail image from the recorded moving image data based on the person photographing information by the person analyzing device 114 and the thumbnail image display conditions selectable by the condition designating device 116 after the photographing is completed. If any one of the thumbnail image display conditions is met, a thumbnail image is obtained.

記録装置120は、カメラユニット112からの動画像データ、及びサムネイル画像作成装置118からのサムネイル画像データを記録する。人物解析装置114の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置120に記録しても良い。   The recording device 120 records the moving image data from the camera unit 112 and the thumbnail image data from the thumbnail image creation device 118. The person photographing information based on the analysis result of the person analyzing device 114 may be recorded in the recording device 120 as attribute information of the corresponding frame of the recorded moving image data.

画像出力装置122は、サムネイル画像一覧表示の際に、記録装置120に記録される各動画像データに対し、条件指定装置116で選択されたサムネイル表示条件に合致するサムネイル画像を選択し、表示装置124に一覧表示する。これにより、ユーザは、記録装置120に記録された動画像のリストをサムネイル画像付きで確認できる。   The image output device 122 selects a thumbnail image that matches the thumbnail display condition selected by the condition designating device 116 for each moving image data recorded in the recording device 120 when displaying the thumbnail image list, and displays the display device. A list is displayed in 124. Thereby, the user can confirm the list of moving images recorded in the recording device 120 with thumbnail images.

動画像データの再生の際には、画像出力装置122は、ユーザにより指定される動画像データを記録装置120から読み出し、表示装置124に供給する。これにより、選択された動画像が、表示装置124の画面上に再生表示される。   When reproducing the moving image data, the image output device 122 reads out the moving image data designated by the user from the recording device 120 and supplies it to the display device 124. As a result, the selected moving image is reproduced and displayed on the screen of the display device 124.

このように、実施例2の撮像装置110では、人物撮影情報に基づき、各サムネイル画像表示条件に対応するサムネイル画像を記録装置120に動画像と関連付けて記録する。サムネイル画像表示条件が3つあれば、最低でも3つのサムネイル画像が記録装置120に記録される。これにより、サムネイル画像一覧表示の際に、条件指定装置116で何れのサムネイル表示条件を選択しても、選択されたサムネイル表示条件に合致するサムネイル画像の一覧を迅速に表示できる。   As described above, in the imaging apparatus 110 according to the second embodiment, the thumbnail images corresponding to the respective thumbnail image display conditions are recorded in the recording apparatus 120 in association with the moving images based on the person photographing information. If there are three thumbnail image display conditions, at least three thumbnail images are recorded in the recording device 120. Thereby, when displaying the thumbnail image list, it is possible to quickly display a list of thumbnail images that match the selected thumbnail display condition, regardless of which thumbnail display condition is selected by the condition specifying device 116.

図7を参照して、本実施例のサムネイル画像の記録動作を説明する。図7は、本実施例において人物撮影情報に応じてサムネイル画像を作成するフローチャートである。   With reference to FIG. 7, the thumbnail image recording operation of this embodiment will be described. FIG. 7 is a flowchart for creating a thumbnail image according to the person photographing information in this embodiment.

カメラユニット112の撮影が開始されると、フレーム番号変数Iが0で初期化される(S61)。カメラユニット112からの動画像データの最初のフレームがIフレームとして人物解析装置114と記録装置120に取り込まれる(S62)。記録装置120は、カメラユニット112からのIフレームを、内蔵する記録媒体に記録する(S63)。これと同時に、人物解析装置114は、人物解析装置14と同様に、Iフレームの画像内に人物が含まれているか否かを解析する(S64)。   When shooting by the camera unit 112 is started, the frame number variable I is initialized to 0 (S61). The first frame of the moving image data from the camera unit 112 is taken into the human analysis device 114 and the recording device 120 as an I frame (S62). The recording device 120 records the I frame from the camera unit 112 on a built-in recording medium (S63). At the same time, the person analysis device 114 analyzes whether or not a person is included in the image of the I frame, similarly to the person analysis device 14 (S64).

撮影が終了するまで(S65)、フレーム番号変数Iをインクリメントして(S66)、ステップS62,S63,S64の動作、即ち、フレームの取り込み(S62)、フレーム毎の画像データの記録(S63)及び人物解析(S64)を繰り返す。   Until the photographing is completed (S65), the frame number variable I is incremented (S66), and the operations of steps S62, S63, and S64, that is, the capture of the frame (S62), the recording of the image data for each frame (S63), and The person analysis (S64) is repeated.

撮影が終了したら(S65)、人物解析装置114は、収集したデータからなる人物撮影情報をサムネイル画像作成装置118に出力する(S67)。サムネイル画像作成装置118は、人物解析装置114からの人物撮影情報と、条件指定装置16で選択可能なサムネイル画像表示条件とに従って、先に説明したようにサムネイル画像を決定又は作成する(S68)。サムネイル画像作成装置118は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置120に記録する(S69)。   When shooting is completed (S65), the person analysis device 114 outputs person shooting information including the collected data to the thumbnail image creation device 118 (S67). The thumbnail image creating device 118 determines or creates a thumbnail image as described above according to the person photographing information from the person analyzing device 114 and the thumbnail image display conditions that can be selected by the condition designating device 16 (S68). The thumbnail image creation device 118 records thumbnail image data or a pointer indicating a frame to be a thumbnail image in the recording device 120 (S69).

図8を参照して、サムネイル画像一覧の表示動作を説明する。図8はサムネイル画像一覧表示の動作フローチャートである。   The thumbnail image list display operation will be described with reference to FIG. FIG. 8 is an operation flowchart of thumbnail image list display.

ユーザによりサムネイル画像一覧表示が要求されると(S71)、メニュー画面等によりユーザによるサムネイル画像表示条件の選択を受け付ける(S72)。画像出力装置122は、記録装置120に記録されている各カットに対して、ステップS72で選択されたサムネイル画像表示条件に合致したサムネイル画像のみを読み出し(S73)、表示装置124に出力する(S74)。これにより、選択されたサムネイル画像表示条件に従うサムネイル画像が、表示装置124の画面上に一覧表示される。   When a thumbnail image list display is requested by the user (S71), selection of thumbnail image display conditions by the user is accepted through a menu screen or the like (S72). The image output device 122 reads out only thumbnail images that match the thumbnail image display conditions selected in step S72 for each cut recorded in the recording device 120 (S73), and outputs them to the display device 124 (S74). ). As a result, thumbnail images in accordance with the selected thumbnail image display condition are displayed as a list on the screen of the display device 124.

記録装置120に記録されている動画像データの各カットに対して1枚のサムネイル画像が記録装置120から読み出される。例えば、サムネイル画像表示条件が全部で3つあるとすると、記録装置120には、カット毎に3枚のサムネイル画像が記録されている。しかし、サムネイル画像一覧表示で表示されるのは、3枚のサムネイル画像のうち、サムネイル画像表示条件に合致した1枚のサムネイル画像である。   One thumbnail image is read from the recording device 120 for each cut of moving image data recorded in the recording device 120. For example, if there are three thumbnail image display conditions in total, the thumbnail image is recorded in the recording device 120 for each cut. However, one thumbnail image that matches the thumbnail image display condition among the three thumbnail images is displayed in the thumbnail image list display.

図9は、本発明の実施例3である撮像装置の概略構成ブロック図である。本実施例の撮像装置210では、複数のカットの撮影(録画)が終了した後に、各カットに対するサムネイル画像を作成する。これを可能にするために、複数のカットの人物撮影情報を記憶する人物撮影情報記憶装置215を追加してある。   FIG. 9 is a schematic block diagram of an image pickup apparatus that is Embodiment 3 of the present invention. In the imaging apparatus 210 according to the present exemplary embodiment, after shooting (recording) of a plurality of cuts, a thumbnail image for each cut is created. In order to make this possible, a person photographing information storage device 215 for storing person photographing information of a plurality of cuts is added.

撮像装置210は、カメラユニット12と同様の機能のカメラユニット212と、カメラユニット212からの動画像データを記録媒体に記録する記録装置220を具備する。記録装置220は、カメラユニット212からの動画像データを順次、内蔵する記録媒体に記録する。   The imaging device 210 includes a camera unit 212 having the same function as the camera unit 12 and a recording device 220 that records moving image data from the camera unit 212 on a recording medium. The recording device 220 sequentially records moving image data from the camera unit 212 on a built-in recording medium.

撮像装置210は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置210は、人物解析装置214、人物撮影情報記憶装置215、条件指定装置216及びサムネイル画像作成装置218を具備する。   The imaging device 210 extracts or creates a thumbnail image as a representative image as a moving image management device. For creating a representative image, the imaging device 210 includes a person analysis device 214, a person photographing information storage device 215, a condition designation device 216, and a thumbnail image creation device 218.

人物解析装置214の基本機能は、人物解析装置14の機能と同じである。即ち、人物解析装置214は、カメラユニット212から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、上述の人物撮影情報をカット毎に人物撮影情報記憶装置215に格納する。   The basic functions of the person analysis device 214 are the same as the functions of the person analysis device 14. That is, the person analysis device 214 analyzes whether or not a person is included in the moving image data output from the camera unit 212 for each frame, and the person shooting information storage device 215 for the person shooting information described above for each cut. To store.

ユーザは、条件指定装置216を使って、サムネイル画像作成条件を指定し、サムネイル画像作成装置218に入力する。このサムネイル画像作成条件は、特許請求の範囲の代表画像条件に対応する。   The user designates a thumbnail image creation condition using the condition designation device 216 and inputs it to the thumbnail image creation device 218. The thumbnail image creation conditions correspond to the representative image conditions in the claims.

サムネイル画像作成装置218は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置218は、人物撮影情報記憶装置215に記憶される複数カットの人物撮影情報と条件指定装置216からのサムネイル画像作成条件とに基づき、記録済みの動画像からサムネイル画像を作成する。作成されたサムネイル画像を示す情報が、記録装置20に記録される。例えば、サムネイル画像作成装置218は、記録装置220に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する1フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。   The thumbnail image creation device 218 corresponds to the representative image creation device recited in the claims. The thumbnail image creation device 218 creates a thumbnail image from the recorded moving image based on the multiple-cut person photographing information stored in the person photographing information storage device 215 and the thumbnail image creation conditions from the condition designating device 216. Information indicating the created thumbnail image is recorded in the recording device 20. For example, the thumbnail image creation device 218 cuts out one frame that matches the thumbnail image creation conditions from the moving image data for each cut recorded in the recording device 220 as a thumbnail image. By including the presence of a person in the thumbnail image creation condition, a frame including the person can be made a thumbnail image.

記録装置220は、カメラユニット212からの動画像データ及びサムネイル画像作成装置218からのサムネイル画像データを記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置214の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置220に記録しても良い。   The recording device 220 records moving image data from the camera unit 212 and thumbnail image data from the thumbnail image creation device 218. The thumbnail image may be pointer information indicating a frame used as a thumbnail image in the moving image data. The person photographing information based on the analysis result of the person analyzing device 214 may be recorded in the recording device 220 as attribute information of the corresponding frame of the recorded moving image data.

画像出力装置222は、記録装置220からサムネイル画像データを読み出し、表示装置224にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置220に記録された動画像のリストを代表画像付きで確認できる。   The image output device 222 reads thumbnail image data from the recording device 220 and outputs a thumbnail image list to the display device 224. Thereby, the user can check the list of moving images recorded in the recording device 220 with the representative image.

画像出力装置222はまた、サムネイル画像一覧で選択された動画像データを記録装置220から読み出し、表示装置224に供給する。これにより、選択された動画像が、表示装置24の画面上に再生表示される。   The image output device 222 also reads out the moving image data selected in the thumbnail image list from the recording device 220 and supplies it to the display device 224. As a result, the selected moving image is reproduced and displayed on the screen of the display device 24.

図10を参照して、本実施例の動画記録と人物撮影情報記憶の動作を説明する。図10は、記録装置220による動画像データの記録と、人物撮影情報の人物撮影情報記憶装置215への記憶の動作フローチャートである。   With reference to FIG. 10, the operation of moving image recording and person photographing information storage of the present embodiment will be described. FIG. 10 is an operation flowchart of recording moving image data by the recording device 220 and storing the person photographing information in the person photographing information storage device 215.

カメラユニット212の撮影が開始されると、フレーム番号変数Iが0で初期化される(S81)。カメラユニット212からの動画像データの最初のフレームがIフレームとして人物解析装置214と記録装置220に取り込まれる(S82)。記録装置220は、カメラユニット212からのIフレームを、内蔵する記録媒体に記録する(S83)。これと同時に、人物解析装置214は、Iフレームの画像内に人物が含まれているか否かを解析する(S84)。人物解析装置214の動作は、図2を参照して説明した人物解析装置14の動作と同じである。   When shooting by the camera unit 212 is started, the frame number variable I is initialized to 0 (S81). The first frame of the moving image data from the camera unit 212 is taken into the human analysis device 214 and the recording device 220 as an I frame (S82). The recording device 220 records the I frame from the camera unit 212 on a built-in recording medium (S83). At the same time, the person analysis device 214 analyzes whether or not a person is included in the image of the I frame (S84). The operation of the person analysis device 214 is the same as the operation of the person analysis device 14 described with reference to FIG.

撮影が終了するまで(S85)、フレーム番号変数Iをインクリメントして(S86)、ステップS82,S83,S84の動作、即ち、フレームの取り込み(S82)、フレーム毎の画像データの記録(S83)及び人物解析(S84)を繰り返す。   Until the photographing is completed (S85), the frame number variable I is incremented (S86), and the operations of steps S82, S83, and S84, that is, the capture of the frame (S82), the recording of the image data for each frame (S83), and The person analysis (S84) is repeated.

撮影が終了したら(S85)、人物解析装置214は、収集したデータからなる人物撮影情報を人物撮影情報記憶装置215に格納する(S87)。   When shooting is completed (S85), the person analysis device 214 stores the person shooting information including the collected data in the person shooting information storage device 215 (S87).

複数カットの撮影が終了した後、ユーザからのサムネイル画像一覧表示の要求に従い、サムネイル画像作成装置218が各カット(又は、要求されたサムネイル画像一覧表示に含まれるカット)のサムネイル画像を作成する。そして、画像出力装置222が、作成されたサムネイル画像を使ってサムネイル画像の一覧を表示装置224の画面上に表示させる。   After the shooting of a plurality of cuts is completed, the thumbnail image creation device 218 creates a thumbnail image of each cut (or a cut included in the requested thumbnail image list display) in accordance with a request for thumbnail image list display from the user. Then, the image output device 222 displays a list of thumbnail images on the screen of the display device 224 using the created thumbnail images.

図11は、これらのサムネイル画像一覧表示の動作フローチャートを示す。ユーザによりサムネイル画像一覧表示が要求されると(S91)、メニュー画面等によりユーザによるサムネイル画像作成条件の選択を受け付ける(S92)。条件指定装置216は、ユーザにより選択された1つのサムネイル画像作成条件をサムネイル画像作成装置218に供給する(S93)。   FIG. 11 shows an operational flowchart of the thumbnail image list display. When a thumbnail image list display is requested by the user (S91), the selection of thumbnail image creation conditions by the user is accepted through a menu screen or the like (S92). The condition designating device 216 supplies one thumbnail image creation condition selected by the user to the thumbnail image creating device 218 (S93).

サムネイル画像作成装置218は、人物撮影情報記憶装置215に記憶されているカット毎の人物撮影情報を取り込み(S94)、サムネイル画像作成条件に合致するサムネイル画像をカット毎に作成する(S95)。記録装置220は、サムネイル画像作成装置218により作成されたカット毎のサムネイル画像の情報を、対応する動画像データに関連続けて記録する(S96)。   The thumbnail image creation device 218 takes in the person shooting information for each cut stored in the person shooting information storage device 215 (S94), and creates a thumbnail image that matches the thumbnail image creation conditions for each cut (S95). The recording device 220 records the thumbnail image information for each cut created by the thumbnail image creation device 218 in association with the corresponding moving image data (S96).

記録装置220に記録されている、サムネイル画像未作成の全カット(又は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカット)に対して(S97)、ステップS94,S95,S96を繰り返す。   Steps S94, S95, and S96 are repeated for all cuts that have not yet been created as thumbnail images (or cuts for which thumbnail images have been requested by a thumbnail image list display request) recorded in the recording device 220 (S97).

全カットに対してサムネイル画像を作成したら(S97)、画像出力装置222は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカットのサムネイル画像を記録装置220から読み出し(S98)、一覧として表示装置224に出力する(S99)。これにより、要求(S91)されたサムネイル画像一覧が表示される。   When thumbnail images have been created for all the cuts (S97), the image output device 222 reads out the thumbnail images of the cuts for which thumbnail images have been requested by the thumbnail image list display request from the recording device 220 (S98), and displays them as a list. The data is output to 224 (S99). Thus, the requested thumbnail image list is displayed (S91).

上述した各実施例では、人物撮影状況に応じて、人物を含むフレームからサムネイル画像を作成するので、サムネイル画像一覧表示でも、各カットの内容をより把握しやすくなる。   In each of the above-described embodiments, a thumbnail image is created from a frame including a person according to a person shooting situation. Therefore, it is easier to grasp the contents of each cut even when displaying a thumbnail image list.

上記各実施例では、動画に含まれる人物の解析を記録と並列に行っているが、記録済みの動画を再生して人物を解析し、その解析結果に基づき代表画像を選定しても良い。例えば、DVDレコーダ等で、記録再生動作の空き時間に実行すれば良い。又は、編集作業として、代表画像作成処理をユーザが選択して実行できるようにしてもよい。   In each of the above embodiments, analysis of a person included in a moving image is performed in parallel with recording. However, a recorded image may be reproduced to analyze a person, and a representative image may be selected based on the analysis result. For example, a DVD recorder or the like may be executed during a recording / playback operation idle time. Alternatively, the representative image creation process may be selected and executed by the user as an editing operation.

本発明の実施例1の概略構成ブロック図である。It is a schematic block diagram of Example 1 of the present invention. 人物解析装置14の動作フローチャートである。4 is an operation flowchart of the person analysis device 14. 人物解析結果を示す模式図である。It is a schematic diagram which shows a person analysis result. 実施例1のサムネイル画像作成・記録の動作フローチャートである。4 is an operation flowchart of thumbnail image creation / recording according to the first exemplary embodiment. 実施例1のサムネイル画像一覧表示の動作フローチャートである。6 is an operation flowchart of thumbnail image list display according to the first embodiment. 実施例2の概略構成ブロック図である。6 is a schematic configuration block diagram of Embodiment 2. FIG. 実施例2のサムネイル画像作成・記録の動作フローチャートである。10 is an operation flowchart of thumbnail image creation / recording according to the second embodiment. 実施例2のサムネイル画像一覧表示の動作フローチャートである。12 is an operation flowchart of thumbnail image list display according to the second embodiment. 実施例3の概略構成ブロック図である。FIG. 10 is a schematic configuration block diagram of Embodiment 3. 実施例3の人物撮影情報を取得・記憶する動作フローチャートである。12 is an operation flowchart for acquiring and storing person photographing information according to the third embodiment. 実施例3のサムネイル画像一覧表示の動作フローチャートである。14 is an operation flowchart of thumbnail image list display according to the third embodiment. 従来のサムネイル画像作成を説明する模式図である。It is a schematic diagram explaining the conventional thumbnail image creation. 撮影された動画像の内容を示す模式図である。It is a schematic diagram which shows the content of the image | photographed moving image.

符号の説明Explanation of symbols

10,110,210 撮像装置
12,112,212 カメラユニット
14,114,214 人物解析装置
215 人物撮影情報記憶装置
16,116,216 条件指定装置
18,118,218 サムネイル画像作成装置
20,120,220 記録装置
22,122,222 画像出力装置
24,124,224 表示装置
10, 110, 210 Imaging device 12, 112, 212 Camera unit 14, 114, 214 Person analysis device 215 Person photographing information storage device 16, 116, 216 Condition specifying device 18, 118, 218 Thumbnail image creation device 20, 120, 220 Recording device 22, 122, 222 Image output device 24, 124, 224 Display device

Claims (10)

撮像によって得られる動画像データを管理する動画像管理装置であって、
前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置(14,114)と、
前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置(18,118)
とを備えることを特徴とすることを特徴とする動画像管理装置。
A moving image management apparatus that manages moving image data obtained by imaging,
A person analysis device (14, 114) for analyzing a shooting situation of a person in the moving image data and outputting person shooting information;
A representative image creating device (18, 118) that creates a representative image symbolizing the content of the moving image data from the moving image data according to the person photographing information
And a moving image management apparatus.
さらに、代表画像条件を前記代表画像作成装置に指定する条件指定装置(16)を備え、
前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成する
ことを特徴とする請求項1に記載の動画像管理装置。
And a condition designating device (16) for designating a representative image condition to the representative image creating device
The moving image management apparatus according to claim 1, wherein the representative image creating apparatus creates the representative image from the moving image data according to the person photographing information and the representative image condition.
前記条件指定装置は、複数の代表画像条件から一つの代表画像条件を選択可能であることを特徴とする請求項2に記載の動画像管理装置。   The moving image management apparatus according to claim 2, wherein the condition specifying apparatus is capable of selecting one representative image condition from a plurality of representative image conditions. 前記複数の代表画像条件は、「撮影されている時間が最も長い人物が写っているフレーム」、「撮影されている人物の数が最も多いフレーム」、及び「撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする請求項3に記載の動画像管理装置。   The plurality of representative image conditions include “a frame in which a person having the longest time is captured”, “a frame in which the number of persons being photographed is the largest”, and “a person who has been photographed the most The moving image management apparatus according to claim 3, wherein the moving image management apparatus includes one or more conditions of “a frame in which the image is captured”. 前記人物撮影情報は、人物ごとに撮影されているか否かを時系列で表した情報であることを特徴とする請求項1に記載の動画像管理装置。   The moving image management apparatus according to claim 1, wherein the person photographing information is information that represents in time series whether or not each person is photographed. 前記代表画像作成装置は、1つの前記動画像データに対して少なくとも1枚の代表画像を作成することを特徴とする請求項1に記載の動画像管理装置。   The moving image management apparatus according to claim 1, wherein the representative image creating apparatus creates at least one representative image for one moving image data. 前記代表画像作成装置は、選択可能な代表画像条件ごとに、前記人物撮影情報に従い、前記動画像データから前記代表画像を作成すること特徴とする請求項1に記載の動画像管理装置。   The moving image management apparatus according to claim 1, wherein the representative image creating apparatus creates the representative image from the moving image data according to the person photographing information for each selectable representative image condition. 更に、
前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置(120)と、
前記代表画像条件から1つの代表画像条件を指定する条件指定装置(116)と、
前記条件指定装置により指定される前記1つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置(122)
とを具備することを特徴とする請求項7に記載の動画像管理装置。
Furthermore,
A recording device (120) for recording representative image data relating to a representative image created by the representative image creating device;
A condition designating device (116) for designating one representative image condition from the representative image condition;
An image output device (122) for reading representative image data matching the one representative image condition designated by the condition designating device from the recording device and outputting it for display
The moving image management apparatus according to claim 7, further comprising:
前記人物撮影情報は、人物ごとに画像中央部に撮影されているか否かを時系列で表した情報であることを特徴とする請求項1又は8に記載の動画像管理装置。   9. The moving image management apparatus according to claim 1, wherein the person photographing information is information that represents in time series whether or not each person is photographed in the center of the image. 前記代表画像条件は、「画像中央部で撮影されている時間が最も長い人物が写っているフレーム」、「画像中央部で撮影されている人物の数が最も多いフレーム」、「画像中央部で撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする請求項9に記載の動画像管理装置。   The representative image conditions are “a frame in which a person having the longest time taken in the center of the image is captured”, “a frame in which the number of persons photographed in the center of the image is the largest”, and “in the center of the image”. The moving image management apparatus according to claim 9, wherein the moving image management apparatus includes one or more conditions of “a frame in which a person who has been photographed most frequently is captured”.
JP2007032890A 2007-02-14 2007-02-14 Moving image management apparatus Withdrawn JP2008199330A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007032890A JP2008199330A (en) 2007-02-14 2007-02-14 Moving image management apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007032890A JP2008199330A (en) 2007-02-14 2007-02-14 Moving image management apparatus

Publications (1)

Publication Number Publication Date
JP2008199330A true JP2008199330A (en) 2008-08-28

Family

ID=39757882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007032890A Withdrawn JP2008199330A (en) 2007-02-14 2007-02-14 Moving image management apparatus

Country Status (1)

Country Link
JP (1) JP2008199330A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066483A (en) * 2009-09-15 2011-03-31 Ricoh Co Ltd Apparatus, method and program for preparing moving picture thumbnail
JP2011087105A (en) * 2009-10-15 2011-04-28 Canon Inc Image processor and method for controlling the same, program, and medium
JP2012004713A (en) * 2010-06-15 2012-01-05 Canon Inc Image processing device, image processing device control method, program, and recording medium
JP2012134638A (en) * 2010-12-20 2012-07-12 Hitachi Building Systems Co Ltd Elevator monitoring image recording device
JP2018110944A (en) * 2018-04-18 2018-07-19 キヤノン株式会社 Medical image display device, display control device, display control method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066483A (en) * 2009-09-15 2011-03-31 Ricoh Co Ltd Apparatus, method and program for preparing moving picture thumbnail
JP2011087105A (en) * 2009-10-15 2011-04-28 Canon Inc Image processor and method for controlling the same, program, and medium
JP2012004713A (en) * 2010-06-15 2012-01-05 Canon Inc Image processing device, image processing device control method, program, and recording medium
JP2012134638A (en) * 2010-12-20 2012-07-12 Hitachi Building Systems Co Ltd Elevator monitoring image recording device
JP2018110944A (en) * 2018-04-18 2018-07-19 キヤノン株式会社 Medical image display device, display control device, display control method, and program

Similar Documents

Publication Publication Date Title
US9013604B2 (en) Video summary including a particular person
EP2710594B1 (en) Video summary including a feature of interest
JP4581924B2 (en) Image reproducing apparatus and image reproducing program
JP4760892B2 (en) Display control apparatus, display control method, and program
KR101532294B1 (en) Apparatus and method for tagging image
EP3185539A1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
JP5677011B2 (en) Video playback apparatus and control method thereof
US8422735B2 (en) Imaging apparatus for detecting a scene where a person appears and a detecting method thereof
JP2008199330A (en) Moving image management apparatus
JP4636024B2 (en) Imaging device
JP5147737B2 (en) Imaging device
JP3780252B2 (en) Recording / reproducing apparatus and recording / reproducing method
JP4804417B2 (en) Moving picture imaging apparatus and moving picture imaging method
JP5665380B2 (en) Image processing apparatus, image processing apparatus control method, program, and recording medium
JP4673916B2 (en) Information processing apparatus, information processing method, and information processing program
JP2012137560A (en) Karaoke device and control method and control program for karaoke device
JP5020705B2 (en) Moving picture imaging apparatus and moving picture imaging method
JP5560744B2 (en) Imaging apparatus, moving image imaging method, and program
JP2010004357A (en) Image capturing apparatus and image capturing method
JP2009260618A (en) Image processor and image processing method
JP2010212821A (en) Recording and reproducing device
JP2009081691A (en) Recording apparatus of playback instruction information
JP2010004277A (en) Moving image processing device, control program, and storage medium

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100511