JP2008199330A - Moving image management apparatus - Google Patents
Moving image management apparatus Download PDFInfo
- Publication number
- JP2008199330A JP2008199330A JP2007032890A JP2007032890A JP2008199330A JP 2008199330 A JP2008199330 A JP 2008199330A JP 2007032890 A JP2007032890 A JP 2007032890A JP 2007032890 A JP2007032890 A JP 2007032890A JP 2008199330 A JP2008199330 A JP 2008199330A
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- moving image
- frame
- thumbnail image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、動画像データを管理する動画像管理装置に関し、より具体的には、動画像データの内容を象徴する代表画像を作成する動画像管理装置に関する。 The present invention relates to a moving image management apparatus that manages moving image data, and more specifically to a moving image management apparatus that creates a representative image that symbolizes the content of moving image data.
近年、動画像をDVDディスクやメモリーカードなどのランダムアクセスが可能な記録媒体に記録するデジタルビデオカメラやDVDレコーダなどが製品化されている。ユーザは、これらの装置で、又は、パーソナルコンピュータやDVDプレーヤなどを用いて、記録画像を視聴できる。 In recent years, digital video cameras, DVD recorders, and the like that record moving images on a randomly accessible recording medium such as a DVD disk or a memory card have been commercialized. The user can view the recorded image with these devices or using a personal computer, a DVD player, or the like.
ランダムアクセス可能な記録媒体を用いる場合、デジタルビデオカメラやDVDレコーダでは、記録された動画像の先頭部分のフレーム又はフィールドを代表画像(例えば、解像度を下げたサムネイル画像等)として別途、記録媒体に保存する。記録画像を一覧する際に、各記録画像の記録日時だけでなく、代表画像を同時に表示することで、一覧性が良くなる。 When a randomly accessible recording medium is used, a digital video camera or DVD recorder uses a frame or field at the beginning of a recorded moving image as a representative image (for example, a thumbnail image with a reduced resolution) separately on the recording medium. save. When listing the recorded images, not only the recording date and time of each recorded image but also the representative images are displayed at the same time, thereby improving the listability.
一般的には、代表画像は、各カットの先頭フレーム(又はフィールド)画像か、各カットの先頭フレームから固定時間後のフレーム(又はフィールド)画像から作成される。この代表画像一覧表示機能により、ユーザはいちいち動画像を再生しなくても、動画像のおおまかな内容を把握できるようになっている(例えば、特許文献1参照)。 In general, the representative image is created from the first frame (or field) image of each cut or a frame (or field) image after a fixed time from the first frame of each cut. With this representative image list display function, the user can grasp a rough content of a moving image without reproducing the moving image one by one (see, for example, Patent Document 1).
代表画像一覧表示機能で表示される代表画像の画面内で動画像を再生するDVDレコーダも市販されている。
先頭部分の代表画像のみでは、動画像の内容を把握することが難しい場合がある。このような例を、図12及び図13を参照して説明する。図12は、撮影時間40秒の1カット又は1シーンの動画像(カットB)のタイムスケールを示す。代表画像としてのサムネイル画像が、カットBに対して1つだけ作成される。 It may be difficult to grasp the content of the moving image only with the representative image of the head portion. Such an example will be described with reference to FIGS. FIG. 12 shows a time scale of one cut of a shooting time of 40 seconds or a moving image (cut B) of one scene. Only one thumbnail image as a representative image is created for cut B.
カットBの撮影では、例えば、撮影時間0秒〜10秒では図13(a)に示すような風景が撮影されて、撮影時間10秒〜40秒では図13(b)に示すように人物が撮影されていたとする。この場合、従来の代表画像作成方法では、カットBの先頭フレームP1(図12)、又は、先頭フレームから固定時間後(この場合は5秒後)のフレームP2(図12)が代表画像とされる。フレームP1及びP2の何れにも人物が映っていないので、代表画像は、図13(a)に示すような画像になる。 In the shooting of cut B, for example, a landscape as shown in FIG. 13A is shot at a shooting time of 0 to 10 seconds, and a person is shot as shown in FIG. 13B at a shooting time of 10 to 40 seconds. Suppose that it was filmed. In this case, in the conventional representative image creation method, the first frame P1 (FIG. 12) of the cut B or the frame P2 (FIG. 12) after a fixed time (in this case, 5 seconds) from the first frame is set as the representative image. The Since no person is shown in either of the frames P1 and P2, the representative image is an image as shown in FIG.
例えば、主被写体として人物を撮影する機会が多いホームビデオ撮影等においては、人物が映っていない代表画像では、記録された動画の内容を把握することが難しいといった課題がある。 For example, in home video shooting where there are many opportunities to shoot a person as a main subject, there is a problem that it is difficult to grasp the contents of a recorded moving image with a representative image in which no person is shown.
そこで、本発明は、このような問題点を解決する動画像管理装置を提示することを目的とする。 Therefore, an object of the present invention is to provide a moving image management apparatus that solves such problems.
上記の目的を達成するために、本発明に係る動画像管理装置は、撮像によって得られる動画像データを管理する動画像管理装置であって、前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置と、前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置とを備えることを特徴とすることを特徴とする。 In order to achieve the above object, a moving image management apparatus according to the present invention is a moving image management apparatus that manages moving image data obtained by imaging, analyzing a shooting situation of a person in the moving image data, A person analyzing apparatus that outputs person photographing information, and a representative image creating apparatus that creates a representative image that symbolizes the content of the moving image data from the moving image data according to the person photographing information. Features.
好ましくは、本発明に係る動画像管理装置は、さらに、代表画像条件を前記代表画像作成装置に指定する条件指定装置を備え、前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成することを特徴とする。 Preferably, the moving image management device according to the present invention further includes a condition designating device for designating a representative image condition to the representative image creating device, wherein the representative image creating device is in accordance with the person photographing information and the representative image condition. The representative image is created from the moving image data.
好ましくは、前記条件指定装置は、複数の代表画像条件から一つの代表画像条件を選択可能であることを特徴とする。 Preferably, the condition designating device can select one representative image condition from a plurality of representative image conditions.
好ましくは、前記複数の代表画像条件は、「撮影されている時間が最も長い人物が写っているフレーム」、「撮影されている人物の数が最も多いフレーム」、及び「撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする。 Preferably, the plurality of representative image conditions include “a frame in which a person who has been photographed for the longest time is shown”, “a frame in which the number of photographed people is the largest”, and “the number of times the photograph has been taken. It includes one or more conditions of “a frame in which the most people are shown”.
好ましくは、前記人物撮影情報は、人物ごとに撮影されているか否かを時系列で表した情報であることを特徴とする。 Preferably, the person photographing information is information representing in time series whether or not each person is photographed.
好ましくは、前記代表画像作成装置は、1つの前記動画像データに対して少なくとも1枚の代表画像を作成することを特徴とする。 Preferably, the representative image creation device creates at least one representative image for one moving image data.
好ましくは、前記代表画像作成装置は、選択可能な代表画像条件ごとに、前記人物撮影情報に従い、前記動画像データから前記代表画像を作成すること特徴とする。 Preferably, the representative image creating device creates the representative image from the moving image data according to the person photographing information for each selectable representative image condition.
好ましくは、本発明に係る動画像管理装置は、更に、前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置と、前記代表画像条件から1つの代表画像条件を指定する条件指定装置と、前記条件指定装置により指定される前記1つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置とを具備することを特徴とする。 Preferably, the moving image management apparatus according to the present invention further specifies a recording device for recording representative image data relating to a representative image created by the representative image creation device, and one representative image condition from the representative image condition. And an image output device that reads representative image data that matches the one representative image condition designated by the condition designating device from the recording device and outputs it for display. .
好ましくは、前記人物撮影情報は、人物ごとに画像中央部に撮影されているか否か時系列で表した情報であることを特徴とする。 Preferably, the person photographing information is information indicating in time series whether or not each person is photographed in the central portion of the image.
好ましくは、前記代表画像条件は、「画像中央部で撮影されている時間が最も長い人物が写っているフレーム」、「画像中央部で撮影されている人物の数が最も多いフレーム」、「画像中央部で撮影されている回数が最も多い人物が写っているフレーム」の内の1つ以上の条件を含むことを特徴とする。 Preferably, the representative image condition is “a frame in which a person having the longest time taken in the central part of the image is captured”, “a frame in which the number of persons photographed in the central part of the image is largest”, “image” It includes one or more conditions of “a frame in which a person who has been photographed most frequently in the central portion is captured”.
本発明によれば、人物撮影状況に従って代表画像を作成するので、動画像データの内容を良く象徴する代表画像を作成できる。これにより、動画像の内容をより把握し易くなる。 According to the present invention, since the representative image is created according to the person photographing situation, it is possible to create a representative image that well symbolizes the content of the moving image data. This makes it easier to grasp the content of the moving image.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の実施例1である撮像装置の概略構成ブロック図である。この実施例では、撮像される動画像の記録動作と並行して代表画像としてのサムネイル画像を選定又は抽出し、撮像された動画像に関連付けて、動画像データと同じ記録媒体にサムネイル画像(代表画像)データを記録する。
FIG. 1 is a schematic configuration block diagram of an image pickup apparatus that is
撮像装置10は、被写体の動画像データを出力するカメラユニット12と、カメラユニット12からの動画像データを記録媒体に記録する記録装置20を具備する。カメラユニット12は、例えば、レンズ、CCD撮像素子、A/D変換器及びカメラ信号処理装置からなり、NTSC等の一定形式のデジタル映像信号からなる動画像データを出力する。記録装置20は、カメラユニット12からの動画像データを順次、内蔵する記録媒体に記録する。
The
撮像装置10は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置10は、人物解析装置14、条件指定装置16及びサムネイル画像作成装置18を具備する。
The
人物解析装置14は、カメラユニット12から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、どのフレームにどの人物が含まれているかを示す人物撮影情報をサムネイル画像作成装置18に出力する。ここで、人物は特定される必要はなく、少なくとも、人物間の相違とフレーム間での同一性が識別されれば良い。人物解析装置14は、画面内で1オブジェクトとして人間の存在を識別する技術を使用する。識別されたオブジェクトを連続する画面間で追跡する技術を利用することで、フレーム間の連続性の判定が容易になる。また、ユーザは条件指定装置16を使って、代表画像条件としてのサムネイル画像作成条件を指定し、サムネイル画像作成装置18に入力する。人物解析装置14及び条件指定装置16の機能は、後ほど詳細に説明する。
The
サムネイル画像作成装置18は、特許請求の範囲に規定される代表画像作成装置である。サムネイル画像作成装置18は、人物解析装置14による人物撮影情報と条件指定装置16によるサムネイル画像作成条件とに基づき、記録装置20に記録済みの動画像からサムネイル画像を作成し、記録装置20に記録する。例えば、サムネイル画像作成装置18は、記録装置20に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する1フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。
The thumbnail
記録装置20は、カメラユニット12からの動画像データ及びサムネイル画像作成装置18からのサムネイル画像データ(代表画像データ)を記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置14の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置20に記録しても良い。
The
画像出力装置22は、記録装置20からサムネイル画像を読み出し、表示装置24にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置20に記録された動画像のリストを代表画像付きで確認できる。
The
画像出力装置22はまた、サムネイル画像一覧で選択された動画像データを画像データ記録装置20から読み出し、表示装置24に供給する。これにより、選択された動画像が、表示装置24の画面上に再生表示される。
The
理解を容易にするために、動画像の圧縮伸長処理の説明を省略しているが、記録装置20は、動画像データ及びサムネイル画像を非圧縮のままで記録しても、圧縮記録しても良い。動画像の圧縮方式には、例えば、MPEG符号化方式やH.264符号化方式があり、サムネイル画像の圧縮方式には、例えばJPEG方式がある。
In order to facilitate understanding, the description of the compression / decompression process of the moving image is omitted, but the
図2は、人物解析装置14の動作フローチャートである。図2を参照して、人物解析装置14の動作を説明する。
FIG. 2 is an operation flowchart of the
人物解析装置14は、カメラユニット12の撮影(と記録装置20への記録)が開始されると、フレーム番号変数Iを0で初期化する(S11)。人物解析装置14は、カメラユニット12からの動画像データから取り込んだ最初のフレームを解析対象のIフレームとする(S12)。Iフレームの画像内に人物が含まれているか否かを解析する(S13)。人物が撮影されているか否かは、例えば、顔認識技術を使って、判別できる。
The
Iフレームに人物が存在しない場合(S14)、フレーム番号Iをインクリメントし(S15)、次のフレームを解析対象として、ステップS12以降を繰り返す。 If there is no person in the I frame (S14), the frame number I is incremented (S15), and the subsequent frames are repeated for the next frame as an analysis target.
人物解析(S13)の結果、Iフレームの画像内に人物が少なくとも1名以上存在する場合(S14)、各人物が登録済みか否かを調べる(S16)。人物解析装置14は、人物の特徴を記憶する特徴記憶装置を具備し、この特徴記憶装置に記憶される特徴との対比によりIフレーム内の人物が登録済みか否かを判断する。人物の特徴は、容姿(又はその一部である顔)そのものの画像でも、容姿又はその一部から抽出される要素でもよい。人物の同一性判断に、直前フレームからの移動を追跡する技術を使っても、この追跡技術と特徴の近似性とを併用しても良い。
As a result of the person analysis (S13), when at least one person exists in the image of the I frame (S14), it is checked whether or not each person has been registered (S16). The
検出された人物が未登録の場合(S16)、人物解析装置14は、未登録の人物の特徴を特徴記憶装置に新規登録する(S17)。
When the detected person is unregistered (S16), the
ステップS16又はS17の後、Iフレームに対して、その人物を特定する人物IDと画面内での位置を示す情報を記憶する(S18)。 After step S16 or S17, information indicating the person ID for identifying the person and the position in the screen is stored for the I frame (S18).
Iフレーム内の全人物の解析を終了するまで(S19)、ステップS16,S17,S18を繰り返す。 Steps S16, S17, and S18 are repeated until analysis of all persons in the I frame is completed (S19).
撮影が終了していなければ(S20)、フレーム番号変数Iをインクリメントし(S15)、ステップS12以降を繰り返す。 If shooting has not been completed (S20), the frame number variable I is incremented (S15), and step S12 and subsequent steps are repeated.
撮影が終了したら(S20)、人物解析装置14は、収集したデータからなる人物撮影情報を、適当なタイミングでサムネイル画像作成装置18に出力する(S21)。人物撮影情報は、人物解析装置14の特徴記憶装置に記憶される各人物が、1カットの撮影内でどのフレームのどの画面位置に出現しているかを示す。
When shooting is finished (S20), the
図3を参照して、人物解析装置14により生成される人物撮影情報の概要を説明する。横軸は時間を示す。図3に示す例では、3人の人物1,2,3が1カットA内に出現している。各人物が撮影されている期間には、斜線を付してある。図3に示す例では、人物1は、撮影時間10秒〜40秒の間に撮影されている。人物2は、撮影時間5秒〜10秒の間及び20秒〜30秒の間に撮影されている。人物3は、撮影時間5秒〜15秒の間、20秒〜25秒の間及び35秒〜40秒の間に、撮影されている。
With reference to FIG. 3, an outline of person photographing information generated by the
人物撮影情報は、図3に示すように、各人物がどのフレーム(又は時刻)に出現するかを時系列で表現するデータからなる。人物撮影情報にフレーム内の撮影位置のデータをも含めることで、サムネイル画像作成条件に撮影位置を含めることができる。 As shown in FIG. 3, the person photographing information is made up of data expressing in time series which frame (or time) each person appears in. By including the shooting position data in the frame in the person shooting information, the shooting position can be included in the thumbnail image creation conditions.
条件指定装置16で指定するサムネイル画像作成条件を説明する。サムネイル画像は、動画像の内容を代表する画像であるので、サムネイル画像を見ることにより動画像のおおまかな内容を推測できる画像であることが望ましい。
The thumbnail image creation conditions specified by the
特に、人物を撮影する機会が多いホームビデオ撮影等においては、サムネイル画像は人物であることが望ましい。人物が多数存在する場合は、サムネイル画像は主たる人物を含むのが望ましい。サムネイル画像作成条件の説明例として、
条件1:被撮影総時間が最も長い人物が写っているフレーム、
条件2:撮影人数が最も多いフレーム、及び
条件3:被撮影回数が最も多い人物が写っているフレーム
の3条件を考慮する。
In particular, in home video shooting or the like where there are many opportunities to photograph a person, it is desirable that the thumbnail image is a person. When there are a large number of persons, it is desirable that the thumbnail image includes the main person. As an example of thumbnail image creation conditions,
Condition 1: a frame in which a person with the longest total shooting time is shown,
Condition 2: Consider three conditions: a frame with the largest number of photographers and a condition 3: a frame in which a person with the largest number of shots is shown.
条件1は、あるカットにおいて、撮影されている総時間が最も長い人物が写っている最初のフレームをサムネイル画像とする。条件2は、あるカットにおいて、撮影人数が最も多い最初のフレームをサムネイル画像とする。条件3は、あるカットにおいて、撮影回数(フレーム数)が最も多い人物が写っている最初のフレームをサムネイル画像とする。
なお、主人物は、画像中央部で撮影されていることが多いと考えられる。これに対応するために、評価対象を画像中央部に限定する条件を追加し、条件1,2,3を以下のように変更するか、以下の3条件を追加しても良い。即ち、
条件4:画像中央部における被撮影総時間が最も長い人物が写っているフレーム
条件5:画像中央部における人物数が最も多いフレーム
条件6:画像中央部での被撮影回数が最も多い人物が写っているフレーム
を考慮する。
Note that it is considered that the main character is often photographed in the center of the image. In order to cope with this, a condition for limiting the evaluation target to the center of the image may be added, and the
Condition 4: A frame in which the person with the longest total shooting time is shown in the central part of the image Condition 5: A frame in which the number of persons in the central part of the image is the largest Consider the frame that is.
条件4,5,6に対応するには、人物解析装置14は、各フレーム内で人物画像中央部に位置するか否かを検出し、その検出結果を人物撮影情報に含めれば良い。勿論、先に説明したように、人物撮影情報にはフレーム内の人物の位置を示す情報を含め、サムネイル画像作成装置18が、撮影された人物が画像中央部に位置するか否かを判断しても良い。
In order to deal with the
結局、ユーザは、条件指定装置16を使って、上述の条件1〜6のいずれ1つをサムネイル画像作成装置18に指定する。
Eventually, the user uses the
サムネイル画像作成装置18のサムネイル画像作成動作を説明する。サムネイル画像作成装置18は、条件指定装置16で指定されたサムネイル画像作成条件と、人物解析装置14でからの人物撮影情報に従って、記録装置20の記録動画像データからサムネイル画像を作成する。ここでは、サムネイル画像は、1カットに1枚作成されるとする。また、人物撮影情報は、図3に示す状況を示しているとする。
The thumbnail image creation operation of the thumbnail
サムネイル画像作成装置18は、条件指定装置16で指定された条件1に対して、以下のように動作する。サムネイル画像作成装置18は、人物撮影情報を参照して、被撮影総時間が最も長い人物が写っている最初のフレームを検索することになる。図3に示すカットAの例では、人物1の被撮影総時間は30秒であり、人物2の被撮影総時間は15秒であり、人物3の被撮影総時間は20秒である。従って、最も被撮影総時間が長い人物は、人物1となる。サムネイル画像作成装置18は、人物1が撮影されている最初のフレーム(図3では、撮影時間P1のフレーム)をカットAにおけるサムネイル画像と決定する。
The thumbnail
サムネイル画像作成装置18は、サムネイル画像用に決定したフレームの画像データを記録装置20から読み出し、サムネイル画像データを作成する。作成されたサムネイル画像データは、記録装置20にカットAのサムネイル画像情報として記録される。サムネイル画像データを作成せずに、サムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録してもよい。
The thumbnail
条件2が指定された場合、サムネイル画像作成装置18は、人物撮影情報を参照して、撮影人数が最も多い最初のフレームを検索する。図3に示す例では、撮影時間20秒〜25秒の間に3人の人物1,2,3が撮影されており、この期間で撮影人数が最大である。サムネイル画像作成装置18は、撮影時間20秒〜30秒の先頭フレーム(撮影時間P2のフレーム)をカットAのサムネイル画像と決定する。サムネイル画像作成装置18は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録する。
When the condition 2 is designated, the thumbnail
条件3が指定された場合、サムネイル画像作成装置18は、人物撮影情報を参照して、被撮影回数が最も多い人物が写っている最初のフレームを検索する。図3に示す例では、人物1の被撮影回数は1回であり、人物2の被撮影回数は2回であり、人物3の被撮影回数は3回である。従って、最も被撮影回数が多い人物は人物3である。サムネイル画像作成装置18は、人物3が撮影されている先頭フレーム(図3に示す例では、撮影時間P3のフレーム)をカットAのサムネイル画像と決定する。サムネイル画像作成装置18は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置20のカットAのサムネイル画像情報として記録する。
When the condition 3 is designated, the thumbnail
条件4,5,6は、それぞれ条件1,2,3に対して、画像中央部という限定が追加されている。従って、条件4,5,6に対するサムネイル画像作成装置18の動作では、条件1,2,3に対する動作に、画像中央部に人物が写っているという条件が追加される。基本的な動作は、条件1,2,3に対する動作と同じなので、説明を省略する。
サムネイル画像作成条件に数量的要素を追加しても良い。例えば、サムネイル画像作成条件に最低値を設定し、最低値以下であった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。例えば、条件1に対し、被撮影総時間が最も長い人物の被撮影総時間が最低被撮影総時間に満たなかった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。
A quantitative element may be added to the thumbnail image creation conditions. For example, a minimum value is set as the thumbnail image creation condition, and if it is equal to or less than the minimum value, the head frame or a frame after a certain time from the head frame is used as a thumbnail image as usual. For example, if the total shooting time of the person with the longest total shooting time is less than the minimum total shooting time for the
条件2には、最低人数を設定する。最低人数以上に多い人数が写っているフレームが無い場合、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。 Condition 2 sets the minimum number of people. If there is no frame in which there are more people than the minimum number, the first frame or a frame after a certain time from the first frame is used as a thumbnail image as before.
条件3には、最低被撮影回数を設定する。被撮影回数が最も多い人物の被撮影回数が最低被撮影回数より少ない場合には、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。 In condition 3, the minimum number of times of photographing is set. When the number of times of photographing of the person with the largest number of times of photographing is smaller than the minimum number of times of photographing, the first frame or a frame after a certain time from the first frame is used as a thumbnail image as usual.
図4は、本実施例の撮影、人物解析、及びサムネイル画像記録の一連の処理の動作フローチャートを示す。 FIG. 4 shows an operation flowchart of a series of processing of photographing, person analysis, and thumbnail image recording of the present embodiment.
ユーザは、条件指定装置16によりサムネイル画像作成条件を選択する(S31)。条件指定装置16は、例えば、複数のサムネイル画像作成条件を選択肢とする選択画面をモニタ画面上に表示する手段を具備する。
The user selects a thumbnail image creation condition using the condition designating device 16 (S31). The
カメラユニット12の撮影が開始されると、フレーム番号変数Iが0で初期化される(S32)。カメラユニット12からの動画像データの最初のフレームがIフレームとして人物解析装置14と記録装置20に取り込まれる(S33)。記録装置20は、カメラユニット12からのIフレームを、内蔵する記録媒体に記録する(S34)。これと同時に、人物解析装置14は、Iフレームの画像内に人物が含まれているか否かを解析する(S35)。人物解析装置14の動作は、図2を参照して説明した通りである。
When the photographing of the
撮影が終了するまで(S36)、フレーム番号変数Iをインクリメントして(S37)、ステップS33,S34,S35の動作、即ち、フレームの取り込み(S33)、フレーム毎の画像データの記録(S34)及び人物解析(S35)を繰り返す。 Until the photographing is completed (S36), the frame number variable I is incremented (S37), and the operations of steps S33, S34, and S35, that is, the capture of the frame (S33), the recording of the image data for each frame (S34), and The person analysis (S35) is repeated.
撮影が終了したら(S36)、サムネイル画像作成装置18は、条件指定装置16によりステップS31で選択されたサムネイル画像作成条件を取り込む(S38)。人物解析装置14は、収集したデータからなる人物撮影情報をサムネイル画像作成装置18に出力する(S39)。
When shooting is finished (S36), the thumbnail
サムネイル画像作成装置18は、人物解析装置14からの人物撮影情報と、条件指定装置16からのサムネイル画像作成条件とに従って、先に説明したようにサムネイル画像を決定する(S40)。サムネイル画像作成装置18は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置20に記録する(S41)。
The thumbnail
図5を参照して、サムネイル画像一覧の表示動作を説明する。図5は、サムネイル画像一覧表示の動作フローチャートである。 The thumbnail image list display operation will be described with reference to FIG. FIG. 5 is an operation flowchart of thumbnail image list display.
サムネイル画像一覧表示が要求されると(S51)、画像出力装置22は、記録装置20から所定数のサムネイル画像データを読み出す(S52)。画像出力装置22は、読み出したサムネイル画像データを表示装置24の表示用に変換して、表示装置24に供給する(S53)。これにより、記録装置20に記録される複数の動画のサムネイル画像が、表示装置24の画面上に一覧表示される。
When a thumbnail image list display is requested (S51), the
図6は、本発明の実施例2である撮像装置の概略構成ブロック図である。 FIG. 6 is a schematic block diagram of an image pickup apparatus that is Embodiment 2 of the present invention.
撮像装置110は、被写体の動画像データを出力するカメラユニット112と、カメラユニット112からの動画像データを記録媒体に記録する記録装置120を具備する。カメラユニット112は、カメラユニット12と同様の機能を具備する。記録装置120は、カメラユニット112からの動画像データを順次、内蔵する記録媒体に記録する。
The
撮像装置110は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像の作成・表示のために、撮像装置110は、人物解析装置114、条件指定装置116及びサムネイル画像作成装置118を具備する。
The
人物解析装置114は、人物解析装置14と同様の機能からなる。即ち、人物解析装置114は、カメラユニット112から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、人物撮影情報をサムネイル画像作成装置118に出力する。
The
人物解析装置114は、解析結果である人物撮影情報を記録装置120に供給しても良い。その場合、記録装置120は、人物撮影情報を動画像データの対応するフレームの属性情報として、動画像データに関連付けて記憶する。
The
ユーザは条件指定装置116を使って、サムネイル画像一覧表示で使用するサムネイル画像を指定できる。但し、選択可能なサムネイル画像表示条件は予め規定されており、ユーザは、これらの選択肢の一つを条件指定装置116で指定することになる。サムネイル画像表示条件は、特許請求の範囲の代表画像条件に対応する。
The user can designate a thumbnail image to be used in the thumbnail image list display using the
サムネイル画像作成装置118は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置118は、撮影終了後に、人物解析装置114による人物撮影情報と条件指定装置116で選択可能なサムネイル画像表示条件とに基づき、記録済みの動画像データからサムネイル画像を作成する。何れか1つのサムネイル画像表示条件に合致すれば、サムネイル画像とする。
The thumbnail
記録装置120は、カメラユニット112からの動画像データ、及びサムネイル画像作成装置118からのサムネイル画像データを記録する。人物解析装置114の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置120に記録しても良い。
The recording device 120 records the moving image data from the
画像出力装置122は、サムネイル画像一覧表示の際に、記録装置120に記録される各動画像データに対し、条件指定装置116で選択されたサムネイル表示条件に合致するサムネイル画像を選択し、表示装置124に一覧表示する。これにより、ユーザは、記録装置120に記録された動画像のリストをサムネイル画像付きで確認できる。
The
動画像データの再生の際には、画像出力装置122は、ユーザにより指定される動画像データを記録装置120から読み出し、表示装置124に供給する。これにより、選択された動画像が、表示装置124の画面上に再生表示される。
When reproducing the moving image data, the
このように、実施例2の撮像装置110では、人物撮影情報に基づき、各サムネイル画像表示条件に対応するサムネイル画像を記録装置120に動画像と関連付けて記録する。サムネイル画像表示条件が3つあれば、最低でも3つのサムネイル画像が記録装置120に記録される。これにより、サムネイル画像一覧表示の際に、条件指定装置116で何れのサムネイル表示条件を選択しても、選択されたサムネイル表示条件に合致するサムネイル画像の一覧を迅速に表示できる。
As described above, in the
図7を参照して、本実施例のサムネイル画像の記録動作を説明する。図7は、本実施例において人物撮影情報に応じてサムネイル画像を作成するフローチャートである。 With reference to FIG. 7, the thumbnail image recording operation of this embodiment will be described. FIG. 7 is a flowchart for creating a thumbnail image according to the person photographing information in this embodiment.
カメラユニット112の撮影が開始されると、フレーム番号変数Iが0で初期化される(S61)。カメラユニット112からの動画像データの最初のフレームがIフレームとして人物解析装置114と記録装置120に取り込まれる(S62)。記録装置120は、カメラユニット112からのIフレームを、内蔵する記録媒体に記録する(S63)。これと同時に、人物解析装置114は、人物解析装置14と同様に、Iフレームの画像内に人物が含まれているか否かを解析する(S64)。
When shooting by the
撮影が終了するまで(S65)、フレーム番号変数Iをインクリメントして(S66)、ステップS62,S63,S64の動作、即ち、フレームの取り込み(S62)、フレーム毎の画像データの記録(S63)及び人物解析(S64)を繰り返す。 Until the photographing is completed (S65), the frame number variable I is incremented (S66), and the operations of steps S62, S63, and S64, that is, the capture of the frame (S62), the recording of the image data for each frame (S63), and The person analysis (S64) is repeated.
撮影が終了したら(S65)、人物解析装置114は、収集したデータからなる人物撮影情報をサムネイル画像作成装置118に出力する(S67)。サムネイル画像作成装置118は、人物解析装置114からの人物撮影情報と、条件指定装置16で選択可能なサムネイル画像表示条件とに従って、先に説明したようにサムネイル画像を決定又は作成する(S68)。サムネイル画像作成装置118は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置120に記録する(S69)。
When shooting is completed (S65), the
図8を参照して、サムネイル画像一覧の表示動作を説明する。図8はサムネイル画像一覧表示の動作フローチャートである。 The thumbnail image list display operation will be described with reference to FIG. FIG. 8 is an operation flowchart of thumbnail image list display.
ユーザによりサムネイル画像一覧表示が要求されると(S71)、メニュー画面等によりユーザによるサムネイル画像表示条件の選択を受け付ける(S72)。画像出力装置122は、記録装置120に記録されている各カットに対して、ステップS72で選択されたサムネイル画像表示条件に合致したサムネイル画像のみを読み出し(S73)、表示装置124に出力する(S74)。これにより、選択されたサムネイル画像表示条件に従うサムネイル画像が、表示装置124の画面上に一覧表示される。
When a thumbnail image list display is requested by the user (S71), selection of thumbnail image display conditions by the user is accepted through a menu screen or the like (S72). The
記録装置120に記録されている動画像データの各カットに対して1枚のサムネイル画像が記録装置120から読み出される。例えば、サムネイル画像表示条件が全部で3つあるとすると、記録装置120には、カット毎に3枚のサムネイル画像が記録されている。しかし、サムネイル画像一覧表示で表示されるのは、3枚のサムネイル画像のうち、サムネイル画像表示条件に合致した1枚のサムネイル画像である。 One thumbnail image is read from the recording device 120 for each cut of moving image data recorded in the recording device 120. For example, if there are three thumbnail image display conditions in total, the thumbnail image is recorded in the recording device 120 for each cut. However, one thumbnail image that matches the thumbnail image display condition among the three thumbnail images is displayed in the thumbnail image list display.
図9は、本発明の実施例3である撮像装置の概略構成ブロック図である。本実施例の撮像装置210では、複数のカットの撮影(録画)が終了した後に、各カットに対するサムネイル画像を作成する。これを可能にするために、複数のカットの人物撮影情報を記憶する人物撮影情報記憶装置215を追加してある。
FIG. 9 is a schematic block diagram of an image pickup apparatus that is Embodiment 3 of the present invention. In the
撮像装置210は、カメラユニット12と同様の機能のカメラユニット212と、カメラユニット212からの動画像データを記録媒体に記録する記録装置220を具備する。記録装置220は、カメラユニット212からの動画像データを順次、内蔵する記録媒体に記録する。
The
撮像装置210は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置210は、人物解析装置214、人物撮影情報記憶装置215、条件指定装置216及びサムネイル画像作成装置218を具備する。
The
人物解析装置214の基本機能は、人物解析装置14の機能と同じである。即ち、人物解析装置214は、カメラユニット212から出力される動画像データに人物が含まれているか否かを1フレーム毎に解析し、上述の人物撮影情報をカット毎に人物撮影情報記憶装置215に格納する。
The basic functions of the
ユーザは、条件指定装置216を使って、サムネイル画像作成条件を指定し、サムネイル画像作成装置218に入力する。このサムネイル画像作成条件は、特許請求の範囲の代表画像条件に対応する。
The user designates a thumbnail image creation condition using the
サムネイル画像作成装置218は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置218は、人物撮影情報記憶装置215に記憶される複数カットの人物撮影情報と条件指定装置216からのサムネイル画像作成条件とに基づき、記録済みの動画像からサムネイル画像を作成する。作成されたサムネイル画像を示す情報が、記録装置20に記録される。例えば、サムネイル画像作成装置218は、記録装置220に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する1フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。
The thumbnail
記録装置220は、カメラユニット212からの動画像データ及びサムネイル画像作成装置218からのサムネイル画像データを記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置214の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置220に記録しても良い。
The
画像出力装置222は、記録装置220からサムネイル画像データを読み出し、表示装置224にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置220に記録された動画像のリストを代表画像付きで確認できる。
The
画像出力装置222はまた、サムネイル画像一覧で選択された動画像データを記録装置220から読み出し、表示装置224に供給する。これにより、選択された動画像が、表示装置24の画面上に再生表示される。
The
図10を参照して、本実施例の動画記録と人物撮影情報記憶の動作を説明する。図10は、記録装置220による動画像データの記録と、人物撮影情報の人物撮影情報記憶装置215への記憶の動作フローチャートである。
With reference to FIG. 10, the operation of moving image recording and person photographing information storage of the present embodiment will be described. FIG. 10 is an operation flowchart of recording moving image data by the
カメラユニット212の撮影が開始されると、フレーム番号変数Iが0で初期化される(S81)。カメラユニット212からの動画像データの最初のフレームがIフレームとして人物解析装置214と記録装置220に取り込まれる(S82)。記録装置220は、カメラユニット212からのIフレームを、内蔵する記録媒体に記録する(S83)。これと同時に、人物解析装置214は、Iフレームの画像内に人物が含まれているか否かを解析する(S84)。人物解析装置214の動作は、図2を参照して説明した人物解析装置14の動作と同じである。
When shooting by the
撮影が終了するまで(S85)、フレーム番号変数Iをインクリメントして(S86)、ステップS82,S83,S84の動作、即ち、フレームの取り込み(S82)、フレーム毎の画像データの記録(S83)及び人物解析(S84)を繰り返す。 Until the photographing is completed (S85), the frame number variable I is incremented (S86), and the operations of steps S82, S83, and S84, that is, the capture of the frame (S82), the recording of the image data for each frame (S83), and The person analysis (S84) is repeated.
撮影が終了したら(S85)、人物解析装置214は、収集したデータからなる人物撮影情報を人物撮影情報記憶装置215に格納する(S87)。
When shooting is completed (S85), the
複数カットの撮影が終了した後、ユーザからのサムネイル画像一覧表示の要求に従い、サムネイル画像作成装置218が各カット(又は、要求されたサムネイル画像一覧表示に含まれるカット)のサムネイル画像を作成する。そして、画像出力装置222が、作成されたサムネイル画像を使ってサムネイル画像の一覧を表示装置224の画面上に表示させる。
After the shooting of a plurality of cuts is completed, the thumbnail
図11は、これらのサムネイル画像一覧表示の動作フローチャートを示す。ユーザによりサムネイル画像一覧表示が要求されると(S91)、メニュー画面等によりユーザによるサムネイル画像作成条件の選択を受け付ける(S92)。条件指定装置216は、ユーザにより選択された1つのサムネイル画像作成条件をサムネイル画像作成装置218に供給する(S93)。
FIG. 11 shows an operational flowchart of the thumbnail image list display. When a thumbnail image list display is requested by the user (S91), the selection of thumbnail image creation conditions by the user is accepted through a menu screen or the like (S92). The
サムネイル画像作成装置218は、人物撮影情報記憶装置215に記憶されているカット毎の人物撮影情報を取り込み(S94)、サムネイル画像作成条件に合致するサムネイル画像をカット毎に作成する(S95)。記録装置220は、サムネイル画像作成装置218により作成されたカット毎のサムネイル画像の情報を、対応する動画像データに関連続けて記録する(S96)。
The thumbnail
記録装置220に記録されている、サムネイル画像未作成の全カット(又は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカット)に対して(S97)、ステップS94,S95,S96を繰り返す。 Steps S94, S95, and S96 are repeated for all cuts that have not yet been created as thumbnail images (or cuts for which thumbnail images have been requested by a thumbnail image list display request) recorded in the recording device 220 (S97).
全カットに対してサムネイル画像を作成したら(S97)、画像出力装置222は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカットのサムネイル画像を記録装置220から読み出し(S98)、一覧として表示装置224に出力する(S99)。これにより、要求(S91)されたサムネイル画像一覧が表示される。
When thumbnail images have been created for all the cuts (S97), the
上述した各実施例では、人物撮影状況に応じて、人物を含むフレームからサムネイル画像を作成するので、サムネイル画像一覧表示でも、各カットの内容をより把握しやすくなる。 In each of the above-described embodiments, a thumbnail image is created from a frame including a person according to a person shooting situation. Therefore, it is easier to grasp the contents of each cut even when displaying a thumbnail image list.
上記各実施例では、動画に含まれる人物の解析を記録と並列に行っているが、記録済みの動画を再生して人物を解析し、その解析結果に基づき代表画像を選定しても良い。例えば、DVDレコーダ等で、記録再生動作の空き時間に実行すれば良い。又は、編集作業として、代表画像作成処理をユーザが選択して実行できるようにしてもよい。 In each of the above embodiments, analysis of a person included in a moving image is performed in parallel with recording. However, a recorded image may be reproduced to analyze a person, and a representative image may be selected based on the analysis result. For example, a DVD recorder or the like may be executed during a recording / playback operation idle time. Alternatively, the representative image creation process may be selected and executed by the user as an editing operation.
10,110,210 撮像装置
12,112,212 カメラユニット
14,114,214 人物解析装置
215 人物撮影情報記憶装置
16,116,216 条件指定装置
18,118,218 サムネイル画像作成装置
20,120,220 記録装置
22,122,222 画像出力装置
24,124,224 表示装置
10, 110, 210
Claims (10)
前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置(14,114)と、
前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置(18,118)
とを備えることを特徴とすることを特徴とする動画像管理装置。 A moving image management apparatus that manages moving image data obtained by imaging,
A person analysis device (14, 114) for analyzing a shooting situation of a person in the moving image data and outputting person shooting information;
A representative image creating device (18, 118) that creates a representative image symbolizing the content of the moving image data from the moving image data according to the person photographing information
And a moving image management apparatus.
前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成する
ことを特徴とする請求項1に記載の動画像管理装置。 And a condition designating device (16) for designating a representative image condition to the representative image creating device
The moving image management apparatus according to claim 1, wherein the representative image creating apparatus creates the representative image from the moving image data according to the person photographing information and the representative image condition.
前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置(120)と、
前記代表画像条件から1つの代表画像条件を指定する条件指定装置(116)と、
前記条件指定装置により指定される前記1つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置(122)
とを具備することを特徴とする請求項7に記載の動画像管理装置。 Furthermore,
A recording device (120) for recording representative image data relating to a representative image created by the representative image creating device;
A condition designating device (116) for designating one representative image condition from the representative image condition;
An image output device (122) for reading representative image data matching the one representative image condition designated by the condition designating device from the recording device and outputting it for display
The moving image management apparatus according to claim 7, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007032890A JP2008199330A (en) | 2007-02-14 | 2007-02-14 | Moving image management apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007032890A JP2008199330A (en) | 2007-02-14 | 2007-02-14 | Moving image management apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008199330A true JP2008199330A (en) | 2008-08-28 |
Family
ID=39757882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007032890A Withdrawn JP2008199330A (en) | 2007-02-14 | 2007-02-14 | Moving image management apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008199330A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011066483A (en) * | 2009-09-15 | 2011-03-31 | Ricoh Co Ltd | Apparatus, method and program for preparing moving picture thumbnail |
JP2011087105A (en) * | 2009-10-15 | 2011-04-28 | Canon Inc | Image processor and method for controlling the same, program, and medium |
JP2012004713A (en) * | 2010-06-15 | 2012-01-05 | Canon Inc | Image processing device, image processing device control method, program, and recording medium |
JP2012134638A (en) * | 2010-12-20 | 2012-07-12 | Hitachi Building Systems Co Ltd | Elevator monitoring image recording device |
JP2018110944A (en) * | 2018-04-18 | 2018-07-19 | キヤノン株式会社 | Medical image display device, display control device, display control method, and program |
-
2007
- 2007-02-14 JP JP2007032890A patent/JP2008199330A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011066483A (en) * | 2009-09-15 | 2011-03-31 | Ricoh Co Ltd | Apparatus, method and program for preparing moving picture thumbnail |
JP2011087105A (en) * | 2009-10-15 | 2011-04-28 | Canon Inc | Image processor and method for controlling the same, program, and medium |
JP2012004713A (en) * | 2010-06-15 | 2012-01-05 | Canon Inc | Image processing device, image processing device control method, program, and recording medium |
JP2012134638A (en) * | 2010-12-20 | 2012-07-12 | Hitachi Building Systems Co Ltd | Elevator monitoring image recording device |
JP2018110944A (en) * | 2018-04-18 | 2018-07-19 | キヤノン株式会社 | Medical image display device, display control device, display control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9013604B2 (en) | Video summary including a particular person | |
EP2710594B1 (en) | Video summary including a feature of interest | |
JP4581924B2 (en) | Image reproducing apparatus and image reproducing program | |
JP4760892B2 (en) | Display control apparatus, display control method, and program | |
KR101532294B1 (en) | Apparatus and method for tagging image | |
EP3185539A1 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
JP5677011B2 (en) | Video playback apparatus and control method thereof | |
US8422735B2 (en) | Imaging apparatus for detecting a scene where a person appears and a detecting method thereof | |
JP2008199330A (en) | Moving image management apparatus | |
JP4636024B2 (en) | Imaging device | |
JP5147737B2 (en) | Imaging device | |
JP3780252B2 (en) | Recording / reproducing apparatus and recording / reproducing method | |
JP4804417B2 (en) | Moving picture imaging apparatus and moving picture imaging method | |
JP5665380B2 (en) | Image processing apparatus, image processing apparatus control method, program, and recording medium | |
JP4673916B2 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2012137560A (en) | Karaoke device and control method and control program for karaoke device | |
JP5020705B2 (en) | Moving picture imaging apparatus and moving picture imaging method | |
JP5560744B2 (en) | Imaging apparatus, moving image imaging method, and program | |
JP2010004357A (en) | Image capturing apparatus and image capturing method | |
JP2009260618A (en) | Image processor and image processing method | |
JP2010212821A (en) | Recording and reproducing device | |
JP2009081691A (en) | Recording apparatus of playback instruction information | |
JP2010004277A (en) | Moving image processing device, control program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100511 |