JP4348614B2 - Movie reproducing apparatus, imaging apparatus and program thereof - Google Patents

Description

本発明は、動画再生装置、撮像装置及びそのプログラムに係り、詳しくは、動画に最も適切な曲を選択又は付加することができる動画再生装置、撮像装置及びそのプログラムに関する。   The present invention relates to a moving image reproducing device, an imaging device, and a program thereof, and more particularly to a moving image reproducing device, an imaging device, and a program thereof that can select or add the most appropriate music to the moving image.

従来、デジタルビデオカメラ、デジタルカメラの普及により手軽に様々な場面で動画の撮影が行なえるようになってきた。
また、撮影した動画に適当なＢＧＭを付加することにより、その動画を再生するときには、よりユーザ（視聴者）に効果的な印象を与え、ユーザはその動画を撮影した時のことをより印象深く思い出すことができる。 Conventionally, with the widespread use of digital video cameras and digital cameras, it has become possible to easily shoot movies in various scenes.
In addition, by adding an appropriate BGM to the captured video, when the video is played back, the user (viewer) is given a more effective impression, and the user remembers more impressively when the video was shot. be able to.

また、下記特許公開公報には、画像再生装置及び画像再生方法なる発明が開示されている。詳しくは、再生する画像の背景画像、撮影日時や場所等から撮影テーマを連想させる特徴を抽出する。そして、抽出された撮影テーマに対応する曲を取り出して、該画像の再生と共に該抽出された曲も同時に再生することができる画像再生装置及び画像再生方法なるものが記載されている。 Further, the following patent publication discloses an invention that is an image reproduction device and an image reproduction method. Specifically, a feature reminiscent of a shooting theme is extracted from the background image of the image to be reproduced, the shooting date and time, the location, and the like. Then, an image playback apparatus and an image playback method are described in which music corresponding to the extracted shooting theme is taken out and the extracted music can be played back simultaneously with the playback of the image.

公開特許公報 特開平１１−３０８５１３（段落「００１１」〜段落「００２１」参照）Japanese Patent Laid-Open No. 11-308513 (see paragraphs “0011” to “0021”)

しかしながら、従来のデジタルカメラ等にあっては、以下のような問題点があった。
（１）動画にＢＧＭをつけるとき、その動画に適切な曲を選択することは、音楽に詳しくないユーザにとって、手間と時間がかかり面倒であるという問題点があった。
（２）また、動画は画像が絶えず移り変わっていくので、そのシーン毎に適切な曲を選択し付加していくという作業、又は、一連の画像に対して適切な曲を１つ選択するという作業は、曲に詳しいユーザであったとしても大変な労力と時間を要し、曲に詳しくないユーザにしてみたら尚更である。
（３）また、上記特許文献には、再生画像に適切な曲を選択するものではあるが、静止画を対象としたものであり、画像が移り変わっていく動画に対応することができるというものではなかった。 However, the conventional digital camera has the following problems.
(1) When adding BGM to a moving image, selecting an appropriate song for the moving image is troublesome and time-consuming for users who are not familiar with music.
(2) In addition, since the images of the moving images are constantly changing, an operation of selecting and adding an appropriate song for each scene, or an operation of selecting one appropriate song for a series of images. Even if you are a user familiar with the song, it takes a lot of labor and time, even more so if you are a user who is not familiar with the song.
(3) In addition, although the above-mentioned patent document selects an appropriate song for a reproduced image, it is intended for a still image and cannot cope with a moving image in which the image changes. There wasn't.

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、動画に最も適切な曲を選択又は付加することができる動画再生装置、撮像装置及びそのプログラムを提供することを目的とする。   Therefore, the present invention has been made in view of such conventional problems, and an object thereof is to provide a moving image reproducing device, an imaging device, and a program thereof that can select or add the most appropriate music to the moving image. .

上記目的達成のため、請求項１記載の発明による動画再生装置は、動画データを再生する動画再生手段と、
前記動画再生手段により再生された動画データの画像を認識する画像認識手段と、
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、
前記曲再生手段により再生している曲の再生時間が所定時間を経過したか否かを判断する判断手段と、
前記判断手段により所定時間を経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
を備えたことを特徴とする。 In order to achieve the above object, a moving image reproducing apparatus according to the first aspect of the present invention includes a moving image reproducing means for reproducing moving image data,
Image recognition means for recognizing the image of the moving image data reproduced by the moving image reproduction means;
Selection means for selecting song information based on the image recognized by the image recognition means;
Song playback means for playing back a song corresponding to the song information selected by the selection means;
Determination means for determining whether or not a reproduction time of a song being reproduced by the song reproduction means has passed a predetermined time;
Prohibiting means for prohibiting selection of music information by the selecting means when it is determined by the determining means that a predetermined time has not elapsed ;
It is provided with.

また、例えば、請求項２に記載されているように、前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が前記曲再生手段により再生されている曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択するようにしてもよい。 For example, as described in claim 2, even when the determination unit determines that a predetermined time has not elapsed, the image recognized by the image recognition unit is reproduced by the song reproduction unit. If it is determined that the song does not match within the predetermined range, the prohibition of the selection of the song information by the prohibiting means is canceled,
The selection means includes
You may make it select music information based on the image recognized by the said image recognition means .

また、例えば、請求項３に記載されているように、前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備え、
前記曲再生手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
前記一致判断手段により曲情報が一致していると判断された場合には、
再生している曲を継続して再生するようにしてもよい。 Further, for example, as described in claim 3 , it is determined whether or not the song information selected by the selection unit and the song information corresponding to the song reproduced by the song reproduction unit match. A matching determination means,
The music reproducing means includes
If it is determined by the match determination means that the song information does not match, stop the song being played and start playing the song corresponding to the song information selected by the selection means,
If it is determined by the matching determination means that the song information is consistent,
The song being played may be played continuously.

上記目的達成のため、請求項４記載の発明による動画再生装置は、動画データを再生する動画再生手段と、In order to achieve the above object, a moving image reproducing apparatus according to a fourth aspect of the present invention comprises a moving image reproducing means for reproducing moving image data,
前記動画再生手段により再生している動画データの画像を認識する画像認識手段と、Image recognition means for recognizing the image of the moving image data being reproduced by the moving image reproduction means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、Song playback means for playing back a song corresponding to the song information selected by the selection means;
前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段と、を備え、Match determination means for determining whether or not the song information selected by the selection means and the song information corresponding to the song being played back by the song playback means match,
前記曲再生手段は、The music reproducing means includes
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、If it is determined by the match determination means that the song information does not match, stop the song being played and start playing the song corresponding to the song information selected by the selection means,
前記一致判断手段により曲情報が一致していると判断された場合には、If it is determined by the matching determination means that the song information is consistent,
再生している曲を継続して再生することを特徴とする。It is characterized by continuously playing the music being played.

また、例えば、請求項５に記載されているように、前記画像認識手段は、
前記動画再生手段により再生された動画データの画像を一定間隔おきに認識するようにしてもよい。
また、例えば、請求項６に記載されているように、前記画像認識手段は、
前記動画再生手段により再生される動画データの画像の動き量（変化量）を認識するようにしてもよい。 For example, as described in claim 5 , the image recognition unit includes:
You may make it recognize the image of the moving image data reproduced | regenerated by the said moving image reproduction means at fixed intervals.
For example, as described in claim 6, the image recognition unit includes:
You may make it recognize the motion amount (change amount) of the image of the moving image data reproduced | regenerated by the said moving image reproduction means.

上記目的達成のため、請求項７記載の発明による動画再生装置は、動画データを再生する動画再生手段と、In order to achieve the above object, a moving image reproducing apparatus according to a seventh aspect of the present invention comprises a moving image reproducing means for reproducing moving image data;
前記動画再生手段により再生している動画データの画像を認識する画像認識手段と、Image recognition means for recognizing the image of the moving image data being reproduced by the moving image reproduction means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、を備え、Song playback means for playing back a song corresponding to the song information selected by the selection means,
前記曲再生手段は、前記選択手段によって一番多く選択された曲情報に対応する曲を再生することを特徴とする。The music reproduction means reproduces a music corresponding to the music information selected most by the selection means.

また、例えば、請求項８に記載されているように、被写体を撮像する撮像手段を備え、Further, for example, as described in claim 8, an imaging unit that images a subject is provided,
前記動画再生手段は、前記撮像手段によって撮像された動画データを再生し、The moving image reproduction means reproduces the moving image data imaged by the imaging means,
前記画像認識手段は前記撮像手段によって撮像された動画データの画像を認識することを特徴とする請求項１乃至７の動画再生装置を備えた撮像装置としてもよい。The image recognition unit may recognize an image of the moving image data picked up by the image pickup unit, and may be an image pickup apparatus including the moving image reproduction device according to claim 1.

また、例えば、請求項９に記載されているように、前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録するようにしてもよい。 Further, for example, as described in claim 9 , the song information selected by the selection unit or the song corresponding to the song information and the moving image data captured by the imaging unit are associated and recorded on the recording unit. You may make it do.

上記目的達成のため、請求項１０記載の発明による撮像装置は、被写体を撮像する撮像手段と、In order to achieve the above object, an imaging apparatus according to the invention described in claim 10 includes imaging means for imaging a subject,
前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、Image recognition means for recognizing an image of the moving image data imaged by the imaging means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録する記録制御手段と、を備え、Recording control means for associating and recording in the recording means the music information selected by the selection means or the music corresponding to the music information and the moving image data imaged by the imaging means;
前記記録制御手段は、The recording control means includes
前記選択手段によって一番多く選択された曲情報又は該曲情報に対応する曲と前記撮像手段によって撮像された動画データとを関連付けて前記記録手段に記録することを特徴とする。The music information selected most by the selection means or the music corresponding to the music information and the moving image data picked up by the image pickup means are associated and recorded in the recording means.

上記目的達成のため、請求項１１記載の発明による撮像装置は、被写体を撮像する撮像手段と、In order to achieve the above object, an image pickup apparatus according to an eleventh aspect of the invention comprises an image pickup means for picking up an image of a subject,
前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、Image recognition means for recognizing an image of the moving image data imaged by the imaging means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を録音する録音手段と、Recording means for recording a song corresponding to the song information selected by the selection means;
前記録音手段によって録音された曲と前記撮像手段により撮像された動画データとを記録手段に記録する記録制御手段と、A recording control means for recording the music recorded by the recording means and the moving image data imaged by the imaging means on a recording means;
前記録音手段により録音している曲の録音時間が、所定時間を経過したか否かを判断する判断手段と、A judging means for judging whether or not a recording time of a song recorded by the recording means has passed a predetermined time;
前記判断手段により所定時間経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、A prohibiting unit for prohibiting selection of music information by the selecting unit when the determining unit determines that a predetermined time has not elapsed;
を備えたことを特徴とする。It is provided with.

また、例えば、請求項１２に記載されているように、前記判断手段により所定時間経過していないと判断した場合にでも、前記画像認識手段により認識された画像が、前記録音手段により録音している曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択するようにしてもよい。 Further, for example, as described in claim 12 , even when the determination unit determines that a predetermined time has not elapsed, the image recognized by the image recognition unit is recorded by the recording unit. If it is determined that the song does not match within the predetermined range, the prohibition of the selection of the song information by the prohibiting means is canceled,
The selection means includes
You may make it select music information based on the image recognized by the said image recognition means .

また、例えば、請求項１３に記載されているように、前記選択手段により選択された曲情報と、前記録音手段により録音している曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備えるようにしてもよい。 For example, as described in claim 13 , it is determined whether or not the song information selected by the selection unit matches the song information corresponding to the song recorded by the recording unit. A coincidence determination unit may be provided.

また、例えば、請求項１４に記載されているように、前記録音手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、録音している曲を停止して前記選択手段により選択された曲情報に対応する曲の録音を開始し、
前記一致判断手段により一致と判断された場合には、
録音している曲を継続して録音するようにしてもよい。 Further, for example, as described in claim 14 , the recording means includes:
When it is determined by the match determination means that the song information does not match, the recording song is stopped and recording of the song corresponding to the song information selected by the selection means is started,
When it is determined as a match by the match determination means,
You may make it record continuously the music currently recorded .

また、例えば、請求項１５に記載されているように、前記画像認識手段は、
前記撮像手段により撮像された動画データの画像を一定間隔おきに認識するようにしてもよい。
また、例えば、請求項１６に記載されているように、前記画像認識手段は、
前記撮像手段により撮像される動画データの画像の動き量（変化量）を認識するようにしてもよい。 For example, as described in claim 15 , the image recognition unit includes:
You may make it recognize the image of the moving image data imaged by the said imaging means at fixed intervals.
For example, as described in claim 16, the image recognition means includes
You may make it recognize the motion amount (change amount) of the image of the moving image data imaged by the said imaging means.

上記目的達成のため、請求項１７記載の発明によるプログラムは、動画データを再生する処理と、In order to achieve the above object, a program according to the invention of claim 17 includes a process of reproducing moving image data,
この処理により再生された動画データの画像を認識する処理と、A process of recognizing an image of the video data reproduced by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって選択された曲情報に対応する曲を再生する処理と、A process of playing a song corresponding to the song information selected by this process;
この処理により再生している曲の再生時間が所定時間を経過したか否かを判断する処理と、A process of determining whether or not the playback time of the song being played by this process has passed a predetermined time;
この処理により所定時間を経過していないと判断した場合に、曲情報を選択する処理の実行を禁止する処理と、When it is determined that the predetermined time has not elapsed by this process, a process for prohibiting execution of the process of selecting song information;
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とする。And each of the above processes is executed by a computer included in the moving image reproducing apparatus.

上記目的達成のため、請求項１８記載の発明によるプログラムは、動画データを再生する処理と、In order to achieve the above object, a program according to the invention of claim 18 includes a process of reproducing moving image data,
この処理により再生された動画データの画像を認識する処理と、A process of recognizing an image of the video data reproduced by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって選択された曲情報に対応する曲を再生する処理と、A process of playing a song corresponding to the song information selected by this process;
選択された曲情報と、再生されている曲に対応する曲情報とが一致するか否かを判断する処理と、A process of determining whether the selected song information matches the song information corresponding to the song being played;
この処理により曲情報が一致していないと判断された場合には、再生している曲を停止して選択された曲情報に対応する曲の再生を開始し、曲情報が一致していると判断された場合には、再生している曲を継続して再生する処理と、If it is determined by this processing that the song information does not match, the song being played back is stopped and playback of the song corresponding to the selected song information is started, and the song information matches If determined, the process of continuously playing the song being played,
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とする。And each of the above processes is executed by a computer included in the moving image reproducing apparatus.

上記目的達成のため、請求項１９記載の発明によるプログラムは、動画データを再生する処理と、
この処理により再生された動画データの画像を認識する処理と、
この処理によって認識された画像に基づいて曲情報を選択する処理と、
この処理によって一番多く選択された曲情報に対応する曲を再生する処理と、
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とする。 In order to achieve the above object, a program according to claim 19 includes a process of reproducing moving image data,
A process of recognizing an image of the video data reproduced by this process;
A process of selecting song information based on the image recognized by this process;
A process of playing a song corresponding to the song information selected most by this process,
And each of the above processes is executed by a computer included in the moving image reproducing apparatus .

上記目的達成のため、請求項２０記載の発明によるプログラムは、被写体を撮像する処理と、
この処理により撮像された動画データの画像を認識する処理と、
この処理によって認識された画像に基づいて曲情報を選択する処理と、
この処理により一番多く選択された選択された曲情報又は該曲情報に対応する曲と撮像された動画データとを関連付けて記録媒体に記録する処理と、
を含み、上記各処理を撮像装置が備えるコンピュータで実行させることを特徴とする。 In order to achieve the above object, a program according to the invention of claim 20 includes processing for imaging a subject ,
A process of recognizing the image of the moving image data imaged by this process,
A process of selecting song information based on the image recognized by this process;
The process of recording the selected song information selected most frequently by this processing or the song corresponding to the song information and the captured moving image data on the recording medium;
And each of the above processes is executed by a computer included in the imaging apparatus .

上記目的達成のため、請求項２１記載の発明によるプログラムは、被写体を撮像する処理と、
この処理により撮像された動画データの画像を認識する処理と、
この処理によって認識された画像に基づいて曲情報を選択する処理と、
この処理によって選択された曲情報に対応する曲を録音する処理と、
この処理によって録音された曲と撮像された動画データとを記録媒体に記録する処理と、
録音している曲の録音時間が、所定時間を経過したか否かを判断する処理と、
この処理により所定時間経過していないと判断した場合に、曲情報を選択する処理の実行を禁止する処理と、
を含み、上記各処理を撮像装置が備えるコンピュータで実行させることを特徴とする。 In order to achieve the above object, a program according to the invention of claim 21 includes processing for imaging a subject,
A process of recognizing an image of moving image data captured by this process;
A process of selecting song information based on the image recognized by this process;
A process of recording a song corresponding to the song information selected by this process;
A process of recording the music recorded by this process and the captured video data on a recording medium;
A process of determining whether the recording time of the song being recorded has passed a predetermined time;
When it is determined that a predetermined time has not elapsed by this process, a process for prohibiting execution of the process of selecting song information;
And each of the above processes is executed by a computer included in the imaging apparatus.

本発明の動画再生装置によれば、以下のような効果を奏することができる。
（１）再生している動画データの画像を認識していき、シーン毎に適切な曲を選択して再生するので、動画撮影時の状況をより感情的、情緒的に回想することができる。
（２）また、シーン毎に適切な曲を選択してくれるので、ユーザの手間と労力を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を再生することができる。
（３）また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、ユーザの興趣を高めることができる。
（４）また、撮影中に一番多く選択された曲情報に対応する曲と撮影した動画データを関連付けて記録するので、動画データの一連の画像に対して最も適切な曲を記録することができる。また、撮影中に選択された曲情報を一覧表示させ、ユーザにより指示された曲情報に対応する曲と撮影した動画データとを関連付けて記録するので、動画データの一連の画像に適切、且つ、ユーザ好みの曲を記録することができる。 According to the moving image reproducing apparatus of the present invention, the following effects can be obtained.
(1) Since the image of the moving image data being reproduced is recognized and an appropriate song is selected and reproduced for each scene, the situation at the time of moving image shooting can be recalled more emotionally and emotionally.
(2) In addition, since an appropriate song is selected for each scene, it is possible to save the user's labor and labor. Further, even a user who is not familiar with music can easily reproduce appropriate music for each scene.
(3) Since the image is recognized based on the amount of movement (change amount) of the subject, it is possible to select music information appropriate for the motion of the subject, and to enhance the interest of the user.
(4) Also, since the song corresponding to the song information selected most frequently during shooting and the recorded moving image data are recorded in association with each other, it is possible to record the most appropriate song for a series of images of the moving image data. it can. In addition, the song information selected during shooting is displayed in a list, and the song corresponding to the song information instructed by the user and the recorded movie data are recorded in association with each other. User favorite songs can be recorded.

（５）また、現在再生している曲がある場合には、該曲の再生時間が所定時間を経過しなければ、新たな曲を選択して再生することがないので、曲の頻繁な切り換わりによるユーザの感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と現在再生している曲とが一致していないと判断した場合は、認識した画像にあった曲を選択して再生するので、ユーザの感じる違和感を回避することができる。さらに、画像認識した画像と現在再生している曲が所定範囲内で一致しているか否かの判断基準をユーザが設定することができるので、ユーザが感じる、煩わしさ、不快感、違和感をさらになくすことができる。
（６）また、現在再生している曲に対応する曲情報と選択した曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲を継続して再生するので、改めて同じ曲を頭から再生する必要がなくなり、ユーザの感じる違和感をなくすことができる。 (5) Also, if there is a song that is currently being played back, a new song will not be selected and played unless the playback time of the song has passed the predetermined time. Annoyance and discomfort felt by the user due to the change can be eliminated. If it is determined that the image recognized by the image recognition and the currently reproduced song do not match even before the predetermined time has elapsed, the song that matches the recognized image is selected and reproduced. It is possible to avoid a sense of discomfort felt by the user. Furthermore, since the user can set a criterion for determining whether or not the image recognized image and the currently reproduced music match within a predetermined range, the user feels bothered, uncomfortable, and uncomfortable. Can be eliminated.
(6) Also, it is determined whether or not the song information corresponding to the currently playing song matches the selected song information. If they match, the currently playing song is continuously played. This eliminates the need to replay the same song from the beginning, eliminating the user's uncomfortable feeling.

また、本願発明の撮像装置によれば、以下のような効果を奏することができる。
（１）動画撮影時に撮像した動画データの画像を認識していき、シーン毎に適切な曲を選択して、再生又は記録していくので、撮影時の興趣、その場のムードを高めることができ、また、記録した動画データの再生時には、撮影時の状況をより感情的、情緒的に回想することができる。
（２）また、動画撮影中に適切な曲を選択していくので、ユーザの手間と労力を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を付加、再生することができる。
（３）また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、ユーザの興趣を高めることができる。
（４）また、動画撮影中に現在再生又は録音している曲がある場合には、現在再生又は録音している曲の再生時間又は録音時間が所定時間を経過していなければ、曲を選択して再生又は録音することがないので、曲の頻繁な切り換わりによるユーザが感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と、現在再生又は録音している曲はマッチしていないと判断した場合は、認識した画像にあった曲を選択して再生又は録音するので、ユーザの感じる違和感をなくすことができる。さらに、画像認識した画像と現在再生等している曲がマッチしていないか否かの判断基準をユーザが設定することができるので、ユーザの感じる、煩わしさ、不快感、違和感をさらになくすことができる。 Moreover, according to the imaging device of the present invention, the following effects can be obtained.
(1) Recognizing moving image data captured at the time of moving image shooting, selecting an appropriate song for each scene, and playing or recording it, it is possible to enhance the interest at the time of shooting and the mood of the place. In addition, when the recorded moving image data is reproduced, the situation at the time of shooting can be recalled more emotionally and emotionally.
(2) Further, since an appropriate song is selected during moving image shooting, it is possible to save time and labor of the user. Also, even a user who is not familiar with music can easily add and play appropriate music for each scene.
(3) Since the image is recognized based on the amount of movement (change amount) of the subject, it is possible to select music information appropriate for the motion of the subject, and to enhance the interest of the user.
(4) If there is a song that is currently being played or recorded during movie shooting, select the song if the playback or recording time of the currently playing or recorded song has not passed the specified time. Therefore, since the user does not reproduce or record, the annoyance and discomfort felt by the user due to frequent switching of music can be eliminated. If it is determined that the image recognized by image recognition does not match the currently played or recorded song even before the predetermined time has elapsed, the song that matches the recognized image is selected and played. Or, since the recording is performed, it is possible to eliminate the user's uncomfortable feeling. Furthermore, since the user can set a criterion for determining whether or not the image recognized image and the currently reproduced song do not match, the user's feeling, annoyance, discomfort, and discomfort are further eliminated. Can do.

（５）また、曲情報を選択した場合には、選択した曲情報と現在再生又は録音している曲に対応する曲情報とが一致するか否かを判断し、一致する場合には現在再生又は録音している曲を継続して再生又は録音するので、改めて同じ曲を頭から再生又は録音しなおすことがなくなり、ユーザの感じる違和感をなくすことができる。
（６）また、撮影中に一番多く選択された曲情報に対応する曲と撮影した動画データを関連付けて記録するので、動画データの一連の画像に対して最も適切な曲を記録することができる。また、撮影中に選択された曲情報を一覧表示させ、ユーザにより指示された曲情報に対応する曲と撮影した動画データとを関連付けて記録するので、動画データの一連の画像に適切、且つ、ユーザ好みの曲を記録することができる。
（７）動画撮影終了後等の任意のタイミング（撮影直後、動画撮影モード解除時、電源オフ時、曲の付加を指示するためのキー操作時等）で動画データの画像を認識を行い、対応する曲情報又は該曲情報に対応する曲と動画データとを関連付けて記録するので、動画撮影時の撮影処理の負担が軽減される。
また、任意のタイミング、例えば、曲の付加を指示するためのキー操作時で動画データの画像を認識するので、キー操作を行わなければ動画データとＢＧＭを関連付けて記録することはないので、ユーザの好みによりＢＧＭを付加したり、付加しなかったりすることができ、さらに、メモリ・カード等の容量を無駄にしなくてすむ。 (5) When song information is selected, it is determined whether or not the selected song information matches the song information corresponding to the currently reproduced or recorded song. Alternatively, since the recorded song is continuously played back or recorded, the same song is not replayed or recorded again from the beginning, and the user feels uncomfortable.
(6) Also, since the song corresponding to the song information selected most frequently during shooting and the recorded moving image data are recorded in association with each other, it is possible to record the most appropriate song for a series of images of the moving image data. it can. In addition, the song information selected during shooting is displayed in a list, and the song corresponding to the song information instructed by the user and the recorded movie data are recorded in association with each other. User favorite songs can be recorded.
(7) Recognize and respond to video data images at any time after video recording is complete (immediately after shooting, when video recording mode is canceled, when power is turned off, or when a key is pressed to instruct the addition of music) Since the song information to be performed or the song corresponding to the song information and the moving image data are recorded in association with each other, the burden of the shooting process at the time of moving image shooting is reduced.
In addition, since the image of the moving image data is recognized at an arbitrary timing, for example, at the time of a key operation for instructing addition of music, the moving image data and BGM are not recorded in association with each other unless the key operation is performed. Depending on the user's preference, BGM can be added or not added, and the capacity of the memory card or the like can be saved.

以下、本実施の形態について、図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の動画再生装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、ＣＣＤ２、ＤＳＰ／ＣＰＵ３、ＴＧ（timing generator）４、ユニット回路５、ＤＲＡＭ６、フラッシュメモリ７、ＲＯＭ８、キー入力部９、画像表示部１０、音声処理部１１、カードＩ／Ｆ１２を備えており、カードＩ／Ｆ１２には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。 Hereinafter, the present embodiment will be described in detail with reference to the drawings.
[First embodiment]
A. Configuration of Digital Camera FIG. 1 is a block diagram showing an electrical schematic configuration of a digital camera 1 that implements the moving image playback apparatus of the present invention.
The digital camera 1 includes a CCD 2, a DSP / CPU 3, a TG (timing generator) 4, a unit circuit 5, a DRAM 6, a flash memory 7, a ROM 8, a key input unit 9, an image display unit 10, an audio processing unit 11, and a card I / F 12. The card I / F 12 is connected to a memory card 13 that is detachably attached to a card slot of the digital camera 1 (not shown).

ＣＣＤ２は、投影された被写体を光電変換し、撮像信号としてユニット回路５に出力する。また、ＣＣＤ２はＴＧ４によって生成された所定周波数のタイミング信号に従って駆動される。ＴＧ４にはユニット回路５が接続されている。ユニット回路５は、ＣＣＤ２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double sampling）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＣＰＵ２に送られる。   The CCD 2 photoelectrically converts the projected subject and outputs it to the unit circuit 5 as an imaging signal. The CCD 2 is driven in accordance with a predetermined frequency timing signal generated by the TG 4. A unit circuit 5 is connected to TG4. The unit circuit 5 includes a CDS (Correlated Double Sampling) circuit that holds the image pickup signal output from the CCD 2 by correlated double sampling, a gain adjustment amplifier (AGC) that amplifies the image pickup signal, and a digital signal of the amplified image pickup signal. An output signal of the CCD 2 is sent to the CPU 2 as a digital signal through the unit circuit 5.

画像表示部１０はカラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体をとしてスルー画像として表示し、記録画像の再生時には、保存用メモリ・カード１２から読み出され伸張された記録画像を表示する。
キー入力部９は、実行キー、キャンセルキー、カーソルキー、モードキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＤＳＰ／ＣＰＵ３に出力する。
ＤＲＡＭ６は、ＣＣＤ２によって撮像された後、デジタル化された被写体の画像データを一時記憶するバッファメモリとして使用されるとともに、ＤＳＰ／ＣＰＵ３にワーキングメモリとしても使用される。 The image display unit 10 includes a color LCD and its driving circuit, and displays a subject imaged by the CCD 2 as a through image when in a shooting standby state, and is read out from the storage memory card 12 when reproducing a recorded image. Display the expanded recorded image.
The key input unit 9 includes a plurality of operation keys such as an execution key, a cancel key, a cursor key, and a mode key, and outputs an operation signal corresponding to the user's key operation to the DSP / CPU 3.
The DRAM 6 is used as a buffer memory that temporarily stores digitized subject image data after being imaged by the CCD 2, and is also used as a working memory for the DSP / CPU 3.

音声処理部１１は、内蔵マイク、アンプ、Ａ／Ｄ変換器、内蔵スピーカー、Ｄ／Ａ変換器等を含み、音声付きの動画の撮影時には、内蔵マイクに入力した音声をデジタル信号に変換してＤＳＰ／ＣＰＵ３に送る。ＤＳＰ／ＣＰＵ３へ送られた音声データはＤＲＡＭ１０に順次蓄積され、ＤＳＰ／ＣＰＵ３によって生成された画像データと共にメモリ・カード１３に記録される。
また、音声処理部１１は、音声付動画の再生時には、各画像に付属する音声データに基づく音声（撮影音声）、又は、後述する選択された曲情報に基づく曲等を内蔵スピーカーから音声出力する。また、必要に応じて、内蔵スピーカーにより各種の報知音を報音する。 The sound processing unit 11 includes a built-in microphone, an amplifier, an A / D converter, a built-in speaker, a D / A converter, and the like. When shooting a moving image with sound, the sound processing unit 11 converts sound input to the built-in microphone into a digital signal. Send to DSP / CPU3. The audio data sent to the DSP / CPU 3 is sequentially stored in the DRAM 10 and recorded on the memory card 13 together with the image data generated by the DSP / CPU 3.
Further, the audio processing unit 11 outputs, from a built-in speaker, audio based on audio data attached to each image (photographed audio) or a song based on selected music information (to be described later) when reproducing a moving image with audio. . In addition, various notification sounds are reported by built-in speakers as necessary.

ＤＳＰ／ＣＰＵ３は、画像ファイルの圧縮・伸張の処理を含む各種のデジタル信号処理機能を有するとともに電子カメラ２１の各部を制御するワンチップマイコンである。ワンチップマイコンは、図示しないがクロック回路も含み、クロック回路により時刻が監視され、タイマーとしての機能も有する。
特に、ＤＳＰ／ＣＰＵ３は、メモリ・カード１３に記録されている動画データの中から、ユーザのキー入力部９の操作により再生したい動画データの選択があったか否かを判断する。この判断は、キー入力部９から動画データの選択の操作に対応する操作信号が送られてきたか否かにより判断する。 The DSP / CPU 3 is a one-chip microcomputer that has various digital signal processing functions including image file compression / decompression processing and controls each part of the electronic camera 21. Although not shown, the one-chip microcomputer also includes a clock circuit, the time is monitored by the clock circuit, and also has a function as a timer.
In particular, the DSP / CPU 3 determines whether or not the moving image data to be reproduced has been selected from the moving image data recorded on the memory card 13 by the user's operation of the key input unit 9. This determination is made based on whether or not an operation signal corresponding to an operation for selecting moving image data has been sent from the key input unit 9.

そして、ＤＳＰ／ＣＰＵ３は、画像データが選択されたと判断すると、画像表示部１０に「“撮影音声”又は“ＢＧＭ”又は “撮影音声及びＢＧＭ”うちどれか１つを選択してください」というような表示をさせる。撮影音声とは、動画データの撮影時に音声処理部１１の内蔵マイクを介してＤＲＡＭ６に記録された被写体等の音声をいう。撮影音声を選択すると動画データの再生と共に撮影音声が再生され、ＢＧＭのみを選択すると動画データの動画像と共に後述する選択した曲情報に対応する曲が再生され、撮影音声及びＢＧＭを選択すると動画データの画像と共に、撮影音声及びＢＧＭの両方が再生される。
そして、ユーザのキー入力部９の操作により何れか１つが選択されると、その操作に対応した操作信号をＤＳＰ／ＣＰＵ３は受け取り、撮影音声、ＢＧＭ、撮影音声及びＢＧＭの何れかを選択する。 When the DSP / CPU 3 determines that the image data has been selected, the DSP / CPU 3 indicates on the image display unit 10 that “select one of“ shooting sound ”or“ BGM ”or“ shooting sound and BGM ””. Display. Shooting sound means sound of a subject or the like recorded in the DRAM 6 via the built-in microphone of the sound processing unit 11 when moving image data is shot. When shooting sound is selected, shooting sound is played back together with playback of moving image data. When only BGM is selected, a song corresponding to the selected song information to be described later is played along with a moving image of the moving image data. When shooting sound and BGM are selected, moving image data is played back. Both the captured sound and the BGM are reproduced together with the image.
Then, when any one is selected by the user's operation of the key input unit 9, the DSP / CPU 3 receives an operation signal corresponding to the operation, and selects any one of shooting voice, BGM, shooting voice, and BGM.

そして、ＤＳＰ／ＣＰＵ３は、撮影音声のみが選択された場合には、通常の動画データの再生処理を開始し、ＢＧＭ又は撮影音声及びＢＧＭが選択された場合は、本発明の動画再生処理を開始する。
ＤＳＰ／ＣＰＵ３は、本発明の動画再生処理を開始すると、通常の動画再生処理と同様にメモリ・カード１３から選択した動画データを読み出してＤＲＡＭ６に記憶し、該記憶した動画データの動画フレームを１枚目から順次再生する。この機能は、本発明の動画再生手段に相当する。
そして、ＤＳＰ／ＣＰＵ３は、再生している動画フレームの画像を、３０フレーム間隔、又は１秒間隔等の一定間隔おきに認識する。この画像を認識する機能は、本発明の画像認識手段に相当する。 Then, the DSP / CPU 3 starts the normal moving image data reproduction process when only the shooting sound is selected, and starts the moving image reproduction process of the present invention when BGM or the shooting sound and BGM are selected. To do.
When starting the moving image reproduction process of the present invention, the DSP / CPU 3 reads out the selected moving image data from the memory card 13 and stores it in the DRAM 6 as in the normal moving image reproducing process, and stores the moving image frame of the stored moving image data as one. Play sequentially from the first. This function corresponds to the moving image reproducing means of the present invention.
Then, the DSP / CPU 3 recognizes the image of the moving image frame being reproduced at regular intervals such as 30 frame intervals or 1 second intervals. The function of recognizing this image corresponds to the image recognition means of the present invention.

そして、ＤＳＰ／ＣＰＵ３は、フレームの画像を認識した結果、その画像に最も適切な曲情報を選択する。なお、現在再生している曲がある場合には、その曲の再生時間が所定時間経過していなければ曲情報の選択を禁止する（禁止手段）。つまり、その曲を再生してから所定時間経過後に曲情報を選択することとなる。また、所定時間経過前であっても、画像認識により画像の内容が現在再生している曲と所定範囲内で一致していないと判断した場合は、曲情報の選択の禁止を解除し、曲情報を選択する。この画像認識に基づいて曲情報を選択する機能は、本発明の選択手段に相当する。また、現在再生している曲の再生時間が所定時間経過したか否かを判断する機能は、本発明の判断手段に相当する。この、「画像認識処理及び曲情報の選択」と「所定範囲内で一致しているか否かの判断」については後で具体的に述べる。   Then, as a result of recognizing the image of the frame, the DSP / CPU 3 selects music information most appropriate for the image. If there is a song that is currently being played back, the selection of song information is prohibited unless the playback time of that song has elapsed (preventing means). That is, song information is selected after a predetermined time has elapsed since the song was played. Also, even before the predetermined time has elapsed, if it is determined by image recognition that the content of the image does not match the currently reproduced song within the predetermined range, the selection of song information is canceled and the song Select information. The function of selecting song information based on this image recognition corresponds to the selection means of the present invention. Further, the function of determining whether or not the reproduction time of the currently reproduced music has passed a predetermined time corresponds to the determination means of the present invention. This “image recognition processing and selection of music information” and “determination of whether or not they match within a predetermined range” will be specifically described later.

ＤＳＰ／ＣＰＵ３は曲情報を選択すると、選択した曲情報と現在再生している曲の曲情報とが一致するか否かを判断する。この機能は、本発明の一致判断手段に相当する。一致している場合は再生している曲と同じ曲を改めて頭から再生しなおす必要がないので、現在再生している曲の再生を継続する（曲再生手段）。なお、現在再生している曲がない場合は、一致していないと判断する。   When the DSP / CPU 3 selects the song information, the DSP / CPU 3 determines whether or not the selected song information matches the song information of the currently played song. This function corresponds to the coincidence determination means of the present invention. If they match, there is no need to replay the same song as the one being reproduced from the beginning, so the reproduction of the currently reproduced song is continued (song reproduction means). If there is no song currently being played, it is determined that they do not match.

一致していない場合は、現在再生している曲の再生を停止し、ＤＳＰ／ＣＰＵ３はタイマーをリセットする。再生する曲が変わるためである。なお、現在再生している曲がない場合は、停止、リセットの処理を行わない。
そして、選択した曲情報に対応する曲を再生し（曲再生手段）、タイマーをスタートさせる。曲の再生時間を計測するためである。これにより、再生時間が所定時間経過したか否かを判断することが可能となる。
そして、選択した動画データの最後のフレームを再生したか否かを判断し、再生していない場合は、本発明の動画再生処理を継続し、最後のフレームを再生している場合には、動画再生処理を終了する。 If they do not match, the reproduction of the currently reproduced song is stopped, and the DSP / CPU 3 resets the timer. This is because the music to be played changes. If there is no song currently being played, stop and reset processing is not performed.
Then, the music corresponding to the selected music information is reproduced (music reproduction means), and the timer is started. This is for measuring the playback time of the song. Thereby, it is possible to determine whether or not the reproduction time has elapsed.
Then, it is determined whether or not the last frame of the selected video data has been played back. If not, the video playback process of the present invention is continued. If the last frame is being played back, The playback process ends.

フラッシュメモリ７、ＲＯＭ８には、ＤＳＰ／ＣＰＵ３の各部に必要な制御プログラム、及び必要なデータ（曲情報等）が記録されており、ＤＳＰ／ＣＰＵ３は、前記プログラムに従い動作することにより、本発明の動画再生手段、画像認識手段、選択手段、判断手段、禁止手段、一致判断手段、曲再生手段として機能する。
また、ＣＣＤ２、ＤＳＰ／ＣＰＵ３、ＴＧ４、ユニット回路５、ＤＲＡＭ６、フラッシュメモリ７、ＲＯＭ８全体で本発明の撮像手段を構成する。 In the flash memory 7 and the ROM 8, necessary control programs and necessary data (music information, etc.) are recorded in each part of the DSP / CPU 3, and the DSP / CPU 3 operates in accordance with the programs, thereby allowing the present invention to be performed. It functions as a moving image reproduction means, image recognition means, selection means, determination means, prohibition means, coincidence determination means, and music reproduction means.
The CCD 2, DSP / CPU 3, TG 4, unit circuit 5, DRAM 6, flash memory 7 and ROM 8 together constitute the image pickup means of the present invention.

ここで、ＲＯＭ８に格納されている曲情報について説明する。
図２（ａ）は、ＲＯＭ８に記録されている曲情報テーブルの１例を示すものである。
このテーブルには、曲情報１から曲情報３０まで格納されており、曲情報１に近いほどテンポの遅い（穏やかな）曲に対応し、曲情報３０に近いほどテンポの早い（激しい、明るい）曲に対応する。つまり、曲情報番号が小さいほどテンポが遅くなり、曲情報番号が大きいほどテンポが早くなる。
また、図示しないがＲＯＭ８には曲が格納されているテーブルがあり、曲情報と曲は対応するようになっている。 Here, the music information stored in the ROM 8 will be described.
FIG. 2A shows an example of a music information table recorded in the ROM 8.
This table stores song information 1 to song information 30, and the closer to song information 1, the slower (gentle) song corresponding to the tempo, and the closer to song information 30, the faster the tempo (stronger and brighter). Corresponds to the song. That is, the smaller the song information number, the slower the tempo, and the larger the song information number, the faster the tempo.
Although not shown, the ROM 8 has a table storing songs, and song information and songs are associated with each other.

なお、曲情報テーブルはこれに限らず、図２（ｂ）に示すように、海に対応する曲情報（曲情報１、曲情報２）、山に対応する曲情報（曲情報３、曲情報４）、・・・クリスマスに対応する曲情報（曲情報２７、曲情報２８）、運動会に対応する曲情報（曲情報２９、曲情報３０）等、ジャンル別に分けて記録するようにしてもよい。
また、ユーザがフラッシュメモリ７に好みの曲情報及び曲を対応付けて記録するようにしてもよい。 The song information table is not limited to this, and as shown in FIG. 2B, song information corresponding to the sea (song information 1, song information 2), song information corresponding to the mountains (song information 3, song information). 4),... Music information corresponding to Christmas (music information 27, music information 28), music information corresponding to athletic meet (music information 29, music information 30), etc. may be recorded separately for each genre. .
Alternatively, the user may record favorite song information and songs in the flash memory 7 in association with each other.

Ｂ．画像認識処理について
ここで画像認識の処理と曲情報の選択について具体的に幾つかの例を説明する。 B. Image Recognition Processing Here, some examples of image recognition processing and song information selection will be specifically described.

例１
画像の標準偏差により画像を認識して曲情報を選択する方法
読み込まれた画像は、１ドット３バイトからなり、各バイトはＲＧＢの濃度に対応した値が記憶されている。明暗のはっきりする画像は各ドットの標準偏差が大きく、逆に明暗のはっきりしない画像は各ドットの標準偏差が小さい。
この点に着目して、画像データの全体の標準偏差の値を算出し、この値に対応する曲情報を曲情報テーブルから選択する。具体的には、標準偏差の値が大きいと認識された画像の場合はテンポの早い曲を選択し、逆に標準偏差の値が小さいと認識された画像の場合はテンポの遅い曲を選択する。
つまり、図２（ａ）に示された曲情報１から３０は、標準偏差の値と対応するように記録されている。
なお、ＲＧＢ毎の標準偏差に対応する曲情報テーブルをもち、ＲＧＢ毎に標準偏差の値を算出して、その値に対応する曲情報を選択するようにしてもよい。 Example 1
Method of Recognizing Image by Recognizing Image Based on Standard Deviation of Image The read image is composed of 3 bytes per dot, and each byte stores a value corresponding to the density of RGB. An image with clear light and dark has a large standard deviation of each dot, and conversely, an image with unclear light and dark has a small standard deviation of each dot.
Paying attention to this point, the value of the overall standard deviation of the image data is calculated, and song information corresponding to this value is selected from the song information table. Specifically, a song with a fast tempo is selected for an image recognized as having a large standard deviation value, and a song with a slow tempo is selected for an image recognized as having a small standard deviation value. .
That is, the pieces of music information 1 to 30 shown in FIG. 2A are recorded so as to correspond to the standard deviation values.
Note that a music information table corresponding to the standard deviation for each RGB may be provided, a standard deviation value may be calculated for each RGB, and music information corresponding to the value may be selected.

例２
画像に含まれる直線の長さの合計により画像を認識して曲情報を選択する方法
建物内やビルで撮られた画像ならば、画像に含まれる直線の長さやその数が多く、森や田舎などで撮られた画像ならば、直線の長さやその数は少ない。
この点に着目して、画像に含まれる直線の長さの合計の値に対応する曲情報を曲情報テーブルから選択する。具体的には、認識された直線の長さの合計が長ければ、テンポの早い曲情報を選択し、認識された直線の長さの合計が短ければ、テンポの遅い曲情報を選択する。
つまり、図２（ａ）に示された曲情報１から３０は、直線の長さの合計の値と対応するように記録されている。 Example 2
How to select music information by recognizing the image based on the total length of straight lines included in the image If the image was taken in a building or building, the length and number of straight lines included in the image are large. If the image is taken with a straight line, the length and number of straight lines are small.
Focusing on this point, music information corresponding to the total value of the lengths of the straight lines included in the image is selected from the music information table. Specifically, if the total length of the recognized straight lines is long, the music information with a fast tempo is selected, and if the total length of the recognized straight lines is short, the music information with a slow tempo is selected.
That is, the pieces of music information 1 to 30 shown in FIG. 2A are recorded so as to correspond to the total length of the straight lines.

例３
複数枚のフレームの画像から被写体の動きを認識して曲情報を選択する方法
動きのない画像は、直前に認識した画像との差分が０となり、動きがあればあるほど直前に認識した画像との差分が大きくなる。
この点に着目して、直前に認識した画像と現在認識した画像の差分の画像の標準偏差を、画像の動きに対応した値として算出し、その値に対応する曲情報を選択する。この場合は、複数のフレームの画像から値を算出することとなる。
つまり、図２（ａ）に示された曲情報１から３０は、算出された画像の動きに対応した値と対応するように記録されている。 Example 3
Recognizing subject movement from multiple frames of image and selecting song information A non-motion image has a difference of 0 from the image recognized immediately before, and the more motion there is, the more immediately recognized image The difference of becomes larger.
Focusing on this point, the standard deviation of the difference between the image recognized immediately before and the currently recognized image is calculated as a value corresponding to the motion of the image, and song information corresponding to the value is selected. In this case, a value is calculated from images of a plurality of frames.
That is, the pieces of music information 1 to 30 shown in FIG. 2A are recorded so as to correspond to the values corresponding to the calculated image motion.

その他
なお、これ以外の方法によっても画像を認識するようにしてもよい。例えば、フレームの画像に何が写っているかを認識して、その認識結果に基づいて曲情報を選択するようにしてもよい。
具体的には、画像認識により海岸を認識した場合は海に対応する曲情報１（図２（ｂ）参照）を選択したり、また、同じ海を認識しても、港を認識した場合は曲情報２を選択する。
また、クリスマスでも、サンタを認識した場合には曲情報２７を選択したり、クリスマスツリーやイルミネーションを認識した場合には曲情報２８を選択する。 Others The image may be recognized by other methods. For example, what is reflected in the frame image may be recognized, and song information may be selected based on the recognition result.
Specifically, if the coast is recognized by image recognition, the song information 1 corresponding to the sea (see FIG. 2B) is selected, or if the same sea is recognized but the port is recognized Select song information 2.
Even at Christmas, the music information 27 is selected when Santa is recognized, and the music information 28 is selected when a Christmas tree or illumination is recognized.

Ｃ．所定範囲内で一致しているか否かの判断について
次に、画像認識により画像の内容が現在再生している曲と所定範囲内で一致しているか否かの判断について説明する。
図２（ａ）に示す曲情報１から３０は、先ほども説明したように、画像認識により算出された値に対応するように記録されている。また、図示しないが曲テーブルに記録されている曲は曲情報に対応して記録されている。つまり、記録されている曲は曲１から曲３０までとなる。 C. Determination of whether or not they match within a predetermined range Next, the determination of whether or not the content of an image matches with the currently reproduced music by image recognition within the predetermined range will be described.
The music information 1 to 30 shown in FIG. 2A is recorded so as to correspond to the values calculated by the image recognition as described above. Although not shown, the music recorded in the music table is recorded corresponding to the music information. That is, the recorded music is from music 1 to music 30.

所定範囲内で一致しているか否かとは、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が８以上か否かのことをいう。
つまり、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が８以内でなれば所定範囲内で一致していると判断し、差分が８以上であれば所定範囲内で一致していないと判断する。
具体的に説明すると、画像認識により算出した値に対応する曲情報の番号が１０（曲情報１０）として、現在再生している曲に対応する曲情報の番号が１５（曲情報１５）の場合は、差分１５−１０＝５となるので、かかる場合は所定範囲内で一致と判断する。 Whether or not they match within a predetermined range is whether or not the difference between the number of the song information corresponding to the value calculated by the image recognition and the number of the song information corresponding to the currently reproduced song is 8 or more. I mean.
That is, if the difference between the number of the song information corresponding to the value calculated by the image recognition and the number of the song information corresponding to the currently reproduced song is within 8, it is determined that they match within a predetermined range. If the difference is 8 or more, it is determined that they do not match within a predetermined range.
More specifically, when the number of music information corresponding to the value calculated by image recognition is 10 (music information 10) and the number of music information corresponding to the currently reproduced music is 15 (music information 15). Since the difference is 15−10 = 5, in such a case, it is determined that they match within a predetermined range.

これに対し、画像認識により算出された値に対応する曲情報の番号が２６（曲情報２６）であり、現在再生している曲に対応する曲情報の番号が１５（曲情報１５）である場合には、差分２６−１５＝１１となるので、かかる場合は一致していないと判断する。
曲情報の番号の差が８以上も異なれば、曲の内容、テンポも著しく異なるからであり、再生している曲と実際に認識した画像の内容にズレが生じるからである。
よって、一致していないと判断した場合には、所定時間経過前であっても直ちに新たな曲情報を選択することとする。 On the other hand, the number of the song information corresponding to the value calculated by the image recognition is 26 (song information 26), and the number of the song information corresponding to the currently reproduced song is 15 (song information 15). In this case, since the difference 26−15 = 11, it is determined that they do not match.
This is because if the difference in the numbers of the song information is different by 8 or more, the contents and tempo of the music are remarkably different, and a deviation occurs between the reproduced music and the contents of the actually recognized image.
Therefore, when it is determined that they do not match, new music information is immediately selected even before a predetermined time has elapsed.

ここでは、差分８を所定範囲と設定しているが、４でも、１０でもよい。
また、ユーザにより所定範囲を任意に設定できるようにしてもよい。
また、図２（ｂ）に示すように、海、山等の被写体のジャンル別に曲情報を分けている場合には、画像認識により海から山を認識した場合には、所定範囲内で一致していないと判断するようにしてもよい。つまり、ジャンルが異なれば、所定範囲内で一致していないと判断する。 Here, the difference 8 is set as the predetermined range, but it may be 4 or 10.
Further, the predetermined range may be arbitrarily set by the user.
In addition, as shown in FIG. 2B, when music information is divided according to the genre of the subject such as the sea, the mountain, etc., when the mountain is recognized from the sea by image recognition, it matches within a predetermined range. You may make it judge that it is not. That is, if the genres are different, it is determined that they do not match within a predetermined range.

Ｄ．デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を図３、図４のフローチャートにしたがって説明する。
ユーザのキー入力部９の操作により動画再生モードに設定されると、ステップＳ１で再生したい動画データの選択が行なわれた否かを判断する。この判断は、キー入力部９から動画データを選択する旨の操作信号が送られてきたか否かにより判断する。動画データが選択された場合はステップＳ２に進み、選択されていない場合には、選択されるまでステップＳ１に留まる。
次いで、ステップＳ２に進むと、画像表示部１０に「“撮影音声”又は“ＢＧＭ”若しくは、“撮影音声及びＢＧＭ”のうちどれか１つを選択してください」というような表示をする。撮影音声とは、動画データの撮影時に音声処理部１１で記録した被写体等の音声をいう。
そして、ユーザにキー入力部９を操作させることにより、「撮影音声」、「ＢＧＭ」、「撮影音声及びＢＧＭ」のいずれかを選択させ、ステップＳ３に進む。 D. Operation of Digital Camera 1 The operation of the digital camera 1 according to the first embodiment will be described with reference to the flowcharts of FIGS.
When the moving image reproduction mode is set by the user's operation of the key input unit 9, it is determined whether or not the moving image data to be reproduced is selected in step S1. This determination is made based on whether or not an operation signal for selecting moving image data is sent from the key input unit 9. When the moving image data is selected, the process proceeds to step S2, and when it is not selected, the process stays at step S1 until it is selected.
Next, in step S2, the image display unit 10 displays a message such as “Select one of“ shooting sound ”,“ BGM ”, or“ shooting sound and BGM ””. Shooting sound means sound of a subject or the like recorded by the sound processing unit 11 when moving image data is shot.
Then, the user operates the key input unit 9 to select any one of “shooting sound”, “BGM”, and “shooting sound and BGM”, and the process proceeds to step S3.

次いで、ステップＳ３で、ＢＧＭが選択されたか否かを判断する。ＢＧＭが選択されたか否かとは、ＢＧＭを含むものも含む。つまり、「ＢＧＭ」、「撮影音声及びＢＧＭ」が選択された場合はＢＧＭが選択されたと判断し、「撮影音声」が選択された場合は、ＢＧＭが選択されていないと判断する。
ＢＧＭが選択された場合はステップＳ４に進み本発明の動画再生処理を行い、ＢＧＭが選択されていない場合はステップＳ２０に進み通常の動画再生処理を行う。 Next, in step S3, it is determined whether BGM is selected. Whether or not BGM is selected includes those including BGM. That is, when “BGM” and “shooting sound and BGM” are selected, it is determined that BGM is selected, and when “shooting sound” is selected, it is determined that BGM is not selected.
If BGM is selected, the process proceeds to step S4 and the moving image reproduction process of the present invention is performed. If BGM is not selected, the process proceeds to step S20 and a normal moving image reproduction process is performed.

ステップＳ４に進むと、選択された動画データの再生処理を行う。動画再生処理が開始されると、動画データの１フレーム（最初のフレーム）目から順々に再生を行なう。この再生処理は、１フレーム目の画像データから順々に画像データをＤＲＡＭ６に記憶し、該記憶した画像データを画像表示部１０に表示させる。
再生処理が開始されると、ステップＳ５に進み、フレームの画像を認識する。ここでは、動画データの最初のフレーム（１枚目のフレーム）の画像を認識する。
この認識の方法は、画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出することによって行なう。
なお、被写体の動きにより画像を認識する場合には、再生処理が開始された後、複数枚のフレーム画像（例えば、１枚目のフレーム〜９０枚目のフレーム）を認識することになる。また、画像に何が写っているかを認識するようにしてもよい。 In step S4, the selected moving image data is reproduced. When the moving image reproduction process is started, reproduction is performed sequentially from the first frame (first frame) of the moving image data. In this reproduction process, image data is stored in the DRAM 6 in order from the image data of the first frame, and the stored image data is displayed on the image display unit 10.
When the reproduction process is started, the process proceeds to step S5 to recognize the frame image. Here, the image of the first frame (first frame) of the moving image data is recognized.
This recognition method is performed by calculating the value of the standard deviation of the image or the total value of the lengths of the straight lines included in the image.
In the case of recognizing an image based on the movement of the subject, a plurality of frame images (for example, the first frame to the 90th frame) are recognized after the reproduction process is started. Moreover, you may make it recognize what is reflected in the image.

次いで、ステップＳ６に進み、該算出した値に基づいて、それに対応する曲情報を図２（ａ）に示してある曲情報テーブルから選択する。ここでは、曲情報１５を選択したものとする。
次いで、ステップＳ７に進み、選択した曲情報１５に対応する曲の再生を行なう。
次いで、ステップＳ８に進み、タイマーをスタートさせる。曲の再生時間を計測するためである。
次いで、ステップＳ９で、画像データのフレームの画像を認識する。この画像認識は、一定間隔おきにフレームの画像を認識する。一定間隔とは、例えば、３０フレーム間隔、又は、１秒間隔等をいう。ステップＳ５で、動画データの１枚目のフレームの画像を認識したので、ここでは、３１枚目のフレームの画像を認識する。
なお、ステップＳ９で被写体の動きにより画像を認識する場合には、一定間隔おきに取得した複数枚のフレーム画像、又は連続する複数枚のフレーム画像を認識することになる。 Next, the process proceeds to step S6, and the music information corresponding to the calculated value is selected from the music information table shown in FIG. Here, it is assumed that the music information 15 is selected.
Next, in step S7, the music corresponding to the selected music information 15 is reproduced.
Subsequently, it progresses to step S8 and a timer is started. This is for measuring the playback time of the song.
Next, in step S9, the image of the frame of the image data is recognized. In this image recognition, images of frames are recognized at regular intervals. The constant interval means, for example, an interval of 30 frames or an interval of 1 second. In step S5, since the image of the first frame of the moving image data is recognized, the image of the 31st frame is recognized here.
When recognizing an image based on the movement of the subject in step S9, a plurality of frame images acquired at regular intervals or a plurality of continuous frame images are recognized.

次いで、ステップＳ１０で、タイマースタートしてから１０秒等の所定時間が経過したか否かを判断する。１０秒等の所定時間が経過していない場合はステップＳ１１に進み、所定時間が経過した場合はステップＳ１２に進む。
所定時間が経過していないと判断し、ステップＳ１１に進むと、画像認識により算出された値が所定範囲内で一致するか否かの判断を行なう。
つまり、画像認識により算出された値に対応する曲情報の番号と、現在再生している曲に対応する曲情報の番号との差分が所定範囲内（８以内）で一致するか否かを判断する。
所定範囲内で一致していると判断するとステップＳ９に戻り、一致していないと判断するとステップ１２に進む。
例えば、所定範囲内で一致していない例として、被写体の動きが激しい動きから急にゆっくりな動きに変化した場合や被写体がビルから山に変わった場合をいう。 Next, in step S10, it is determined whether or not a predetermined time such as 10 seconds has elapsed since the timer was started. If a predetermined time such as 10 seconds has not elapsed, the process proceeds to step S11, and if the predetermined time has elapsed, the process proceeds to step S12.
When it is determined that the predetermined time has not elapsed and the process proceeds to step S11, it is determined whether or not the values calculated by the image recognition match within a predetermined range.
That is, it is determined whether or not the difference between the number of the song information corresponding to the value calculated by the image recognition and the number of the song information corresponding to the currently reproduced song matches within a predetermined range (within 8). To do.
If it is determined that they match within the predetermined range, the process returns to step S9. If it is determined that they do not match, the process proceeds to step 12.
For example, as examples in which they do not match within a predetermined range, there are cases where the movement of the subject suddenly changes from a rapid movement to a slow movement, or the subject changes from a building to a mountain.

なお、ステップＳ９の画像認識により海岸を認識し（曲情報１に対応）、現在再生している曲が港（曲情報２に対応）に関連する曲である場合には、共に海に関連するものなので所定範囲内で一致していると判断し、ステップＳ９の画像認識によりサンタを認識し（曲情報２７に対応）、現在再生している曲が港（曲情報２に対応）に関連する曲である場合には、一致していないと判断するようにしてもよい。
つまり、画像認識により認識されたジャンルと、現在再生している曲に対応する曲情報のジャンルが同じならば所定範囲内で一致と判断し、ジャンルが異なるものであるならば一致していないと判断する。 If the coast is recognized by the image recognition in step S9 (corresponding to the song information 1) and the currently reproduced song is related to the port (corresponding to the song information 2), both are related to the sea. Since it is a thing, it judges that it corresponds within a predetermined range, recognizes Santa by the image recognition of step S9 (corresponding to the music information 27), and the currently reproduced music is related to the port (corresponding to the music information 2). If it is a song, it may be determined that they do not match.
In other words, if the genre recognized by the image recognition and the genre of the song information corresponding to the currently reproduced song are the same, it is determined that they match within a predetermined range, and if the genres are different, they do not match. to decide.

これにより、原則として、曲を再生してから所定時間は、次の曲情報を選択しないので、曲の頻繁な変更によるユーザが感じる煩わしさ、不快感をなくすことが可能となる。
また、画像認識により認識した画像が曲と一致していないと判断した場合は、変更することによりユーザの違和感をなくすことが可能となる。
ステップＳ９からステップＳ１１までの流れは、原則として、所定時間が経過するまでは、３０フレーム間隔等の一定間隔で画像を認識し、所定時間経過後にステップＳ１２に進む。しかし、一致していないと判断した場合には、所定時間経過前であっても、ステップＳ１２に進む。 Thus, in principle, since the next piece of music information is not selected for a predetermined time after the music is played, it is possible to eliminate the annoyance and discomfort felt by the user due to frequent changes to the music.
Further, when it is determined that the image recognized by the image recognition does not match the music, it is possible to eliminate the user's uncomfortable feeling by changing the image.
In principle, the flow from step S9 to step S11 recognizes images at regular intervals such as 30 frame intervals until a predetermined time elapses, and proceeds to step S12 after the predetermined time elapses. However, if it is determined that they do not match, the process proceeds to step S12 even before the predetermined time has elapsed.

ステップＳ１２に進むと、ステップＳ９での画像認識の結果に基づいて曲情報を選択する。この選択は、画像認識処理により算出した値に対応する曲情報を選択する。原則として所定時間経過前は、一定間隔毎に複数の画像を認識しているので、認識した複数の画像により算出された値の平均値に対応する曲情報を選択してもよいし、最後に認識した画像により算出された値に対応する曲情報を選択するようにしてもよい。
なお、被写体の動きにより画像を認識する場合には、所定時間内又は所定範囲内で一致していないと判断される前に認識した一連の画像により算出された値に対応する曲情報を選択することになる。
また、所定範囲内で一致していないと判断された場合は、所定範囲内で一致していないと判断された値に対応する曲情報を選択する。 In step S12, song information is selected based on the result of image recognition in step S9. In this selection, music information corresponding to the value calculated by the image recognition process is selected. As a general rule, since a plurality of images are recognized at regular intervals before the predetermined time elapses, song information corresponding to the average value of values calculated from the recognized images may be selected. You may make it select the music information corresponding to the value calculated by the recognized image.
When recognizing an image based on the movement of a subject, music information corresponding to a value calculated from a series of recognized images is selected before it is determined that they do not match within a predetermined time or within a predetermined range. It will be.
If it is determined that they do not match within the predetermined range, the music information corresponding to the value determined not to match within the predetermined range is selected.

ステップＳ１３に進むと、現在再生している曲に対応する曲情報１５とステップＳ１２で選択した曲情報とが一致するか否かを判断する。一致する場合には、改めて同じ曲を頭から再生しなおす必要がないので、現在再生している曲の再生を継続すべく、ステップＳ１８に進む。ユーザが違和感を感じるからである。
一方、現在再生している曲に対応する曲情報１５とステップＳ１２で選択した曲情報とが一致していない場合には、ステップＳ１４に進む。 In step S13, it is determined whether or not the song information 15 corresponding to the currently reproduced song matches the song information selected in step S12. If they match, there is no need to replay the same song from the beginning, so the process proceeds to step S18 in order to continue playing the currently played song. This is because the user feels uncomfortable.
On the other hand, if the song information 15 corresponding to the currently played song does not match the song information selected in step S12, the process proceeds to step S14.

ステップＳ１４に進むと、現在再生している曲の再生を停止し、ステップＳ１５で、タイマーをリセットする。
次いで、ステップＳ１６に進み、ステップＳ１２で選択した曲情報に対応する曲を再生し、ステップＳ１７でタイマーをスタートさせる。新たに選択した曲情報に対応する曲の再生時間を計測するためである。
次いで、ステップＳ１８で最後のフレームまで再生したか否かを判断し、最後のフレームを再生していない場合はステップＳ９に戻り、上記した動作を繰り返す。
一方、最後のフレームを再生している場合はステップＳ１９に進み、動画再生処理を終了する。 If it progresses to step S14, reproduction | regeneration of the music currently reproduced | regenerated will be stopped and a timer will be reset by step S15.
Next, the process proceeds to step S16, the music corresponding to the music information selected in step S12 is reproduced, and the timer is started in step S17. This is because the playback time of the song corresponding to the newly selected song information is measured.
Next, in step S18, it is determined whether or not the last frame has been reproduced. If the last frame has not been reproduced, the process returns to step S9 to repeat the above operation.
On the other hand, when the last frame is being reproduced, the process proceeds to step S19, and the moving image reproduction process is terminated.

Ｅ．このように、本発明の動画再生処理が開始されると、動画データの画像を一定間隔おきに認識し、曲情報を選択する。しかし、現在再生している曲がある場合には、現在再生している曲の再生時間が所定時間経過後、又は、所定時間経過前であって画像認識により画像の内容が再生している曲と一致していないと判断した場合のみ曲情報を選択する。
そして、選択した曲情報と現在再生している曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲の再生を継続し、一致していない場合は現在再生している曲の再生を停止して、該選択した曲情報に対応する曲の再生を開始する。 E. Thus, when the moving image reproduction process of the present invention is started, images of moving image data are recognized at regular intervals, and song information is selected. However, if there is a song that is currently being played back, the song that is being played back by image recognition after the playback time of the currently played song has elapsed or before the predetermined time has passed. The song information is selected only when it is determined that it does not match.
Then, it is determined whether or not the selected song information and the currently playing song information match. If they match, the currently playing song continues to be played. The reproduction of the currently selected song is stopped, and the reproduction of the song corresponding to the selected song information is started.

Ｆ．以上のように、第１の実施の形態においては、動画データの再生にＢＧＭが選択されると、動画データの画像を一定間隔おきに認識し、シーン毎に適切な曲を選択していくので、動画撮影時の状況をより感情的、情緒的に回想することができる。
また、シーン毎に適切な曲を選択してくれるので、ユーザの労力と時間を省くことができる。 F. As described above, in the first embodiment, when BGM is selected for reproduction of moving image data, images of moving image data are recognized at regular intervals, and an appropriate song is selected for each scene. , You can recall the emotional and emotional situation at the time of video shooting.
In addition, since an appropriate song is selected for each scene, the user's labor and time can be saved.

また、現在再生している曲がある場合には、該曲の再生時間が所定時間を経過しなければ、新たな曲を選択して再生することがないので、曲の頻繁な切り換わりによるユーザの感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と現在再生している曲とが一致していないと判断した場合は、認識した画像にあった曲を選択して再生するので、ユーザの感じる違和感を回避することができる。さらに、画像認識した画像と現在再生している曲が所定範囲内で一致しているか否かの判断基準をユーザが設定することができるので、ユーザが感じる、煩わしさ、不快感、違和感をさらになくすことができる。
また、現在再生している曲に対応する曲情報と選択した曲情報とが一致するか否かを判断し、一致する場合には現在再生している曲を継続して再生するので、改めて同じ曲を頭から再生する必要がなくなり、ユーザの感じる違和感をなくすことができる。
また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、さらに、ユーザの興趣を高めることができる。 In addition, if there is a song that is currently being played back, a new song cannot be selected and played back unless the playback time of the song has passed a predetermined time. Can eliminate the annoyance and discomfort felt. If it is determined that the image recognized by the image recognition and the currently reproduced song do not match even before the predetermined time has elapsed, the song that matches the recognized image is selected and reproduced. It is possible to avoid a sense of discomfort felt by the user. Furthermore, since the user can set a criterion for determining whether or not the image recognized image and the currently reproduced music match within a predetermined range, the user feels bothered, uncomfortable, and uncomfortable. Can be eliminated.
Also, it is determined whether or not the song information corresponding to the currently playing song matches the selected song information, and if they match, the currently playing song is continuously played back, so the same There is no need to play the song from the beginning, and the user feels uncomfortable.
In addition, since the image is recognized based on the movement amount (change amount) of the subject, it is possible to select music information appropriate for the movement of the subject, and further enhance the interest of the user.

Ｇ．なお、第１の実施の形態における動画再生装置は、上記実施の形態に限定されるものではなく、携帯電話、ＰＤＡ、デジタルカメラ、パソコン等でもよく、要は動画データを再生することができる機器であれば何でもよい。
また、現在再生している曲を停止するときには、フェードアウトにより終わらせるようにしてもよい。また、これとは逆に、曲情報に対応する曲を再生するときには、フェードインで始めるようにしてもよい。つまり、曲と曲のつなぎ目は、ブチ切りとならずに、フェードアウト・フェードインになる。これにより、ユーザの違和感をなくすことができる。
また、動画再生を開始する際（直前）に、再生対象の動画データに対して画像認識処理を実行し、一番多く選択された曲情報に対応する曲を動画再生時に再生するようにしたり、或いは選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲を動画再生時に再生するようにしてもよい。これにより、動画の一連の画像に最も適切、ユーザ好みの曲を再生することができる。 G. Note that the moving image playback apparatus in the first embodiment is not limited to the above embodiment, and may be a mobile phone, a PDA, a digital camera, a personal computer, or the like, and in short, a device that can play back moving image data. Anything is acceptable.
Further, when stopping the currently reproduced music, it may be ended by fading out. On the contrary, when a song corresponding to the song information is played back, it may be started with a fade-in. In other words, the joint between songs is faded out and faded in without being cut off. Thereby, a user's uncomfortable feeling can be eliminated.
Also, when starting video playback (immediately before), image recognition processing is performed on the video data to be played back so that the song corresponding to the most selected song information is played back during video playback, Alternatively, all the selected song information may be displayed in a list, and the song corresponding to the song information instructed by the user may be played back when the moving image is played back. As a result, it is possible to reproduce a song that is most suitable for a series of images of a moving image and that is preferred by the user.

［第２の実施の形態］
次に、第２の実施の形態について説明する。
第２の実施の形態は、動画撮影時にその動画に適切な曲情報を選択し、動画データと共に該選択した曲情報に対応する曲を関連付けて記録するというものである。 [Second Embodiment]
Next, a second embodiment will be described.
In the second embodiment, song information appropriate for a moving image is selected at the time of moving image shooting, and a song corresponding to the selected song information is recorded in association with moving image data.

Ｈ．デジタルカメラ１の構成
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
第２の実施の形態におけるデジタルカメラ１は、第１の実施の形態と以下の点で構成の機能が異なる。
ＤＳＰ／ＣＰＵ３は、ユーザのキー入力部９の操作により、動画撮影モードに設定すると、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。そして、ユーザによりシャッターボタンが押下されたか否かを判断する。この判断は、シャッターボタンの押下に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。
ＤＳＰ／ＣＰＵ３はシャッターボタンが押下されたと判断すると、所定のフレームレート（１／３０秒の固定周期）で動画像を撮像し、撮像した動画フレームをＤＲＡＭ６に記憶する動画撮影処理を開始する。 H. Configuration of Digital Camera 1 The second embodiment also implements the imaging apparatus of the present invention by using a digital camera 1 having a configuration similar to that shown in FIG.
The digital camera 1 according to the second embodiment differs from the first embodiment in configuration functions in the following points.
When the DSP / CPU 3 sets the moving image shooting mode by the user's operation of the key input unit 9, the DSP / CPU 3 starts imaging by the CCD 2 and displays the captured subject on the image display unit 10 as a through image. Then, it is determined whether or not the user has pressed the shutter button. This determination is made based on whether or not an operation signal corresponding to pressing of the shutter button is sent from the key input unit 9.
When the DSP / CPU 3 determines that the shutter button has been pressed, the DSP / CPU 3 captures a moving image at a predetermined frame rate (a fixed period of 1/30 seconds), and starts moving image capturing processing for storing the captured moving image frame in the DRAM 6.

ＤＳＰ／ＣＰＵ３は、一定間隔おきに撮影した動画データのフレーム画像を認識する。一定間隔とは、３０フレーム間隔、又は、１秒間隔等をいう。この画像の認識の方法は、第１の実施の形態で述べたように、画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出することによって行う。この機能は本発明の画像認識手段に相当する。   The DSP / CPU 3 recognizes frame images of moving image data that are taken at regular intervals. The constant interval means an interval of 30 frames or an interval of 1 second. As described in the first embodiment, this image recognition method is performed by calculating the value of the standard deviation of the image or the total value of the lengths of the straight lines included in the image. This function corresponds to the image recognition means of the present invention.

そして、ＤＳＰ／ＣＰＵ３は、フレームの画像を認識した結果、その画像に最も適切な曲情報を選択する。つまり、画像認識により算出された値に対応する曲情報を選択する。なお、現在ＤＲＡＭ６に記憶（録音）している曲がある場合には、その曲の録音時間が所定時間経過していなければ曲情報の選択を禁止する（禁止手段）。つまり、その曲の録音が開始されてから所定時間経過後に曲情報を選択する。また、所定時間経過前であっても、画像認識により画像の内容が現在録音している曲と所定範囲内で一致していないと判断した場合は、曲情報の選択の禁止を解除し、曲情報を選択する。この画像認識に基づいて曲情報を選択する機能は、本発明の選択手段に相当する。また、現在録音している曲の録音時間が所定時間経過したか否かを判断する機能は、本発明の判断手段に相当する。この「所定範囲内で一致しているか否かの判断」は、第１の実施の形態で述べたのと同様に、画像認識により算出された値に対応する曲情報の番号と現在録音している曲に対応する曲情報の番号との差が８以内か否かにより判断する。   Then, as a result of recognizing the image of the frame, the DSP / CPU 3 selects music information most appropriate for the image. That is, music information corresponding to a value calculated by image recognition is selected. If there is a song currently stored (recorded) in the DRAM 6, selection of song information is prohibited unless the recording time of the song has passed (preventing means). That is, song information is selected after a predetermined time has elapsed since the recording of the song was started. Also, even before the predetermined time has elapsed, if it is determined by image recognition that the content of the image does not match the currently recorded song within the predetermined range, the selection of the song information is canceled and the song Select information. The function of selecting song information based on this image recognition corresponds to the selection means of the present invention. Further, the function of determining whether or not the recording time of the currently recorded song has passed a predetermined time corresponds to the determination means of the present invention. This “determination of whether or not they match within a predetermined range” is performed by recording the number of the song information corresponding to the value calculated by the image recognition and recording the same as described in the first embodiment. Judgment is made based on whether or not the difference from the music information number corresponding to the current song is within eight.

ＤＳＰ／ＣＰＵ３は曲情報を選択すると、該選択した曲情報と現在録音している曲に対応する曲情報とが一致するか否かを判断する。この機能は、本発明の一致判断手段に相当する。一致している場合は選択した曲情報に対応する曲を改めて録音しなおす必要がないので、現在録音している曲の録音を継続する（録音手段）。現在録音している曲がない場合は、一致していないと判断する。
一致していない場合は、現在録音している曲の録音を中止し、タイマーをリセットする。録音する曲が変わるためである。なお、現在録音している曲がない場合は、停止、リセットの処理を行わない。 When the DSP / CPU 3 selects the song information, the DSP / CPU 3 determines whether the selected song information matches the song information corresponding to the currently recorded song. This function corresponds to the coincidence determination means of the present invention. If they match, there is no need to re-record the song corresponding to the selected song information, so recording of the currently recorded song is continued (recording means). If there is no song currently recorded, it is determined that they do not match.
If they do not match, stop recording the currently recorded song and reset the timer. This is because the song to be recorded changes. If there is no song currently recorded, stop and reset processing is not performed.

そして、選択された曲情報に対応する曲をＤＲＡＭ６に録音（録音）し（録音手段）、タイマーをスタートさせる。曲の録音時間を計測するためである。
そして、上記した動作をシャッターボタンが押下されるまで繰り返す。
シャッターボタンが押下されたと判断すると、ＤＲＡＭ６に記憶されている撮像された動画データと該録音した曲とを関連付けてメモリ・カード１３（記録手段）に記録する。この機能は、本発明の記録制御手段に相当する。 Then, a song corresponding to the selected song information is recorded (recorded) in the DRAM 6 (recording means), and a timer is started. This is to measure the recording time of the song.
The above operation is repeated until the shutter button is pressed.
If it is determined that the shutter button has been pressed, the captured moving image data stored in the DRAM 6 and the recorded music are associated and recorded in the memory card 13 (recording means). This function corresponds to the recording control means of the present invention.

Ｉ．デジタルカメラ１の動作
次に、第２の実施の形態におけるデジタルカメラ１の動作を図５、６のフローチャートにしたがって説明する。
ユーザのキー入力部９の操作により動画撮影モードに設定されると、ステップＳ３１で、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。
次いで、ステップＳ３２で、ユーザのキー入力部９の操作によりシャッターが押下されたか否かを判断する。この判断は、キー入力部９から送られてくる操作信号によって判断する。シャッターが押下された場合はステップＳ３３に進み、押下されていない場合には押下されるまで、ステップＳ３２に留まる。 I. Operation of Digital Camera 1 Next, the operation of the digital camera 1 in the second embodiment will be described with reference to the flowcharts of FIGS.
When the moving image shooting mode is set by the user's operation of the key input unit 9, imaging by the CCD 2 is started in step S31, and the captured subject is displayed on the image display unit 10 as a through image.
Next, in step S32, it is determined whether or not the shutter has been pressed by the user's operation of the key input unit 9. This determination is made based on an operation signal sent from the key input unit 9. If the shutter is pressed, the process proceeds to step S33. If the shutter is not pressed, the process stays in step S32 until the shutter is pressed.

ステップＳ３３に進むと、所定のフレームレート（１／３０秒の固定周期）で動画像を撮像し、撮像した動画フレームをＤＲＡＭ６に記憶する動画撮影処理を開始する。
次いで、ステップＳ３４で、ＤＲＡＭ６に記憶した動画フレームの画像を認識する。ここでは、１フレーム目の画像を認識する。
この認識の方法は、撮像した１フレーム目の画像の標準偏差の値又は画像に含まれる直線の長さの合計の値等を算出する。
なお、被写体の動きにより画像を認識する場合には、動画撮影処理が開始された後、複数枚のフレーム画像（例えば、１枚目のフレーム〜９０枚目のフレーム）を認識することになる。また、フレームの画像に何が写っていうるかを認識するようにしてもよい。 In step S33, a moving image capturing process of capturing a moving image at a predetermined frame rate (fixed period of 1/30 seconds) and storing the captured moving image frame in the DRAM 6 is started.
Next, in step S34, the image of the moving image frame stored in the DRAM 6 is recognized. Here, the first frame image is recognized.
In this recognition method, a standard deviation value of a captured first frame image, a total value of lengths of straight lines included in the image, or the like is calculated.
In the case of recognizing an image based on the movement of a subject, a plurality of frame images (for example, the first frame to the 90th frame) are recognized after the moving image shooting process is started. Also, what may be shown in the frame image may be recognized.

次いで、ステップＳ３５に進み、該算出した値に基づいて、それに対応する曲情報を図２（ａ）に示してある曲情報テーブルから選択する。ここでは、曲情報１５を選択したものとする。
次いで、ステップＳ３６に進み、選択した曲情報に対応する曲のデータをＤＲＡＭ６に記憶（録音）していき、ステップＳ３７でタイマーをスタートさせる。
次いで、ステップＳ３８に進み、撮像した動画データのフレームの画像を認識する。この認識は、一定間隔おきに撮像したフレームの画像を認識する。一定間隔とは、例えば、３０フレーム間隔、１秒間隔等をいう。ステップＳ３４で、撮像した動画データの１フレーム目の画像を認識したので、ここでは、３１フレーム目の画像を認識する。
なお、ステップＳ３８で被写体の動きにより画像を認識する場合には、一定間隔おきに撮像した複数枚のフレーム画像、又は連続する複数枚のフレーム画像を認識することとなる。 Next, the process proceeds to step S35, and music information corresponding to the calculated value is selected from the music information table shown in FIG. Here, it is assumed that the music information 15 is selected.
In step S36, song data corresponding to the selected song information is stored (recorded) in the DRAM 6, and a timer is started in step S37.
Next, the process proceeds to step S38, and the frame image of the captured moving image data is recognized. In this recognition, images of frames taken at regular intervals are recognized. The constant interval means, for example, a 30 frame interval, a 1 second interval, or the like. In step S34, since the first frame image of the captured moving image data is recognized, the 31st frame image is recognized here.
Note that when recognizing an image based on the movement of the subject in step S38, a plurality of frame images captured at regular intervals or a plurality of continuous frame images are recognized.

次いで、ステップＳ３９に進み、タイマースタートをしてから１０秒等の所定時間経過したか否かを判断する。所定時間が経過していない場合にはステップＳ４０に進み、所定時間が経過した場合はステップＳ４１に進む。
所定時間が経過していないと判断し、ステップＳ４０に進むと、画像認識により算出された値が所定範囲内で一致するか否かの判断を行う。 In step S39, it is determined whether a predetermined time such as 10 seconds has elapsed since the timer was started. If the predetermined time has not elapsed, the process proceeds to step S40. If the predetermined time has elapsed, the process proceeds to step S41.
If it is determined that the predetermined time has not elapsed and the process proceeds to step S40, it is determined whether or not the values calculated by the image recognition match within a predetermined range.

第１の実施の形態で説明したのと同様に、所定範囲内で一致するか否かの判断は、画像認識により算出された値に対応する曲情報の番号と現在記憶している曲に対応する曲情報の番号との差が８以内であるか否かを判断する。
なお、画像に写っている被写体を認識する場合には、ステップＳ３８の画像認識により海を認識した場合であって、現在記憶している曲に対応する曲情報が山に対応する曲情報である場合には、ジャンルが異なるので所定範囲内で一致していないと判断するようにしてもよい。
そして、所定範囲内で一致していると判断した場合はステップＳ３８に戻り、一致していないと判断した場合にはステップＳ４１に進む。 As described in the first embodiment, the determination of whether or not they match within a predetermined range corresponds to the song information number corresponding to the value calculated by image recognition and the currently stored song. It is determined whether or not the difference from the number of the song information to be performed is within 8.
In the case of recognizing a subject in the image, the sea is recognized by the image recognition in step S38, and the song information corresponding to the currently stored song is the song information corresponding to the mountain. In this case, since the genres are different, it may be determined that they do not match within a predetermined range.
If it is determined that they match within the predetermined range, the process returns to step S38, and if it is determined that they do not match, the process proceeds to step S41.

ステップＳ４１に進むと、ステップＳ３８の画像認識により算出された値に基づいて曲情報を選択する。原則として、所定時間経過前は、一定間隔おきに複数の画像を認識しているので、認識した複数の画像から算出された値の平均値に対応する曲情報を選択するようにしてもよいし、最後に認識した画像により算出された値に対応する曲情報を選択するようにしてもよい。
なお、被写体の動きにより曲情報を選択する場合は、所定時間内又は所定範囲内で一致していないと判断される前に認識した一連の画像により算出された値に基づいて曲情報を選択する。
所定範囲内で一致していないと判断された場合は、所定範囲内で一致していないと判断された値に対応する曲情報を選択する。 In step S41, song information is selected based on the value calculated by the image recognition in step S38. As a general rule, a plurality of images are recognized at regular intervals before a predetermined time has elapsed, so that song information corresponding to the average value of values calculated from the recognized images may be selected. The music information corresponding to the value calculated from the last recognized image may be selected.
When music information is selected based on the movement of the subject, the music information is selected based on values calculated from a series of images recognized before it is determined that they do not match within a predetermined time or within a predetermined range. .
If it is determined that they do not match within the predetermined range, the music information corresponding to the value determined not to match within the predetermined range is selected.

次いで、ステップＳ４２に進み、ステップ４１で選択した曲情報と現在ＤＲＡＭ６に録音している曲に対応する曲情報１５が一致するか否かを判断する。一致している場合には、改めて同じ曲を頭から録音し直す必要がないので、現在録音している曲の録音を継続すべく、ステップＳ４７に進む。ユーザが違和感を感じるためである。
一方、現在記録している曲に対応する曲情報１５とステップＳ４１で選択した曲情報が一致していない場合には、ステップＳ４３に進む。
ステップＳ４３に進むと、現在録音している曲の録音を中止し、ステップＳ４４でタイマーをリセットする。 Next, the process proceeds to step S42, and it is determined whether or not the song information selected in step 41 matches the song information 15 corresponding to the song currently recorded in the DRAM 6. If they match, there is no need to re-record the same song from the beginning, so the process proceeds to step S47 to continue recording the currently recorded song. This is because the user feels uncomfortable.
On the other hand, if the song information 15 corresponding to the currently recorded song does not match the song information selected in step S41, the process proceeds to step S43.
In step S43, the recording of the currently recorded song is stopped, and the timer is reset in step S44.

次いで、ステップＳ４５に進み、ステップＳ４１選択した曲情報に対応する曲を直前までに録音していた曲の後に続けて記録する。
ここでは、録音した曲情報１５に対応する曲の後に続けて該選択した曲情報に対応する曲を録音する。
次いで、ステップＳ４６に進み、タイマーをスタートさせる。該選択した曲情報に対応する曲の録音時間を計測するためである。
次いで、ステップＳ４７に進み、シャッターボタンが押下されたか否かを判断し、押下されていない場合はステップＳ３８に戻り、上記した動作を繰り返す。
一方、シャッターボタンが押下された場合は、ＤＲＡＭ６に記憶した動画データと録音した曲とを関連付けてメモリ・カード１３に記録する。
なお、動画データの中に曲を埋め込むようにしてもよい。つまり動画データと曲とを合成してもよい。 Next, the process proceeds to step S45, and the song corresponding to the song information selected in step S41 is recorded after the song that has been recorded just before.
Here, after the song corresponding to the recorded song information 15, the song corresponding to the selected song information is recorded.
Next, the process proceeds to step S46, and a timer is started. This is because the recording time of the song corresponding to the selected song information is measured.
Next, the process proceeds to step S47, where it is determined whether or not the shutter button has been pressed. If not, the process returns to step S38 to repeat the above operation.
On the other hand, when the shutter button is pressed, the moving image data stored in the DRAM 6 and the recorded music are associated and recorded in the memory card 13.
Note that a song may be embedded in the moving image data. That is, you may synthesize | combine video data and a music.

Ｊ．ここで、第２の実施の形態で撮影した動画データの再生処理について簡単に説明する。
第２の実施の形態において、被写体の撮影音声も同時に記録している場合には、動画の再生時に、“撮影音声”又は“ＢＧＭ”又は撮影音声及び“ＢＧＭ”の何れかを動画データと共に再生させるのかをユーザに選択させ、撮影音声が選択された場合には動画データと撮影音声を共に再生し、ＢＧＭが選択された場合には動画データとＢＧＭを共に再生させる。また、撮影音声及びＢＧＭが選択された場合には動画データと共に撮影音声及びＢＧＭを再生させる。このとき、ＢＧＭのボリュームを撮影音声のボリュームより小さくするようにする。
なお、ＢＧＭのボリュームを撮影音声のボリュームより大きくするようにしてもよいし、撮影音声及びＢＧＭのボリュームの比率をユーザが任意に設定することができるようにしてもよい。 J. et al. Here, the reproduction processing of the moving image data photographed in the second embodiment will be briefly described.
In the second embodiment, when the shooting sound of the subject is also recorded at the same time, at the time of playing the moving image, either “shooting sound” or “BGM” or the shooting sound and “BGM” is played together with the moving image data. When the shooting sound is selected, both the moving image data and the shooting sound are played back, and when BGM is selected, both the moving image data and the BGM are played back. In addition, when shooting voice and BGM are selected, the shooting voice and BGM are reproduced together with the moving image data. At this time, the volume of the BGM is set to be smaller than the volume of the photographed sound.
Note that the BGM volume may be larger than the photographic sound volume, or the ratio of the photographic sound and BGM volume may be arbitrarily set by the user.

Ｋ．このように、動画撮影処理が開始されると、ＤＲＡＭ６に記憶された動画フレームの画像を３０フレーム間隔等の一定間隔おきに認識し、曲情報を選択する。しかし、現在録音している曲がある場合には、現在録音している曲の録音時間が所定時間経過した後、又は、所定時間経過前であって画像認識により画像の内容が現在録音している曲と一致していないと判断した場合のみ、曲情報を選択する。
そして、選択した曲情報と現在録音している曲に対応する曲情報とが一致するか否かを判断し、一致している場合には現在録音している曲の録音を継続し、一致していない場合には現在録音している曲の録音を停止して、該選択した曲情報に対応する曲の録音を開始する。
このような、動作をシャッターボタンが押下されるまで行う。 K. As described above, when the moving image shooting process is started, moving image frames stored in the DRAM 6 are recognized at regular intervals such as 30 frame intervals, and music information is selected. However, if there is a song that is currently being recorded, the content of the image is currently recorded by image recognition after the recording time of the currently recorded song has elapsed for a predetermined time or before the predetermined time has elapsed. The song information is selected only when it is determined that it does not match the existing song.
Then, it is determined whether or not the selected song information matches the song information corresponding to the currently recorded song. If the selected song information matches, the recording of the currently recorded song is continued. If not, recording of the currently recorded song is stopped and recording of the song corresponding to the selected song information is started.
Such an operation is performed until the shutter button is pressed.

Ｌ．以上のように第２の実施の形態においては、動画の撮影処理が開始されると、撮像したフレーム毎に画像を認識し、認識結果に基づいて適切な曲を選択して、画像データと曲を関連付けて記録するので、再生時に画像認識処理及び曲情報の選択処理を行わなくてすむ。また、記録した動画データを再生することにより、撮影時の状況をより感情的、情緒的に回想することができる。
また、シーン毎に適切な曲を選択してくれるので、ユーザの労力と時間を省くことができる。また、曲に詳しくないユーザであっても、簡単にシーン毎に適切な曲を付加することができる。
また、被写体の動き量（変化量）により画像を認識するので、被写体の動きに対して適切な曲情報を選択することができ、さらに、ユーザの興趣を高めることができる。 L. As described above, in the second embodiment, when the moving image shooting process is started, the image is recognized for each captured frame, an appropriate song is selected based on the recognition result, and the image data and the song are selected. Are recorded in association with each other, so that it is not necessary to perform image recognition processing and music information selection processing during reproduction. Also, by reproducing the recorded moving image data, the situation at the time of shooting can be recalled more emotionally and emotionally.
In addition, since an appropriate song is selected for each scene, the user's labor and time can be saved. Also, even a user who is not familiar with music can easily add an appropriate music for each scene.
In addition, since the image is recognized based on the movement amount (change amount) of the subject, it is possible to select music information appropriate for the movement of the subject, and further enhance the interest of the user.

また、動画撮影中に現在再生又は録音している曲がある場合には、現在再生又は録音している曲の再生時間又は録音時間が所定時間を経過していなければ、曲を選択して再生又は録音することがないので、曲の頻繁な切り換わりによるユーザが感じる煩わしさ、不快感をなくすことができる。また、所定時間経過前であっても、画像認識により認識した画像と、現在再生又は録音している曲はマッチしていないと判断した場合は、認識した画像にあった曲を選択して再生又は録音するので、ユーザの感じる違和感をなくすことができる。さらに、画像認識した画像と現在再生等している曲がマッチしていないか否かの判断基準をユーザが設定することができるので、ユーザの感じる、煩わしさ、不快感、違和感をさらになくすことができる。   Also, if there is a song that is currently being played or recorded during movie shooting, if the playback time or recording time of the currently played or recorded song has not passed the specified time, select and play the song Or since it is not recorded, the troublesomeness and discomfort felt by the user due to frequent switching of songs can be eliminated. If it is determined that the image recognized by image recognition does not match the currently played or recorded song even before the predetermined time has elapsed, the song that matches the recognized image is selected and played. Or, since the recording is performed, it is possible to eliminate the user's uncomfortable feeling. Furthermore, since the user can set a criterion for determining whether or not the image recognized image and the currently reproduced song do not match, the user's feeling, annoyance, discomfort, and discomfort are further eliminated. Can do.

また、曲情報を選択した場合には、選択した曲情報と現在再生又は録音している曲に対応する曲情報とが一致するか否かを判断し、一致する場合には現在再生又は録音している曲を継続して再生又は録音するので、改めて同じ曲を頭から再生又は録音しなおすことがなくなり、ユーザの感じる違和感をなくすことができる。   When song information is selected, it is determined whether or not the selected song information matches the song information corresponding to the currently played or recorded song. Since the same song is continuously played back or recorded, the same song is not played or recorded again from the beginning, and the user feels uncomfortable.

Ｍ．なお、撮像した動画データとシーン毎に録音した複数の曲とを関連付けて記録するようにしたが、一番多く選択された曲情報に対応する曲のみを動画データと関連付けて記録するようにしてもよい。これにより、動画データの一連の画像に対して最も適切な曲を記録することができる。
また、選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲のみを動画データと関連付けて記録するようにしてもよい。これにより、動画データの一連の画像に対して適切、且つ、ユーザ好みの曲を記録することができる。 M.M. The captured video data is recorded in association with a plurality of songs recorded for each scene, but only the song corresponding to the most selected song information is recorded in association with the video data. Also good. Thereby, the most suitable music can be recorded for a series of images of moving image data.
Alternatively, all the selected music information may be displayed in a list, and only the music corresponding to the music information instructed by the user may be recorded in association with the moving image data. This makes it possible to record a song that is appropriate and suitable for a series of images of moving image data.

また、スルー画像表示のときにも同様に画像を認識し、選択した曲情報に対応する曲を再生するようにしてもよい。また、動画撮影時にも、録音している曲をそのまま再生するようにしてもよい。これにより、撮影時の興趣、その場のムードを高めることができる。
さらに、曲の録音を停止するときにはフェードアウトで終わらせるようにし、曲の録音を開始するときはフェードインで始めるようにしてもよい。これにより、ユーザは違和感、不快感を感じることがない。
また、第２の実施の形態における撮像装置は、上記実施の形態に限定されるものではなく、撮影機能を有した携帯電話及びＰＤＡ、デジタルカメラ、ＣＣＤ付のパソコン等でもよく、要は動画を撮影することができる機器であれば何でもよい。
さらに、動画撮影時のみに限定されず、動画撮影後の任意のタイミング（撮影直後、動画撮影モード解除時、電源オフ時、曲の付加を指示するためのキー操作時等）に動画データに対して画像認識を行い、対応する曲を動画データと関連付けて記録するようにしてもよい。更に、この任意のタイミングにおいて、一番多く選択された曲情報に対応する曲、或いは選択したすべての曲情報を一覧表示させ、ユーザによって指示された曲情報に対応する曲を動画データと関連付けて記録するようにしてもよい。この場合は動画を撮影する機能は必ずしも必要ではなく動画を処理することができる機器であればよい。 Similarly, when displaying a through image, an image may be recognized and a song corresponding to the selected song information may be reproduced. Also, the recorded song may be played back as it is during movie shooting. Thereby, the interest at the time of imaging | photography and the mood of the spot can be improved.
Furthermore, when recording of a song is stopped, it may be ended with a fade-out, and when recording of a song is started, it may be started with a fade-in. As a result, the user does not feel uncomfortable or uncomfortable.
The imaging device in the second embodiment is not limited to the above embodiment, and may be a mobile phone having a photographing function, a PDA, a digital camera, a personal computer with a CCD, etc. Any device capable of photographing can be used.
In addition, it is not limited to the time of movie shooting, and it can be applied to movie data at any timing after movie shooting (immediately after shooting, when movie shooting mode is canceled, when power is turned off, or when a key is operated to instruct the addition of music) Then, image recognition may be performed, and the corresponding music may be recorded in association with the moving image data. Further, at this arbitrary timing, the music corresponding to the most selected music information or all the selected music information are displayed in a list, and the music corresponding to the music information instructed by the user is associated with the video data. It may be recorded. In this case, the function of capturing a moving image is not necessarily required as long as the device can process the moving image.

本発明の実施の形態のデジタルカメラのブロック図である。1 is a block diagram of a digital camera according to an embodiment of the present invention. 曲情報テーブルを示す図である。It is a figure which shows a music information table. 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera of 1st Embodiment. 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera of 1st Embodiment. 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera of 2nd Embodiment. 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera of 2nd Embodiment.

符号の説明Explanation of symbols

１ デジタルカメラ
２ ＣＣＤ
３ ＤＳＰ／ＣＰＵ
４ ＴＧ
５ ユニット回路
６ ＤＲＡＭ
７ フラッシュメモリ
８ ＲＯＭ
９ キー入力部
１０ 画像表示部
１１ 音声処理部
１２ カードＩ／Ｆ
１３ メモリ・カード 1 Digital camera 2 CCD
3 DSP / CPU
4 TG
5 Unit circuit 6 DRAM
7 Flash memory 8 ROM
9 Key Input Unit 10 Image Display Unit 11 Audio Processing Unit 12 Card I / F
13 Memory card

Claims (21)

動画データを再生する動画再生手段と、
前記動画再生手段により再生された動画データの画像を認識する画像認識手段と、
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、
前記曲再生手段により再生している曲の再生時間が所定時間を経過したか否かを判断する判断手段と、
前記判断手段により所定時間を経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、
を備えたことを特徴とする動画再生装置。 Video playback means for playing back video data;
Image recognition means for recognizing the image of the moving image data reproduced by the moving image reproduction means;
Selection means for selecting song information based on the image recognized by the image recognition means;
Song playback means for playing back a song corresponding to the song information selected by the selection means;
Determination means for determining whether or not a reproduction time of a song being reproduced by the song reproduction means has passed a predetermined time;
Prohibiting means for prohibiting selection of music information by the selecting means when it is determined by the determining means that a predetermined time has not elapsed;
A moving image reproducing apparatus comprising: 前記判断手段により所定時間経過していないと判断した場合でも、前記画像認識手段により認識された画像が前記曲再生手段により再生されている曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択することを特徴とする請求項１記載の動画再生装置。 Even when it is determined by the determining means that the predetermined time has not elapsed, when it is determined that the image recognized by the image recognizing means does not match the music reproduced by the music reproducing means within a predetermined range. Cancels the prohibition of the selection of music information by the prohibition means,
The selection means includes
Video playback apparatus according to claim 1, wherein the selecting the music information on the basis of the recognized image by the image recognition unit. 前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備え、
前記曲再生手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、
前記一致判断手段により曲情報が一致していると判断された場合には、再生している曲を継続して再生することを特徴とする請求項１又は２記載の動画再生装置。 A match determination means for determining whether or not the song information selected by the selection means and the song information corresponding to the song being played by the song playback means match;
The music reproducing means includes
If it is determined by the match determination means that the song information does not match, stop the song being played and start playing the song corresponding to the song information selected by the selection means,
3. The moving image playback apparatus according to claim 1, wherein when the match determination means determines that the pieces of music information match, the playback of the music being played back is continued. 動画データを再生する動画再生手段と、Video playback means for playing back video data;
前記動画再生手段により再生している動画データの画像を認識する画像認識手段と、Image recognition means for recognizing the image of the moving image data being reproduced by the moving image reproduction means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、Song playback means for playing back a song corresponding to the song information selected by the selection means;
前記選択手段により選択された曲情報と、前記曲再生手段により再生されている曲に対応する曲情報とが一致するか否かを判断する一致判断手段と、を備え、Match determination means for determining whether or not the song information selected by the selection means and the song information corresponding to the song being played back by the song playback means match,
前記曲再生手段は、The music reproducing means includes
前記一致判断手段により曲情報が一致していないと判断された場合には、再生している曲を停止して前記選択手段により選択された曲情報に対応する曲の再生を開始し、If it is determined by the match determination means that the song information does not match, stop the song being played and start playing the song corresponding to the song information selected by the selection means,
前記一致判断手段により曲情報が一致していると判断された場合には、If it is determined by the matching determination means that the song information is consistent,
再生している曲を継続して再生することを特徴とする動画再生装置。A moving image reproducing apparatus for continuously reproducing a song being reproduced. 前記画像認識手段は、
前記動画再生手段により再生された動画データの画像を一定間隔おきに認識することを特徴とする請求項１乃至４の何れかに記載の動画再生装置。 The image recognition means includes
Video playback apparatus according to any one of claims 1 to 4, characterized in that to recognize the image of the moving image data reproduced by the video reproduction means constant intervals. 前記画像認識手段は、
前記動画再生手段により再生される動画データの画像の動き量（変化量）を認識することを特徴とする請求項１乃至５の何れかに記載の動画再生装置。 The image recognition means includes
Video playback apparatus according to any one of claims 1 to 5, characterized in that to recognize the motion amount of the image of the moving image data reproduced (amount of change) by the video playback unit. 動画データを再生する動画再生手段と、Video playback means for playing back video data;
前記動画再生手段により再生している動画データの画像を認識する画像認識手段と、Image recognition means for recognizing the image of the moving image data being reproduced by the moving image reproduction means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を再生する曲再生手段と、を備え、Song playback means for playing back a song corresponding to the song information selected by the selection means,
前記曲再生手段は、前記選択手段によって一番多く選択された曲情報に対応する曲を再生することを特徴とする動画再生装置。The moving picture reproducing apparatus, wherein the music reproducing means reproduces music corresponding to the music information selected most by the selecting means. 被写体を撮像する撮像手段を備え、Comprising imaging means for imaging a subject;
前記動画再生手段は、前記撮像手段によって撮像された動画データを再生し、The moving image reproduction means reproduces the moving image data imaged by the imaging means,
前記画像認識手段は前記撮像手段によって撮像された動画データの画像を認識することを特徴とする請求項１乃至７の何れかに記載の動画再生装置を備えた撮像装置。8. The imaging apparatus provided with the moving image reproduction apparatus according to claim 1, wherein the image recognition unit recognizes an image of the moving image data captured by the imaging unit. 前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録する記録制御手段を備えたことを特徴とする請求項８記載の撮像装置。 Claim 8, further comprising a recording control means for recording in the recording means in association with video data imaged by the song and the imaging means corresponding to the music information or the curved information selected by said selection means The imaging device described. 被写体を撮像する撮像手段と、Imaging means for imaging a subject;
前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、Image recognition means for recognizing an image of the moving image data imaged by the imaging means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段により選択された曲情報又は該曲情報に対応する曲と前記撮像手段により撮像された動画データとを関連付けて記録手段に記録する記録制御手段と、を備え、Recording control means for associating and recording in the recording means the music information selected by the selection means or the music corresponding to the music information and the moving image data imaged by the imaging means;
前記記録制御手段は、The recording control means includes
前記選択手段によって一番多く選択された曲情報又は該曲情報に対応する曲と前記撮像手段によって撮像された動画データとを関連付けて前記記録手段に記録することを特徴とする撮像装置。An image pickup apparatus characterized in that the piece of music information selected most by the selection means or a piece of music corresponding to the piece of music information and moving image data picked up by the image pickup means are associated and recorded in the recording means. 被写体を撮像する撮像手段を備え、Comprising imaging means for imaging a subject;
前記撮像手段により撮像された動画データの画像を認識する画像認識手段と、Image recognition means for recognizing an image of the moving image data imaged by the imaging means;
前記画像認識手段によって認識された画像に基づいて曲情報を選択する選択手段と、Selection means for selecting song information based on the image recognized by the image recognition means;
前記選択手段によって選択された曲情報に対応する曲を録音する録音手段と、Recording means for recording a song corresponding to the song information selected by the selection means;
前記録音手段によって録音された曲と前記撮像手段により撮像された動画データとを記録手段に記録する記録制御手段と、A recording control means for recording in the recording means the music recorded by the recording means and the moving image data imaged by the imaging means;
前記録音手段により録音している曲の録音時間が、所定時間を経過したか否かを判断する判断手段と、A judging means for judging whether or not a recording time of a song recorded by the recording means has passed a predetermined time;
前記判断手段により所定時間経過していないと判断した場合に、前記選択手段による曲情報の選択を禁止する禁止手段と、A prohibiting unit for prohibiting selection of music information by the selecting unit when the determining unit determines that a predetermined time has not elapsed;
を備えたことを特徴とする撮像装置。An imaging apparatus comprising: 前記判断手段により所定時間経過していないと判断した場合にでも、前記画像認識手段により認識された画像が、前記録音手段により録音している曲と所定範囲内で一致していないと判断した場合には、前記禁止手段による曲情報の選択の禁止を解除し、
前記選択手段は、
前記画像認識手段によって認識された画像に基づいて曲情報を選択することを特徴とする請求項１１記載の撮像装置。 Even if it is determined that the predetermined time has not elapsed by the determining means, if the recognized image by the image recognition means determines that do not match within a song and the predetermined range is recorded by said recording means To cancel the prohibition of the selection of music information by the prohibition means,
The selection means includes
12. The imaging apparatus according to claim 11 , wherein song information is selected based on an image recognized by the image recognition means. 前記選択手段により選択された曲情報と、前記録音手段により録音している曲に対応する曲情報とが一致するか否かを判断する一致判断手段を備えたことを特徴とする請求項１１又は１２に記載の撮像装置。 And music information selected by the selection unit, according to claim 11, characterized in that it comprises a coincidence determination means and song information corresponding to the track being recorded to determine whether coincident by said recording means or 12. The imaging device according to 12 . 前記録音手段は、
前記一致判断手段により曲情報が一致していないと判断された場合には、録音している曲を停止して前記選択手段により選択された曲情報に対応する曲の録音を開始し、
前記一致判断手段により一致と判断された場合には、
録音している曲を継続して録音することを特徴とする請求項１３記載の撮像装置。 The recording means is
When it is determined by the match determination means that the song information does not match, the recording song is stopped and recording of the song corresponding to the song information selected by the selection means is started,
When it is determined as a match by the match determination means,
The imaging apparatus according to claim 13, wherein the recorded music is continuously recorded. 前記画像認識手段は、
前記撮像手段により撮像された動画データの画像を一定間隔おきに認識することを特徴とする請求項１０乃至１４の何れかに記載の撮像装置。 The image recognition means includes
The image pickup apparatus according to claim 10, wherein images of moving image data picked up by the image pickup unit are recognized at regular intervals. 前記画像認識手段は、
前記撮像手段により撮像された動画データの画像の動き量（変化量）を認識することを特徴とする請求項１０乃至１５の何れかに記載の撮像装置。 The image recognition means includes
The imaging apparatus according to claim 10, wherein a motion amount (change amount) of an image of moving image data captured by the imaging unit is recognized. 動画データを再生する処理と、Processing to play the video data,
この処理により再生された動画データの画像を認識する処理と、A process of recognizing an image of the video data reproduced by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって選択された曲情報に対応する曲を再生する処理と、A process of playing a song corresponding to the song information selected by this process;
この処理により再生している曲の再生時間が所定時間を経過したか否かを判断する処理と、A process of determining whether or not the playback time of the song being played by this process has passed a predetermined time;
この処理により所定時間を経過していないと判断した場合に、曲情報を選択する処理の実行を禁止する処理と、When it is determined that the predetermined time has not elapsed by this process,
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とするプログラム。And executing the above-described processes on a computer provided in the moving image reproducing apparatus. 動画データを再生する処理と、Processing to play the video data,
この処理により再生された動画データの画像を認識する処理と、A process of recognizing an image of the video data reproduced by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって選択された曲情報に対応する曲を再生する処理と、A process of playing a song corresponding to the song information selected by this process;
選択された曲情報と、再生されている曲に対応する曲情報とが一致するか否かを判断する処理と、A process of determining whether the selected song information matches the song information corresponding to the song being played;
この処理により曲情報が一致していないと判断された場合には、再生している曲を停止して選択された曲情報に対応する曲の再生を開始し、曲情報が一致していると判断された場合には、再生している曲を継続して再生する処理と、If it is determined by this process that the song information does not match, the song being played back is stopped and playback of the song corresponding to the selected song information is started, and the song information matches. If determined, the process of continuously playing the song being played,
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とするプログラム。And executing the above-described processes on a computer provided in the moving image reproducing apparatus. 動画データを再生する処理と、Processing to play the video data,
この処理により再生された動画データの画像を認識する処理と、A process of recognizing an image of the video data reproduced by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって一番多く選択された曲情報に対応する曲を再生する処理と、A process of playing a song corresponding to the song information selected most by this process,
を含み、上記各処理を動画再生装置が備えるコンピュータで実行させることを特徴とするプログラム。And executing the above-described processes on a computer provided in the moving image reproducing apparatus. 被写体を撮像する処理と、Processing to image a subject;
この処理により撮像された動画データの画像を認識する処理と、A process of recognizing an image of moving image data captured by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理により一番多く選択された選択された曲情報又は該曲情報に対応する曲と撮像された動画データとを関連付けて記録媒体に記録する処理と、A process of recording the selected song information selected most frequently by this process or the song corresponding to the song information and the captured moving image data on the recording medium;
を含み、上記各処理を撮像装置が備えるコンピュータで実行させることを特徴とするプログラム。And executing the above-described processing by a computer provided in the imaging apparatus. 被写体を撮像する処理と、Processing to image a subject;
この処理により撮像された動画データの画像を認識する処理と、A process of recognizing an image of moving image data captured by this process;
この処理によって認識された画像に基づいて曲情報を選択する処理と、A process of selecting song information based on the image recognized by this process;
この処理によって選択された曲情報に対応する曲を録音する処理と、A process of recording a song corresponding to the song information selected by this process;
この処理によって録音された曲と撮像された動画データとを記録媒体に記録する処理と、A process of recording the music recorded by this process and the captured video data on a recording medium;
録音している曲の録音時間が、所定時間を経過したか否かを判断する処理と、A process of determining whether the recording time of the song being recorded has passed a predetermined time;
この処理により所定時間経過していないと判断した場合に、曲情報を選択する処理の実行を禁止する処理と、When it is determined that a predetermined time has not elapsed by this process, a process for prohibiting execution of the process of selecting song information;
を含み、上記各処理を撮像装置が備えるコンピュータで実行させることを特徴とするプログラム。And executing the above-described processing by a computer provided in the imaging apparatus.

Images