JP2007184869A - Image processor, image processing method, and image processing program - Google Patents

Image processor, image processing method, and image processing program Download PDF

Info

Publication number
JP2007184869A
JP2007184869A JP2006002952A JP2006002952A JP2007184869A JP 2007184869 A JP2007184869 A JP 2007184869A JP 2006002952 A JP2006002952 A JP 2006002952A JP 2006002952 A JP2006002952 A JP 2006002952A JP 2007184869 A JP2007184869 A JP 2007184869A
Authority
JP
Japan
Prior art keywords
image
color
connection frame
medium
medium color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006002952A
Other languages
Japanese (ja)
Inventor
Sunao Terayoko
素 寺横
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006002952A priority Critical patent/JP2007184869A/en
Publication of JP2007184869A publication Critical patent/JP2007184869A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor, image processing method, and image processing program capable of easily generating a motion picture for continuously reproducing different motion pictures. <P>SOLUTION: A motion picture data recorded at a video/voice signal recording part contains a frame picture data which is generated, for example, in MPEG-7 format and corresponds to the frame of the motion picture data, and metadata which is generated for each frame picture data and stores feature quantity such as color and shape of the image extracted from each frame picture data. A video/voice signal editing part 18 selects a motion picture data from among the motion picture data recorded in a video/voice signal recording part 16 for editing process such as compositing, based on the operation input from an edit instruction control part 14. A metadata reading part 20 reads metadata from the motion picture data selected based on the operation input from the edit instruction control part 14, and analyses the read metadata. A motion picture automatic compositing part 22 automatically composites motion pictures. <P>COPYRIGHT: (C)2007,JPO&amp;INPIT

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に画像を編集、合成する技術に関する。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program, and more particularly to a technique for editing and combining images.

従来、画像の色相、彩度又は明度の情報を用いて映像を分類する映像特徴処理方法について開示されている（特許文献１）。
特開平６−２５１１４７号公報 Conventionally, a video feature processing method for classifying videos using information on hue, saturation, or brightness of an image has been disclosed (Patent Document 1).
JP-A-6-251147

動画を合成する場合に、画像中の色を媒介として異なる場面同士をつなぐという映像表現が用いられることがある。例えば、動画中の赤い色の花にズームインしていき、画面全体がほぼ赤一色になったところで、別の赤一色の動画に切り替わり、ズームアウトしていくと、赤い自動車が現れるというような映像表現である。このような映像表現を利用して異なる動画を合成して、連続して再生する動画を作成する場合には、まず、近似した色の被写体を含む動画を２つ用意し、次に、上記の２つの動画中の近似した色を媒介として動画を編集してつなぎ合わせる、という一連の処理を手動で行う必要があり、上記のような処理には、高度な動画編集操作に習熟している必要である。このため、一般のユーザがデジタルカメラ等を用いて撮影した動画を趣味の範囲で編集して上記のような動画を作成するのは困難であった。   When a moving image is synthesized, a video expression that connects different scenes using colors in an image as a medium may be used. For example, when you zoom in on a red flower in the video and the entire screen is almost red, you switch to another red video and zoom out to see a red car appearing Is an expression. When synthesizing different videos using such video expressions and creating a video that is played back continuously, first prepare two videos that include subjects of similar colors, and then It is necessary to manually perform a series of processes to edit and connect the videos using the approximate colors in the two videos as mediators. For such processes, it is necessary to be familiar with advanced video editing operations. It is. For this reason, it has been difficult for a general user to create a moving image as described above by editing a moving image taken with a digital camera or the like within the scope of his / her hobby.

本発明はこのような事情に鑑みてなされたもので、異なる動画を連続して再生する動画を容易に作成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus, an image processing method, and an image processing program capable of easily creating a moving image that continuously reproduces different moving images. To do.

上記目的を達成するために請求項１に係る画像処理装置は、画像を取得する画像取得手段と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択手段と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得手段と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定手段と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成手段とを備えることを特徴とする。   In order to achieve the above object, an image processing apparatus according to a first aspect of the present invention provides an image acquisition means for acquiring an image, and an instruction input for selecting a first image and a second image to be combined from the acquired images. Based on the color feature information of at least one of the image selection means to accept, the color feature information acquisition means for acquiring the color feature information of the first image or the second image, and the first image or the second image. Medium color determining means for determining a medium color when the first image and the second image are combined, and the medium color or the medium color approximated in the first image and the second image A first medium color area and a second medium color area including the colors to be detected, respectively, and the first image and the second image through the first medium color area and the second medium color area, A transition process for connecting the first image and the first image It characterized in that it comprises a moving image generation means for generating a moving image by synthesizing the second image.

請求項１によれば、撮像した画像や記録媒体に記録された画像の中から合成する第１、第２の画像を選択するだけで、第１、第２の画像の色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。   According to the first aspect of the present invention, the first and second images to be synthesized are simply selected from the captured images and the images recorded on the recording medium, and based on the color feature information of the first and second images. The first and second images can be automatically synthesized.

請求項２に係る画像処理装置は、請求項１において、前記画像取得手段は、前記画像及び前記画像の色特徴情報を記録したメタデータを取得し、前記色特徴情報取得手段は、前記メタデータから前記画像の色特徴情報を取得することを特徴とする。   An image processing apparatus according to a second aspect is the image processing apparatus according to the first aspect, wherein the image acquisition unit acquires metadata in which the image and color feature information of the image are recorded, and the color feature information acquisition unit includes the metadata. The color characteristic information of the image is acquired from the above.

請求項２に係る画像処理装置によれば、例えば、ＭＰＥＧ−７形式等によって記述されたメタデータから画像の色特徴情報を取得することができる。   According to the image processing apparatus of the second aspect, the color characteristic information of the image can be acquired from, for example, metadata described in the MPEG-7 format or the like.

請求項３に係る画像処理装置は、請求項１又は２において、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定手段を更に備え、前記色特徴情報取得手段は、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得し、前記媒介色決定手段は、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、前記動画像生成手段は、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする。   An image processing apparatus according to a third aspect of the present invention is the image processing apparatus according to the first or second aspect, wherein at least one of the first image and the second image is a moving image, and the first image and the second image are mutually connected. Connection frame designating means for designating each of the first connection frame and the second connection frame connected to each other, and the color feature information obtaining means obtains the color feature information of the first connection frame and the second connection frame. The intermediate color determining means obtains the first image and the second image based on the color feature information of at least one of the first connection frame and the second connection frame. A medium color is determined, and the moving image generation means includes a first medium color area and a second medium color including a color similar to the medium color or the medium color in the first connection frame and the second connection frame; Vector color Are detected, and a transition process for connecting the first connection frame and the second connection frame is performed using the first medium color area and the second medium color area as a medium, A moving image is generated by combining the two images.

請求項３に係る画像処理装置によれば、第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、ユーザからの操作入力により第１、第２の画像からそれぞれ選択された第１、第２の接続フレームを、第１、第２の接続フレームの色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。   According to the image processing apparatus of the third aspect, when at least one of the first image and the second image is a moving image, the image is selected from the first and second images by an operation input from the user. The first and second connection frames can be automatically combined with the first and second images based on the color feature information of the first and second connection frames.

請求項４に係る画像処理装置は、請求項１又は２において、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定手段を更に備え、前記色特徴情報取得手段は、前記１の接続フレームの色特徴情報を取得し、前記媒介色決定手段は、前記第１の接続フレームの色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、前記動画像生成手段は、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択し、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする。   According to a fourth aspect of the present invention, there is provided an image processing apparatus according to the first or second aspect, wherein at least one of the first image and the second image is a moving image from among frames included in the first image. Connection color designating means for designating a first connection frame is further provided, wherein the color feature information obtaining means obtains color feature information of the first connection frame, and the intermediate color determining means is the first connection frame. Based on the color feature information of the first image and the second image, a mediating color is determined, and the moving image generation unit is configured to determine the color feature of each frame included in the second image. Selecting a second connection frame to be connected to the first connection frame based on the information, and including a color similar to the medium color or the medium color in the first connection frame and the second connection frame; 1 medium color region and Detecting a second medium color region, respectively, performing a transition process for connecting the first connection frame and the second connection frame through the first medium color region and the second medium color region, A moving image is generated by combining the first image and the second image.

請求項４に係る画像処理装置によれば、第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、ユーザからの操作入力により第１の画像から選択された第１の接続フレームの色特徴情報に基づいて、第２の画像から第２の接続フレームを選択することにより、第１、第２の画像を自動的に合成することができる。   According to the image processing device of the fourth aspect, when at least one of the first image and the second image is a moving image, the first connection selected from the first image by an operation input from the user By selecting the second connection frame from the second image based on the color characteristic information of the frame, the first and second images can be automatically synthesized.

請求項５に係る画像処理装置は、請求項１から４において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。   An image processing apparatus according to a fifth aspect of the present invention is the image processing apparatus according to the first to fourth aspects, wherein the transition process includes a first transition process for zooming in on the first intermediate color area, and a screen substantially covered by the first intermediate color area. A second transition process for switching to a zoomed-in image of the second medium color area at the stage of being dismissed, and a third transition process for switching the scene by zooming out from the second medium color area. .

請求項５に係る画像処理装置によれば、第１、第２の画像から中の媒介色を用いて、画像が切り替えを違和感なく行うことができる。   According to the image processing apparatus of the fifth aspect, the image can be switched without a sense of incongruity using the medium color in the first and second images.

請求項６に係る画像処理装置は、請求項５において、前記動画像生成手段は、前記第２のトランジション処理として、エッジワイプトランジションエフェクト、アイリスワイプトランジションエフェクト、クロックワイプトランジションエフェクト、マトリックスワイプトランジションエフェクト、フェードトランジションエフェクト、プッシュトランジションエフェクト又はスライドトランジションエフェクトのうち少なくとも１つのトランジション処理を施すことを特徴とする。   The image processing apparatus according to a sixth aspect is the image processing apparatus according to the fifth aspect, wherein the moving image generating means includes an edge wipe transition effect, an iris wipe transition effect, a clock wipe transition effect, a matrix wipe transition effect, as the second transition process. It is characterized by performing at least one transition process among a fade transition effect, a push transition effect, and a slide transition effect.

請求項６に係る画像処理装置に列挙したトランジション処理を用いることにより、場面の切り替え時において多様な表現方法を簡易な手段で選択することができる。   By using the transition processing enumerated in the image processing apparatus according to the sixth aspect, various expression methods can be selected by simple means at the time of scene switching.

請求項７に係る画像処理装置は、請求項１から６において、前記媒介色決定手段は、前記第１の画像又は第２の画像又は主要被写体領域において出現頻度が高い代表色、空間的集中度が高い色のうち少なくとも一方を媒介色とすることを特徴とする。   An image processing apparatus according to a seventh aspect of the present invention is the image processing apparatus according to the first to sixth aspects, wherein the intermediate color determining means is a representative color having a high appearance frequency in the first image, the second image, or the main subject region, and a spatial concentration degree It is characterized in that at least one of the colors having a high color is a medium color.

請求項８に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得工程と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。   An image processing method according to claim 8 is an image acquisition step of acquiring an image, an image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, Based on the color feature information acquisition step of acquiring color feature information of the first image or the second image, and the color feature information of at least one of the first image or the second image, the first image A medium color determining step for determining a medium color when combining the image and the second image, and a first color including a color similar to the medium color or the medium color in the first image and the second image A medium color area and a second medium color area are detected, respectively, and a transition process for connecting the first image and the second image is performed via the first medium color area and the second medium color area. , Combining the first image and the second image It characterized in that it comprises a moving image generation step of generating an image.

請求項９に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定工程と、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得工程と、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。   An image processing method according to claim 9 is an image acquisition step of acquiring an image, an image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, When at least one of the first image and the second image is a moving image, the first connection frame and the second connection frame that are mutually connected are designated from the first image and the second image, respectively. At least one color feature of a connection frame designation step, a color feature information acquisition step of acquiring color feature information of the first connection frame and the second connection frame, and the first connection frame or the second connection frame A medium color determining step for determining a medium color when combining the first image and the second image based on the information; and the medium color in the first connection frame and the second connection frame. Detecting a first medium color area and a second medium color area including a color similar to the medium color, respectively, and using the first medium color area and the second medium color area as a medium, A moving image generation step of performing a transition process for connecting the connection frame and the second connection frame, and generating a moving image by combining the first image and the second image. .

請求項１０に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定工程と、前記１の接続フレームの色特徴情報を取得する色特徴情報取得工程と、前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定工程と、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する工程と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。   An image processing method according to claim 10 includes an image acquisition step of acquiring an image, an image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, A connection frame designating step of designating a first connection frame from among frames included in the first image when at least one of the first image and the second image is a moving image; and the first connection A color feature information acquisition step of acquiring color feature information of a frame; a mediation color determination step of determining a mediation color when combining images based on the color feature information of the first connection frame; and the second image Selecting a second connection frame to be connected to the first connection frame based on color feature information of each frame included in the frame, and the intermediate color in the first connection frame and the second connection frame Detecting a first medium color area and a second medium color area including a color similar to the medium color, respectively, and using the first medium color area and the second medium color area as a medium, A moving image generation step of performing a transition process for connecting the connection frame and the second connection frame, and generating a moving image by combining the first image and the second image. .

請求項１１に係る画像処理方法は、請求項８から１０において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。   An image processing method according to an eleventh aspect is the image processing method according to the eighth to tenth aspects, wherein the transition process includes a first transition process for zooming in on the first intermediate color area, and a screen substantially covered by the first intermediate color area. A second transition process for switching to a zoomed-in image of the second medium color area at the stage of being dismissed, and a third transition process for switching the scene by zooming out from the second medium color area. .

請求項１２に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得機能と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。   An image processing program according to a twelfth aspect includes an image acquisition function for acquiring an image, an image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, Based on the color feature information acquisition function for acquiring the color feature information of the first image or the second image, and the color feature information of at least one of the first image or the second image, the first image A medium color determining function for determining a medium color when combining the image and the second image, and a first color including a color similar to the medium color or the medium color in the first image and the second image A medium color area and a second medium color area are detected, respectively, and a transition process for connecting the first image and the second image is performed via the first medium color area and the second medium color area. , The first image and the second image Form, characterized in that to achieve a moving image generation function of generating a moving image to the computer.

請求項１３に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定機能と、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得機能と、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。   An image processing program according to a thirteenth aspect includes an image acquisition function for acquiring an image, an image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, When at least one of the first image and the second image is a moving image, the first connection frame and the second connection frame that are mutually connected are designated from the first image and the second image, respectively. At least one color feature of a connection frame designation function, a color feature information acquisition function for acquiring color feature information of the first connection frame and the second connection frame, and the first connection frame or the second connection frame A medium color determining function for determining a medium color when the first image and the second image are combined based on the information, and a preceding color in the first connection frame and the second connection frame; A function of detecting a first medium color area and a second medium color area including a medium color or a color similar to the medium color, respectively, and the first medium color area and the second medium color area as a medium A transition processing for connecting the first connection frame and the second connection frame is performed, and a moving image generation function for generating a moving image by combining the first image and the second image is realized in a computer. It is characterized by that.

請求項１４に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定機能と、前記１の接続フレームの色特徴情報を取得する色特徴情報取得機能と、前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定機能と、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する機能と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。   An image processing program according to claim 14 includes an image acquisition function for acquiring an image, an image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images, A connection frame designating function for designating a first connection frame from among frames included in the first image when at least one of the first image and the second image is a moving image; and the first connection A color characteristic information acquisition function for acquiring color characteristic information of a frame; a medium color determination function for determining a medium color when combining images based on the color characteristic information of the first connection frame; and the second image. A function of selecting a second connection frame to be connected to the first connection frame based on color feature information of each frame included in the first connection frame and the second connection frame. A function of detecting a first medium color area and a second medium color area including a medium color or a color similar to the medium color, respectively, and the first medium color area and the second medium color area as a medium A transition processing for connecting the first connection frame and the second connection frame is performed, and a moving image generation function for generating a moving image by combining the first image and the second image is realized in a computer. It is characterized by that.

請求項１５に係る画像処理プログラムは、請求項１２から１４において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。   An image processing program according to a fifteenth aspect is the image processing program according to the twelfth to fourteenth aspects, wherein the transition process includes a first transition process for zooming in on the first medium color area, and a screen substantially covered by the first medium color area. A second transition process for switching to a zoomed-in image of the second medium color area at the stage of being dismissed, and a third transition process for switching the scene by zooming out from the second medium color area. .

本発明の請求項１２から１５に係る画像処理プログラムを、例えば、パーソナルコンピュータ（ＰＣ）や、ビデオ再生装置（ビデオデッキ、テレビ）、撮影装置（電子カメラ、デジタルカメラ）、携帯情報端末（ＰＤＡ）、携帯電話機、携帯フォトプレーヤー等の画像再生機能を有する装置に適用することにより、本発明に係る画像処理装置及び画像処理方法を実現することができる。   The image processing program according to the twelfth to fifteenth aspects of the present invention includes, for example, a personal computer (PC), a video playback device (video deck, television), a photographing device (electronic camera, digital camera), a personal digital assistant (PDA). The image processing apparatus and the image processing method according to the present invention can be realized by applying to an apparatus having an image reproduction function such as a mobile phone or a portable photo player.

本発明によれば、撮像した画像や記録媒体に記録された画像の中から合成する第１、第２の画像を選択するだけで、第１、第２の画像の色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。   According to the present invention, based on the color feature information of the first and second images, only by selecting the first and second images to be combined from the captured images and the images recorded on the recording medium. The first and second images can be automatically synthesized.

以下、添付図面に従って本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について説明する。   Preferred embodiments of an image processing apparatus, an image processing method, and an image processing program according to the present invention will be described below with reference to the accompanying drawings.

図１は、本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置１０は、映像・音声出力部１２、編集指示制御部１４、映像・音声信号記録部１６、映像・音声信号編集部１８、メタデータ読み込み部２０及び動画自動合成部２２を備える。   FIG. 1 is a block diagram showing the main configuration of an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, an image processing apparatus 10 according to the present embodiment includes a video / audio output unit 12, an editing instruction control unit 14, a video / audio signal recording unit 16, a video / audio signal editing unit 18, and a metadata reading unit. 20 and an automatic video composition unit 22.

映像・音声出力部１２は、動画を表示する表示部及び音声を出力するスピーカ等を備える。編集指示制御部１４は、画像処理装置１０のボタン類やリモコン等を含む操作用のユーザインターフェイス（ＵＩ）である。   The video / audio output unit 12 includes a display unit that displays a moving image, a speaker that outputs audio, and the like. The editing instruction control unit 14 is a user interface (UI) for operation including buttons and a remote controller of the image processing apparatus 10.

映像・音声信号記録部１６は、例えば、ハードディスクドライブ（ＨＤＤ）やＤＶＤ等の記録装置であり、動画データを記録する。本実施形態では、動画データは、例えば、ＭＰＥＧ−７形式で作成され、動画データのフレームに対応するフレーム画像データＦ１−１、Ｆ１−２…と、フレーム画像データＦ１−１、Ｆ１−２…ごとに生成されるメタデータＭ１−１、Ｍ１−２…を含んでいる（図２等参照）。メタデータＭ１−１、Ｍ１−２…は、それぞれフレーム画像データＦ１−１、Ｆ１−２…から抽出された画像中の色、形等の特徴量を格納する。ここで、メタデータＭ１−１、Ｍ１−２…に格納される色の特徴量は、例えば、代表色（Dominant Color、画像中において出現頻度が高い色とその出現頻度、空間的集中度を記述したもの）、色構成比（Scalable Color、画像全体の色構成、各色の構成割合をヒストグラム形式で記述したもの）、色構造（Color Structure、画像全体の色構成をヒストグラム形式で記述したもので、周辺画素の色情報を取り込んだもの）、色分布（Color Layout、色の空間的な配置を記述したもの）である。   The video / audio signal recording unit 16 is a recording device such as a hard disk drive (HDD) or a DVD, and records moving image data. In the present embodiment, the moving image data is created, for example, in the MPEG-7 format, and the frame image data F1-1, F1-2,... And the frame image data F1-1, F1-2,. Metadata M1-1, M1-2,... Generated every time (see FIG. 2 and the like). The metadata M1-1, M1-2,... Store feature amounts such as colors and shapes in the images extracted from the frame image data F1-1, F1-2,. Here, the feature amount of the color stored in the metadata M1-1, M1-2,... Describes, for example, a representative color (Dominant Color, a color having a high appearance frequency in an image, its appearance frequency, and a spatial concentration degree. ), Color composition ratio (Scalable Color, color composition of the entire image, composition ratio of each color described in histogram format), color structure (Color Structure, color composition of the entire image described in histogram format, Color information of surrounding pixels), and color distribution (color layout, describing the spatial arrangement of colors).

映像・音声信号編集部１８は、動画データの編集を行うブロックである。映像・音声信号編集部１８は、編集指示制御部１４からの操作入力に基づいて、映像・音声信号記録部１６に記録された動画データの中から動画データを選択し、合成等の編集処理を行う。   The video / audio signal editing unit 18 is a block for editing moving image data. The video / audio signal editing unit 18 selects video data from the video data recorded in the video / audio signal recording unit 16 based on the operation input from the editing instruction control unit 14 and performs editing processing such as synthesis. Do.

メタデータ読み込み部２０は、編集指示制御部１４からの操作入力に基づいて選択された動画データからメタデータを読み込み、読み込んだメタデータを解析する。動画自動合成部２２は、動画の自動合成機能を実行する。動画自動合成部２２によって合成された動画データは、映像・音声信号編集部２２によって所定のファイル形式に変換されて、映像・音声出力部１２に出力されるとともに、映像・音声信号記録部１６に記録される。   The metadata reading unit 20 reads metadata from moving image data selected based on an operation input from the editing instruction control unit 14 and analyzes the read metadata. The moving image automatic synthesizing unit 22 executes a moving image automatic synthesizing function. The moving image data synthesized by the moving image automatic synthesizing unit 22 is converted into a predetermined file format by the video / audio signal editing unit 22 and output to the video / audio output unit 12 and also to the video / audio signal recording unit 16. To be recorded.

図２は、動画データの合成処理を模式的に示すブロック図である。図２において、動画データ１は、フレーム画像データＦ１−１、Ｆ１−２…、及びメタデータＭ１−１、Ｍ１−２…を含んでいる。動画データ１は、フレーム画像データＦ１−１、Ｆ１−２…が順に再生表示されて動画像を構成する。同様に、動画データ２では、フレーム画像データＦ２−１、Ｆ２−２…が順に再生表示されて動画像を構成する。なお、図２では、動画データに含まれる音声データは省略されている。   FIG. 2 is a block diagram schematically showing the synthesis process of moving image data. In FIG. 2, the moving image data 1 includes frame image data F1-1, F1-2, and metadata M1-1, M1-2, and so on. In the moving image data 1, frame image data F1-1, F1-2,... Are sequentially reproduced and displayed to form a moving image. Similarly, in the moving image data 2, frame image data F2-1, F2-2,... Are reproduced and displayed in order to form a moving image. In FIG. 2, audio data included in the moving image data is omitted.

次に、動画データを合成する手順について説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データが選択される。合成する動画データを選択する際には、例えば、映像・音声信号記録部１６に記録された動画データが、フォルダツリーや、代表画像のプレビュー表示（例えば、先頭フレーム、末尾のフレーム等のサムネイル表示）等により、映像・音声出力部１２に表示され、表示された動画データの中から合成する動画データを選択するようなユーザインターフェイスを用いる。なお、以下の説明では、動画データ１の途中のフレームから動画データ２の所定のフレームに切り替わる（場面が切り替わる）動画データ３を生成するものとする。   Next, a procedure for synthesizing moving image data will be described. First, moving image data to be combined is selected by an operation input from the editing instruction control unit 14. When selecting moving image data to be combined, for example, moving image data recorded in the video / audio signal recording unit 16 is displayed as a folder tree or a preview display of a representative image (for example, thumbnail display such as the first frame and the last frame). ) And the like, and a user interface that selects moving image data to be synthesized from the displayed moving image data is used in the video / audio output unit 12. In the following description, it is assumed that moving image data 3 that switches from a frame in the middle of moving image data 1 to a predetermined frame of moving image data 2 (a scene changes) is generated.

次に、映像・音声出力部１２により動画データ１、２が再生表示され、編集指示制御部１４からの操作入力により、動画データ１、２中のフレーム画像データＦ１−１、Ｆ１−２…、及び、Ｆ２−１、Ｆ２−２…の中から動画データ１、２の接続ポイントとなる接続フレーム（それぞれＦ１−ｉ、Ｆ２−ｊ）が選択される。   Next, the moving image data 1 and 2 are reproduced and displayed by the video / audio output unit 12, and the frame image data F <b> 1-1, F <b> 1. And connection frames (F1-i and F2-j, respectively) that are connection points of the moving image data 1 and 2 are selected from F2-1, F2-2, and so on.

次に、メタデータ読み込み部２０は、選択された接続フレームＦ１−ｉ、Ｆ２−ｊのメタデータＭ１−ｉ、Ｍ２−ｊを読み込んで、接続フレームＦ１−ｉ、Ｆ２−ｊに含まれる色特徴の情報を取得する。そして、動画自動合成部２２は、接続フレームＦ１−ｉ、Ｆ２−ｊの色特徴情報に基づいて、動画データ１、２を合成する際に媒介とする媒介色を決定する。   Next, the metadata reading unit 20 reads the metadata M1-i and M2-j of the selected connection frames F1-i and F2-j, and the color features included in the connection frames F1-i and F2-j. Get information about. Then, the moving image automatic synthesizing unit 22 determines a medium color that is used as a medium when the moving image data 1 and 2 are synthesized based on the color feature information of the connection frames F1-i and F2-j.

次に、動画自動合成部２２は、メタデータＭ１−ｉの上記媒介色の色分布の情報を参照して、接続フレームＦ１−ｉにおける媒介色の位置を取得し、媒介色の位置に向かってズームインするトランジションフレームＦＴを生成する処理を行う。また、動画自動合成部２２は、フレーム画像データＦ２−ｊにおける媒介色の位置を取得し、媒介色の位置からフレーム画像データＦ２−ｊ全体にズームアウトするトランジションフレームＦＴを生成する処理を行う。そして、動画データ１のフレーム画像データＦ１−１、Ｆ１−２…、Ｆ１−ｉと、トランジションフレームＦＴ、動画データ２のフレーム画像データＦ２−ｊ…が合成されて、動画データ３が生成される。   Next, the moving image automatic synthesizing unit 22 refers to the information on the color distribution of the medium color in the metadata M1-i, acquires the position of the medium color in the connection frame F1-i, and moves toward the position of the medium color. A process for generating a transition frame FT to be zoomed in is performed. In addition, the moving image automatic synthesizing unit 22 obtains the position of the intermediate color in the frame image data F2-j, and performs a process of generating a transition frame FT that zooms out from the position of the intermediate color to the entire frame image data F2-j. The frame image data F1-1, F1-2,..., F1-i of the moving image data 1 and the frame image data F2-j of the moving image data 2 and the moving image data 2 are combined to generate the moving image data 3. .

また、動画自動合成部２２は、トランジションフレームＦＴに対応する音声データを生成する。トランジションフレームＦＴに対応する音声データは、例えば、接続フレームＦ１−ｉからズームインの最後のトランジションフレームに向けて、動画データ１の音声をフェードアウトするとともに、ズームアウトの最初のトランジションフレームから接続フレームＦ２−ｊに向けて動画データ２の音声をフェードインすることにより生成される。   In addition, the moving image automatic synthesizing unit 22 generates audio data corresponding to the transition frame FT. For example, the audio data corresponding to the transition frame FT fades out the audio of the moving image data 1 from the connection frame F1-i toward the last transition frame of zoom-in, and from the first transition frame of zoom-out to the connection frame F2- It is generated by fading in the sound of the moving image data 2 toward j.

図３は、合成により生成された動画データ３を模式的に示すブロック図である。図３に示すように、動画データ３は、動画データ１のフレーム画像データＦ１−１、Ｆ１−２…、接続フレームＦ１−ｉが再生された後に、トランジションフレームＦＴ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが再生されて動画像を構成する。なお、図３には、トランジションフレームＦＴ及びトランジションフレームＦＴに対応するメタデータＭＴは１つずつに簡略化されているが、実際にはズームイン、ズームアウトのフレーム数に応じて複数生成される。   FIG. 3 is a block diagram schematically showing the moving image data 3 generated by the synthesis. As illustrated in FIG. 3, the moving image data 3 includes the transition frame FT and the connection frame F2 of the moving image data 2 after the frame image data F1-1, F1-2,... Frame image data after -j is reproduced to form a moving image. In FIG. 3, the transition frame FT and the metadata MT corresponding to the transition frame FT are simplified one by one, but actually, a plurality of metadata MT are generated according to the number of zoom-in and zoom-out frames.

ここで、媒介色を決定する手順について説明する。媒介色を決定する手順の例としては、以下の３つが考えられる。   Here, a procedure for determining the medium color will be described. The following three examples of the procedure for determining the medium color are conceivable.

（１）接続フレームＦ１−ｉ又はＦ２−ｊにおいて、最も出現頻度が高い代表色を媒介色とする。例えば、接続フレームＦ１−ｉ又はその前後を含むフレーム群において占める面積の割合が最大又は所定値以上の領域の色を媒介色とする。これにより、フレーム内において、面積が小さい領域を介して場面が接続されることにより、場面の接続が不自然になるのを防止することができる。   (1) In the connection frame F1-i or F2-j, the representative color having the highest appearance frequency is set as a medium color. For example, the color of the region in which the ratio of the area occupied in the connection frame F1-i or the frame group including the front and back thereof is the maximum or a predetermined value or more is set as the intermediate color. Thereby, it is possible to prevent the scenes from being unnaturally connected by connecting the scenes through a region having a small area in the frame.

（２）接続フレームＦ１−ｉ又はＦ２−ｊにおいて、出現頻度及び色の空間的集中度に基づいて算出されるスコアが高い色を媒介色とする。例えば、接続フレームＦ１−ｉ又はその前後を含むフレーム群において占める面積の割合が最大又は所定値以上であって、接続フレームＦ１−ｉ内において１つにまとまった領域の色を媒介色とする。例えば、背景の規則的な模様等がフレーム内の大面積を占める場合に、この模様の一部を介して場面が接続されることにより、場面の接続が不自然になるのを防止することができる。   (2) In the connection frame F1-i or F2-j, a color having a high score calculated based on the appearance frequency and the spatial concentration degree of the color is set as the intermediate color. For example, the ratio of the area occupied in the connection frame F1-i or a frame group including the front and back of the connection frame F1-i is the maximum or a predetermined value or more, and the color of a single area in the connection frame F1-i is used as a medium color. For example, when a regular pattern of the background occupies a large area in the frame, the scene is connected through a part of this pattern, thereby preventing unnatural connection of the scene. it can.

（３）接続フレームＦ１−ｉ又はＦ２−ｊから主要被写体を検出し、検出した主要被写体が含まれる領域の色特徴に基づいて媒介色を決定する。ここで、主要被写体を検出する方法としては、例えば、画像中において検出された人物の顔領域や、接続フレームＦ１−ｉの前後のフレームにおける変位量に基づいて主要被写体を検出する方法がある。この場合、画像内において顔領域が最も大きい人物、又は、動きが少ない（カメラが追尾している）被写体を主要被写体として検出する。また、媒介色を決定する方法としては、例えば、主要被写体領域の色情報（Ｒ，Ｇ，Ｂ等）から色相、彩度、明度等を取得して、色相値を用いてヒストグラム化し、この色相値の代表値（極値）に対応する色を媒介色とする方法がある。また、画像を複数の（例えば、８×８）の分割領域に分割し、分割領域ごとに画素データの平均値を算出し、この平均値にＤＣＴ変換を行ってＤＣＴ係数値を算出して、上記ＤＣＴ係数値、又はその一部により記述される色を媒介色とする方法を用いることもできる。これにより、動画データ１、２を主要被写体を介して接続できる。   (3) The main subject is detected from the connection frame F1-i or F2-j, and the intermediate color is determined based on the color characteristics of the area including the detected main subject. Here, as a method of detecting the main subject, for example, there is a method of detecting the main subject based on the face area of the person detected in the image or the displacement amount in the frames before and after the connection frame F1-i. In this case, the person with the largest face area in the image or the subject with little movement (tracked by the camera) is detected as the main subject. Further, as a method for determining the medium color, for example, the hue, saturation, brightness, and the like are obtained from the color information (R, G, B, etc.) of the main subject region, and a histogram is formed using the hue value. There is a method in which a color corresponding to a representative value (extreme value) of values is used as a medium color. Further, the image is divided into a plurality of (for example, 8 × 8) divided regions, an average value of the pixel data is calculated for each divided region, a DCT coefficient value is calculated by performing DCT conversion on the average value, A method using the color described by the DCT coefficient value or a part of the DCT coefficient value as a medium color can also be used. Thereby, the moving image data 1 and 2 can be connected via the main subject.

図４は、動画データ３の再生表示の例を模式的に示す図である。図４に示す例では、接続フレームＦ１−ｉ中の花の赤（ｒｅｄ１）が媒介色として選択され、赤い花に向かってズームインしていき（フレームＦＴ−ａ）、フレームの略全体を花の赤が占めると（フレームＦＴ−ｂ）、自動車の赤（ｒｅｄ２）に切り替わる（フレームＦＴ−ｃ）。そして、ズームアウトして（フレームＦＴ−ｄ）、動画データ２の接続フレームＦ２−ｊの赤い自動車の場面に切り替わる。なお、図４に示す例では、トランジションフレームＦＴが４枚に省略されている。   FIG. 4 is a diagram schematically illustrating an example of reproduction display of the moving image data 3. In the example shown in FIG. 4, the red color (red1) of the flower in the connection frame F1-i is selected as a medium color, and zooms in toward the red flower (frame FT-a). When red occupies (frame FT-b), the vehicle switches to red (red2) (frame FT-c). Then, it zooms out (frame FT-d) and switches to the red car scene in the connection frame F2-j of the moving image data 2. In the example shown in FIG. 4, four transition frames FT are omitted.

次に、本実施形態に係る動画データの合成処理の流れについて、図５のフローチャートを参照して説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データ１、２が選択される（ステップＳ１０）。なお、以下の説明では、動画データ１の接続フレームＦ１−ｉから動画データ２の接続フレームＦ２−ｊに切り替わる動画データ３を生成するものとする。   Next, the flow of moving image data composition processing according to the present embodiment will be described with reference to the flowchart of FIG. First, the moving image data 1 and 2 to be combined are selected by an operation input from the editing instruction control unit 14 (step S10). In the following description, it is assumed that moving image data 3 that switches from a connection frame F1-i of moving image data 1 to a connection frame F2-j of moving image data 2 is generated.

次に、動画データ１、２のフレーム画像データの中から接続フレームＦ１−ｉ及びＦ２−ｊが指定され（ステップＳ１２）、メタデータ読み込み部２０によって接続フレームＦ１−ｉ及びＦ２−ｊのメタデータＭ１−ｉ及びＭ２−ｊが読み込まれる（ステップＳ１４）。そして、接続フレームＦ１−ｉのメタデータＭ１−ｉに記録された色特徴から、動画データ１、２を合成する際の媒介色が決定される（ステップＳ１６）。   Next, the connection frames F1-i and F2-j are specified from the frame image data of the moving image data 1 and 2 (step S12), and the metadata reading unit 20 sets the metadata of the connection frames F1-i and F2-j. M1-i and M2-j are read (step S14). Then, based on the color feature recorded in the metadata M1-i of the connection frame F1-i, a medium color for combining the moving image data 1 and 2 is determined (step S16).

次に、接続フレームＦ１−ｉからＦ２−ｊに接続するトランジションフレームＦＴが生成される（ステップＳ１８）。本実施形態では、接続フレームＦ１−ｉ中の上記媒介色の領域にズームインするトランジションフレームＦＴ−ａ〜ＦＴ−ｂが生成されるとともに、接続フレームＦ２−ｊ中の上記媒介色又は媒介色に近似する色の領域からズームアウトするトランジションフレームＦＴ−ｃ〜ＦＴ−ｄが生成される。また、ステップＳ１８では、トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データが生成される。トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データは、例えば、接続フレームＦ１−ｉからズームインの最後のトランジションフレームＦＴ−ｂに向けて、動画データ１の音声をフェードアウトするとともに、ズームアウトの最初のトランジションフレームＦＴ−ｃから接続フレームＦ２−ｊに向けて動画データ２の音声をフェードインすることにより生成される。なお、ステップＳ１８では、トランジションフレームＦＴ−ａ〜ＦＴ−ｄのフレーム数や、音声のフェードイン／フェードアウト時におけるボリューム、音声、効果音等については、ユーザが編集指示制御部１４から操作入力を行うことにより適宜選択することができる。   Next, a transition frame FT connected to the connection frames F1-i to F2-j is generated (step S18). In the present embodiment, transition frames FT-a to FT-b that zoom in on the region of the medium color in the connection frame F1-i are generated and approximate to the medium color or the medium color in the connection frame F2-j. Transition frames FT-c to FT-d to be zoomed out from the color area to be generated are generated. In step S18, audio data corresponding to the transition frames FT-a to FT-d is generated. For example, the audio data corresponding to the transition frames FT-a to FT-d fades out the audio of the moving image data 1 from the connection frame F1-i toward the last transition frame FT-b of zoom-in and It is generated by fading in the sound of the moving image data 2 from the first transition frame FT-c toward the connection frame F2-j. In step S18, the user inputs an operation input from the editing instruction control unit 14 regarding the number of frames of the transition frames FT-a to FT-d and the volume, sound, sound effect, etc. at the time of sound fade-in / fade-out. Can be selected as appropriate.

そして、動画データ１の接続フレームＦ１−ｉまでのフレーム画像データＦ１−１〜Ｆ１−ｉ、上記トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが合成されて動画データ３が生成される（ステップＳ２０）。なお、ステップＳ１８からＳ２０の処理は、動画データ１、２等が直接編集されないように、例えば、画像処理装置１０のテンポラリ領域にバッファリングすることにより実行される。   Then, the frame image data F1-1 to F1-i up to the connection frame F1-i of the moving image data 1, the transition frames FT-a to FT-d, and the frame image data after the connection frame F2-j of the moving image data 2 are included. The synthesized video data 3 is generated (step S20). Note that the processing of steps S18 to S20 is executed by buffering, for example, in the temporary area of the image processing apparatus 10 so that the moving image data 1, 2, etc. are not directly edited.

次に、ステップＳ２０において生成された動画データ３が映像・音声出力部１２にプレビュー再生される（ステップＳ２２）。ステップＳ２２では、動画データ１から動画データ２に場面が切り替わる部分、例えば、接続フレームＦ１−ｉ又はその直前の数フレームから、トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、接続フレームＦ２−ｊ又はその直後の数フレームに至る部分のみがプレビュー再生されるようにすればよい。なお、動画データ３は、例えば、動画データの一覧表示（サムネイル表示）の中でプレビュー再生されるようにしてもよい。そして、ステップＳ２２のプレビュー再生の結果がＯＫの場合、すなわち、編集指示制御部１４から動画データ３を保存する指令の入力を受け付けた場合には（ステップＳ２４のＹｅｓ）、動画データ３が映像・音声信号記録部１６に保存される（ステップＳ２６）。一方、ステップＳ２２のプレビュー再生の結果をユーザが気に入らない場合、すなわち、動画データ３を保存せず、合成処理をやり直す指示の入力を編集指示制御部１４から受け付けた場合には（ステップＳ２４のＮｏ）、ステップＳ１２の処理に戻る。   Next, the moving image data 3 generated in step S20 is preview-played on the video / audio output unit 12 (step S22). In step S22, from the portion where the scene is switched from the moving image data 1 to the moving image data 2, for example, from the connection frame F1-i or several frames immediately before it, the transition frames FT-a to FT-d, the connection frame F2-j or immediately thereafter Only the portion up to several frames may be preview-played. The moving image data 3 may be previewed and reproduced in a moving image data list display (thumbnail display), for example. If the preview reproduction result in step S22 is OK, that is, if an input of a command to save the moving image data 3 is received from the editing instruction control unit 14 (Yes in step S24), the moving image data 3 is displayed as video / video. It is stored in the audio signal recording unit 16 (step S26). On the other hand, when the user does not like the result of preview reproduction in step S22, that is, when the input of an instruction to redo the synthesis process is received from the editing instruction control unit 14 without saving the moving image data 3 (No in step S24). ), The process returns to step S12.

本実施形態によれば、接続フレームに含まれる所定の媒介色を媒介とすることで、ユーザが動画編集操作に習熟していなくても、異なる動画データを容易に合成することができる。   According to the present embodiment, by using a predetermined medium color included in the connection frame as a medium, different moving image data can be easily combined even if the user is not familiar with the moving image editing operation.

次に、動画データの合成処理の流れの別の実施形態について、図６のフローチャートを参照して説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データ１、２が選択される（ステップＳ３０）。次に、動画データ１のフレーム画像データの中から接続フレームが指定され（ステップＳ３２）、メタデータ読み込み部２０によって接続フレームＦ１−ｉのメタデータＭ１−ｉが読み込まれる（ステップＳ３４）。   Next, another embodiment of the flow of moving image data composition processing will be described with reference to the flowchart of FIG. First, the moving image data 1 and 2 to be combined are selected by an operation input from the editing instruction control unit 14 (step S30). Next, a connection frame is specified from the frame image data of the moving image data 1 (step S32), and the metadata M1-i of the connection frame F1-i is read by the metadata reading unit 20 (step S34).

次に、接続フレームＦ１−ｉのメタデータＭ１−ｉに記録された色特徴から、動画データ１、２を合成する際の媒介色が決定され（ステップＳ３６）、動画データ２から媒介色又は媒介色に近似した色を含むフレーム（以下の説明では、接続フレームＦ２−ｊとする）が検出される（ステップＳ３８）。   Next, from the color characteristics recorded in the metadata M1-i of the connection frame F1-i, a medium color when combining the moving image data 1 and 2 is determined (step S36). A frame (referred to as a connection frame F2-j in the following description) including a color approximate to the color is detected (step S38).

次に、接続フレームＦ１−ｉ中の上記媒介色の領域にズームインするトランジションフレームＦＴ−ａ〜ＦＴ−ｂが生成されるとともに、接続フレームＦ２−ｊ中の上記媒介色又は媒介色に近似する色の領域からズームアウトするトランジションフレームＦＴ−ｃ〜ＦＴ−ｄが生成される（ステップＳ４０）。また、ステップＳ４０では、上記図５のステップＳ１８と同様にして、トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データが生成される。   Next, transition frames FT-a to FT-b that zoom in on the region of the intermediate color in the connection frame F1-i are generated, and the color that approximates the intermediate color or the intermediate color in the connection frame F2-j. Transition frames FT-c to FT-d to be zoomed out from the region are generated (step S40). In step S40, audio data corresponding to the transition frames FT-a to FT-d is generated in the same manner as in step S18 of FIG.

そして、動画データ１の接続フレームまでのフレーム画像データＦ１−１〜Ｆ１−ｉ、上記トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが合成されて動画データ３が生成される（ステップＳ４２）。なお、ステップＳ４０からＳ４２の処理は、動画データ１、２等が直接編集されないように、例えば、画像処理装置１０のテンポラリ領域にバッファリングすることにより実行される。   Then, the frame image data F1-1 to F1-i up to the connection frame of the moving image data 1, the transition frames FT-a to FT-d, and the frame image data after the connection frame F2-j of the moving image data 2 are combined. Movie data 3 is generated (step S42). Note that the processing of steps S40 to S42 is executed by buffering, for example, in the temporary area of the image processing apparatus 10 so that the moving image data 1, 2, etc. are not directly edited.

次に、ステップＳ２０において生成された動画データ３が映像・音声出力部１２にプレビュー再生される（ステップＳ４４）。なお、ステップＳ４４では、上記図５のステップＳ２２と同様に、動画データ１から動画データ２に場面が切り替わる部分のみがプレビュー再生されるようにすればよい。そして、ステップＳ４４のプレビュー再生の結果がＯＫの場合、すなわち、編集指示制御部１４から動画データ３を保存する指令の入力を受け付けた場合には（ステップＳ４６のＹｅｓ）、動画データ３が映像・音声信号記録部１６に保存される（ステップＳ４８）。一方、ステップＳ４４のプレビュー再生の結果をユーザが気に入らない場合、すなわち、動画データ３を保存せず、合成処理をやり直す指示の入力を編集指示制御部１４から受け付けた場合には（ステップＳ４６のＮｏ）、ステップＳ３２の処理に戻る。   Next, the moving image data 3 generated in step S20 is preview-played on the video / audio output unit 12 (step S44). In step S44, just as in step S22 of FIG. 5 described above, only the portion where the scene is switched from the moving image data 1 to the moving image data 2 may be preview-played. If the preview reproduction result in step S44 is OK, that is, if an input of a command to save the moving image data 3 is received from the editing instruction control unit 14 (Yes in step S46), the moving image data 3 is a video / It is stored in the audio signal recording unit 16 (step S48). On the other hand, if the user does not like the result of preview playback in step S44, that is, if the input of an instruction to redo the composition process is received from the editing instruction control unit 14 without saving the moving image data 3, the result is No in step S46. ), The process returns to step S32.

図６に示す実施形態によれば、合成する動画データを選択して、動画データ１において接続フレームを指定するだけで、色を媒介とした動画データの接続を自動的に行うことができる。   According to the embodiment shown in FIG. 6, it is possible to automatically connect moving image data using color as a medium only by selecting moving image data to be combined and specifying a connection frame in the moving image data 1.

なお、本実施形態では、再生順が先の動画データ１のフレームの中から場面の転換点となる接続フレームを指定するようにしたが、再生順が後の動画データ２の中から接続フレームを指定して当該接続フレームに含まれる色の中から媒介色を決定し、動画データ１のフレーム中から上記媒介色又は媒介色に近似した色を含むフレームを接続フレームとして選択するようにしてもよい。   In the present embodiment, the connection frame that is the turning point of the scene is specified from the frames of the moving image data 1 whose playback order is earlier, but the connection frames are specified from the movie data 2 of which playback order is later. The intermediate color may be determined from the colors included in the connection frame, and a frame including the intermediate color or a color approximate to the intermediate color may be selected from the frames of the moving image data 1 as the connection frame. .

なお、上記の各実施形態では、動画データを合成するようにしたが、例えば、複数の静止画像を連続して再生表示する場合にも、同様のトランジションを行うことにより、動的な画像再生や、スライドショーを行うことができる。また、上記の各実施形態では、２つの動画データを合成する場合について説明したが、３以上の動画データについても同様の処理により合成することが可能である。   In each of the above embodiments, the moving image data is synthesized. However, for example, even when a plurality of still images are continuously reproduced and displayed, dynamic image reproduction or Can do a slide show. In each of the above-described embodiments, the case where two moving image data are combined has been described. However, three or more moving image data can be combined by the same process.

また、上記の各実施形態では、接続フレームＦ１−ｉ中の媒介色にズームインして、接続フレームＦ２−ｊの媒介色に近似した色に切り替えるトランジション処理を用いたが、例えば、ある一色のフレームから、所定のトランジション処理を経て、別の色一色のフレームに切り替えるトランジション処理を用いてもよい。   In each of the above embodiments, the transition process is performed in which the medium color in the connection frame F1-i is zoomed in and switched to a color approximate to the medium color of the connection frame F2-j. Then, a transition process for switching to a frame of another color through a predetermined transition process may be used.

図７は、トランジション処理の例を模式的に示す図である。図７（ａ）に示すエッジワイプトランジションエフェクトは、フレームＦ１−ｉの端部や頂点から直線状、四角形又は多角形状のエッジＥ１が１又は複数移動することによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｂ）に示すアイリスワイプトランジションエフェクトは、フレームＦ１−ｉ内の１点（例えば、中央や所定の被写体を含む領域）から多角形や円形、楔形状、ハート形、キーホール形状等の形状でフレームＦ２−ｊが拡がっていくことによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｃ）に示すクロックワイプトランジションエフェクトは、１又は複数のエッジＥ３がフレームＦ１−ｉ内を円周方向に掃くことによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｄ）に示すマトリックスワイプトランジションエフェクトは、例えば、ジグザグ状又はスパイラル等のパターンにしたがって、フレームＦ１−ｉ上にフレームＦ２−ｊがタイル状に現れるトランジション処理である。また、上記のほかのトランジション処理としては、表示されているフレームの上に別のフレームがフェードインするフェードトランジションエフェクトや、表示されているフレームを別のフレームが押し出すプッシュトランジションエフェクト、表示されているフレームの上に別のフレームがスライドするスライドトランジションエフェクトがある。上記の各実施形態では、媒介色にズームインしてこれらのトランジション処理を実行することにより、別の動画データのフレームに移行させることにより、例えば、媒介色と媒介色に近似した色の間だけでなく、例えば、補色同士や、明色と暗色、暖色と寒色等の関係になるような色の組み合わせを媒介とした場面の切り替えが可能になる。   FIG. 7 is a diagram schematically illustrating an example of transition processing. The edge wipe transition effect shown in FIG. 7A is a transition process that switches to the frame F2-j by moving one or a plurality of straight, square, or polygonal edges E1 from the end or vertex of the frame F1-i. is there. The iris wipe transition effect shown in FIG. 7B is a polygon, circle, wedge shape, heart shape, keyhole shape, etc. from one point in the frame F1-i (for example, the center or a region including a predetermined subject). This is a transition process that switches to the frame F2-j when the frame F2-j expands in shape. The clock wipe transition effect shown in FIG. 7C is a transition process in which one or more edges E3 are switched to the frame F2-j by sweeping the frame F1-i in the circumferential direction. The matrix wipe transition effect illustrated in FIG. 7D is a transition process in which the frame F2-j appears in a tile shape on the frame F1-i, for example, according to a zigzag pattern or a spiral pattern. In addition, as other transition processes described above, a fade transition effect in which another frame fades in on the displayed frame, or a push transition effect in which another frame pushes the displayed frame is displayed. There is a slide transition effect where another frame slides on top of the frame. In each of the embodiments described above, by zooming in on the intermediate color and executing these transition processes, for example, by shifting to another frame of moving image data, for example, only between the intermediate color and a color approximate to the intermediate color. For example, it is possible to switch scenes using a combination of colors such as complementary colors, light colors and dark colors, warm colors and cold colors, or the like.

なお、上記の実施形態では、画像の色特徴情報をメタデータから取得するようにしたが、例えば、編集指示制御部１４からの操作入力によって選択された画像を解析して、色特徴情報を取得するようにしてもよい。   In the above embodiment, the color feature information of the image is acquired from the metadata. However, for example, the color feature information is acquired by analyzing the image selected by the operation input from the editing instruction control unit 14. You may make it do.

なお、上記図５及び図６の実施形態に示す処理を行う画像処理プログラムを、例えば、パーソナルコンピュータ（ＰＣ）や、ビデオ再生装置（ビデオデッキ、テレビ）、撮影装置（電子カメラ、デジタルカメラ）、携帯情報端末（ＰＤＡ）、携帯電話機、携帯フォトプレーヤー等の画像再生機能を有する装置に適用することにより、上記の各実施形態に係る画像処理装置及び画像処理方法を実現することができる。   The image processing program for performing the processing shown in the embodiment of FIGS. 5 and 6 is, for example, a personal computer (PC), a video playback device (video deck, television), a photographing device (electronic camera, digital camera), By applying to an apparatus having an image reproduction function such as a personal digital assistant (PDA), a mobile phone, and a portable photo player, the image processing apparatus and the image processing method according to each of the above embodiments can be realized.

本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図1 is a block diagram showing the main configuration of an image processing apparatus according to an embodiment of the present invention. 動画データの合成処理を模式的に示すブロック図Block diagram schematically showing video data composition processing 合成により生成された動画データ３を模式的に示すブロック図Block diagram schematically showing moving image data 3 generated by synthesis 合成により生成された動画データ３の再生表示の例を模式的に示す図The figure which shows typically the example of the reproduction | regeneration display of the video data 3 produced | generated by the synthesis | combination 動画データの合成処理の流れを示すフローチャートFlow chart showing the flow of video data composition processing 動画データの合成処理の流れの別の実施形態を示すフローチャートThe flowchart which shows another embodiment of the flow of a synthetic | combination process of moving image data トランジション処理の例を模式的に示す図Diagram showing an example of transition processing

符号の説明Explanation of symbols

１０…画像処理装置、１２…映像・音声出力部、１４…編集指示制御部、１６…映像・音声信号記録部、１８…映像・音声信号編集部、２０…メタデータ読み込み部、２２…動画自動合成部   DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 12 ... Video / audio output unit, 14 ... Editing instruction control unit, 16 ... Video / audio signal recording unit, 18 ... Video / audio signal editing unit, 20 ... Metadata reading unit, 22 ... Automatic video Compositing part

Claims (15)

画像を取得する画像取得手段と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択手段と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得手段と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定手段と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成手段と、
を備えることを特徴とする画像処理装置。 Image acquisition means for acquiring images;
Image selecting means for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
Color feature information acquisition means for acquiring color feature information of the first image or the second image;
A medium color determining means for determining a medium color when combining the first image and the second image based on color characteristic information of at least one of the first image and the second image;
Detecting the first intermediate color region and the second intermediate color region including the intermediate color or a color similar to the intermediate color in the first image and the second image, respectively, and the first intermediate color region; And a moving image that generates a moving image by performing a transition process for connecting the first image and the second image using the second medium color region as a medium, and synthesizing the first image and the second image. Image generating means;
An image processing apparatus comprising: 前記画像取得手段は、前記画像及び前記画像の色特徴情報を記録したメタデータを取得し、
前記色特徴情報取得手段は、前記メタデータから前記画像の色特徴情報を取得することを特徴とする請求項１記載の画像処理装置。 The image acquisition means acquires metadata that records the image and color feature information of the image,
The image processing apparatus according to claim 1, wherein the color feature information acquisition unit acquires color feature information of the image from the metadata. 前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定手段を更に備え、
前記色特徴情報取得手段は、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得し、
前記媒介色決定手段は、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、
前記動画像生成手段は、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする請求項１又は２記載の画像処理装置。 When at least one of the first image and the second image is a moving image, a first connection frame and a second connection frame to be connected to each other are designated from the first image and the second image, respectively. A connection frame specifying means for
The color feature information acquisition means acquires the color feature information of the first connection frame and the second connection frame,
The medium color determining unit is configured to determine a medium color when the first image and the second image are combined based on color characteristic information of at least one of the first connection frame and the second connection frame. Decide
The moving image generation means detects a first medium color area and a second medium color area including the medium color or a color similar to the medium color in the first connection frame and the second connection frame, respectively. And applying a transition process for connecting the first connection frame and the second connection frame through the first medium color area and the second medium color area as a medium, and the first image and the second image. The image processing apparatus according to claim 1, wherein a moving image is generated by combining 前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定手段を更に備え、
前記色特徴情報取得手段は、前記１の接続フレームの色特徴情報を取得し、
前記媒介色決定手段は、前記第１の接続フレームの色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、
前記動画像生成手段は、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択し、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする請求項１又は２記載の画像処理装置。 When at least one of the first image and the second image is a moving image, further comprising connection frame designating means for designating a first connection frame from frames included in the first image,
The color feature information acquisition means acquires the color feature information of the one connection frame,
The medium color determining means determines a medium color when combining the first image and the second image based on color characteristic information of the first connection frame,
The moving image generation means selects a second connection frame to be connected to the first connection frame based on color feature information of each frame included in the second image, and the first connection frame and the first connection frame Detecting a first medium color area and a second medium color area including the medium color or a color similar to the medium color in two connection frames, respectively, and detecting the first medium color area and the second medium color A transition process for connecting the first connection frame and the second connection frame through an area is performed, and a moving image is generated by synthesizing the first image and the second image. The image processing apparatus according to claim 1 or 2. 前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項１から４のいずれか１項記載の画像処理装置。   The transition process includes a first transition process that zooms in on the first medium color area, and a second that switches to a zoom-in image of the second medium color area when the screen is substantially covered with the first medium color area. 5. The image processing apparatus according to claim 1, further comprising: a third transition process that switches a scene by zooming out from the second medium color area and a transition process of the second medium color region. 前記動画像生成手段は、前記第２のトランジション処理として、エッジワイプトランジションエフェクト、アイリスワイプトランジションエフェクト、クロックワイプトランジションエフェクト、マトリックスワイプトランジションエフェクト、フェードトランジションエフェクト、プッシュトランジションエフェクト又はスライドトランジションエフェクトのうち少なくとも１つのトランジション処理を施すことを特徴とする請求項５記載の画像処理装置。   The moving image generation means includes at least one of an edge wipe transition effect, an iris wipe transition effect, a clock wipe transition effect, a matrix wipe transition effect, a fade transition effect, a push transition effect, and a slide transition effect as the second transition process. 6. The image processing apparatus according to claim 5, wherein one transition process is performed. 前記媒介色決定手段は、前記第１の画像又は第２の画像又は主要被写体領域において出現頻度が高い代表色、空間的集中度が高い色のうち少なくとも一方を媒介色とすることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。   The medium color determining means is characterized in that at least one of a representative color having a high appearance frequency and a color having a high degree of spatial concentration is used as a medium color in the first image, the second image, or the main subject region. The image processing apparatus according to claim 1. 画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得工程と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。 An image acquisition process for acquiring images;
An image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
A color feature information acquisition step of acquiring color feature information of the first image or the second image;
A medium color determining step for determining a medium color when combining the first image and the second image based on color feature information of at least one of the first image and the second image;
Detecting the first intermediate color region and the second intermediate color region including the intermediate color or a color similar to the intermediate color in the first image and the second image, respectively, and the first intermediate color region; And a moving image that generates a moving image by performing a transition process for connecting the first image and the second image using the second medium color region as a medium, and synthesizing the first image and the second image. An image generation process;
An image processing method comprising: 画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定工程と、
前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得工程と、
前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。 An image acquisition process for acquiring images;
An image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
When at least one of the first image and the second image is a moving image, a first connection frame and a second connection frame to be connected to each other are designated from the first image and the second image, respectively. A connection frame designation step to perform,
A color feature information acquisition step of acquiring color feature information of the first connection frame and the second connection frame;
A medium color determining step for determining a medium color when combining the first image and the second image based on color characteristic information of at least one of the first connection frame and the second connection frame; ,
Detecting a first medium color area and a second medium color area including the medium color or a color similar to the medium color in the first connection frame and the second connection frame, respectively.
A transition process for connecting the first connection frame and the second connection frame through the first medium color area and the second medium color area is performed, and the first image and the second image are obtained. A moving image generating step of generating a moving image by combining;
An image processing method comprising: 画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定工程と、
前記１の接続フレームの色特徴情報を取得する色特徴情報取得工程と、
前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定工程と、
前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する工程と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。 An image acquisition process for acquiring images;
An image selection step of receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
A connection frame designating step of designating a first connection frame from among frames included in the first image when at least one of the first image and the second image is a moving image;
A color feature information acquisition step of acquiring color feature information of the one connection frame;
A medium color determining step for determining a medium color when compositing an image based on the color feature information of the first connection frame;
Selecting a second connection frame to be connected to the first connection frame based on color feature information of each frame included in the second image;
Detecting a first medium color area and a second medium color area including the medium color or a color similar to the medium color in the first connection frame and the second connection frame, respectively.
A transition process for connecting the first connection frame and the second connection frame through the first medium color area and the second medium color area is performed, and the first image and the second image are obtained. A moving image generating step of generating a moving image by combining;
An image processing method comprising: 前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項８から１０のいずれか１項記載の画像処理方法。   The transition process includes a first transition process that zooms in on the first medium color area, and a second that switches to a zoom-in image of the second medium color area when the screen is substantially covered with the first medium color area. 11. The image processing method according to claim 8, further comprising: a transition process of the first step and a third transition process of switching a scene by zooming out from the second medium color area. 画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得機能と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。 An image acquisition function for acquiring images;
An image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
A color feature information acquisition function for acquiring color feature information of the first image or the second image;
A medium color determining function for determining a medium color when combining the first image and the second image based on color feature information of at least one of the first image and the second image;
Detecting the first intermediate color region and the second intermediate color region including the intermediate color or a color similar to the intermediate color in the first image and the second image, respectively, and the first intermediate color region; And a moving image that generates a moving image by performing a transition process for connecting the first image and the second image using the second medium color region as a medium, and synthesizing the first image and the second image. Image generation function,
An image processing program for causing a computer to realize the above. 画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定機能と、
前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得機能と、
前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。 An image acquisition function for acquiring images;
An image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
When at least one of the first image and the second image is a moving image, a first connection frame and a second connection frame to be connected to each other are designated from the first image and the second image, respectively. Connection frame designation function to
A color feature information acquisition function for acquiring color feature information of the first connection frame and the second connection frame;
A medium color determining function for determining a medium color when combining the first image and the second image based on color characteristic information of at least one of the first connection frame and the second connection frame; ,
A function of detecting a first medium color area and a second medium color area including the medium color or a color similar to the medium color in the first connection frame and the second connection frame, respectively;
A transition process for connecting the first connection frame and the second connection frame through the first medium color area and the second medium color area is performed, and the first image and the second image are obtained. A moving image generation function for generating a moving image by combining;
An image processing program for causing a computer to realize the above. 画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定機能と、
前記１の接続フレームの色特徴情報を取得する色特徴情報取得機能と、
前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定機能と、
前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する機能と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。 An image acquisition function for acquiring images;
An image selection function for receiving an instruction input for selecting a first image and a second image to be combined from the acquired images;
A connection frame designating function for designating a first connection frame from among frames included in the first image when at least one of the first image and the second image is a moving image;
A color feature information acquisition function for acquiring color feature information of the one connection frame;
A medium color determining function for determining a medium color when compositing an image based on the color feature information of the first connection frame;
A function of selecting a second connection frame to be connected to the first connection frame based on color feature information of each frame included in the second image;
A function of detecting a first medium color area and a second medium color area including the medium color or a color similar to the medium color in the first connection frame and the second connection frame, respectively;
A transition process for connecting the first connection frame and the second connection frame through the first medium color area and the second medium color area is performed, and the first image and the second image are obtained. A moving image generation function for generating a moving image by combining;
An image processing program for causing a computer to realize the above. 前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項１２から１４のいずれか１項記載の画像処理プログラム。   The transition process includes a first transition process that zooms in on the first medium color area, and a second that switches to a zoom-in image of the second medium color area when the screen is substantially covered with the first medium color area. The image processing program according to any one of claims 12 to 14, further comprising: a transition process of: a third transition process for switching a scene by zooming out from the second medium color area.
JP2006002952A 2006-01-10 2006-01-10 Image processor, image processing method, and image processing program Pending JP2007184869A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006002952A JP2007184869A (en) 2006-01-10 2006-01-10 Image processor, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006002952A JP2007184869A (en) 2006-01-10 2006-01-10 Image processor, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
JP2007184869A true JP2007184869A (en) 2007-07-19

Family

ID=38340552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006002952A Pending JP2007184869A (en) 2006-01-10 2006-01-10 Image processor, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP2007184869A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234226A (en) * 2010-04-28 2011-11-17 Canon Inc Video editing apparatus, and video editing method and program
WO2012147772A1 (en) * 2011-04-26 2012-11-01 株式会社ニコン Image processing device, image display device, imaging device and program
JP2012253673A (en) * 2011-06-06 2012-12-20 Avix Inc Automatic production of short animation work based on html document
KR101397461B1 (en) * 2012-12-13 2014-05-23 (유)어나더레인보우 Apparatus and method for compositing the images in real-time
JP2015080081A (en) * 2013-10-16 2015-04-23 シャープ株式会社 Image display device, method for controlling image display device, television receiver, program, and recording medium
JP2021150931A (en) * 2020-03-23 2021-09-27 コベルコ建機株式会社 Remote operation support server, remote operation support system, and remote operation support method
JP2023070068A (en) * 2021-11-08 2023-05-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド Video stitching method, apparatus, electronic device, and storage medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234226A (en) * 2010-04-28 2011-11-17 Canon Inc Video editing apparatus, and video editing method and program
US8934759B2 (en) 2010-04-28 2015-01-13 Canon Kabushiki Kaisha Video editing apparatus and video editing method
WO2012147772A1 (en) * 2011-04-26 2012-11-01 株式会社ニコン Image processing device, image display device, imaging device and program
JP2012253673A (en) * 2011-06-06 2012-12-20 Avix Inc Automatic production of short animation work based on html document
KR101397461B1 (en) * 2012-12-13 2014-05-23 (유)어나더레인보우 Apparatus and method for compositing the images in real-time
JP2015080081A (en) * 2013-10-16 2015-04-23 シャープ株式会社 Image display device, method for controlling image display device, television receiver, program, and recording medium
WO2015056610A1 (en) * 2013-10-16 2015-04-23 シャープ株式会社 Image display device, method for controlling image display device, television receiver, program, and recording medium
JP2021150931A (en) * 2020-03-23 2021-09-27 コベルコ建機株式会社 Remote operation support server, remote operation support system, and remote operation support method
WO2021192491A1 (en) * 2020-03-23 2021-09-30 コベルコ建機株式会社 Remote operation assistance server, remote operation assistance system, and remote operation assistance method
JP7472578B2 (en) 2020-03-23 2024-04-23 コベルコ建機株式会社 REMOTE OPERATION SUPPORT SERVER, REMOTE OPERATION SUPPORT SYSTEM, AND REMOTE OPERATION SUPPORT METHOD
JP2023070068A (en) * 2021-11-08 2023-05-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド Video stitching method, apparatus, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
JP4737539B2 (en) Multimedia playback apparatus and background image display method
JP5144237B2 (en) Image processing apparatus, control method thereof, and program
US8004594B2 (en) Apparatus, method, and program for controlling display of moving and still images
US20110055766A1 (en) Information processing apparatus and method, and program
US20050238321A1 (en) Image editing apparatus, method and program
JP2009080794A (en) Image selecting device, image selecting method, and program
JP2014096757A (en) Image processing device, image processing method, and program
JP2007184869A (en) Image processor, image processing method, and image processing program
JP4992860B2 (en) Imaging apparatus and program
JP4986886B2 (en) Imaging apparatus, image reproducing apparatus, imaging control method, and image reproducing method
JP6004475B2 (en) REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP2006211324A (en) Digital camera apparatus, method and program for reproducing image, and data structure
JP4767900B2 (en) Image reproducing apparatus, image reproducing program, recording medium, and image reproducing method
US8379109B2 (en) Image processing apparatus
JP4698961B2 (en) Electronic camera and electronic camera control program
JP4973935B2 (en) Information processing apparatus, information processing method, program, and recording medium
JP4200858B2 (en) Information processing apparatus and method, recording medium, and program
JP2006101076A (en) Method and device for moving picture editing and program
JP5828251B2 (en) Image processing apparatus and digital camera
JP2009055618A (en) Electronic camera and control program of electronic camera
JP5392244B2 (en) Imaging apparatus, control method, and program
JP5645096B2 (en) Movie processing apparatus, movie playback method, movie recording method, and program
JP2008089758A (en) Image display device, image display method, and program
JP2019140568A (en) Image processing system
JP4177081B2 (en) Image reproducing apparatus and method