JP2011176557A - Image processor, and method and program thereof - Google Patents
Image processor, and method and program thereof Download PDFInfo
- Publication number
- JP2011176557A JP2011176557A JP2010038511A JP2010038511A JP2011176557A JP 2011176557 A JP2011176557 A JP 2011176557A JP 2010038511 A JP2010038511 A JP 2010038511A JP 2010038511 A JP2010038511 A JP 2010038511A JP 2011176557 A JP2011176557 A JP 2011176557A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving object
- moving
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
Description
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、被写体の移動方向を判別可能な動体連写合成画像を得ることを可能にする技術に関する。 The present invention relates to an image processing apparatus and method, and a program, and more particularly, to a technique that makes it possible to obtain a moving object continuous shot composite image that can determine a moving direction of a subject.
従来より、移動する被写体（以下、「被写動体」と呼ぶ）を連続して撮影することができるデジタルカメラが存在する。このようなデジタルカメラの連続撮影により、その画角の範囲内で、被写動体の配置位置が移動方向に徐々に変化していく複数の画像が得られる。なお、このようにしてデジタルカメラにより撮影された画像であって、画角の範囲内の１枚の画像を、以下、「フレーム画像」と呼ぶ。 Conventionally, there is a digital camera that can continuously photograph a moving subject (hereinafter referred to as a “moving object”). By continuous shooting with such a digital camera, a plurality of images in which the arrangement position of the moving object gradually changes in the moving direction within the range of the angle of view can be obtained. Note that an image taken by the digital camera in this way and within the range of the angle of view is hereinafter referred to as a “frame image”.
近年、このようなデジタルカメラが実行できる処理として、連続撮影により得られた複数のフレーム画像内の被写動体を、各々の配置位置を保持したまま合成する処理が知られている（例えば特許文献１，２参照）。なお、このような処理を、以下、「動体連写合成処理」と呼び、動体連写合成処理により得られる画像を、以下、「動体連写合成画像」と呼ぶ。 In recent years, as a process that can be executed by such a digital camera, a process is known in which moving objects in a plurality of frame images obtained by continuous shooting are combined while maintaining their arrangement positions (for example, Patent Documents). 1 and 2). Such processing is hereinafter referred to as “moving object continuous shooting composition processing”, and an image obtained by moving object continuous shooting combining processing is hereinafter referred to as “moving object continuous shooting combined image”.
しかしながら、従来の動体連写合成画像では、被写動体の各々の配置位置を単に保持するだけであり、被写動体の移動方向を何ら考慮するものではなかった。即ち、得られた動体連写合成画像からでは、複数の被写動体の各々がどのように移動（動作）していたものであるかを把握することはできなかった。 However, in the conventional moving object continuous shooting composite image, the arrangement positions of the moving objects are merely held, and the moving direction of the moving objects is not considered at all. That is, it was impossible to grasp how each of the plurality of moving objects was moved (operated) from the obtained moving object continuous shooting composite image.
そこで、本発明は、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to obtain a moving subject continuous shot composite image in which the moving directions of a plurality of moving subjects can be determined.
本発明の第１の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う画像処理装置であって、該画像処理装置は、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段と、を備える画像処理装置を提供する。 According to a first aspect of the present invention, there is provided an image processing apparatus that performs image processing on image data of a plurality of original images using each of a plurality of images obtained by continuous shooting on a moving moving object as an original image. Then, the image processing apparatus obtains the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the object in the image data of the original image. Position information of moving object image data, extraction means for extracting in association with the image data, generating means for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, With respect to the image data of the background image generated by the generating unit, each of the image data of the moving object extracted by the extracting unit is replaced with the image of the moving object in the image data of the original image. Superimposing on the basis of the position information of the data, a synthesizing unit that generates image data of the moving object continuous shooting combined image, and the image data of the moving object continuous shooting combined image generated by the combining unit Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the future moving object in time and the moving object in the past are temporally An image processing apparatus is provided that includes processing means for processing to have different sharpnesses.
本発明の第２の観点によると、画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行うための画像処理方法において、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、を含む画像処理方法を提供する。 According to the second aspect of the present invention, the image processing apparatus performs image processing on the image data of the plurality of original images by using each of the plurality of images obtained by continuous shooting on the moving moving object as an original image. In the image processing method for the above, the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the moving object in the image data of the original image An extraction step of extracting in association with the position information of the image data, a generation step of generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, and the generation The image data of the moving object extracted in the extraction step is converted into the image data of the original image from the image data of the background image generated in the step. A combination step of generating image data of the moving subject continuous shot composite image by superimposing on the basis of position information of the image data of the subject moving subject in the data, and image data of the moving subject continuous shot composite image generated in the combining step On the other hand, based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the time An image processing method is provided that includes a processing step of processing so that a past moving object has a different definition.
本発明の第３の観点によると、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の原画像の画像データに対して画像処理を行う機能を有する画像処理装置を制御するコンピュータに、前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能と、を実現させるためのプログラムを提供する。 According to the third aspect of the present invention, the image processing has a function of performing image processing on image data of a plurality of original images by using each of a plurality of images obtained by continuous shooting on a moving moving object as an original image. A computer that controls the apparatus, the image data of the moving object from each of the image data of the plurality of original images, the order in which the moving object was photographed, and the moving object in the image data of the original image An extraction function for extracting the image data in association with the position information of the image data, a generation function for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images, and the generation With respect to the image data of the background image generated by the function, each of the image data of the object to be extracted extracted by the extraction function is converted into the object image data in the image data of the original image. Overlaying on the basis of the position information of the body image data, the composition function for generating the image data of the moving body continuous shooting composite image, and the image data of the moving body continuous shooting composite image generated by the combining function, Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the moving object in the future in time and the moving object in the past in time And a processing function for processing so that the sharpness differs from that of the program.
本発明によれば、複数の被写動体の移動方向を判別可能な動体連写合成画像を得ることができる。 According to the present invention, it is possible to obtain a moving object continuous shooting composite image in which the moving directions of a plurality of moving objects can be determined.
［第１実施形態］
図１〜図１０を参照して、本発明の一実施形態について説明する。
[First Embodiment]
An embodiment of the present invention will be described with reference to FIGS.
［デジタルカメラのハードウェア構成］
初めに、図１を参照して、本発明の画像処理装置を構成するデジタルカメラ１について説明する。図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。
[Hardware configuration of digital camera]
First, a
デジタルカメラ１は、撮影部１１と、データ処理部１２と、ユーザインタフェース部１３と、を備える。
The
撮影部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。
The photographing
光学レンズ部２１は、被写体を撮影するために、光を集光する前玉レンズ（図示せず）の他、被写体をイメージセンサ２２の受光面に結像させるフォーカスレンズ（図示せず）、焦点距離を一定の範囲で自在に変化させるズームレンズ（図示せず）などで構成される。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
The
イメージセンサ２２は、光電変換素子や、ＡＦＥ(Analog Front End)などから構成される。光電変換素子は、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ(Analog/Digital)変換処理などの各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のデジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１２に供給される。
The
データ処理部１２は、ＣＰＵ(Central Processing Unit)３１と、ＲＯＭ(Read Only Memory)３２と、ＲＡＭ(Random Access Memory)３３と、メモリ３４と、表示制御部３５と、画像処理部３６と、を備えている。
The
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。本実施の形態のデジタルカメラ１は、通常撮影モードに加え、後述する、被写動体を連続して撮影する動体連写合成モードを備える。ＲＯＭ３２には、通常撮影モード及び動体連写合成モード時の処理、動体連写合成モード時に実行する画像加工処理としての画調変更処理、表示制御部３５、画像処理部３６を含む各種機能を実行するためのプログラムが記憶されている。ここで、動体連写合成モードは、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能により実行される。そのため、ＲＯＭ３２には、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６の各機能を実行するプログラムも記憶されている。ＣＰＵ３１が、ＲＯＭ３２に記憶されているプログラムを読み出して処理を実行することで、表示制御部３５、画像処理部３６を含む各種機能、及び通常撮影モード及び動体連写合成モード時の処理を含む各種処理が実現される。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
The
The
メモリ３４は、ＤＲＡＭ(Dynamic Random Access Memory)やＲＯＭ(Read Only Memory)などで構成される。ＤＲＡＭには、イメージセンサ２２から出力された画像データが一時的に記憶される。ＲＯＭには、各種画像処理に必要な画像データ、パラメータ、各種フラグの値、閾値などが記憶される。メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。
The
表示制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１３の表示部４１に表示させる制御を実行する。例えば、表示制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４１に供給することにより、表示画像を表示部４１に表示させる。なお、表示制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１３の通信部４３によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パソコン、プロジェクタなどでも、表示画像の表示が可能になる。
The
画像処理部３６は、ＤＳＰ（Digital Signal Processor）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図５の位置ズレ補正部１０１乃至画像加工部１０６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
The
ユーザインタフェース部１３は、デジタルカメラ１の筐体に設けられた液晶ディスプレイなどで構成される表示部４１と、ユーザの指示操作を受け付ける操作部４２と、外部機器との間での通信を制御する通信部４３と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４４と、を備えている。
The
なお、操作部４２は、図示は省略するが、シャッターキー、電源ボタン、ズームキー、選択及び決定キー及びモード切替キーなどを含み、各操作に応じた操作条件に基づき操作信号を発生してデータ処理部１２へ送出する。例えば、モード切替キーが操作されて動体連写合成モードが指定されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、モードを指定された動体連写合成モードに切り替える。同様に、モード切替キーが操作されて通常撮影モードが指定されると、ＣＰＵ３１は、モードを指定された通常撮影モードに切り替える。また、選択及び決定キーが操作されて、動体連写合成画像における被写動体の加工度合いが変更されると、操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、変更された加工度合いに応じて被写動体の加工を行う。同様に、選択及び決定キーが操作されて、動体連写合成画像における被写動体の大きさが変更されると、ＣＰＵ３１は、変更された大きさに応じて被写動体を合成する。なお、被写動体の加工度合いの変更や、被写動体の大きさの変更については、後に図１１及び図１２を用いて説明する。このように操作者による操作部４２の操作に伴い、各種操作信号がデータ処理部１２に送られ、ＣＰＵ３１は、操作信号に応じた処理を行う。
Although not shown, the
このような構成を有するデジタルカメラ１は、動体連写合成処理を実行することができる。そこで、以下、図２乃至図４を参照して、動体連写合成処理について説明する。
The
図２は、デジタルカメラ１の撮影環境の一例を示す模式図である。
FIG. 2 is a schematic diagram illustrating an example of a shooting environment of the
図３は、図２の撮影環境の下でデジタルカメラ１の連続撮影によって得られた複数のフレーム画像の一例を示している。
FIG. 3 shows an example of a plurality of frame images obtained by continuous shooting of the
図２に示すように、実世界の定位置に固定されたデジタルカメラ１は、実世界の空間のうち画角６１に含まれる背景６２及び被写動体６３を連続して撮影することができる。この場合、固定状態のデジタルカメラ１の視点からすると、画角６１の範囲内で、背景６２は固定しており、被写動体６３のみが移動することになる。これにより、図３に示すように、背景６２の像７２が固定された状態で、被写動体６３の像７３のみが徐々に移動していく様子を示す、複数のフレーム画像８１乃至８５が得られることになる。
As shown in FIG. 2, the
なお、以下、実世界に存在するものと、フレーム画像内の対応する像とを個々に区別する必要が無い場合、実世界に存在するものの呼称に統一して表現する。即ち、以下、背景６２の像７２を、単に「背景７２」と呼び、被写動体６３の像７３を、単に「被写動体７３」と呼ぶ。
In the following description, when there is no need to distinguish between the image existing in the real world and the corresponding image in the frame image, it is expressed as a unified name of the image existing in the real world. That is, hereinafter, the
図４は、図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。 FIG. 4 shows an example of the moving object continuous shooting combined image obtained by executing the moving object continuous shooting combining process for the plurality of frame images of FIG.
図４の動体連写合成画像９１において、被写動体７３Ａ乃至７３Ｅの各々は、図３の別々のフレーム画像８１乃至８５の各々に含まれる被写動体７３を示している。このように、背景７２が固定された状態で、被写動体７３のみが徐々に移動していく様子が、１枚の動体連写合成画像９１によって表わされる。
In the moving object continuous shooting
ここで、図４の動体連写合成画像９１では、被写動体７３の移動方向を判別することができない。即ち、被写動体７３が前方（左から右）に進んでいるのか、後方（右から左）に進んでいるのかを判別できない。そこで、本実施の形態では、このような被写動体７３の移動方向を容易に判別可能な動体連写合成画像を生成することとしている。
Here, in the moving subject continuous shooting
［データ処理部の機能的構成］
図５は、被写動体７３の移動方向を判別可能な動体連写合成画像を生成可能な動体連写合成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。
[Functional configuration of data processing unit]
FIG. 5 is a functional block diagram showing a functional configuration of the
データ処理部１２は、位置ズレ補正部１０１と、フレーム縮小部１０２と、被写動体抽出部１０３と、背景フレーム生成部１０４と、画像合成部１０５と、画像加工部１０６と、を備えている。また、画像加工部１０６は、加工度合い変更部１０６ａと、サイズ変更部１０６ｂと、を備えているが、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、必ずしも必須な構成ではない。
The
データ処理部１２のメモリ３４内には、原フレーム記憶部１２１と、背景フレーム記憶部１２２と、抽出被写動体記憶部１２３と、動体連写合成画像記憶部１２４と、が設けられている。
In the
原フレーム記憶部１２１には、撮影部１１の連続撮影が行われると、連続撮影により得られた複数のフレーム画像の画像データ、例えば上述した図３のフレーム画像８１乃至８５の各々の画像データが、撮影された順序で記憶される。なお、以下、原フレーム記憶部１２１に記憶されている画像データにより表現されるフレーム画像を、「原フレーム画像」と呼ぶ。
When the photographing
位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された画像データに対して、各原フレーム画像の位置ズレを補正する処理を実行する。このような位置ズレ補正部１０１の処理を、以下、「補正処理」と呼ぶ。
The positional
フレーム縮小部１０２は、位置ズレ補正部１０１から出力された各原フレーム画像の画像データに対して、画像サイズを縮小させる処理を実行する。このようなフレーム縮小部１０２の処理を、以下、「縮小処理」と呼ぶ。また、縮小処理後の原フレーム画像を、以下、「縮小原フレーム画像」と呼ぶ。本実施形態では、このような縮小原フレーム画像から被写動体が検出される。検出の処理速度が向上しつつ、十分な検出精度を得ることが可能だからである。フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データは、被写動体抽出部１０３に供給される。
The
被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、被写動体を含まずに背景のみを含む画像（以下、「疑似背景フレーム画像」と呼ぶ）の画像データを生成する。ここで、各縮小原フレーム画像における被写動体の画角内の各々の配置位置はばらばらになっている。従って、各縮小原フレーム画像の同一画素位置の各画素値のメディアンを取ることによって、被写動体を示す画素値を除外すること、即ち、被写動体を含まない画像を生成することが可能になる。そこで、本実施形態では、被写動体抽出部１０３は、各縮小原フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
次に、被写動体抽出部１０３は、各縮小原フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、被写動体抽出部１０３は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域（画素群）を、被写動体の領域としてそれぞれ検出する。
続いて、被写動体抽出部１０３は、当該検出結果に基づいて、各原フレーム画像の画像データの各々から、被写動体の画像データ及び各原フレーム画像における被写動体の存在位置（即ち、各原フレーム画像の画像データにおける被写動体の画像データの位置情報）を抽出する。なお、被写動体抽出部１０３は、被写動体の画像データ及び当該画像データの位置情報を、連続撮影により撮影された順序、即ち、被写動体の移動方向に対応付けて抽出することが好ましい。被写動体抽出部１０３により抽出された被写動体の画像データ及び当該画像データの位置情報は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。
The moving
Next, the moving
Subsequently, based on the detection result, the moving
背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、動体連写合成画像の生成の際の基礎となる背景を含む画像（以下、「背景フレーム画像」と呼ぶ）の画像データを生成する。背景フレーム画像の画像データの生成は、任意の方法により行うことができ、例えば、各原フレーム画像の画像データを用いて、同一位置の各画素値のメディアンを取ることによって生成してもよく、また、同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを背景フレーム画像の画像データとして生成してもよい。また、各原フレーム画像のうちの所定の１枚、例えば最初に撮影された原フレーム画像を、背景フレーム画像の画像データとして生成してもよい。背景フレーム生成部１０４により生成された背景フレーム画像の画像データは、背景フレーム記憶部１２２に記憶される。
The background
画像合成部１０５は、背景フレーム画像の画像データを背景フレーム記憶部１２２から読出し、各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部１２３から読み出す。そして、画像合成部１０５は、読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、当該画像データは、画像合成部１０５から出力されて画像加工部１０６に供給される。
The
図６は、生成された動体連写合成画像の模式図である。
背景フレーム生成部１０４により生成された背景フレーム画像１８１の上に、連続撮影により得られた原フレーム画像８１乃至８５の各々から被写動体７３の画像データが抽出され、抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま、背景フレーム画像１８１に合成される。
FIG. 6 is a schematic diagram of the generated moving object continuous shooting composite image.
On the
画像加工部１０６は、画像合成部１０５から供給された動体連写合成画像の画像データの加工処理を行う。
The
本実施の形態では、加工処理の好適な一例として、動体連写合成画像の画像データの画調を変更すると共に、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々をタッチ（以下、「筆触」と呼ぶ）が異なるように加工する。「画調」とは、画像から感じることができる印象に基づいて規定されるもので、「日本画調」、「西洋画調」、「水彩画調」、「水墨画調」、「ペン画調」、「ゴッホ調」など、様々に分類することができる。
画像データを特定の画調に変更する手法については、例えば、特開平１０−０１１５６９号公報及び特開２００６−０３１６８８号公報に開示された技術を用いてもよい。具体的には、画像データを構成する画素から、色などを基準として相関の高い画素を集め、グループを形成する。続いて、それぞれのグループの画素に対して、同一のグループの画素については色を該グループの代表色に置き換える。こうして色を代表色に置き換えられた画素のグループがそれぞれの筆触を形成する。かかる画像加工処理によると、グループとして集められる画素の相関の取り方、及び同一の色（代表色）の画素により構成されるグループの形状（長さ（距離）、扁平度）を変化させることによって、形成される筆触を変化させることができ、結果的に、画像データが表す画像の画調を様々な絵画調に変更することができる。本実施の形態では、各種画調毎に、それぞれの処理で用いる相関度、グループの形状を表す長さ、扁平度などのパラメータの最適な組み合わせが設定されており、この情報がメモリ３４に記憶されている。画像合成部１０５はメモリ３４に記憶された情報に基づいて各種画調への変更を行うものとする。
In the present embodiment, as a suitable example of the processing, the tone of the image data of the moving object continuous shot composite image is changed, and the image data of the plurality of moving objects included in the image data of the moving object continuous shot composite image is changed. Each is processed so that the touch (hereinafter referred to as “brush touch”) is different. The “painting” is defined based on the impression that can be felt from the image. “Japanese painting”, “Western painting”, “Watercolor painting”, “Ink painting”, “Pen painting” It can be classified into various categories such as “Gogh”.
As a method for changing the image data to a specific image tone, for example, techniques disclosed in Japanese Patent Laid-Open Nos. 10-011569 and 2006-031688 may be used. Specifically, pixels having high correlation are collected from pixels constituting image data on the basis of color or the like to form a group. Subsequently, for each group of pixels, for the same group of pixels, the color is replaced with the representative color of the group. A group of pixels in which the colors are replaced with the representative colors in this way form each brush stroke. According to such image processing, by changing the correlation of the pixels collected as a group and the shape (length (distance), flatness) of the group composed of pixels of the same color (representative color) The formed brush can be changed, and as a result, the tone of the image represented by the image data can be changed to various painting tone. In the present embodiment, an optimal combination of parameters such as the degree of correlation used in each process, the length representing the shape of the group, and the flatness is set for each image tone, and this information is stored in the
また、複数の被写動体の画像データの各々を異なる筆触に変更することは、画調を変更する際に、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度を調整することによって実現できる。
図７に、このようにして生成される筆触を表す画素のグループの一例を示す。例えば、図７（１）（ａ）に示すように、筆触を表す同一の色の画素によって構成されるグループの扁平度を大きくすると、筆触は太くなり、結果として画像のタッチは荒く表示される。図７（１）（ｃ）に示すように、同一の色の画素によって構成されるグループの扁平度を小さくすると、小さな筆触を作り出すことができ、結果として、画像のタッチが細かく表示される。図７（１）（ｃ）に示すグループは標準的な筆触を表している。
Also, changing each of the image data of the plurality of moving objects to different brushes adjusts the shape of the group of pixels that make up the brush strokes, for example, the flatness of the group, when changing the image tone. Can be realized.
FIG. 7 shows an example of a group of pixels representing the stroke generated in this way. For example, as shown in FIGS. 7A and 7A, when the flatness of a group composed of pixels of the same color representing the touch is increased, the touch becomes thicker, and as a result, the touch of the image is displayed roughly. . As shown in FIGS. 7A and 7C, when the flatness of the group composed of pixels of the same color is reduced, a small brush can be created, and as a result, the touch of the image is displayed finely. The groups shown in FIGS. 7 (1) and 7 (c) represent standard strokes.
ここで、本実施の形態では、複数の被写動体の画像データのうち、時間的に未来の被写動体の画像データの筆触を小さくし（タッチを細かくし）、時間的に過去の被写動体の画像データの筆触を太くする（タッチを荒くする）ように加工処理を行う。そのため、図７（２）（ａ）に示すように、時間的に過去の被写動体７３Ａでは、当該被写動体７３Ａの画像データを構成する画素から画調を変更する際に、生成されるグループの扁平度を高く設定しておく。一方、時間的に未来の被写動体７３Ｅでは、時間的に過去の被写体を表す画像データを処理する場合よりも、生成されるグループの扁平度を低く設定しておく。これにより、時間的に過去の被写動体７３Ａの画像データは大きな筆触からなる画調の画像に加工され、時間的に未来の被写動体７３Ｅの画像データは小さな筆触からなる画調の画像に加工される。その結果、複数の被写動体の画像データは、移動元から移動先に向かって筆触が細かく（明確に）なる。
Here, in the present embodiment, among the image data of a plurality of moving objects, the touch of the image data of the future moving object is reduced in time (the touch is made finer), and the past images are deleted in time. Processing is performed so that the stroke of the moving object image data is thickened (touch is roughened). Therefore, as shown in FIG. 7 (2) (a), in the temporally moving
なお、動体連写合成画像の画像データに含まれる被写動体の画像データは、任意の方法で特定することができるが、一例としては、各原フレーム画像の画像データにおける被写動体の画像データの位置情報から特定することができる。この場合において、当該位置情報には、連続撮影により撮影された順序、即ち、被写動体の移動方向が対応付けられているため、複数の被写動体の画像データを移動方向に応じて異なる筆触に加工することができる。 Note that the image data of the moving object included in the image data of the moving object continuous shot composite image can be specified by an arbitrary method, but as an example, the image data of the moving object in the image data of each original frame image Can be identified from the position information. In this case, since the position information is associated with the order in which the continuous shooting is performed, that is, the moving direction of the moving object, the image data of the plurality of moving objects is changed according to the moving direction. Can be processed.
図５に戻り、画像加工部１０６により加工処理された動体連写合成画像の画像データは、動体連写合成画像記憶部１２４に記憶される。そして、動体連写合成画像記憶部１２４に記憶された動体連写合成画像の画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納されると、表示制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、動体連写合成画像を表示部４１に表示させる制御を実行する。
Returning to FIG. 5, the image data of the moving subject continuous shot composite image processed by the
続いて、加工度合い変更部１０６ａ及びサイズ変更部１０６ｂについて説明する。加工度合い変更部１０６ａ及びサイズ変更部１０６ｂは、操作部４２からの操作信号を受けて所定の処理を行う手段である。
Next, the processing
加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、時間的に異なる被写動体の加工度合いを変更する。なお、「加工度合い」とは、例えば、時間的に異なる被写動体の筆触の大きさや濃度の変化の度合いを含む。具体的には、加工度合い変更部１０６ａは、操作部４２からの操作信号に基づいて、筆触を構成する画素を集めたグループの形状、例えば、グループの扁平度、画素の強度、貼り付けるテクスチャの粗さなどを変更することによって、加工度合いを変更する。加工度合い変更部１０６ａについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。
The processing
サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、動体連写合成画像中の被写動体の大きさを変更する。具体的には、サイズ変更部１０６ｂは、操作部４２からの操作信号に基づいて、被写動体の画像データを拡大又は縮小することによって、被写動体の大きさを変更する。サイズ変更部１０６ｂについては、本実施の形態において必須の構成ではないため、詳細については後述する変形実施形態で説明する。
Based on the operation signal from the
［動体連写合成処理のフロー］
次に、図８のフローチャートを参照して、このようなデジタルカメラ１が実行する動体連写合成処理について説明する。
[Flow of continuous shooting composition processing]
Next, with reference to the flowchart of FIG. 8, the moving body continuous shooting and combining process executed by the
ユーザが操作部４２、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に記憶された動体連写合成処理プログラムに従って、データ処理部１２を含む各種機能を制御する。
図８を参照して、動体連写合成処理の流れを説明する。以下に示す処理は、ステップＳ１において、操作者がシャッターキーを操作して連続撮影を行うことによって、開始する。
When the user operates the
With reference to FIG. 8, the flow of the moving object continuous shooting and combining process will be described. The processing shown below starts when the operator operates the shutter key to perform continuous shooting in step S1.
ステップ１において、撮影部１１は、シャッターキーを操作に伴い連続撮影を行う。次に、ステップ２おいて、原フレーム記憶部１２１は、撮影部１１により連続撮影された複数の原フレーム画像の画像データを連続撮影が行われた順に記憶する。
In
続いて、ステップＳ３において、位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された各原フレーム画像の画像データに対して、位置ズレ補正処理を実行する。本実施形態では、位置ズレ補正部１０１は、当該補正処理として、各原フレーム画像の各々から特徴点を抽出し、それらの特徴点が重なり合うように各原フレーム画像の射影変換する処理を実行する。
Subsequently, in step S <b> 3, the position
続いて、ステップＳ４において、フレーム縮小部１０２は、ステップＳ３の処理で位置ズレ補正処理が実行された各原フレーム画像の画像データに対して、画像サイズを縮小させる縮小処理を実行する。これにより、各原フレーム画像の各々に対応する縮小原フレーム画像が得られる。
Subsequently, in step S4, the
続いて、ステップＳ５において、被写動体抽出部１０３は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。上述したように、本実施形態では、被写動体抽出部１０３は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
Subsequently, in step S5, the
続いて、ステップＳ６において、被写動体抽出部１０３は、全ての原フレーム画像について被写動体を抽出する処理が終了したか否かを判定する。このとき、被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップＳ６においてＮＯであると判定されて、処理はステップＳ７に進む。
Subsequently, in step S6, the moving
ステップＳ７において、被写動体抽出部１０３は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体の領域を検出する（縮小原フレーム画像−疑似背景フレーム画像＝被写動体領域）。すると、被写動体抽出部１０３は、このような検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出する。抽出された被写動体の画像データ及び注目画像における被写動体の相対的な存在位置は、連続撮影により撮影された順序と対応付けられて抽出被写動体記憶部１２３に記憶される。
In step S7, the moving
このようにしてステップＳ７の処理が終了すると、処理はステップＳ６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ６ＮＯ，Ｓ７のループ処理が繰り返されることによって、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図６の例では、原フレーム画像８１乃至８５の画像データの各々から被写動体７３の画像データが抽出される。これにより、次のステップＳ６においてＹＥＳであると判定されて、処理はステップＳ８に進む。
When the process in step S7 is completed in this way, the process returns to step S6, and the subsequent processes are repeated. That is, by repeating the loop process of steps S6NO and S7, the image data of the moving object is extracted from each of the image data of each original frame image. For example, in the example of FIG. 6, the image data of the moving
ステップＳ８において、背景フレーム生成部１０４は、各原フレーム画像の画像データを用いて、背景フレーム画像の画像データを生成して、背景フレーム記憶部１２２に記憶させる。背景フレーム画像の画像データの生成は、上述した方法により行うことができる。
In step S <b> 8, the background
続いて、ステップＳ９において、画像合成部１０５は、全ての原フレーム画像について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。このとき、被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１乃至８５の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１０に進む。
Subsequently, in step S9, the
ステップＳ１０において、画像合成部１０５は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部１０５は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。なお、サイズ変更部１０６ｂにより被写動体の大きさが変更されている場合には、画像合成部１０５は、当該大きさの被写動体の画像データを背景フレーム画像の画像データに合成する。
In step S <b> 10, the
このようにしてステップＳ１０の処理が終了すると、処理はステップＳ９に戻され、それ以降の処理が繰り返される。即ち、ステップＳ９ＮＯ，Ｓ１０のループ処理が繰り返されることによって、ステップＳ８の処理で背景フレーム画像として採用された原フレーム画像の画像データに対して、各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図６の例では、背景フレーム画像の画像データに対して、原フレーム画像８１乃至８５の各々から抽出された被写動体７３の画像データが、元の配置位置と同一位置に順次合成されていく。これにより、次のステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１１に進む。
When the process of step S10 is completed in this way, the process is returned to step S9, and the subsequent processes are repeated. That is, by repeating the loop processing of Steps S9NO and S10, the moving object extracted from each of the original frame images with respect to the image data of the original frame image adopted as the background frame image in the processing of Step S8. Are sequentially synthesized at the same position as the original arrangement position. For example, in the example of FIG. 6, the image data of the moving
ステップＳ１１において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる全ての被写動体について加工処理が終了したか否かを判定する。このとき、未だ加工していない被写動体が存在する場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１２に進む。
In step S11, the
ステップＳ１２において、画像加工部１０６は、ステップＳ１０において合成された合成画像に含まれる被写動体のうち未だ加工されていない被写動体を注目画像に設定し、注目画像に対する加工処理を実行する。このとき、画像加工部１０６は、複数の被写動体の各々を、撮影された順序で異なる態様で加工する。なお、加工度合い変更部１０６ａにより加工度合いが変更されている場合には、画像加工部１０６は、複数の被写動体の各々を当該加工度合いに応じた異なる態様で加工する。
In step S12, the
このようにしてステップＳ１２の処理が終了すると、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１１ＮＯ，Ｓ１２のループ処理が繰り返されることによって、ステップＳ１０の処理で合成された画像データに含まれる被写動体の各々が異なる態様に加工される。その結果、動体連写合成画像が生成されて動体連写合成画像記憶部１２４に記憶される。これにより、次のステップＳ１１においてＹＥＳであると判定されて、動体連写合成処理が終了する。
When the process of step S12 is completed in this way, the process is returned to step S11, and the subsequent processes are repeated. That is, by repeating the loop processing of steps S11NO and S12, each of the moving objects included in the image data synthesized by the processing of step S10 is processed into a different mode. As a result, a moving object continuous shooting combined image is generated and stored in the moving object continuous shooting combined
［動体連写合成画像の例］
図９を参照して、このようにして生成される動体連写合成画像について説明する。
図９は、画像加工部１０６により複数の被写動体の画像データの各々を異なる大きさの筆触に加工した場合に生成される動体連写合成画像９１Ａを示す。動体連写合成画像９１Ａにおいて、背景７２Ａが固定された状態で、被写動体７３Ａ乃至７３Ｅの各々が抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま合成されている。このとき、被写動体７３Ａ乃至７３Ｅは、各々筆触が異なって表されている。即ち、時間的に最も過去の被写動体７３Ａが最も大きな筆触（荒いタッチ）で表わされ、時間的に次に過去の被写動体７３Ｂが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｃが次に大きな筆触で表わされ、時間的に次に過去の被写動体７３Ｄが次に大きな筆触で表わされ、時間的に最も未来の被写動体７３Ｅが最も小さな筆触（細かいタッチ）で表わされている。このように、動体連写合成画像９１Ａでは、被写動体７３Ａ乃至７３Ｅが時間的に未来に行くにつれ細かい画質で表される。よって、動体連写合成画像９１Ａでは、背景７２が固定された状態で、被写動体のみが徐々に移動していく様子だけでなく、被写動体の移動方向までも表すことができる。
なお、図９においては、画像加工部１０６の処理により背景７２が絵画調の背景７２Ａに加工されている。
[Example of moving subject continuous shot composite image]
With reference to FIG. 9, the moving body continuous shoot composite image generated in this way will be described.
FIG. 9 shows a moving object continuous shooting
In FIG. 9, the
なお、上記加工処理の例は一例に過ぎず、本発明は、複数の被写動体の画像データの各々を異なる態様で加工することで、動体連写合成画像における被写動体の移動方向を判別可能な他の加工処理も含むものである。更に、筆触の加工においても、例えば、筆触の細かいテクスチャのデータと筆触の荒いテクスチャのデータを複数種類、予め用意しておき、時間的に未来の被写動体には筆触のより細かいテクスチャを用い、時間的に過去の被写体には筆触のより荒いテクスチャを用いて加工する処理を用いるようにしてもよく、用途と実装に応じて様々な応用が可能である。詳細は第２実施形態で述べるが、好適な加工処理の別の一例としては、動体連写合成画像の画像データに含まれる複数の被写動体の画像データの各々を異なる濃度に加工することも可能である。 Note that the example of the above processing is merely an example, and the present invention determines the moving direction of the moving object in the moving object continuous shot composite image by processing each of the image data of the plurality of moving objects in different modes. It includes other possible processing. Furthermore, also in touch processing, for example, multiple types of fine texture data and rough texture data are prepared in advance, and a finer texture is used for future moving objects in time. In addition, a process that uses a texture that is rougher than a brush may be used for a subject in the past in time, and various applications are possible depending on the application and implementation. Although details will be described in the second embodiment, as another example of suitable processing, it is also possible to process each of image data of a plurality of moving objects included in the image data of the moving object continuous shot composite image into different densities. Is possible.
［第２実施形態］
続いて、本発明の第２実施形態について、図１０を参照して説明する。第１実施形態では、動体連写合成処理として、画像加工部１０６が、時間的に未来の被写動体には筆触をより細かく、時間的に過去の被写体には筆触をより荒く加工する処理を実行する構成について説明したが、第２実施形態では、動体連写合成処理として、画像加工部１０６が、被写動体の画像データを構成する各々の画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する点が第１実施形態とは異なる。なお、第２実施形態のデジタルカメラの構成は、ＲＯＭ３２に、動体連写合成モード時に実行する画像加工処理として、画調変更処理に代えて、或いは追加して、被写動体の画像データの各々を構成する画素の強度を、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する画素強度変更処理を実行するためのプログラムが保存されている。本実施形態のデジタルカメラは、例えば、選択及び決定キーを操作することで動体連写合成モードに切り替えられると、ＣＰＵ３１がＲＯＭ３２に保存されたプログラムを実行して、画像加工処理として画素強度変更処理を実行する点を除くと、第１実施形態のデジタルカメラ１の構成と略同一である。このため、第１実施形態のデジタルカメラ１と同一の構成には同一の番号を付して説明を省略し、画像加工部が画像加工処理として実行する画素強度変更処理について説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. In the first embodiment, as the moving object continuous shooting and combining process, the
画像加工部１０６は、複数の被写動体の画像データの各々の画素の強度が、時間的に未来の被写動体と、時間的に過去の被写体との間で異なるように加工する。この場合においても、被写動体の移動方向に応じて移動元から移動先に向かって画素の強度を変化、即ち、時間的に過去の被写動体の画像データの画素の強度を弱くし、時間的に未来になるにつれて被写動体の画像データの画素の強度を強くすることが好ましい。これにより、複数の被写動体の画像データは、移動元から移動先に向かって濃度が濃く（明確に）なる。
具体的には、画像加工部１０６は、動体連写合成画像の画像データに対して、被写動体が撮影された順序と、原画像の画像データにおける被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度より大きくなるように加工する。
The
Specifically, the
次に、図１０は、複数の被写動体の画像データの各々を異なる濃度に加工した場合に生成される動体連写合成画像９１Ｂを示す。動体連写合成画像９１Ｂにおいて、時間的に最も過去の被写動体７３Ａが最も薄く表わされ、時間的に次に過去の被写動体７３Ｂが次に薄く表わされ、時間的に次に過去の被写動体７３Ｃが次に薄く表わされ、時間的に次に過去の被写動体７３Ｄが次に薄く表わされ、時間的に最も未来の被写動体７３Ｅが最も濃く表わされている。このように、動体連写合成画像９１Ｂでは、時間的に未来に行くにつれ被写動体７３Ａ乃至７３Ｅが濃くなるように表される。よって、動体連写合成画像９１Ｂであっても、被写動体の移動方向を判別できる。
Next, FIG. 10 shows a moving object continuous shooting
なお、被写動体の筆触の大きさと被写動体の濃度とを併せて、移動方向を判別可能にしてもよい。また、時間的に過去の被写動体ほど画質を細かく（濃く）し、未来の被写動体ほど画質を荒く（薄く）することとしてもよい。 Note that the direction of movement may be determined by combining the size of the touch of the moving object and the density of the moving object. Alternatively, the past moving object may be finer (darker) in image quality in the past, and the image quality may be rougher (lighter) in the future moving object.
［変形実施形態］
画像加工部１０６は、加工度合い変更部１０６ａにより変更された加工度合いで、各被写動体の画像データを加工処理することとしてもよい。また、画像加工部１０６は、サイズ変更部１０６ｂにより変更された大きさの各被写動体の画像データを、背景フレーム画像の画像データに合成することとしてもよい。
[Modified Embodiment]
The
［加工度合い変更の例］
図１１を参照して、加工度合い変更部１０６ａにより行われる被写動体の加工度合い変更の例について説明する。なお、図１１では、時間的に異なる被写動体の濃度の度合いを変更することを例にとって説明するが、時間的に異なる被写動体の筆触の大きさの度合いを変更可能にしてもよい。
[Example of processing degree change]
With reference to FIG. 11, an example of changing the processing level of the moving object performed by the processing
図１１（１）を参照して、デジタルカメラ１の表示部４１に濃度変更設定画面２００を表示し、濃度変化選択欄２０１からユーザが濃度の変化度合いを選択可能にしている。例えば、「大きい」が選択された場合には、時間的に異なる被写動体の濃度の変化が大きくなり、「小さい」が選択された場合には、時間的に異なる被写動体の濃度の変化が小さくなる。なお、ユーザが任意に濃度の変化度合いを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、変化度合い（即ち、画素の強度）を数値で設定するなど詳細な設定も可能にしてもよい。
Referring to FIG. 11A, the density
図１１（２）は、変化度合いとして「小さい」が選択された場合の動体連写合成画像９１Ｃを示す。動体連写合成画像９１Ｃでは、時間的に異なる被写動体の濃度の変化が小さく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの各々について、加工度合いを小さくなり、移動方向を認識可能でありながら、より自然な動体連写合成画像を得ることができる。
FIG. 11 (2) shows the moving object continuous shooting
また、図１１（３）は、変化度合いとして「大きい」が選択された場合の動体連写合成画像９１Ｄを示す。動体連写合成画像９１Ｄでは、時間的に異なる被写動体の濃度の変化が大きく表示されている。その結果、被写動体７３Ａ乃至７３Ｅの移動方向がより明確になる。
FIG. 11 (3) shows a moving object continuous shooting
このように、時間的に異なる被写動体の加工度合いをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供でき、結果として、ユーザに対して新たな印象を与えることが可能となる。 As described above, since the processing degree of the moving object that is different in time can be arbitrarily changed by the user's selection, the moving object continuous shooting preferred by the user among the moving object continuous shooting composite images that can grasp the moving direction of the moving object. A composite image can be provided, and as a result, a new impression can be given to the user.
［大きさ変更の例］
図１２を参照して、サイズ変更部１０６ｂにより行われる動体連写合成画像中の被写動体の大きさ変更の例について説明する。
[Example of size change]
With reference to FIG. 12, an example of the size change of the moving object in the moving object continuous shooting composite image performed by the
図１２（１）を参照して、デジタルカメラ１の表示部４１に被写動体サイズ選択画面２１０を表示し、サイズ選択欄２１１からユーザが濃度の被写動体の大きさを選択可能にしている。例えば、「大きい」が選択された場合には、動体連写合成画像中の被写動体の大きさが大きくなり、「小さい」が選択された場合には、動体連写合成画像中の被写動体の大きさが小さくなる。
なお、ユーザが任意に被写動体の大きさを選択可能であればよく、「大きい」「普通」「小さい」など予め定めたものでなく、数値で設定するなど詳細な設定も可能にしてもよい。また、動体連写合成画像中の複数の被写動体の大きさを一括して変更することとしてもよく、また、動体連写合成画像中の複数の被写動体の各々の大きさを個別に変更することとしてもよい。
Referring to FIG. 12 (1), a moving object
Note that it is only necessary that the user can arbitrarily select the size of the moving object, and it is not predetermined such as “large”, “normal”, “small”, and detailed settings such as numerical values can be set. Good. In addition, the size of a plurality of moving objects in the moving subject continuous shot composite image may be changed at once, and the size of each of the plurality of moving subjects in the moving subject continuous shot composite image may be individually set. It may be changed.
図１２（２）は、被写動体の大きさとして「小さい」が選択された場合の動体連写合成画像９１Ｅを示す。動体連写合成画像９１Ｅでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが小さくなる。
また、図１２（３）は、被写動体の大きさとして「大きい」が選択された場合の動体連写合成画像９１Ｆを示す。動体連写合成画像９１Ｆでは、動体連写合成画像中の被写動体７３Ａ乃至７３Ｅの大きさが大きくなる。
FIG. 12 (2) shows a moving object continuous shooting
FIG. 12 (3) shows a moving object continuous shooting
このように動体連写合成画像中の被写動体の大きさをユーザの選択により任意に変更可能としたため、被写動体の移動方向を把握可能な動体連写合成画像のうち、ユーザの好む動体連写合成画像を提供できる。 As described above, since the size of the moving object in the moving object continuous shooting composite image can be arbitrarily changed by the user's selection, the moving object preferred by the user among the moving object continuous shooting composite images capable of grasping the moving direction of the moving object. Continuous shooting composite images can be provided.
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。例えば、上述した実施形態では、被写体の移動方向を判別可能とするため、具体的には、時間的に未来の被写動体を時間的に過去の被写動体より高い鮮明度で表示されるように画像データを加工するものとして説明したが、本発明はこれに限定されない。時間的に未来の被写動体と時間的に過去の被写動体とが判別可能となるのならば、例えば、時間的に未来の被写動体を時間的に過去の被写動体より低い鮮明度で表示されるように画像データを加工するなど、被写動体の時間的な推移に応じて鮮明度を変化させることも可能であり、様々な変形態様が想到可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention. For example, in the above-described embodiment, in order to be able to determine the moving direction of the subject, specifically, the future moving object in time is displayed with a higher degree of clarity than the past moving object in time. However, the present invention is not limited to this. If it is possible to discriminate between the future moving object in time and the past moving object in time, for example, the future moving object in time is lower in clarity than the past moving object in time. It is also possible to change the sharpness in accordance with the temporal transition of the moving object, such as processing the image data so that it is displayed in various ways, and various deformation modes can be conceived.
上述した実施形態では、画像加工部１０６により生成された画像データをメモリ３４に設けられた動体連写合成画像記憶部１２４に記憶することとしているが、これに限られるものではない。例えば、リムーバブル記録媒体５１に画像加工部１０６により生成された画像データを記憶することとしてもよい。
また、上述した実施形態では、画像加工部１０６により合成した画像データを表示部４１に表示することとしているが、当該画像データを印刷するようにしてもよい。
In the above-described embodiment, the image data generated by the
In the above-described embodiment, the image data synthesized by the
上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、カメラ付き携帯電話、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。 In the above-described embodiments, the image processing apparatus to which the present invention is applied has been described as an example configured as a digital camera. However, the present invention is not particularly limited to digital cameras, and can be applied to electronic devices in general. Specifically, for example, the present invention is applicable to a video camera, a mobile phone with a camera, a portable navigation device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。
Although not shown, the recording medium including such a program is not only constituted by a removable medium distributed separately from the apparatus main body in order to provide a program to the user, but also in a state of being incorporated in the apparatus main body in advance. It consists of a recording medium provided to the user. The removable medium is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preinstalled in the apparatus main body is configured by, for example, the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
１・・・デジタルカメラ、１１・・・撮影部、１２・・・データ処理部（記憶手段、抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、１３・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ（抽出手段、生成手段、合成手段、加工手段、加工度合い変更手段、サイズ変更手段）、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ（記憶手段）、３５・・・表示制御部、３６・・・画像処理部、１０１・・・位置ズレ補正部、１０２・・・フレーム縮小部、１０３・・・被写動体抽出部（抽出手段）、１０４・・・背景フレーム生成部（生成手段）、１０５・・画像合成部（合成手段）、１０６・・・画像加工部（加工手段）、１０６ａ・・・加工度合い変更部（加工度合い変更手段）、１０６ｂ・・・サイズ変更部（サイズ変更手段）、１２１・・・原フレーム記憶部（記憶手段）、１２２・・・背景フレーム記憶部、１２３・・・抽出被写動体記憶部、１２４・・・動体連写合成画像記憶部
DESCRIPTION OF
Claims (8)
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出手段と、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成手段と、
前記生成手段により生成された前記背景画像の画像データに対して、前記抽出手段により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
前記合成手段により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工手段と、
を備える画像処理装置。 An image processing apparatus that performs image processing on image data of a plurality of original images, using each of a plurality of images obtained by continuous shooting on a moving subject as an original image, the image processing apparatus comprising:
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, Extracting means for extracting in association with
Generating means for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
With respect to the image data of the background image generated by the generating means, each of the image data of the moving object extracted by the extracting means is replaced with the image data of the moving object in the image data of the original image. Combining means for generating image data of a moving body continuous shot composite image by superimposing based on position information;
With respect to the image data of the moving subject continuous shot composite image generated by the synthesizing means, the order in which the moving subject is photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing means for processing so that the future moving object in time and the past moving object in time are different in sharpness,
An image processing apparatus comprising:
前記動体連写合成画像の画像データに含まれる画素の相関に基づいて、画素のグループを生成し、前記動体連写合成画像の画像データに対して、同一のグループの画素の色は同一となるように加工し、
前記加工手段は更に、
前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体が、時間的に過去の被写動体に対して鮮明度が異なるように、前記画素のグループの形状を変化させる、
請求項１に記載の画像処理装置。 The processing means includes
A group of pixels is generated based on the correlation of pixels included in the image data of the moving object continuous shot composite image, and the colors of the pixels in the same group are the same as the image data of the moving object continuous shot composite image. So that
The processing means further includes
Based on the order in which the moving object was photographed and the positional information of the image data of the moving object in the image data of the original image, the future moving object in terms of time may Changing the shape of the group of pixels so that the sharpness differs with respect to the moving object;
The image processing apparatus according to claim 1.
前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データを構成する画素の強度が、時間的に過去の被写動体の画像データを構成する画素の強度とは異なるように加工する、
請求項１に記載の画像処理装置。 The processing means includes
Based on the order in which the moving subject was photographed with respect to the image data of the moving subject continuous shot composite image and the positional information of the image data of the moving subject in the image data of the original image, in terms of time Processing so that the intensity of the pixels constituting the image data of the future moving object is temporally different from the intensity of the pixels constituting the image data of the past moving object.
The image processing apparatus according to claim 1.
前記動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体の画像データに、時間的に過去の被写動体の画像データと比較して、画素の細かさの異なるテクスチャのデータを貼り付けて加工する、
請求項１に記載の画像処理装置。 The processing means includes
Based on the order in which the moving subject was photographed with respect to the image data of the moving subject continuous shot composite image and the positional information of the image data of the moving subject in the image data of the original image, in terms of time Pasting and processing texture data with different pixel fineness in the image data of the future subject in comparison with the image data of the past subject in time,
The image processing apparatus according to claim 1.
前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記被写動体の画像データに対する加工の度合いを変更する加工度合い変更手段を備える、
請求項１乃至４の何れか１項に記載の画像処理装置。 The processing means includes
The degree of processing for changing the degree of processing on the image data of the moving object based on the position information of the image data of the moving object in the image data of the original image with respect to the image data of the moving object continuous shot composite image Comprising a changing means,
The image processing apparatus according to claim 1.
前記動体連写合成画像の画像データに対して、前記原画像の画像データにおける前記被写動体の画像データの位置情報に基づいて、前記原画像に対する前記被写動体の大きさを変更するサイズ変更手段を備える、
請求項１乃至５の何れか１項に記載の画像処理装置。 The processing means includes
A size change for changing the size of the moving object with respect to the original image based on position information of the image data of the moving object in the image data of the original image with respect to the image data of the moving object continuous shooting composite image With means,
The image processing apparatus according to any one of claims 1 to 5.
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出ステップと、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成ステップと、
前記生成ステップにおいて生成された前記背景画像の画像データに対して、前記抽出ステップにおいて抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
前記合成ステップにおいて生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工ステップと、
を含む画像処理方法。 In an image processing method for performing image processing on image data of a plurality of original images, with each of a plurality of images obtained by continuous shooting on a moving moving object as an original image by an image processing apparatus,
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, An extraction step of extracting in association with
A generation step of generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
With respect to the image data of the background image generated in the generating step, each of the image data of the moving object extracted in the extracting step is replaced with the image data of the moving object in the image data of the original image. A synthesis step of generating image data of the moving body continuous shot synthesized image by superimposing on the basis of the position information;
With respect to the image data of the moving subject continuous shot composite image generated in the combining step, the order in which the moving subject was photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing step for processing so that the future moving object in time and the past moving object in time become different sharpness,
An image processing method including:
前記複数の原画像の画像データの各々から、前記被写動体の画像データを、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に対応付けて抽出する抽出機能と、
前記複数の原画像の画像データの各々から前記被写動体を除いた背景画像の画像データを生成する生成機能と、
前記生成機能により生成された前記背景画像の画像データに対して、前記抽出機能により抽出された前記被写動体の画像データの各々を、前記原画像の画像データにおける当該被写動体の画像データの位置情報に基づいて重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
前記合成機能により生成された動体連写合成画像の画像データに対して、前記被写動体が撮影された順序と、前記原画像の画像データにおける前記被写動体の画像データの位置情報と、に基づいて、時間的に未来の被写動体と時間的に過去の被写動体とが異なる鮮明度となるように加工する加工機能と、
を実現させるためのプログラム。 A computer that controls an image processing apparatus having a function of performing image processing on image data of a plurality of original images, with each of a plurality of images obtained by continuous shooting on a moving subject as an original image,
From each of the image data of the plurality of original images, the image data of the moving object, the order in which the moving object was photographed, and position information of the image data of the moving object in the image data of the original image, An extraction function for extracting in association with
A generation function for generating image data of a background image excluding the moving object from each of the image data of the plurality of original images;
For the image data of the background image generated by the generation function, each of the image data of the moving object extracted by the extraction function is replaced with the image data of the moving object in the image data of the original image. A composition function for generating image data of a moving body continuous composite image by superimposing based on position information;
With respect to the image data of the moving subject continuous shooting composite image generated by the combining function, the order in which the moving subject is photographed and the positional information of the image data of the moving subject in the image data of the original image Based on the processing function to process so that the future moving object in the future and the moving object in the past are different in time,
A program to realize
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010038511A JP5581728B2 (en) | 2010-02-24 | 2010-02-24 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010038511A JP5581728B2 (en) | 2010-02-24 | 2010-02-24 | Image processing apparatus and method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011176557A true JP2011176557A (en) | 2011-09-08 |
| JP5581728B2 JP5581728B2 (en) | 2014-09-03 |
Family
ID=44689017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010038511A Active JP5581728B2 (en) | 2010-02-24 | 2010-02-24 | Image processing apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5581728B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013070324A (en) * | 2011-09-26 | 2013-04-18 | Nec Casio Mobile Communications Ltd | Electronic apparatus, control method therefor, and program |
| JP2013183220A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Camera and image processor |
| JP2015088771A (en) * | 2013-10-28 | 2015-05-07 | 株式会社ニコン | Image processing device, imaging apparatus and image processing program |
| JP2016192779A (en) * | 2016-06-09 | 2016-11-10 | 株式会社ニコン | Camera, image processing apparatus, and program |
| JP2018513640A (en) * | 2015-04-10 | 2018-05-24 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Automatic panning shot generation |
| JP2019153863A (en) * | 2018-03-01 | 2019-09-12 | ソニー株式会社 | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07254071A (en) * | 1994-03-15 | 1995-10-03 | Matsushita Electric Ind Co Ltd | Animation display smoothing method and device therefor |
| JPH11331693A (en) * | 1998-05-20 | 1999-11-30 | Casio Comput Co Ltd | Method for processing picture and its device |
| JP2000187478A (en) * | 1998-12-24 | 2000-07-04 | Casio Comput Co Ltd | Picture processor and picture processing method |
| JP2003008993A (en) * | 2001-06-26 | 2003-01-10 | Nippon Hoso Kyokai <Nhk> | Image compositing device and method |
| JP2005328446A (en) * | 2004-05-17 | 2005-11-24 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
| JP2009116575A (en) * | 2007-11-06 | 2009-05-28 | Olympus Imaging Corp | Image synthesizing apparatus and image synthesizing method |
-
2010
- 2010-02-24 JP JP2010038511A patent/JP5581728B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07254071A (en) * | 1994-03-15 | 1995-10-03 | Matsushita Electric Ind Co Ltd | Animation display smoothing method and device therefor |
| JPH11331693A (en) * | 1998-05-20 | 1999-11-30 | Casio Comput Co Ltd | Method for processing picture and its device |
| JP2000187478A (en) * | 1998-12-24 | 2000-07-04 | Casio Comput Co Ltd | Picture processor and picture processing method |
| JP2003008993A (en) * | 2001-06-26 | 2003-01-10 | Nippon Hoso Kyokai <Nhk> | Image compositing device and method |
| JP2005328446A (en) * | 2004-05-17 | 2005-11-24 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
| JP2009116575A (en) * | 2007-11-06 | 2009-05-28 | Olympus Imaging Corp | Image synthesizing apparatus and image synthesizing method |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013070324A (en) * | 2011-09-26 | 2013-04-18 | Nec Casio Mobile Communications Ltd | Electronic apparatus, control method therefor, and program |
| JP2013183220A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Camera and image processor |
| JP2015088771A (en) * | 2013-10-28 | 2015-05-07 | 株式会社ニコン | Image processing device, imaging apparatus and image processing program |
| JP2018513640A (en) * | 2015-04-10 | 2018-05-24 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Automatic panning shot generation |
| JP2016192779A (en) * | 2016-06-09 | 2016-11-10 | 株式会社ニコン | Camera, image processing apparatus, and program |
| JP2019153863A (en) * | 2018-03-01 | 2019-09-12 | ソニー株式会社 | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method |
| JP7119425B2 (en) | 2018-03-01 | 2022-08-17 | ソニーグループ株式会社 | Image processing device, encoding device, decoding device, image processing method, program, encoding method and decoding method |
| US11508123B2 (en) | 2018-03-01 | 2022-11-22 | Sony Corporation | Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5581728B2 (en) | 2014-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6271990B2 (en) | Image processing apparatus and image processing method | |
| JP5803467B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| KR101566081B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5581728B2 (en) | Image processing apparatus and method, and program | |
| JP2009212899A (en) | Imaging device | |
| JP5377768B2 (en) | Image processing method and apparatus | |
| JP5531865B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2010226694A (en) | Image processor and method of image processing | |
| CN103888684B (en) | Image processing apparatus, image processing method and recording medium | |
| JP2011049952A (en) | Image generating apparatus and electronic camera | |
| JP2010050502A (en) | Image processor, image processing method, and image processing program | |
| JP2010193058A (en) | Image capture device, image capturing method, and image capturing program | |
| JP6261205B2 (en) | Image processing device | |
| JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
| JP7057079B2 (en) | Image processing device, image pickup device, image processing method, and program | |
| JP2017143354A (en) | Image processing apparatus and image processing method | |
| JP5446847B2 (en) | Image processing apparatus and method, and program | |
| JP6327892B2 (en) | Imaging apparatus and control method thereof | |
| JP6486453B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2023033355A (en) | Image processing device and control method therefor | |
| JP2011166607A (en) | Image processing apparatus, image processing method and image processing program | |
| JP2010171491A (en) | Imaging device, imaging method, and program | |
| JP2009089083A (en) | Age estimation photographing device and age estimation photographing method | |
| JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof | |
| JP5928024B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5581728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |