JP2011244183A - Imaging apparatus, image display apparatus, and image display program - Google Patents

Imaging apparatus, image display apparatus, and image display program Download PDF

Info

Publication number
JP2011244183A
JP2011244183A JP2010114181A JP2010114181A JP2011244183A JP 2011244183 A JP2011244183 A JP 2011244183A JP 2010114181 A JP2010114181 A JP 2010114181A JP 2010114181 A JP2010114181 A JP 2010114181A JP 2011244183 A JP2011244183 A JP 2011244183A
Authority
JP
Japan
Prior art keywords
image
subject
tracking information
template
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010114181A
Other languages
Japanese (ja)
Other versions
JP5573353B2 (en
Inventor
静二 ▲高▼野
Seiji Takano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010114181A priority Critical patent/JP5573353B2/en
Publication of JP2011244183A publication Critical patent/JP2011244183A/en
Application granted granted Critical
Publication of JP5573353B2 publication Critical patent/JP5573353B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To reproduce an image a display effect.SOLUTION: In photographing, a controller 104 identifies information on the moving trajectory of a subject in a fixed period before photographing, on the basis of the result of a subject-tracking process, and records the information in the header information of an image file as tracking information. In image reproduction, the controller 104 reads the tracking information from the header information of the image file, and reproduces the image with the display effect based on the tracking information.

Description

本発明は、撮像装置、画像表示装置、および画像表示プログラムに関する。   The present invention relates to an imaging device, an image display device, and an image display program.

次のような画像再生装置が知られている。この画像再生装置は、画像を解析し、解析結果に応じた表示効果を付して画像を再生する（例えば、特許文献１）。   The following image reproducing apparatus is known. This image reproduction device analyzes an image and reproduces the image with a display effect according to the analysis result (for example, Patent Document 1).

特開２００６−１２９４５３号公報JP 2006-129453 A

しかしながら、従来の画像再生装置では、画像内の被写体の動きを特定することはできなかった。   However, the conventional image reproducing device cannot identify the movement of the subject in the image.

本発明による撮像装置は、被写体像を撮像する撮像手段と、撮像手段によって撮像された画像内の被写体を複数フレーム間で追尾して追尾情報を得る被写体追尾手段と、使用者からの指示に基づいて撮影処理を行なって、撮像手段によって撮像された撮影画像を記憶媒体に記録する撮影手段と、撮影手段によって撮影処理が行われたときに、撮影処理の所定時間前から撮影処理開始時までの間に得られた追尾情報を、撮影画像に関連付けて記憶媒体に記録する追尾情報記録手段とを備えることを特徴とする。
本発明では、撮影画像と追尾情報とを記憶媒体から読み出す読み出し手段と、読み出し手段によって読み出された追尾情報に基づいて、撮影画像を再生する際の表示効果を決定する表示効果決定手段とをさらに備えるようにしてもよい。
表示効果決定手段によって決定された表示効果を付して、撮影画像を表示装置に表示する表示制御手段をさらに備えるようにしてもよい。
追尾情報記録手段は、撮影処理の所定時間前から撮影処理開始時までの間における被写体の移動軌跡に関する情報を追尾情報として記録するようにしてもよい。
追尾情報記録手段は、被写体追尾手段による被写体の追尾結果に基づいて取得された画像内における被写体の位置情報の時系列データを被写体の移動軌跡に関する情報として記録するようにしてもよい。
追尾情報記録手段は、撮像装置の動きを検出するセンサからの出力に基づいて取得されたデータの時系列データを被写体の移動軌跡に関する情報として記録するようにしてもよい。
被写体追尾手段は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、追尾情報記録手段は、撮影処理の所定時間前から撮影処理開始時までに用いられたテンプレート画像を追尾情報として記録するようにしてもよい。
追尾情報記録手段は、撮影画像と追尾情報とを１つの画像ファイルに記録することにより、それぞれを関連付けるようにしてもよい。
追尾情報記録手段は、撮影画像と追尾情報とを異なるデータファイルに記録し、データファイル同士を関連付けるようにしてもよい。
表示効果決定手段によって決定された表示効果を付した画像の再生内容を動画データとして記憶媒体に記録する動画記録手段をさらに備えるようにしてもよい。
本発明による画像表示装置は、画像と、画像の撮影時の所定時間前から撮影時までの間における被写体の追尾情報との組を記憶媒体から読み出す読み出し手段と、読み出し手段によって読み出された追尾情報に基づいて、画像を再生する際の表示効果を決定する表示効果決定手段と、表示効果決定手段によって決定された表示効果を付して、画像を表示装置に表示する表示制御手段とを備えることを特徴とする。
本発明では、追尾情報は、画像の撮影時の所定時間前から撮影時までの間における被写体の移動軌跡に関する情報であってもよい。
追尾情報は、画像の撮影時の所定時間前から撮影時までの間に、被写体追尾のために行われたテンプレートマッチング処理で用いられたテンプレート画像であってもよい。
表示効果決定手段によって決定された表示効果を付した画像の再生内容を動画データとして記憶媒体に記録する動画記録手段をさらに備えるようにしてもよい。
本発明による画像表示プログラムは、画像と、画像の撮影時の所定時間前から撮影時までの間における被写体の追尾情報との組を記憶媒体から読み出す読み出し手順と、読み出し手順で読み出した追尾情報に基づいて、画像を再生する際の表示効果を決定する表示効果決定手順と、表示効果決定手順で決定した表示効果を付して、画像を表示装置に表示する表示制御手順とをコンピュータに実行させることを特徴とする。 An imaging apparatus according to the present invention is based on an imaging unit that captures a subject image, a subject tracking unit that tracks a subject in an image captured by the imaging unit to obtain tracking information, and an instruction from a user. The photographing means for performing photographing processing and recording the photographed image picked up by the photographing means on the storage medium, and when the photographing processing is performed by the photographing means, from a predetermined time before the photographing processing until the start of the photographing processing Tracking information recording means for recording the tracking information obtained in the meantime in association with a photographed image on a storage medium.
In the present invention, reading means for reading the captured image and tracking information from the storage medium, and display effect determining means for determining a display effect when reproducing the captured image based on the tracking information read by the reading means. You may make it provide further.
You may make it further provide the display control means which attaches the display effect determined by the display effect determination means, and displays a picked-up image on a display apparatus.
The tracking information recording means may record information relating to the movement trajectory of the subject between a predetermined time before the shooting process and the start of the shooting process as tracking information.
The tracking information recording unit may record time-series data of the position information of the subject in the image acquired based on the tracking result of the subject by the subject tracking unit as information related to the movement trajectory of the subject.
The tracking information recording means may record time-series data of data acquired based on an output from a sensor that detects the movement of the imaging device as information on the movement trajectory of the subject.
The subject tracking means performs template matching processing using the template image to perform subject tracking, and the tracking information recording means records the template image used from the predetermined time before the photographing processing to the start of the photographing processing as tracking information. You may make it do.
The tracking information recording unit may record the captured image and the tracking information in one image file so that they are associated with each other.
The tracking information recording unit may record the captured image and the tracking information in different data files and associate the data files with each other.
You may make it further provide the moving image recording means which records the reproduction content of the image to which the display effect determined by the display effect determination means was attached to a storage medium as moving image data.
An image display device according to the present invention includes a reading unit that reads a set of an image and tracking information of a subject from a predetermined time before shooting to the time of shooting from the storage medium, and the tracking read by the reading unit Display effect determining means for determining a display effect at the time of reproducing an image based on information, and display control means for displaying the image on the display device with the display effect determined by the display effect determining means. It is characterized by that.
In the present invention, the tracking information may be information related to the movement trajectory of the subject from a predetermined time before the image is captured until the image is captured.
The tracking information may be a template image used in template matching processing performed for subject tracking between a predetermined time before image capturing and the time of image capturing.
You may make it further provide the moving image recording means which records the reproduction content of the image to which the display effect determined by the display effect determination means was attached to a storage medium as moving image data.
An image display program according to the present invention includes a reading procedure for reading a set of an image and tracking information of a subject between a predetermined time before shooting and the shooting information from the storage medium, and tracking information read by the reading procedure. Based on this, the computer executes a display effect determination procedure for determining a display effect at the time of reproducing an image and a display control procedure for displaying the image on the display device with the display effect determined in the display effect determination procedure. It is characterized by that.

本発明によれば、画像ファイル内の追尾情報に基づいて、画像内の被写体の動きを特定することができる。   According to the present invention, the movement of a subject in an image can be specified based on tracking information in the image file.

カメラの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of a camera. 第１の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。It is a figure which shows the specific example of each flame | frame of a through image and a picked-up image in 1st Embodiment. 第１の実施の形態における再生画像の具体例を示す図である。It is a figure which shows the specific example of the reproduction | regeneration image in 1st Embodiment. 撮影処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of an imaging | photography process. 再生処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a reproduction | regeneration process. 第２の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。It is a figure which shows the specific example of each flame | frame of a through image and a picked-up image in 2nd Embodiment. 第２の実施の形態における再生画像の具体例を示す図である。It is a figure which shows the specific example of the reproduction | regeneration image in 2nd Embodiment. 第３の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。It is a figure which shows the example of each flame | frame of a through image and a picked-up image in 3rd Embodiment. 第３の実施の形態における再生画像の具体例を示す図である。It is a figure which shows the specific example of the reproduction | regeneration image in 3rd Embodiment.

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。 -First embodiment-
FIG. 1 is a block diagram illustrating a configuration of an embodiment of a camera according to the first embodiment. The camera 100 includes an operation member 101, a lens 102, an image sensor 103, a control device 104, a memory card slot 105, and a monitor 106. The operation member 101 includes various input members operated by the user, such as a power button, a release button, a zoom button, a cross key, an enter button, a play button, and a delete button.

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。   The lens 102 is composed of a plurality of optical lenses, but is representatively represented by one lens in FIG. The image sensor 103 is an image sensor such as a CCD or a CMOS, for example, and captures a subject image formed by the lens 102. Then, an image signal obtained by imaging is output to the control device 104.

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。   The control device 104 includes a CPU, a memory, and other peripheral circuits, and controls the camera 100. Note that the memory constituting the control device 104 includes SDRAM and flash memory. The SDRAM is a volatile memory, and is used as a work memory for the CPU to develop a program when the program is executed or as a buffer memory for temporarily recording data. The flash memory is a non-volatile memory in which data of a program executed by the control device 104, various parameters read during program execution, and the like are recorded.

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。   The control device 104 generates image data in a predetermined image format, for example, JPEG format (hereinafter referred to as “main image data”) based on the image signal input from the image sensor 103. Further, the control device 104 generates display image data, for example, thumbnail image data, based on the generated image data. The control device 104 generates an image file that includes the generated main image data and thumbnail image data, and further includes header information, and outputs the image file to the memory card slot 105.

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。   The memory card slot 105 is a slot for inserting a memory card as a storage medium, and the image file output from the control device 104 is written and recorded on the memory card. The memory card slot 105 reads an image file stored in the memory card based on an instruction from the control device 104.

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。   The monitor 106 is a liquid crystal monitor (rear monitor) mounted on the back surface of the camera 100, and the monitor 106 displays an image stored in a memory card, a setting menu for setting the camera 100, and the like. . Further, when the user sets the mode of the camera 100 to the shooting mode, the control device 104 outputs image data for display of images acquired from the image sensor 103 in time series to the monitor 106. As a result, a through image is displayed on the monitor 106.

本実施の形態におけるカメラ１００では、制御装置１０４は、スルー画表示中に、撮像素子１０３から入力される画像データに対して、テンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。なお、テンプレートマッチング処理は、公知の処理であるため説明を省略する。そして、制御装置１０４は、特定した領域をフレーム間で追尾することによって、被写体追尾を行う。制御装置１０４は、被写体追尾の結果によって特定された画像内における被写体の移動軌跡に関する情報をメモリに記録していく。例えば、制御装置１０４は、各フレームにおける被写体の中心位置の座標値、すなわち上述したテンプレートマッチング処理によって特定された画像領域の中心の座標値を時系列でメモリに記録する。   In the camera 100 according to the present embodiment, the control device 104 performs an image similar to the template image from the frame by performing a template matching process on the image data input from the image sensor 103 during the through image display. Identify the area. The template matching process is a known process and will not be described. Then, the control device 104 performs subject tracking by tracking the specified region between frames. The control device 104 records information on the movement trajectory of the subject in the image specified by the subject tracking result in the memory. For example, the control device 104 records the coordinate value of the center position of the subject in each frame, that is, the coordinate value of the center of the image area specified by the template matching process described above in the memory in time series.

制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが押下されると、撮影処理を行なって上述した画像ファイルを生成する。そして、制御装置１０４は、撮影処理を行ったときには、レリーズボタンが押下される前の一定時間、例えば３秒間分の被写体の移動軌跡に関する情報をメモリから読み出し、これを追尾情報として画像ファイルのヘッダ情報に記録する。これによって、撮影前の被写体の移動軌跡に関する情報を撮影した画像に関連付けて記録することができる。   When the user presses the release button included in the operation member 101, the control device 104 performs a photographing process to generate the above-described image file. When the image capturing process is performed, the control device 104 reads information on the movement trajectory of the subject for a certain time, for example, 3 seconds before the release button is pressed, from the memory, and uses this as tracking information as the header of the image file. Record in information. As a result, information on the movement trajectory of the subject before photographing can be recorded in association with the photographed image.

例えば、スルー画上で被写体が図２（ａ）〜図２（ｃ）に示すように移動した場合について説明する。この場合、制御装置１０４は、図２（ａ）における被写体の中心位置２ａの座標値と、図２（ｂ）における被写体の中心位置２ｂの座標値と、図２（ｃ）における被写体の中心位置２ｃの座標値とを時系列でメモリに記録していく。そして、制御装置１０４は、使用者によってレリーズボタンが押下されたタイミングで撮影処理を行って、図２（ｄ）に示す画像２ｄを撮影し、画像ファイルを生成する。このとき、制御装置１０４は、レリーズボタンが押下される前の一定時間分の被写体の移動軌跡に関する情報として、図２（ａ）〜図２（ｃ）の各画像における被写体の中心位置の座標値をメモリから読み出し、これを追尾情報として画像ファイルのヘッダ情報に記録する。   For example, a case where the subject moves on the live view as shown in FIGS. 2A to 2C will be described. In this case, the control device 104 determines the coordinate value of the subject center position 2a in FIG. 2A, the coordinate value of the subject center position 2b in FIG. 2B, and the subject center position in FIG. The coordinate value 2c is recorded in the memory in time series. Then, the control device 104 performs a photographing process at the timing when the user presses the release button, photographs the image 2d shown in FIG. 2D, and generates an image file. At this time, the control device 104 uses the coordinate value of the center position of the subject in each of the images shown in FIGS. 2A to 2C as information about the movement trajectory of the subject for a certain time before the release button is pressed. Is recorded in the header information of the image file as tracking information.

制御装置１０４は、このように作成した画像ファイルをメモリカードスロット１０５を介してメモリカードに記録しておき、使用者からの指示に基づいて、メモリカード内の画像ファイルを対象として再生処理を行うことができる。すなわち、使用者によって操作部材１０１に含まれる再生ボタンが押下されると、メモリカード内に記録されている画像ファイルの画像をモニタ１０６に表示して再生を行う。このとき、制御装置１０４は、再生対象の画像ファイルのヘッダ情報に、被写体の移動軌跡に関する情報が記録されている場合には、被写体の移動軌跡に応じた表示効果を付して画像の再生を行う。具体的には、制御装置１０４は、再生対象の画像を被写体の移動軌跡に沿って移動させながら表示する。   The control device 104 records the image file created in this way on the memory card via the memory card slot 105, and performs a reproduction process for the image file in the memory card based on an instruction from the user. be able to. That is, when the user presses the playback button included in the operation member 101, the image of the image file recorded in the memory card is displayed on the monitor 106 and played back. At this time, if information related to the movement trajectory of the subject is recorded in the header information of the image file to be played back, the control device 104 reproduces the image with a display effect according to the movement trajectory of the subject. Do. Specifically, the control device 104 displays the image to be reproduced while moving it along the movement trajectory of the subject.

ここでは、図２（ａ）〜（ｃ）に示したように被写体が移動した結果、図２（ｄ）に示す画像２ｄが撮影されて作成された画像ファイルの画像を再生する場合の例について、図３を用いて説明する。制御装置１０４は、まず、画像ファイルのヘッダ情報から被写体の移動軌跡に関する情報、例えば、被写体の中心位置の座標値の時系列データを読み出す。ここでは、図２（ａ）に示した被写体の中心位置２ａの座標値と、被写体の中心位置２ｂの座標値と、被写体の中心位置２ｃの座標値とが読み出されたものとする。   Here, an example of reproducing an image of an image file created by shooting the image 2d shown in FIG. 2 (d) as a result of the movement of the subject as shown in FIGS. 2 (a) to 2 (c). This will be described with reference to FIG. First, the control device 104 reads information on the movement trajectory of the subject, for example, time-series data of the coordinate value of the center position of the subject, from the header information of the image file. Here, it is assumed that the coordinate value of the subject center position 2a, the coordinate value of the subject center position 2b, and the coordinate value of the subject center position 2c shown in FIG.

そして、制御装置１０４は、読み出した被写体の移動軌跡に関する情報に基づいて、図３（ａ）〜図３（ｃ）に示すような表示効果を付して画像２ｄを再生する。制御装置１０４は、まず、図３（ａ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ａの座標値と一致するように、画像２ｄの一部をモニタ１０６上に表示する。その後、制御装置１０４は、図３（ｂ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ｂの座標値と一致するように画像２ｄを移動させる。さらに、その後、制御装置１０４は、図３（ｃ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ｃの座標値と一致するように画像２ｄを移動させて、モニタ１０６上に画像２ｄの全体を表示する。   Then, the control device 104 reproduces the image 2d with a display effect as shown in FIGS. 3A to 3C based on the read information on the movement locus of the subject. First, as shown in FIG. 3A, the control device 104 moves a part of the image 2d on the monitor 106 so that the center position of the subject in the image 2d matches the coordinate value of the center position 2a of the subject. To display. Thereafter, as shown in FIG. 3B, the control device 104 moves the image 2d so that the center position of the subject in the image 2d matches the coordinate value of the center position 2b of the subject. Further, after that, as shown in FIG. 3C, the control device 104 moves the image 2d so that the center position of the subject in the image 2d matches the coordinate value of the center position 2c of the subject, and The entire image 2 d is displayed on 106.

これにより、再生開始時に、撮影前のスルー画上における被写体の移動軌跡に沿って画像を移動させることにより、スルー画における被写体の移動状況を再現するという表示効果を付した後、最終的には図３（ｃ）に示すように画像２ｄを全画面表示することができる。なお、図３（ｂ）と（ｃ）とにおいて、画像内に表示されている矢印は、画像再生時の被写体の移動軌跡を明示するために示したものである。この矢印は、画像中に表示してもよいし、表示しなくてもよい。   Thus, at the start of playback, after moving the image along the movement trajectory of the subject on the through image before shooting, the display effect of reproducing the movement status of the subject in the through image is added, and finally As shown in FIG. 3C, the image 2d can be displayed on the full screen. In FIGS. 3B and 3C, the arrows displayed in the image are shown to clearly show the movement trajectory of the subject during image reproduction. This arrow may or may not be displayed in the image.

図４は、第１の実施の形態における撮影処理の流れを示すフローチャートである。図４に示す処理は、スルー画の表示が開始されると起動するプログラムとして、制御装置１０４によって実行される。   FIG. 4 is a flowchart showing the flow of the photographing process in the first embodiment. The process shown in FIG. 4 is executed by the control device 104 as a program that is activated when display of a through image is started.

ステップＳ１０において、制御装置１０４は、撮像素子１０３から入力される画像データ、すなわちスルー画の１コマを取得して、ステップＳ２０へ進む。ステップＳ２０では、制御装置１０４は、ステップＳ１０で取得した画像データを対象として、上述したようにテンプレートマッチング処理を実行する。その後、ステップＳ３０へ進み、制御装置１０４は、テンプレートマッチング処理の結果に基づいて、画像内の追尾対象の被写体を特定し、上述したように被写体の中心位置の座標値を特定する。その後、ステップＳ４０へ進む。   In step S10, the control device 104 acquires image data input from the image sensor 103, that is, one frame of a through image, and proceeds to step S20. In step S20, the control device 104 executes the template matching process as described above for the image data acquired in step S10. After that, the process proceeds to step S30, and the control device 104 specifies the tracking target subject in the image based on the result of the template matching process, and specifies the coordinate value of the center position of the subject as described above. Thereafter, the process proceeds to step S40.

ステップＳ４０では、制御装置１０４は、ステップＳ３０で特定した被写体の中心位置の座標値をメモリに記録して、ステップＳ５０へ進む。ステップＳ５０では、制御装置１０４は、使用者によってレリーズボタンが押下されたか否かを判断する。ステップＳ５０で否定判断した場合には、ステップＳ１０へ戻り、制御装置１０４は、撮像素子１０３から次のコマの画像データを取得して、処理を繰り返す。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。   In step S40, the control device 104 records the coordinate value of the center position of the subject specified in step S30 in the memory, and proceeds to step S50. In step S50, the control device 104 determines whether or not the release button has been pressed by the user. If a negative determination is made in step S50, the process returns to step S10, and the control device 104 acquires the image data of the next frame from the image sensor 103 and repeats the process. On the other hand, if a positive determination is made in step S50, the process proceeds to step S60.

ステップＳ６０では、制御装置１０４は、上述したように撮影処理を実行して、ステップＳ７０へ進む。ステップＳ７０では、制御装置１０４は、撮影によって得た画像データに基づいて画像ファイルを生成する。その後、ステップＳ８０へ進み、制御装置１０４は、生成した画像ファイルのヘッダ情報に、被写体の移動軌跡に関する情報、すなわちメモリに記録してある被写体の中心位置の座標値の時系列データのうちの直近の所定時間、例えば３秒分のデータを追尾情報として記録して、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０４は、メモリカードスロット１０５を介して、画像ファイルをメモリカードに記録して処理を終了する。   In step S60, the control device 104 executes the photographing process as described above, and proceeds to step S70. In step S70, the control device 104 generates an image file based on the image data obtained by shooting. Thereafter, the process proceeds to step S80, and the control device 104 adds the latest information in the header information of the generated image file to the information on the movement locus of the subject, that is, the time-series data of the coordinate value of the center position of the subject recorded in the memory. Is recorded as tracking information, and the process proceeds to step S90. In step S90, the control device 104 records the image file on the memory card via the memory card slot 105 and ends the process.

図５は、第１の実施の形態における再生処理の流れを示すフローチャートである。図５に示す処理は、使用者によって画像の再生が指示されると起動するプログラムとして、制御装置１０４によって実行される。   FIG. 5 is a flowchart showing the flow of the reproduction process in the first embodiment. The processing shown in FIG. 5 is executed by the control device 104 as a program that starts when an instruction to reproduce an image is given by the user.

ステップＳ１１０において、制御装置１０４は、再生対象の画像ファイルをメモリカードから読み出して、ステップＳ１２０へ進む。ステップＳ１２０では、制御装置１０４は、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から、追尾情報としての被写体の移動軌跡に関する情報を読み出して、ステップＳ１３０へ進む。   In step S110, the control device 104 reads an image file to be reproduced from the memory card, and proceeds to step S120. In step S120, the control device 104 reads information on the movement trajectory of the subject as tracking information from the header information of the image file read in step S110, and proceeds to step S130.

ステップＳ１３０では、制御装置１０４は、ステップＳ１１０で読み出した画像ファイルから画像データを読み出し、図３を用いて上述したように、被写体の移動軌跡に関する情報に応じた表示効果を付して画像の再生を行って、処理を終了する。   In step S130, the control device 104 reads the image data from the image file read in step S110, and reproduces the image with a display effect according to the information related to the movement trajectory of the subject as described above with reference to FIG. To finish the process.

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、被写体追尾処理の結果に基づいて、撮影前の一定時間における被写体の移動軌跡に関する情報を特定し、これを追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、撮影時の被写体の移動軌跡を特定することが可能となる。 According to the first embodiment described above, the following operational effects can be obtained.
(1) Based on the result of the subject tracking process, the control device 104 identifies information related to the movement trajectory of the subject for a fixed time before shooting, and records this information as tracking information in the header information of the image file. This makes it possible to specify the movement locus of the subject at the time of shooting after shooting.

（２）制御装置１０４は、画像ファイルのヘッダ情報から追尾情報を読み出して、該追尾情報に基づく表示効果を付して画像を再生するようにした。これによって、撮影時の被写体の移動状況を再現した表示効果を付して画像を再生することができる。 (2) The control device 104 reads the tracking information from the header information of the image file, and reproduces the image with a display effect based on the tracking information. As a result, an image can be reproduced with a display effect that reproduces the movement of the subject at the time of shooting.

―第２の実施の形態―
第２の実施の形態では、制御装置１０４は、スルー画表示中の被写体追尾処理において、被写体の形状の変化に応じてテンプレート画像を更新することにより、被写体が移動したり向きを変えたりすることによって、被写体の形状に変化が生じた場合でも被写体追尾を継続できるようにする。なお、図１については、第１の実施の形態と同様のため、説明を省略する。 -Second embodiment-
In the second embodiment, the control device 104 moves or changes the direction of the subject by updating the template image according to the change in the shape of the subject in the subject tracking process during the through image display. Thus, the subject tracking can be continued even when the shape of the subject changes. Since FIG. 1 is the same as that of the first embodiment, description thereof is omitted.

第２の実施の形態におけるスルー画表示中のテンプレート更新処理について、図４と図６とを用いて説明する。なお、図４については、第１の実施の形態との相違点を中心に説明する。ここでは、スルー画上で被写体の向きが図６（ａ）〜図６（ｄ）に示すように変化し、図６（ｄ）に示すスルー画が表示されているタイミングで撮影が行われた結果、図６（ｅ）に示す画像６ｂが撮影される場合について説明する。   The template update process during live view display in the second embodiment will be described with reference to FIGS. Note that FIG. 4 will be described with a focus on differences from the first embodiment. Here, the orientation of the subject on the through image is changed as shown in FIGS. 6A to 6D, and shooting is performed at the timing when the through image shown in FIG. 6D is displayed. As a result, the case where the image 6b shown in FIG.

この場合、図４のステップＳ１０では、制御装置１０４は、まず、スルー画の１フレーム目、すなわち図６（ａ）に示す画像データを撮像素子１０３から取得する。そして、ステップＳ２０で、図６（ａ）に示す画像を対象として、テンプレートマッチング処理を行なう。ここでは、テンプレート画像として、あらかじめ図６（ａ）に示すテンプレート１が用意されており、制御装置１０４は、テンプレート１を用いてテンプレートマッチング処理を行なって、フレーム内における被写***置を特定する。なお、第２の実施の形態では、ステップＳ３０の処理は行わずに、ステップＳ４０ではテンプレートマッチング処理に用いたテンプレート画像、すなわちテンプレート１をメモリに記録する。   In this case, in step S10 of FIG. 4, the control device 104 first acquires the first frame of the through image, that is, the image data shown in FIG. In step S20, template matching processing is performed on the image shown in FIG. Here, a template 1 shown in FIG. 6A is prepared in advance as a template image, and the control device 104 performs a template matching process using the template 1 to specify a subject position in the frame. In the second embodiment, the process of step S30 is not performed, and the template image used for the template matching process, that is, template 1 is recorded in the memory in step S40.

制御装置１０４は、ステップＳ１０へ戻ってスルー画の２フレーム目を取得すると、ステップＳ２０でテンプレートマッチング処理を行なうに当たって、まず追尾中の被写体の形状が変化したか否かを判定する。例えば、制御装置１０４は、前フレームでの被写体の中心位置６ａを中心にした所定範囲内を対象としてテンプレートマッチングを行い、その結果算出された類似度が所定の基準値よりも低い場合には、被写体の形状が変化したと判断する。そして、制御装置１０４は、被写体の形状が前フレームから変化したと判断した場合には、そのときの被写体の画像を新たなテンプレート画像として取得してテンプレート画像を更新し、更新後のテンプレート画像を用いてテンプレートマッチング処理を行なう。これによって、上述したテンプレート画像１は、図６（ｂ）に示すテンプレート２で更新される。   When the control device 104 returns to step S10 and acquires the second frame of the through image, it first determines whether or not the shape of the subject being tracked has changed in performing the template matching process in step S20. For example, the control device 104 performs template matching for a predetermined range centered on the center position 6a of the subject in the previous frame, and when the calculated similarity is lower than a predetermined reference value, It is determined that the shape of the subject has changed. If the control device 104 determines that the shape of the subject has changed from the previous frame, the control device 104 acquires the image of the subject at that time as a new template image, updates the template image, and updates the updated template image. Use this to perform template matching. Thereby, the above-described template image 1 is updated with the template 2 shown in FIG.

制御装置１０４は、更新したテンプレート２を用いてテンプレートマッチング処理を行なって被写***置を特定した後、ステップＳ４０でテンプレート２をメモリに記録する。制御装置１０４は、スルー画の３フレーム目以降についても同様にテンプレート画像を更新しながら処理を行なう。すなわち、図６（ｃ）に示す３フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート２を図６（ｃ）に示すテンプレート３で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート３をメモリに記録する。また、図６（ｄ）に示す４フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート３を図６（ｄ）に示すテンプレート４で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート４をメモリに記録する。   The control device 104 performs template matching processing using the updated template 2 to identify the subject position, and then records the template 2 in the memory in step S40. The control device 104 also performs processing while updating the template image in the same manner for the third and subsequent frames of the through image. That is, for the third frame shown in FIG. 6C, the control device 104 performs template matching processing after updating the template 2 with the template 3 shown in FIG. 6C in step S20, and in step S40. Template 3 is recorded in the memory. For the fourth frame shown in FIG. 6D, the control device 104 performs template matching processing after updating the template 3 with the template 4 shown in FIG. 6D in step S20, and in step S40. Record template 4 in memory.

制御装置１０４は、ステップＳ５０で使用者によってレリーズボタンが押下されたと判断した場合には、ステップＳ６０で撮影処理を行って図６（ｅ）に示す画像６ｂを取得し、ステップＳ７０で画像ファイルを作成する。ステップＳ８０では、制御装置１０４は、第１の実施の形態で記録した被写体の移動軌跡に関する情報に代えて、メモリに記録してあるテンプレート画像のうち、直近の所定時間、例えば３秒間の間に記録されたテンプレート画像を追尾情報としてステップＳ７０で生成した画像ファイルのヘッダ情報に記録する。これによって、第２の実施の形態では、例えば、テンプレート１〜４の４枚のテンプレート画像が追尾情報としてヘッダ情報に記録されることになる。その後、ステップＳ９０へ進み、制御装置１０４は、画像ファイルをメモリカードに記録して、処理を終了する。   If the control device 104 determines in step S50 that the release button has been pressed by the user, the control device 104 performs shooting processing in step S60 to obtain the image 6b shown in FIG. 6E, and in step S70 the image file is acquired. create. In step S80, the control device 104 replaces the information about the movement trajectory of the subject recorded in the first embodiment with the latest predetermined time, for example, 3 seconds, among the template images recorded in the memory. The recorded template image is recorded as tracking information in the header information of the image file generated in step S70. Thus, in the second embodiment, for example, four template images of templates 1 to 4 are recorded in the header information as tracking information. Thereafter, the process proceeds to step S90, where the control device 104 records the image file on the memory card and ends the process.

次に、第２の実施の形態における画像再生処理について、図５と図７とを用いて説明する。なお、図５については、第１の実施の形態との相違点を中心に説明する。ここでは、図７に示すように、図６（ａ）〜（ｄ）に示したように被写体が移動した結果、図６（ｅ）に示す画像６ｂが撮影されて作成された画像ファイルの画像を再生する場合の例について説明する。   Next, image reproduction processing in the second embodiment will be described with reference to FIGS. Note that FIG. 5 will be described centering on differences from the first embodiment. Here, as shown in FIG. 7, as a result of the movement of the subject as shown in FIGS. 6A to 6D, the image 6b shown in FIG. An example in the case of playing will be described.

制御装置１０４は、ステップＳ１１０で、再生対象の画像ファイルをメモリカードから読み出し、ステップＳ１２０で、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から追尾情報、すなわちテンプレート画像を読み出す。第２の実施の形態では、制御装置１０４は、ステップＳ１３０において、ステップＳ１２０で読み出したテンプレート画像に基づく表示効果を付して画像６ｂを表示する。具体的には、制御装置１０４は、ヘッダ情報から読み出したテンプレート画像に基づいて、被写体の向きの変化を特定し、モニタ１０６に表示する画像を被写体の向きの変化に応じて垂直軸方向に回転させて表示する。   In step S110, the control device 104 reads an image file to be reproduced from the memory card, and in step S120, reads tracking information, that is, a template image, from the header information of the image file read in step S110. In the second embodiment, in step S130, the control device 104 displays the image 6b with a display effect based on the template image read in step S120. Specifically, the control device 104 identifies a change in the orientation of the subject based on the template image read from the header information, and rotates the image displayed on the monitor 106 in the vertical axis direction according to the change in the orientation of the subject. To display.

本実施の形態で読み出されるテンプレート画像は、図６に示したテンプレート１〜４の４枚の画像であり、被写体は、テンプレート１では正面を向き、テンプレート２では左方向を向き、テンプレート３では右方向を向き、テンプレート４では正面を向いている。よって、制御装置１０４は、ステップＳ１３０では、上記各テンプレート画像における被写体の向きの変化に応じて画像６ｂを垂直方向の軸を回転軸として回転させながら表示する。   The template images read out in the present embodiment are four images of templates 1 to 4 shown in FIG. 6, and the subject faces front in template 1, faces left in template 2, and right in template 3. The template 4 faces the front. Therefore, in step S130, the control device 104 displays the image 6b while rotating about the vertical axis as the rotation axis in accordance with the change in the orientation of the subject in each template image.

具体的には、制御装置１０４は、まず図７（ａ）に示すように、テンプレート１における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート１においては被写体は正面を向いているため、制御装置１０４は、画像６ｂを垂直軸方向に回転させずに表示する。次に、制御装置１０４は、図７（ｂ）に示すように、テンプレート２における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート２においては被写体は左を向いているため、制御装置１０４は、画像６ｂを垂直方向の軸を回転軸として左方向に所定角度だけ回転させて表示する。   Specifically, the control device 104 first displays an image 6b according to the orientation of the subject in the template 1 as shown in FIG. That is, in the template 1, since the subject faces the front, the control device 104 displays the image 6b without rotating it in the vertical axis direction. Next, as shown in FIG. 7B, the control device 104 displays an image 6b according to the direction of the subject in the template 2. That is, since the subject is facing left in the template 2, the control device 104 displays the image 6b by rotating it by a predetermined angle in the left direction with the vertical axis as the rotation axis.

次に、制御装置１０４は、図７（ｃ）に示すように、テンプレート３における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート３においては被写体は右を向いているため、制御装置１０４は、画像６ｂを垂直方向の軸を回転軸として右方向に所定角度だけ回転させて表示する。さらに、制御装置１０４は、図７（ｄ）に示すように、テンプレート４における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート４においては被写体は正面を向いているため、制御装置１０４は、画像６ｂを垂直軸方向に回転させずに表示する。   Next, as shown in FIG. 7C, the control device 104 displays an image 6b according to the orientation of the subject in the template 3. That is, since the subject is facing right in the template 3, the control device 104 displays the image 6b by rotating it by a predetermined angle in the right direction with the vertical axis as the rotation axis. Further, as shown in FIG. 7D, the control device 104 displays an image 6b according to the orientation of the subject in the template 4. That is, in the template 4, since the subject is facing the front, the control device 104 displays the image 6b without rotating it in the vertical axis direction.

これにより、制御装置１０４は、画像６ｂをテンプレート画像における被写体の向きの変化に応じて回転させることにより、撮影時の被写体の向きの変化を再現する表示効果を付した後、最終的には、図７（ｄ）に示すように、画像６ｂを全画面表示することができる。   As a result, the control device 104 rotates the image 6b according to the change in the orientation of the subject in the template image to add a display effect that reproduces the change in the orientation of the subject at the time of shooting. As shown in FIG. 7D, the image 6b can be displayed on the full screen.

以上説明した第２の実施の形態によれば、次のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、撮影前の一定時間内にテンプレートマッチング処理で用いられたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、スルー画表示中の被写体追尾処理で用いられたテンプレート画像を特定することが可能となる。 According to the second embodiment described above, the following operational effects can be obtained.
(1) The controller 104 performs template matching processing using a template image to perform subject tracking, and uses the template image used in the template matching processing within a certain time before shooting as tracking information in the header information of the image file. Recorded. This makes it possible to specify the template image used in the subject tracking process during live view display after shooting.

（２）制御装置１０４は、画像ファイルのヘッダ情報からテンプレート画像を読み出して、該テンプレート画像に基づいて、画像をテンプレート画像における被写体の向きの変化に応じて回転させて表示するようにした。これによって、撮影時の被写体の向きの変化を再現した表示効果を付して画像を再生することができる。 (2) The control device 104 reads the template image from the header information of the image file, and displays the image rotated based on the change in the orientation of the subject in the template image based on the template image. As a result, it is possible to reproduce an image with a display effect that reproduces the change in the orientation of the subject at the time of shooting.

―第３の実施の形態―
第３の実施の形態では、制御装置１０４は、スルー画表示中の被写体追尾処理において、被写体の大きさの変化に応じてテンプレート画像を更新することにより、被写体が光軸方向に移動して撮影画面内における被写体の大きさが変化した場合でも被写体追尾を継続できるようにする。なお、図１については、第１の実施の形態と同様のため、説明を省略する。 -Third embodiment-
In the third embodiment, in the subject tracking process during live view display, the control device 104 updates the template image according to the change in the size of the subject, so that the subject moves in the optical axis direction and is photographed. Even when the size of the subject in the screen changes, the subject tracking can be continued. Since FIG. 1 is the same as that of the first embodiment, description thereof is omitted.

第３の実施の形態におけるスルー画表示中のテンプレート更新処理について、図４と図８とを用いて説明する。なお、図４については、第１の実施の形態との相違点を中心に説明する。ここでは、スルー画上で被写体の大きさが図８（ａ）〜図８（ｃ）に示すように変化し、図８（ｃ）に示すスルー画が表示されているタイミングで撮影が行われた結果、図８（ｄ）に示す画像８ｂが撮影される場合について説明する。   A template update process during live view display in the third embodiment will be described with reference to FIGS. Note that FIG. 4 will be described with a focus on differences from the first embodiment. Here, the size of the subject on the through image changes as shown in FIGS. 8A to 8C, and shooting is performed at the timing when the through image shown in FIG. 8C is displayed. As a result, the case where the image 8b shown in FIG.

この場合、図４のステップＳ１０では、制御装置１０４は、まず、スルー画の１フレーム目、すなわち図８（ａ）に示す画像データを撮像素子１０３から取得する。そして、ステップＳ２０で、図８（ａ）に示す画像を対象として、テンプレートマッチング処理を行なう。ここでは、テンプレート画像として、あらかじめ図８（ａ）に示すテンプレート１が用意されており、制御装置１０４は、テンプレート１を用いてテンプレートマッチング処理を行なって、フレーム内における被写***置を特定する。なお、第３の実施の形態では、ステップＳ３０の処理は行わずに、ステップＳ４０ではテンプレートマッチング処理に用いたテンプレート画像、すなわちテンプレート１をメモリに記録する。   In this case, in step S10 of FIG. 4, the control device 104 first acquires the first frame of the through image, that is, the image data shown in FIG. In step S20, template matching processing is performed on the image shown in FIG. Here, a template 1 shown in FIG. 8A is prepared in advance as a template image, and the control device 104 performs a template matching process using the template 1 to specify a subject position in the frame. In the third embodiment, the process of step S30 is not performed, and the template image used for the template matching process, that is, the template 1 is recorded in the memory in step S40.

制御装置１０４は、ステップＳ１０へ戻ってスルー画の２フレーム目を取得すると、ステップＳ２０でテンプレートマッチング処理を行なうに当たって、まず追尾中の被写体の大きさが変化したか否かを判定する。例えば、制御装置１０４は、前フレームでの被写体の中心位置８ａを中心にした所定範囲内を対象として、テンプレート１を用いたテンプレートマッチングを行う。そして、その結果算出された類似度が所定の基準値よりも低い場合には、テンプレート１を拡大した拡大テンプレートと、テンプレート１を縮小した縮小テンプレートとを用いて、再度テンプレートマッチング処理を行なう。   When the control device 104 returns to step S10 to acquire the second frame of the through image, it first determines whether or not the size of the subject being tracked has changed in performing the template matching process in step S20. For example, the control device 104 performs template matching using the template 1 for a predetermined range centered on the center position 8a of the subject in the previous frame. If the similarity calculated as a result is lower than a predetermined reference value, the template matching process is performed again using the enlarged template obtained by enlarging the template 1 and the reduced template obtained by reducing the template 1.

その結果、テンプレート１を用いたテンプレートマッチング処理によって算出された類似度よりも、拡大テンプレートを用いて行ったテンプレートマッチング処理によって算出された類似度や、縮小テンプレートを用いて行ったテンプレートマッチング処理によって算出された類似度の方が高い場合には、被写体の大きさが変化したと判断する。そして、制御装置１０４は、被写体の大きさが前フレームから変化したと判断した場合には、そのときの被写体の画像を新たなテンプレート画像として取得してテンプレート画像を更新し、更新後のテンプレート画像を用いてテンプレートマッチング処理を行なう。例えば、前フレームよりも被写体が大きくなった場合には、図８（ｂ）に示すテンプレート２が新たに取得され、上述したテンプレート画像１は、このテンプレート２で更新される。   As a result, the similarity calculated by the template matching process performed using the enlarged template and the template matching process performed using the reduced template are calculated rather than the similarity calculated by the template matching process using the template 1. If the similarity is higher, it is determined that the size of the subject has changed. When the control device 104 determines that the size of the subject has changed from the previous frame, the control device 104 acquires the image of the subject at that time as a new template image, updates the template image, and updates the updated template image. Template matching processing is performed using For example, when the subject becomes larger than the previous frame, the template 2 shown in FIG. 8B is newly acquired, and the template image 1 described above is updated with the template 2.

制御装置１０４は、更新したテンプレート２を用いてテンプレートマッチング処理を行なって被写***置を特定した後、ステップＳ４０でテンプレート２をメモリに記録する。制御装置１０４は、スルー画の３フレーム目以降についても同様にテンプレート画像を更新しながら処理を行なう。すなわち、図８（ｃ）に示す３フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート３を図８（ｃ）に示すテンプレート３で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート３をメモリに記録する。   The control device 104 performs template matching processing using the updated template 2 to identify the subject position, and then records the template 2 in the memory in step S40. The control device 104 also performs processing while updating the template image in the same manner for the third and subsequent frames of the through image. That is, for the third frame shown in FIG. 8C, the control device 104 updates the template 3 with the template 3 shown in FIG. 8C in step S20, performs template matching processing, and then in step S40. Template 3 is recorded in the memory.

制御装置１０４は、ステップＳ５０で使用者によってレリーズボタンが押下されたと判断した場合には、ステップＳ６０で撮影処理を行って図８（ｄ）に示す画像８ｂを取得し、ステップＳ７０で画像ファイルを作成する。ステップＳ８０では、制御装置１０４は、第１の実施の形態で記録した被写体の移動軌跡に関する情報に代えて、メモリに記録してあるテンプレート画像のうち、直近の所定時間、例えば３秒間の間に記録されたテンプレート画像を追尾情報としてステップＳ７０で生成した画像ファイルのヘッダ情報に記録する。これによって、第３の実施の形態では、例えば、テンプレート１〜３の４枚のテンプレート画像がヘッダ情報に記録されることになる。その後、ステップＳ９０へ進み、制御装置１０４は、画像ファイルをメモリカードに記録して、処理を終了する。   If the control device 104 determines in step S50 that the release button has been pressed by the user, the control device 104 performs shooting processing in step S60 to obtain the image 8b shown in FIG. 8D, and in step S70 the image file is acquired. create. In step S80, the control device 104 replaces the information about the movement trajectory of the subject recorded in the first embodiment with the latest predetermined time, for example, 3 seconds, among the template images recorded in the memory. The recorded template image is recorded as tracking information in the header information of the image file generated in step S70. Thus, in the third embodiment, for example, four template images of templates 1 to 3 are recorded in the header information. Thereafter, the process proceeds to step S90, where the control device 104 records the image file on the memory card and ends the process.

次に、第３の実施の形態における画像再生処理について、図５と図９とを用いて説明する。なお、図５については、第１の実施の形態との相違点を中心に説明する。ここでは、図９に示すように、図８（ａ）〜（ｃ）に示したように被写体が移動した結果、図８（ｄ）に示す画像８ｂが撮影されて作成された画像ファイルの画像を再生する場合の例について説明する。   Next, image reproduction processing according to the third embodiment will be described with reference to FIGS. Note that FIG. 5 will be described centering on differences from the first embodiment. Here, as shown in FIG. 9, as a result of the movement of the subject as shown in FIGS. 8A to 8C, the image 8b shown in FIG. An example in the case of playing will be described.

制御装置１０４は、ステップＳ１１０で、再生対象の画像ファイルをメモリカードから読み出し、ステップＳ１２０で、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から追尾情報、すなわちテンプレート画像を読み出す。第３の実施の形態では、制御装置１０４は、ステップＳ１３０において、ステップＳ１２０で読み出したテンプレート画像に基づく表示効果を付して画像８ｂを表示する。具体的には、制御装置１０４は、ヘッダ情報から読み出したテンプレート画像に基づいて、被写体の大きさの変化を特定し、モニタ１０６に表示する画像の大きさを被写体の大きさの変化に応じて変更する。   In step S110, the control device 104 reads an image file to be reproduced from the memory card, and in step S120, reads tracking information, that is, a template image, from the header information of the image file read in step S110. In the third embodiment, in step S130, the control device 104 displays the image 8b with a display effect based on the template image read in step S120. Specifically, the control device 104 identifies a change in the size of the subject based on the template image read from the header information, and changes the size of the image displayed on the monitor 106 according to the change in the size of the subject. change.

本実施の形態で読み出されるテンプレート画像は、図８に示したテンプレート１〜３の３枚の画像であり、被写体の大きさは、テンプレート１、テンプレート２、テンプレート３の順で徐々に大きくなっている。よって、制御装置１０４は、ステップＳ１３０では、上記各テンプレート画像における被写体の大きさの変化に応じて画像８ｂの表示サイズを変化させながら表示する。   The template images read out in this embodiment are three images of templates 1 to 3 shown in FIG. 8, and the size of the subject gradually increases in the order of template 1, template 2, and template 3. Yes. Therefore, in step S130, the control device 104 displays the image 8b while changing the display size in accordance with the change in the size of the subject in each template image.

具体的には、制御装置１０４は、まず図９（ａ）に示すように、テンプレート１の大きさ応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート１の画像サイズは、テンプレート１〜３の中で最も小さいため、制御装置１０４は、画像８ｂを縮小して表示する。次に、制御装置１０４は、図９（ｂ）に示すように、テンプレート２の大きさに応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート２は、テンプレート１よりも大きく、テンプレート３よりも小さいため、制御装置１０４は、画像８ｂを図９（ａ）に示した画像サイズより大きくなるように縮小して表示する。さらに、制御装置１０４は、図９（ｃ）に示すように、テンプレート３の大きさに応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート３は、テンプレート１〜３の中で最も大きいため、制御装置１０４は、画像８ｂをモニタ１０６に全画面表示する。   Specifically, the control device 104 first displays an image 8b with an image size corresponding to the size of the template 1, as shown in FIG. That is, since the image size of the template 1 is the smallest among the templates 1 to 3, the control device 104 displays the image 8b in a reduced size. Next, as shown in FIG. 9B, the control device 104 displays the image 8b with an image size corresponding to the size of the template 2. That is, since the template 2 is larger than the template 1 and smaller than the template 3, the control device 104 displays the image 8b in a reduced size so as to be larger than the image size shown in FIG. Further, as shown in FIG. 9C, the control device 104 displays the image 8b with an image size corresponding to the size of the template 3. That is, since the template 3 is the largest among the templates 1 to 3, the control device 104 displays the image 8b on the monitor 106 in full screen.

これにより、制御装置１０４は、画像８ｂの表示サイズをテンプレート画像の大きさの変化に応じて変更することにより、スルー画における被写体の大きさの変化を再現するという表示効果を付した後、最終的には、図９（ｃ）に示すように、画像８ｂを全画面表示することができる。   As a result, the control device 104 changes the display size of the image 8b in accordance with the change in the size of the template image, thereby giving the display effect of reproducing the change in the size of the subject in the through image, and then finally Specifically, as shown in FIG. 9C, the image 8b can be displayed in full screen.

以上説明した第３の実施の形態によれば、次のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、撮影前の一定時間内にテンプレートマッチング処理で用いられたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、スルー画撮影中の被写体追尾処理で用いられたテンプレート画像を特定することが可能となる。 According to the third embodiment described above, the following operational effects can be obtained.
(1) The controller 104 performs template matching processing using a template image to perform subject tracking, and uses the template image used in the template matching processing within a certain time before shooting as tracking information in the header information of the image file. Recorded. This makes it possible to specify the template image used in the subject tracking process during through image shooting after shooting.

（２）制御装置１０４は、画像ファイルのヘッダ情報からテンプレート画像を読み出して、該テンプレート画像に基づいて、画像の表示サイズをテンプレート画像の大きさの変化に応じて変更して表示するようにした。これによって、撮影時の被写体の大きさの変化を再現した表示効果を付して画像を再生することができる。 (2) The control device 104 reads the template image from the header information of the image file, and changes the display size of the image according to the change in the size of the template image based on the template image. . As a result, it is possible to reproduce an image with a display effect that reproduces a change in the size of the subject at the time of shooting.

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、制御装置１０４は、スルー画の各フレームに対して被写体追尾処理を実行し、その実行結果に基づいて被写体の移動軌跡に関する情報を追尾情報として画像ファイルのヘッダ部に記録するようにした。そして、画像の再生時には、被写体の移動軌跡に関する情報に基づいて、撮影時の被写体の移動軌跡を再現するような表示効果を付すようにした。しかしながら、制御装置１０４は、被写体追尾以外の方法によって撮影時の被写体の移動軌跡を検出するようにしてもよい。例えば、カメラ１００にジャイロセンサや加速度センサを搭載し、制御装置１０４は、該ジャイロセンサや加速度センサからの出力に基づいてカメラ１００の動きを検出し、検出したデータを被写体の移動軌跡に関する情報、すなわち追尾情報として画像ファイルのヘッダ情報に記録するようにしてもよい。すなわち、ジャイロセンサや加速度センサによって検出されるカメラ１００の動きは、使用者が被写体を追尾するために撮影方向を変更するための動きである可能性が高いことから、本実施の形態では、これらのセンサからの出力に基づいて検出したカメラ１００の動きを被写体の移動軌跡に関する情報として扱うことができる。この場合、画像再生時には、制御装置１０４は、第１の実施の形態で図３（ａ）〜（ｃ）を用いて上述したように、画像ファイルのヘッダ情報に記録されている被写体の移動軌跡に関する情報に基づいて、スルー画における被写体の移動状況を再現する表示効果を付して画像を表示すればよい。 -Modification-
The camera according to the above-described embodiment can be modified as follows.
(1) In the first embodiment described above, the control device 104 executes subject tracking processing for each frame of a through image, and based on the execution result, information about the subject's movement trajectory is used as tracking information. Recorded in the header of the file. Then, at the time of image reproduction, a display effect that reproduces the movement trajectory of the subject at the time of shooting is added based on information on the movement trajectory of the subject. However, the control device 104 may detect the movement locus of the subject at the time of shooting by a method other than the subject tracking. For example, a gyro sensor or an acceleration sensor is mounted on the camera 100, and the control device 104 detects the movement of the camera 100 based on the output from the gyro sensor or the acceleration sensor, and uses the detected data as information on the movement trajectory of the subject. That is, it may be recorded in the header information of the image file as tracking information. In other words, the movement of the camera 100 detected by the gyro sensor or the acceleration sensor is likely to be a movement for the user to change the shooting direction in order to track the subject. The movement of the camera 100 detected based on the output from the sensor can be handled as information related to the movement trajectory of the subject. In this case, at the time of image reproduction, as described above with reference to FIGS. 3A to 3C in the first embodiment, the control device 104 moves the object trajectory recorded in the header information of the image file. The image may be displayed with a display effect that reproduces the movement state of the subject in the through image based on the information regarding the image.

（２）上述した第１〜第３の実施の形態では、制御装置１０４は、被写体の移動軌跡に関する情報やテンプレートマッチング処理に用いたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録する例について説明した。しかしながら、制御装置１０４は、追尾情報を撮影画像の画像ファイルとは別のデータファイルとして記録するようにしてもよい。この場合は、撮影画像の画像ファイルのヘッダ情報に、追尾情報を記録したデータファイルのファイル名を記録する等して、撮影画像の画像ファイルと追尾情報のファイルとを関連付けるようにすればよい。あるいは、両ファイルのファイル名の一部を共通にすることによって、両ファイルを関連付けてもよい。 (2) In the first to third embodiments described above, the control device 104 records information about the movement trajectory of the subject and the template image used for the template matching process as tracking information in the header information of the image file. explained. However, the control device 104 may record the tracking information as a data file different from the image file of the captured image. In this case, the image file of the captured image may be associated with the file of the tracking information by recording the file name of the data file in which the tracking information is recorded in the header information of the image file of the captured image. Alternatively, both files may be associated by sharing a part of the file names of both files.

（３）上述した第１〜第３の実施の形態では、制御装置１０４は、使用者によって操作部材１０１に含まれる再生ボタンが押下されたときに画像の再生を行なう例について説明した。しかしながら、制御装置１０４は、１枚の画像の撮影が完了したときに、撮影した画像の再生を自動的に開始するようにしてもよい。 (3) In the above-described first to third embodiments, the control device 104 has been described with respect to an example in which an image is reproduced when a reproduction button included in the operation member 101 is pressed by the user. However, the control device 104 may automatically start the reproduction of the captured image when the capturing of one image is completed.

（４）上述した第２および第３の実施の形態では、制御装置１０４は、追尾情報としてテンプレートマッチング処理に用いたテンプレート画像を画像ファイルのヘッダ情報に記録する例について説明した。しかしながら、制御装置１０４は、テンプレート画像の内容を示す情報を画像ファイルのヘッダ情報に記録するようにしてもよい。例えば、第２の実施の形態では、制御装置１０４は、テンプレート画像に代えて、テンプレート画像内で被写体がどちらの方向を向いているかを特定するための情報を追尾情報として記録してもよい。また、第３の実施の形態では、制御装置１０４は、テンプレート画像に代えて、テンプレート画像の大きさを示す情報を追尾情報として記録するようにしてもよい。 (4) In the second and third embodiments described above, the control device 104 has described an example in which the template image used for the template matching process is recorded as tracking information in the header information of the image file. However, the control device 104 may record information indicating the contents of the template image in the header information of the image file. For example, in the second embodiment, the control device 104 may record information for specifying which direction the subject is facing in the template image as tracking information instead of the template image. In the third embodiment, the control device 104 may record information indicating the size of the template image as tracking information instead of the template image.

（５）上述した第１〜第３の実施の形態では、制御装置１０４は、画像ファイルのヘッダ情報に記録されている追尾情報に応じた表示効果を付して、撮影画像を再生する例について説明した。しかしながら、制御装置１０４は、画像ファイルのヘッダ情報に記録されている追尾情報に応じた表示効果を付して画像を再生した場合の再生内容を動画データに変換して記録するようにしてもよい。これによって、使用者は、動画データを再生するだけで、いつでも表示効果付きで画像を再生させることができる。 (5) In the first to third embodiments described above, the control device 104 adds a display effect according to the tracking information recorded in the header information of the image file and reproduces the captured image. explained. However, the control device 104 may convert the reproduction content when the image is reproduced with a display effect according to the tracking information recorded in the header information of the image file into the moving image data and record it. . As a result, the user can reproduce an image with a display effect at any time simply by reproducing the moving image data.

（６）上述した第１〜第３の実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、本発明はカメラ以外の他の機器にも適用可能である。また、カメラ側で図４に示す処理を実行して画像ファイルを作成し、該画像ファイルをパソコン等の他の機器（画像表示装置）へ転送して、転送先の機器で図５に示す処理を実行して画像を再生するようにしてもよい。 (6) In the above-described first to third embodiments, examples in which the present invention is applied to a camera have been described. However, the present invention can also be applied to devices other than cameras. Further, the processing shown in FIG. 4 is executed on the camera side to create an image file, the image file is transferred to another device (image display device) such as a personal computer, and the processing shown in FIG. May be executed to reproduce the image.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ 100 Camera, 101 Operation member, 102 Lens, 103 Image sensor, 104 Control device, 105 Memory card slot, 106 Monitor

Claims (15)

被写体像を撮像する撮像手段と、
前記撮像手段によって撮像された画像内の被写体を複数フレーム間で追尾して追尾情報を得る被写体追尾手段と、
使用者からの指示に基づいて撮影処理を行なって、前記撮像手段によって撮像された撮影画像を記憶媒体に記録する撮影手段と、
前記撮影手段によって前記撮影処理が行われたときに、前記撮影処理の所定時間前から撮影処理開始時までの間に得られた前記追尾情報を、前記撮影画像に関連付けて前記記憶媒体に記録する追尾情報記録手段とを備えることを特徴とする撮像装置。 Imaging means for capturing a subject image;
Subject tracking means for obtaining tracking information by tracking a subject in an image captured by the imaging means between a plurality of frames;
Photographing means for performing photographing processing based on an instruction from a user and recording a photographed image captured by the imaging means in a storage medium;
When the shooting process is performed by the shooting unit, the tracking information obtained between a predetermined time before the shooting process and the start of the shooting process is recorded in the storage medium in association with the shot image. An imaging apparatus comprising tracking information recording means. 請求項１に記載の撮像装置において、
前記撮影画像と前記追尾情報とを前記記憶媒体から読み出す読み出し手段と、
前記読み出し手段によって読み出された前記追尾情報に基づいて、前記撮影画像を再生する際の表示効果を決定する表示効果決定手段とをさらに備えることを特徴とする撮像装置。 The imaging device according to claim 1,
Reading means for reading the captured image and the tracking information from the storage medium;
An image pickup apparatus, further comprising: a display effect determining unit that determines a display effect when the captured image is reproduced based on the tracking information read by the reading unit. 請求項２に記載の撮像装置において、
前記表示効果決定手段によって決定された表示効果を付して、前記撮影画像を表示装置に表示する表示制御手段をさらに備えることを特徴とする撮像装置。 The imaging device according to claim 2,
An imaging apparatus, further comprising display control means for displaying the photographed image on a display device with a display effect determined by the display effect determination means. 請求項１〜３のいずれか一項に記載の撮像装置において、
前記追尾情報記録手段は、前記撮影処理の所定時間前から撮影処理開始時までの間における被写体の移動軌跡に関する情報を前記追尾情報として記録することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
The tracking apparatus according to claim 1, wherein the tracking information recording unit records, as the tracking information, information related to a moving locus of a subject between a predetermined time before the shooting process and the start of the shooting process. 請求項４に記載の撮像装置において、
前記追尾情報記録手段は、前記被写体追尾手段による被写体の追尾結果に基づいて取得された画像内における被写体の位置情報の時系列データを前記被写体の移動軌跡に関する情報として記録することを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The tracking information recording means records time-series data of subject position information in an image acquired based on a subject tracking result by the subject tracking means as information relating to the movement trajectory of the subject. apparatus. 請求項４に記載の撮像装置において、
前記追尾情報記録手段は、撮像装置の動きを検出するセンサからの出力に基づいて取得されたデータの時系列データを前記被写体の移動軌跡に関する情報として記録することを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The tracking information recording unit records time-series data of data acquired based on an output from a sensor that detects movement of the imaging device as information relating to a movement locus of the subject. 請求項１〜３のいずれか一項に記載の撮像装置において、
前記被写体追尾手段は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、
前記追尾情報記録手段は、撮影処理の所定時間前から撮影処理開始時までに用いられた前記テンプレート画像を前記追尾情報として記録することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
The subject tracking means performs subject tracking by performing template matching processing using a template image,
The said tracking information recording means records the said template image used from the predetermined time before imaging | photography process to the time of the imaging | photography process start as said tracking information, The imaging device characterized by the above-mentioned. 請求項１〜７のいずれか一項に記載の撮像装置において、
前記追尾情報記録手段は、前記撮影画像と前記追尾情報とを１つの画像ファイルに記録することにより、それぞれを関連付けることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 7,
The tracking information recording means records the captured image and the tracking information in one image file, thereby associating each of them. 請求項１〜７のいずれか一項に記載の撮像装置において、
前記追尾情報記録手段は、前記撮影画像と前記追尾情報とを異なるデータファイルに記録し、前記データファイル同士を関連付けることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 7,
The tracking information recording means records the captured image and the tracking information in different data files, and associates the data files with each other. 請求項２に記載の撮像装置において、
前記表示効果決定手段によって決定された表示効果を付した画像の再生内容を動画データとして前記記憶媒体に記録する動画記録手段をさらに備えることを特徴とする撮像装置。 The imaging device according to claim 2,
An image pickup apparatus, further comprising a moving image recording unit that records the reproduction content of an image with a display effect determined by the display effect determining unit as moving image data in the storage medium. 画像と、前記画像の撮影時の所定時間前から前記撮影時までの間における被写体の追尾情報との組を記憶媒体から読み出す読み出し手段と、
前記読み出し手段によって読み出された前記追尾情報に基づいて、前記画像を再生する際の表示効果を決定する表示効果決定手段と、
前記表示効果決定手段によって決定された表示効果を付して、前記画像を表示装置に表示する表示制御手段とを備えることを特徴とする画像表示装置。 Reading means for reading from the storage medium a set of an image and tracking information of a subject between a predetermined time before shooting and the shooting time;
Display effect determining means for determining a display effect when reproducing the image based on the tracking information read by the reading means;
An image display device comprising: display control means for displaying the image on a display device with the display effect determined by the display effect determination means. 請求項１１に記載の画像表示装置において、
前記追尾情報は、前記画像の撮影時の所定時間前から前記撮影時までの間における被写体の移動軌跡に関する情報であることを特徴とする画像表示装置。 The image display device according to claim 11,
The image display apparatus according to claim 1, wherein the tracking information is information relating to a movement trajectory of a subject from a predetermined time before the image is captured until the image is captured. 請求項１１に記載の画像表示装置において、
前記追尾情報は、前記画像の撮影時の所定時間前から前記撮影時までの間に、被写体追尾のために行われたテンプレートマッチング処理で用いられたテンプレート画像であることを特徴とする画像表示装置。 The image display device according to claim 11,
The image display apparatus, wherein the tracking information is a template image used in template matching processing performed for subject tracking from a predetermined time before the image is captured to the time of the image capture. . 請求項１１〜１３のいずれか一項に記載の画像表示装置において、
前記表示効果決定手段によって決定された表示効果を付した画像の再生内容を動画データとして前記記憶媒体に記録する動画記録手段をさらに備えることを特徴とする画像表示装置。 In the image display device according to any one of claims 11 to 13,
An image display apparatus, further comprising a moving image recording unit that records the reproduction content of the image with the display effect determined by the display effect determining unit as moving image data in the storage medium. 画像と、前記画像の撮影時の所定時間前から前記撮影時までの間における被写体の追尾情報との組を記憶媒体から読み出す読み出し手順と、
前記読み出し手順で読み出した前記追尾情報に基づいて、前記画像を再生する際の表示効果を決定する表示効果決定手順と、
前記表示効果決定手順で決定した表示効果を付して、前記画像を表示装置に表示する表示制御手順とをコンピュータに実行させるための画像表示プログラム。 A reading procedure for reading a set of an image and tracking information of a subject from a predetermined time before the image is captured to a time when the image is captured from a storage medium;
A display effect determination procedure for determining a display effect when reproducing the image, based on the tracking information read in the read procedure;
An image display program for causing a computer to execute a display control procedure for displaying the image on a display device with the display effect determined in the display effect determination procedure.
JP2010114181A 2010-05-18 2010-05-18 Imaging device, image display device, and image display program Expired - Fee Related JP5573353B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010114181A JP5573353B2 (en) 2010-05-18 2010-05-18 Imaging device, image display device, and image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010114181A JP5573353B2 (en) 2010-05-18 2010-05-18 Imaging device, image display device, and image display program

Publications (2)

Publication Number Publication Date
JP2011244183A true JP2011244183A (en) 2011-12-01
JP5573353B2 JP5573353B2 (en) 2014-08-20

Family

ID=45410389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010114181A Expired - Fee Related JP5573353B2 (en) 2010-05-18 2010-05-18 Imaging device, image display device, and image display program

Country Status (1)

Country Link
JP (1) JP5573353B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059655A (en) * 2012-09-14 2014-04-03 Toshiba Corp Road situation-monitoring device, and road situation-monitoring method
WO2016203896A1 (en) * 2015-06-16 2016-12-22 シャープ株式会社 Generation device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028251A (en) * 2005-07-19 2007-02-01 Seiko Epson Corp Image processing apparatus, image processing method, program, and recording medium
JP2008182374A (en) * 2007-01-23 2008-08-07 Casio Comput Co Ltd Imaging apparatus, imaging method, image reproducing method, and programs for them
JP2009048428A (en) * 2007-08-20 2009-03-05 Secom Co Ltd Moving object tracking device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028251A (en) * 2005-07-19 2007-02-01 Seiko Epson Corp Image processing apparatus, image processing method, program, and recording medium
JP2008182374A (en) * 2007-01-23 2008-08-07 Casio Comput Co Ltd Imaging apparatus, imaging method, image reproducing method, and programs for them
JP2009048428A (en) * 2007-08-20 2009-03-05 Secom Co Ltd Moving object tracking device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059655A (en) * 2012-09-14 2014-04-03 Toshiba Corp Road situation-monitoring device, and road situation-monitoring method
WO2016203896A1 (en) * 2015-06-16 2016-12-22 シャープ株式会社 Generation device

Also Published As

Publication number Publication date
JP5573353B2 (en) 2014-08-20

Similar Documents

Publication Publication Date Title
JP6231804B2 (en) Electronic device and control method thereof
JP2008136174A (en) Imaging apparatus and imaging control method
US20120098946A1 (en) Image processing apparatus and methods of associating audio data with image data therein
JP2005110097A (en) Imaging apparatus and image pickup method
JP4798259B2 (en) Subject tracking device and camera
TW200806021A (en) Movings image playback device
KR20130111866A (en) Digital image processing apparatus and controlling method thereof
JP5573353B2 (en) Imaging device, image display device, and image display program
JP2004048346A (en) Image pickup device, image reproducing device, and program
JP5544917B2 (en) Imaging apparatus and imaging method
JP4948014B2 (en) Electronic camera
JP4899954B2 (en) camera
JP2005348178A (en) Moving picture recording apparatus and moving picture indicator method, and storage medium
JP2013115444A (en) Electronic camera
JP5962974B2 (en) Imaging apparatus, imaging method, and program
JP5612934B2 (en) Portable device and playback display method
JP2012114677A5 (en)
JP2010157792A (en) Photographed object tracing device
JP5332668B2 (en) Imaging apparatus and subject detection program
JP6249771B2 (en) Image processing apparatus, image processing method, and program
JP2007180740A (en) Image data recorder, setting indication method and program
JP2014033354A (en) Moving image recording device and moving image recording method
US8947559B2 (en) Recorder and player
JP2010183565A (en) Image capturing apparatus, image retrieval device, and program
JP2011176456A (en) Camera and image reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R150 Certificate of patent or registration of utility model

Ref document number: 5573353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees