JP6702698B2 - Imaging device and information processing method - Google Patents
Imaging device and information processing method Download PDFInfo
- Publication number
- JP6702698B2 JP6702698B2 JP2015230017A JP2015230017A JP6702698B2 JP 6702698 B2 JP6702698 B2 JP 6702698B2 JP 2015230017 A JP2015230017 A JP 2015230017A JP 2015230017 A JP2015230017 A JP 2015230017A JP 6702698 B2 JP6702698 B2 JP 6702698B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- control unit
- display
- combined
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 17
- 230000010365 information processing Effects 0.000 title claims description 5
- 238000003672 processing method Methods 0.000 title claims 3
- 239000002131 composite material Substances 0.000 claims description 42
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 description 129
- 230000008569 process Effects 0.000 description 127
- 238000012545 processing Methods 0.000 description 67
- 230000033001 locomotion Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000007906 compression Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、撮像装置及び情報処理方法に関する。 The present invention relates to an imaging apparatus and an information processing how.
近年、被写体を撮影するメインの撮像系（レンズ、撮像素子等）だけでなく、複数の撮像系を備える撮像装置が知られている。例えば、被写体方向とは逆向きのサブの撮像系を備え、２つの撮像系で同時に撮影し、重畳（合成）することで、撮影者の表情も同時に記録することができるカメラや携帯電話がある。特許文献１には、第１の撮像手段によって得られた画像に対する第２の撮像手段によって得られた画像の配置位置を調整可能とする撮像装置が開示されている。
2. Description of the Related Art In recent years, an image pickup apparatus including a plurality of image pickup systems as well as a main image pickup system (lens, image pickup device, etc.) for photographing a subject is known. For example, there are cameras and mobile phones that have a sub-imaging system in the direction opposite to the subject direction and can simultaneously capture the facial expressions of the photographer by simultaneously capturing and superimposing (combining) images with the two imaging systems. ..
メイン・サブの２つの画像が重畳された、複数の重畳画像を連続して再生表示する場合がある。この場合には、複数の重畳画像において、重畳された画像の位置や大きさが異なっていると、ユーザにとって見難く、また見栄えが良くないという問題があった。 In some cases, a plurality of superimposed images in which two main and sub images are superimposed are continuously reproduced and displayed. In this case, if the positions and sizes of the superimposed images are different in the plurality of superimposed images, it is difficult for the user to see and the appearance is not good.
本発明はこのような問題点に鑑みなされたもので、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to generate a superimposed image that is easy for a user to see and looks good when a plurality of superimposed images are continuously displayed.
そこで、本発明は、第１の撮像手段と、第２の撮像手段と、を有する撮像装置であって、撮影モードを設定する撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像に対する前記第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、前記第１の画像に、前記第２の画像を合成する合成手段と、記録指示に応じて、前記合成手段により合成された画像を記録媒体に記録するように制御する記録制御手段と、前記記録媒体に記録されている複数の画像を、所定の表示領域において連続的に再生表示するための連続再生手段と、を有し、前記合成手段は、第１の撮影モードにおいて前記第１の撮像手段により撮影された第１の静止画に、前記第１の撮影モードにおいて前記第２の撮像手段により撮影された第２の静止画を合成して第１の合成静止画を生成し、第２の撮影モードにおいて前記第１の撮像手段により撮影された第１の動画に、前記第２の撮影モードにおいて前記第２の撮像手段により撮影された第２の動画を合成して第２の合成動画を生成し、前記連続再生手段は、前記第１の撮影モードで記録した前記第１の合成静止画と前記第２の撮影モードで記録した前記第２の合成動画とを異なるサイズで再生表示し、前記決定手段は、前記第１の合成静止画に合成されている前記第２の静止画と、前記第２の合成動画に合成されている前記第２の動画とが、前記連続再生手段によって複数の画像を再生表示する場合に同じ表示位置及び表示サイズで再生表示されるように、前記合成位置及び前記合成サイズを決定する、ことを特徴とする。 Therefore, the present invention is an image pickup apparatus having a first image pickup means and a second image pickup means, and a photographing mode setting means for setting a photographing mode, and a photographing mode set by the photographing mode setting means. In accordance with the first image capturing means, the determining means for determining a composite position and a composite size of the second image captured by the second image capturing means with respect to the first image captured by the first image capturing means; A synthesizing unit that synthesizes the second image on the image, a recording control unit that controls the image synthesized by the synthesizing unit to be recorded on a recording medium according to a recording instruction, and a recording control unit that records the image on the recording medium. Continuous reproduction means for continuously reproducing and displaying a plurality of images in a predetermined display area, and the synthesizing means is photographed by the first imaging means in a first photographing mode. The first still image is combined with the second still image photographed by the second image pickup means in the first photographing mode to generate a first combined still image. In the second photographing mode, The first moving image shot by the first image pickup unit is combined with the second moving image shot by the second image pickup unit in the second shooting mode to generate a second combined moving image. The continuous reproduction means reproduces and displays the first combined still image recorded in the first shooting mode and the second combined moving image recorded in the second shooting mode in different sizes, and the determination means , The second still image combined with the first combined still image and the second moving image combined with the second combined moving image reproduce a plurality of images by the continuous reproduction means. It is characterized in that the composite position and the composite size are determined so that the same display position and display size are reproduced and displayed .
本発明によれば、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することができる。 According to the present invention, when a plurality of superimposed images are continuously displayed, it is possible to generate a superimposed image that is easy for the user to see and looks good.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、撮像装置の一例としてのデジタルカメラ１００の背面図である。表示部２３は、画像や各種情報を表示する表示部である。シャッターボタン６０は、静止画撮影指示を行うための操作部である。動画撮影ボタン７０は、動画撮影指示を行うための操作部材である。操作部６２は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材より成る操作部である。操作部６２は、デジタルカメラ１００の電源ＯＮ、ＯＦＦを切り替える電源スイッチ、デジタルカメラ１００の動作モードを切り替えるモード切り替えスイッチを有している。操作部６２はまた、デジタルカメラ１００のメニュー設定を行うメニューボタン、メニューや設定を指示する十字キーボタン等を有している。記録媒体９１は、メモリカードやハードディスク等の記録媒体である。蓋９２は、記録媒体９１を収納するための蓋である。１０１は、デジタルカメラ１００を使用している撮影者側を撮影可能なレンズ、撮像素子からなるカメラモジュールである。
FIG. 1 is a rear view of a
図２は、デジタルカメラ１００のハードウェア構成を示す図である。１１は、撮影レンズである。１２は、絞り機能を備えるシャッターである。１３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。１５は、撮像素子１３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。撮影レンズ１１、シャッター１２及び撮像素子１３は、被写体側をメイン画像として撮影するアウトカメラ１１０を構成する。１０は、撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。同様に１０１の撮影レンズは、撮影レンズ１１とは別にデジタルカメラ１００を使用している撮影者を撮影可能な方向に設置されているズームレンズ、フォーカスレンズを含むレンズ群である。１０２は、絞り機能を備えるシャッターである。１０３は、撮影者側の光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮影レンズ１０１、シャッター１０２及び撮像素子１０３は、撮影者側をサブ画像として撮影するインカメラ１２０を構成する。
FIG. 2 is a diagram showing a hardware configuration of the
１４は撮像素子１３，１０３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及び制御部５０により制御される。２０は、画像処理回路であり、Ａ／Ｄ変換器１５からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果を制御部５０に出力する。制御部５０は、例えばＣＰＵであり、デジタルカメラ１００全体を制御する。制御部５０は、演算結果に基づいて、露出制御部４０、測距制御部４１に対して制御を行い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。画像処理回路２０は、撮像により得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。画像処理回路２０はさらに、メモリ２５に格納された画像を読み込んで、ＪＰＥＧ方式やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式での圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。
A
２２はメモリ制御回路であり、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５のデータが画像処理回路２０、メモリ制御回路２２を介して、又はＡ／Ｄ変換器１５のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４又はメモリ２５に書き込まれる。２４は、画像表示メモリである。２１は、Ｄ／Ａ変換器である。２３は、ＴＦＴ ＬＣＤ等から成る表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介して表示部２３に表示される。表示部２３を用いて撮像した画像データを逐次表示することにより、ライブ映像を表示する電子ファインダ機能を実現することができる。２５は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５は、制御部５０の作業領域としても使用することが可能である。
A
４０は、絞り機能を備えるシャッター１２、１０２を個別に制御する露光制御部である。４１は、撮影レンズ１１、１０１のフォーカシングを個別に制御する測距制御部である。４２は、撮影レンズ１１、１０１のズーミングを個別に制御するズーム制御部である。４３は、バリアである保護部１０の動作を制御するバリア制御部である。５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。５１には、プログラムだけでなく、地図情報等も記録されている。なお、後述するデジタルカメラ１００の機能や情報処理は、制御部５０が不揮発性メモリ５１に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
６０、６１及び６２は、制御部５０の各種の動作指示を入力するための操作手段である。操作手段６０〜６２は、電源スイッチ、モード切り替えスイッチ、メニューボタン、十字キー、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。６０は、シャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなる。シャッタースイッチＳＷ１は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
６１は、シャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２は、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。ここで、露光処理は、撮像素子１３から読み出した信号をＡ／Ｄ変換器１５、メモリ制御回路２２を介してメモリ２５に画像データを書き込む処理である。現像処理は、画像処理回路２０やメモリ制御回路２２での演算を用いる処理である。記録処理は、メモリ２５から画像データを読み出し、画像処理回路２０により圧縮を行い、メモリ２５に格納した後にカードコントローラ９０を介して、外部記録媒体９１に画像データを書き込む処理である。
A
６２は、各種ボタンやタッチパネル等からなる操作部である。操作部６２は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン等である。操作部６２はまた、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタンである。操作部６２はまた、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等である。
８１は、電源制御部である。８０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。９０は、メモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。９１は、メモリカード等の外部記録媒体である。
81 is a power supply control unit.
図３〜図５は、デジタルカメラ１００による、静止画動画同時記録モードにおける処理を示すフローチャートである。本実施形態に係るデジタルカメラ１００は、ユーザにより操作部６２に含まれるモード切り替えスイッチが切り替えられると、動作モードを、静止画動画同時記録モードに設定することができる（撮影モード設定処理）。ここで、静止画動画同時記録モードとは、一回のレリーズで静止画と、そのレリーズ以前の動画と、レリーズ後の動画と、を同時に記録するモ動作モードである。なお、以下、アウトカメラ１１０により撮影された動画及び静止画をそれぞれメイン動画及びメイン静止画と称することとする。また、適宜、メイン動画及びメイン静止画をメイン画像と総称する。また、インカメラ１２０により撮影された動画及び静止画をそれぞれサブ動画及びサブ静止画と称することとする。また、適宜、サブ動画及びサブ静止画をサブ画像と総称する。
3 to 5 are flowcharts showing the process in the still image/moving image simultaneous recording mode by the
デジタルカメラ１００において、静止画動画同時記録モードに設定されると、ステップＳ３００において、制御部５０は、検出情報を取得する。検出情報は、カメラ状態を含む。カメラ状態は、例えばデジタルカメラ１００の１０１の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）であり、９０度、１８０度とはいわゆる縦撮り撮影にあたる。検出情報はまた、デジタルカメラ１００のズーム制御状態、オートフォーカス制御状態等を含む。制御部５０はまた、被写体情報として例えば被写体輝度情報、被写体距離情報等を取得する。
When the still image/moving image simultaneous recording mode is set in the
これらの情報は後述の画像生成処理（ステップＳ３０１）における画質調整のためのパラメータとして使用される他、図１３で後述するチャプタ状態情報として画像ファイルに記録され再生処理において利用される。なお、後述するように本処理で撮影される静止画と動画の追記単位（チャプタ）は関連付けがなされるので、この情報の記録先は動画ファイルのヘッダ情報であっても、対応する静止画ファイルのヘッダ情報であってもよい。 These pieces of information are used as parameters for image quality adjustment in the image generation processing (step S301) described later, and are also recorded in the image file as chapter state information described later in FIG. 13 and used in the reproduction processing. As will be described later, since the still image and the additional recording unit (chapter) of the moving image captured in this process are associated, even if the recording destination of this information is the header information of the moving image file, the corresponding still image file Header information may be used.
ステップＳ３０１において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１３の出力を基に、アウトカメラ１１０により撮影された画像を生成する。ステップＳ３０１において生成された画像は、ライブビュー表示に用いられるライブ画像である。以下、ステップＳ３０１において、アウトカメラ１１０により撮影された画像を表示用メイン画像と称する。次に、ステップＳ３０２において、制御部５０は、ステップＳ３０１と同様に撮像素子１３の出力を基に、アウトカメラ１１０により撮影された画像（動画）を生成する。以下、ステップＳ３０２において、アウトカメラ１１０により撮影された、記録用の画像を、記録用メイン動画と称する。
In step S301, the
次に、ステップＳ３０３において、制御部５０は、デジタルカメラ１００に設定されているインカメラ撮影機能の有効無効の設定を確認する。インカメラ撮影機能の有効無効は、予めユーザにより設定されているものとする。制御部５０は、インカメラ撮影機能が有効と設定されている場合には（ステップＳ３０３でＹｅｓ）、処理をステップＳ３０４へ進める。制御部５０は、インカメラ撮影機能が無効と設定されている場合には（ステップＳ３０３でＮｏ）、処理をステップＳ３１０へ進める。
Next, in step S303, the
ステップＳ３０４において、制御部５０は、インカメラ１２０により撮影された画像をアウトカメラ１１０により撮影された画像上に重畳する際のインカメラ１２０により撮影された画像の合成位置及び合成サイズを確認する。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは予め定められており例えばデジタルカメラ１００の不揮発性メモリ５１等に記録されている。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは、撮影モードに応じて決定されるものである。本実施形態においては、静止画、動画同時記録モードに対して設定されている合成位置及び合成サイズを第１の合成位置及び第１の合成サイズと称することとする。合成位置及び合成サイズについては、図１０を参照しつつ、後に詳述する。
In step S304, the
次に、ステップＳ３０５において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、インカメラ１２０により撮影された画像を生成する。ここで、制御部５０は、第１の合成サイズの画像を生成する。ステップＳ３０５において生成された画像は、ライブビュー表示に用いられるライブ画像である。以下、Ｓ３０５において生成された画像を表示用サブ画像と称する。
Next, in step S305, the
次に、ステップＳ３０６において、制御部５０は、ステップＳ３０１で生成した表示用メイン画像と、ステップＳ３０５で生成した表示用サブ画像と、を合成して、表示用合成画像を生成する。具体的には、制御部５０は、表示用サブ画像を表示用メイン画像の第１の合成位置に重畳することにより、表示用合成画像を生成する。次に、ステップＳ３０７において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、第１の合成サイズの記録用サブ動画を生成する。次に、ステップＳ３０８において、制御部５０は、ステップＳ３０２で生成した記録用メイン動画と、ステップＳ３０７で生成した記録用サブ動画と、を合成して、記録用合成動画を生成する。具体的には、制御部５０は、ステップＳ３０６と同様に記録用サブ動画を記録用メイン動画の第１の合成位置に重畳することにより、記録用合成動画を生成する。
Next, in step S306, the
次に、ステップＳ３０９において、制御部５０は、ステップＳ３０６において生成した表示用合成画像を表示部２３に表示するよう制御する（表示制御処理）。その後、制御部５０は、処理をステップＳ３１１へ進める。図６（ａ）は、表示用合成画像の表示例を示す図である。表示用合成画像６００は、表示用メイン画像６０１の所定の位置に、表示用サブ画像６０２が重畳されたものである。表示部２３への画像の表示では、新しく撮影された画像で逐次更新される。すなわち、メサブ画像であるアウトカメラ１１０のライブ画像に、サブ画像となるインカメラ１２０のライブ画像が合成された画像がライブビュー表示として表示部２３に表示される。
Next, in step S309, the
一方、ステップＳ３１０において、制御部５０は、ステップＳ３０２において生成した表示用メイン画像をライブ画像として表示部２３に表示するよう制御する。その後、制御部５０は、処理をステップＳ３１１へ進める。図６（ｂ）は、表示用メイン画像６１０の表示例を示す図である。このように、インカメラ撮影機能が有効に設定されている場合には、表示用メイン画像に表示用サブ画像が合成された表示用合成画像がライブビュー表示として表示される。一方で、インカメラ撮影機能が無効に設定されている場合には、表示用メイン画像がライブビュー表示として表示される。
On the other hand, in step S310, the
ステップＳ３１１において、制御部５０は、記録用合成動画を画像処理回路２０に含まれる動画圧縮処理を用いて、動画データへと圧縮し、メモリ２５に格納する。制御部５０はまた、動画データの圧縮とともに不図示のスピーカー等で入力された音声データについても音声圧縮処理を用いて圧縮し、メモリ２５に格納する。次に、ステップＳ３１２において、制御部５０は、静止画、動画同時記録モードからのモード変更が行われたか確認する。モード切り替えスイッチによる撮影モードの変更や再生モードへの移行、メニューボタンによる設定メニューへの移行、電源スイッチによる電源ＯＦＦなどがモード変更に含まれる。
In step S311, the
制御部５０は、モード変更が行われなかった場合には(ステップＳ３１２でＹｅｓ)、処理を図４に示すステップＳ４００へ進める。制御部５０は、モード変更が行われた場合には（ステップＳ３１２でＮｏ）、動画圧縮処理を終了し、メモリ２５に格納していた動画データ及び音声データを破棄して、静止画、動画同時記録モードを終了する。
When the mode has not been changed (Yes in step S312), the
ステップＳ４００において、制御部５０は、メニューボタンによる設定メニュー以外の操作部６２を介してユーザから撮影設定の変更指示が行われたか確認する。設定項目としては、ホワイトバランス、露出補正値、ＭＦ・マクロ撮影等のフォーカス方法の切り替え、静止画の画像サイズや圧縮率など撮影時に被写体や状況に応じて、即座に切り替えが必要となる撮影条件が含まれる。これらの設定は、操作部６２に含まれる割り当てられた撮影設定変更ボタンや表示部２３に併設されたタッチパネルへの動作に応じて、表示中の画面にＧＵＩ画面を一時的に重畳してユーザが設定を変更できるように提供する。
In step S400, the
制御部５０は、ユーザにより撮影設定変更が指示された場合には（ステップＳ４００でＹｅｓ）、処理をステップＳ４０１へ進める。制御部５０は、ユーザによる撮影設定変更が指示されなかった場合には(ステップＳ４００でＮｏ)、処理をステップＳ４０２へ進める。ステップＳ４０１において、制御部５０は、ユーザによる撮影設定変更の指示に応じて撮影設定を変更する。次にステップＳ４０２において、制御部５０は、インカメラ表示の設定変更が行われたか否かを確認する。インカメラ表示に関しても撮影設定と同様に設定メニューを使用せず設定可能としている。設定可能な項目としては、表示位置、インカメラの表示の有効・無効がある。表示位置に関しては、右上、右下、左上、左下の4種類の中で設定可能である。
When the user gives an instruction to change the shooting setting (Yes in step S400), the
制御部５０は、インカメラ表示の設定変更がされた場合には（ステップＳ４０２でＹｅｓ）、処理をステップＳ４０３へ進める。制御部５０は、インカメラ表示の設定変更がなかった場合には（ステップＳ４０２でＹｅｓ）、処理をステップＳ４０７へ進める。ステップＳ４０３において、制御部５０は、動画圧縮処理を停止し、メモリ２５に格納していた動画データ、音声データを破棄する。これは、インカメラ表示の設定を変更するとそれまでに記録された動画データとこれから撮影される動画データでインカメラ表示の切り替わりが記録され、動画データの品位が低下することを防ぐ目的がある。
When the setting of the in-camera display has been changed (Yes in step S402), the
次に、ステップＳ４０４において、制御部５０は、インカメラ表示の有効・無効設定が変更されたか否かを確認する。制御部５０は、インカメラ表示設定の有効・無効が切り替えられた場合には（ステップＳ４０４でＹｅｓ）、処理をステップＳ４０５へ進める。ステップＳ４０５において、制御部５０は、インカメラ設定の有効・無効をユーザの指示に従って設定する。制御部５０は、その後処理をステップＳ３００へ進める。制御部５０は、インカメラ表示の位置及びサイズのうち少なくとも一方が変更された場合には（ステップＳ４０４でＮｏ）、処理をステップＳ４０６へ進める。ステップＳ４０６において、制御部５０は、変更内容を更新する。その後、処理をステップＳ３００へ進める。なお、ステップＳ３００へ進んだ場合には、制御部５０は、新たな設定に応じて、再び表示部２３への表示や動画データの作成を行う。
Next, in step S404, the
ステップＳ４０７において、制御部５０は、シャッタースイッチＳＷ１（６０）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ１が押下された場合には（ステップＳ４０７でＹｅｓ）、処理をステップＳ４０８へ進める。制御部５０は、シャッタースイッチＳＷ１が押下されなかった場合には（ステップＳ４０７でＮｏ）、処理をステップＳ３００へ進める。ステップＳ４０８において、制御部５０は、デジタルカメラ１００に設定されているフォーカスモードや露出モードに応じた合焦・露出処理を行う。なお、図示しないがステップＳ４０８においても、ステップＳ３００における処理と同様に、検出情報の取得が行われる。
In step S407, the
次に、ステップＳ４０９において、制御部５０は、シャッタースイッチＳＷ２（６１）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ２が押下された場合には（ステップＳ４０９でＹｅｓ）、処理をステップＳ４１０へ進める。制御部５０は、シャッタースイッチＳＷ２が押下されなかった場合には（ステップＳ４０９でＮｏ）、処理をステップＳ４０７へ進める。ステップ４１０において、制御部５０は、表示部２３による画像表示を停止すると共に、動画圧縮処理を一時停止させる。ここでは、メモリ２５に格納された動画データ、音声データは保持しておく。
Next, in step S409, the
次に、ステップＳ４１１において、制御部５０は、撮像素子１３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ４１１により得られた静止画を記録用メイン静止画と称する。次に、ステップＳ４１２において、制御部５０は、記録用メイン静止画から撮影後の画像確認用のレビュー画像を生成する。次に、ステップＳ４１３において、制御部５０は、ステップＳ４１１において画像処理回路２０に含まれる静止画圧縮処理等を用いて記録用のＪＰＥＧデータを生成し、メモリ２５に格納する。
Next, in step S411, the
制御部５０は、その後、図５に示す撮影後処理を行う。すなわち、制御部５０は、ステップＳ４１３の処理の後、処理を図５に示すステップＳ５００へ進める。ステップＳ５００において、制御部５０は、ステップＳ４１３においてメモリ２５に格納されたＪＰＥＧデータを外部記録媒体９１に記録するよう制御する（記録制御処理）。次に、ステップＳ５０１において、制御部５０は、メモリ２５に格納した動画データが所定の記録時間ｔ０より長いか否かの判定を行う。制御部５０は、記録時間ｔ０より長いと判定した場合は（ステップＳ５０１でＹｅｓ）、処理をステップＳ５０２へ進める。制御部５０は、記録時間ｔ０以下と判定した場合は（ステップＳ５０１でＹｅｓ）、処理をステップＳ５０３へ進める。
The
ステップＳ５０２において、制御部５０は、メモリ２５に格納していた動画データ及び音声データを外部記録媒体９１に記録し、その後処理をステップＳ５０４へ進める。ステップＳ５０３において、制御部５０は、メモリ２５に格納していた動画データ及び音声データを破棄し、その後処理をステップＳ５０４へ進める。ステップＳ５０４において、制御部５０は、ステップＳ４１２で作成したレビュー用画像を、表示部２３に表示するよう制御する。次に、ステップＳ５０５において、制御部５０は、インカメラ設定が有効か無効かの判定を行う。制御部５０は、インカメラ設定が有効の場合は（ステップＳ５０５でＹｅｓ）、処理をステップＳ５０６へ進める。制御部５０は、インカメラ設定が無効の場合は（ステップＳ５０５でＮｏ）、処理をステップＳ５１７へ進める。
In step S502, the
ステップＳ５０６において、ステップＳ４１１で撮影された記録用メイン静止画から動画記録用のストップモーション画像を生成する。ここで、静止画と動画のアスペクトが異なる場合は、制御部５０は、静止画がすべて表示されるようにリサイズ処理を行い、静止画の表示領域以外は黒塗りする。例えば、静止画のアスペクトが４：３で動画のアスペクトが１６：９の場合、制御部５０は、左右の領域を黒塗りしたストップモーション画像を生成する。以下、ステップＳ５０７からステップＳ５１２の処理は、ステップＳ３０５からステップＳ３０９、ステップＳ３１１の処理と同様である。
In step S506, a stop-motion image for moving image recording is generated from the recording main still image captured in step S411. Here, when the aspect of the still image is different from that of the moving image, the
ステップＳ５１２の処理の後、制御部５０は、処理をステップＳ５１３へ進める。ステップＳ５１３において、制御部５０は、ステップＳ５１２にて圧縮した動画データが所定の記録時間ｔ１より長いか否かの判定を行う。制御部５０は、記録時間ｔ１よりも長いと判定した場合は（ステップＳ５１３でＹｅｓ）、処理をステップＳ５１９へ進める。制御部５０は、記録時間ｔ１以下と判定した場合は（ステップＳ５１３でＮｏ）、処理をステップＳ５０８へ進める。
After the processing of step S512, the
一方、ステップＳ５１４において、制御部５０は、ステップＳ５０３の動画データのキャンセル処理が行われたか否かの判定を行う。制御部５０は、キャンセル処理が行われたと判定した場合は（ステップＳ５１４でＹｅｓ）、撮影後処理を終了する。制御部５０は、キャンセル処理が行われなかったと判定した場合（ステップＳ５１４でＮｏ）、処理をステップＳ５１５へ進める。テップＳ５１５において、制御部５０は、ストップモーション設定が入か切かの判定を行う。制御部５０は、ストップモーション設定が入の場合は（ステップＳ５１５でＹｅｓ）、処理をステップＳ５１６へ進める。制御部５０は、ストップモーション設定が切の場合は（ステップＳ５１５でＮｏ）、撮影後処理を終了する。
On the other hand, in step S514, the
ステップＳ５１６の処理は、ステップＳ５０６の処理と同様である。制御部５０は、ステップＳ５１６の処理の後、処理をステップＳ５１７へ進める。ステップＳ５１７の処理は、ステップＳ５１２の処理と同様である。ただし、ここで圧縮する音声データは不揮発性メモリ５１に予め記憶してあるシャッター音データ及び無音データである。制御部５０は、Ｓ５１７の処理の後、処理をステップＳ５１８へ進める。ステップＳ５１８において、制御部５０は、ステップＳ５１７においてエンコードした動画データが所定の記録時間ｔ２より長いか否かの判定を行う。制御部５０は、記録時間ｔ２よりも長いと判定した場合は（ステップＳ５１８でＹｅｓ）、処理をステップＳ５１９へ進める。制御部５０は、記録時間ｔ２以下と判定した場合には（ステップＳ５１８でＮｏ）、処理をステップＳ５１７へ進める。
The process of step S516 is the same as the process of step S506. After the process of step S516, the
ステップＳ５１９の処理は、ステップＳ５０４の処理と同様である。次に、ステップＳ５２０において、制御部５０は、ステップＳ５１２またはステップＳ５１７にて圧縮した動画データを外部記録媒体９１に記録する。ステップＳ５０２で撮影前の動画データを記録している場合には、制御部５０は、その動画データと同じファイルに追記して記録することとする。次に、ステップＳ５２１において、制御部５０は、ステップＳ５２０における動画データの記録が完了したか否かの判定を行う。制御部５０は、動画データの記録が完了するまで待機し、動画データの記録が完了したと判定すると（ステップＳ５２１でＹｅｓ）、撮影後処理を終了する。
The process of step S519 is similar to the process of step S504. Next, in step S520, the
図７は、デジタルカメラ１００が扱う静止画の構成例である。７０１は画像の属性情報を記載するヘッダ部である。７０２は画像を記録した撮像装置のメーカー名、７０３はこの画像を記録した撮像装置のモデル名、７０４はこの画像の撮影日時、７０５は被写体輝度であり、撮影画像の白飛び、黒つぶれ等を判断できる。７０６は合焦度で、オートフォーカスによる焦点合わせ動作結果の精度を表し、ボケ画像等の判断ができる。７０７はお気に入り度であり、ユーザ指示により画像の優先度を付与することができ、一般的には−１〜５の数値が使用され、−１は気に入らない除外画像、０は優先度なしの画像、１〜５は数値に比例して優先される（気に入ったとされる）。７０８はその他の設定、たとえばサムネイル画像、使用者情報等である。７０９は静止画像データ本体である。
FIG. 7 is a configuration example of a still image handled by the
図８（ａ）は、静止画及び関連する動画の撮影の時系列を示す図である。図８（ｂ）は、撮影された静止画及び動画の保存形態を示す模式図である。図８（ｃ）は、チャプタ参照情報の構成例を示す図である。まず、図８（ａ）を用いて撮影指示及び撮影画像の時系列を説明する。前述したように静止画・動画撮影同時記録モードではユーザが操作部６２のＳＷ２ ６１を操作することにより静止画の直前動画及びストップモーション画像のうち少なくとも一方が撮影される。Ｐ１はレリーズ１の撮影指示に応じて撮影される静止画であり、Ｍ１は静止画Ｐ１に関連した動画である。同様にレリーズ２〜レリーズ３に応じて撮影される静止画Ｐ２〜Ｐ３に関連した動画はそれぞれ、Ｍ２〜Ｍ３となる。
FIG. 8A is a diagram showing a time series of shooting a still image and related moving images. FIG. 8B is a schematic diagram showing a storage mode of the captured still image and moving image. FIG. 8C is a diagram showing a configuration example of chapter reference information. First, the time series of the shooting instruction and the shot image will be described with reference to FIG. As described above, in the still image/moving image simultaneous recording mode, the user operates the
次に、図８（ｂ）を用いて図８（ａ）で説明した撮影操作に従って撮影された静止画Ｐ１〜Ｐ３及び動画Ｍ１〜Ｍ３の記録媒体９１上での保存順を説明する。レリーズ１により撮影された動画Ｍ１はＤＣＦ規則に則り記録媒体９１内の撮影日を表すディレクトリ「１００＿１０１０」（８２１）に動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」（８２２）として保存される。以降のファイル名決定もＤＣＦ規則に従うこととする。一方、同時に撮影された静止画Ｐ１は静止画ファイル「ＩＭＧ＿０００２．ＪＰＧ」（８２７）として同ディレクトリに保存される。ここで、Ｍ１は、第一のチャプタ（８２４）として、撮影時間情報文字列とともに動画ストリームとして記録される。
Next, the order in which the still images P1 to P3 and the moving images M1 to M3 shot according to the shooting operation described in FIG. 8A on the
次にレリーズ２により撮影された動画Ｍ２は、動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」に追記される。一方、同時に撮影された静止画Ｐ２は、静止画ファイル「ＩＭＧ＿０００３．ＪＰＧ」（８２９）として同ディレクトリに保存される。ここで、Ｍ２は、静止画・動画撮影同時記録モードにおける第二のチャプタ記録形態として例えばＰ２のストップモーションとともに記録される（８２５）。
Next, the moving image M2 shot by the
次にレリーズ３により撮影された動画Ｍ３は、静止画・動画撮影同時記録モードにおける第三のチャプタ記録形態として例えばＭ３を使用せずに、Ｐ３のストップモーションのみの記録とする（８２６）。これは例えばＭ３の撮影時間が十分でなくチャプタに採用するには不適切な時などである。一方、同時に撮影された静止画Ｐ３は、静止画ファイル「ＩＭＧ＿０００４．ＪＰＧ」（８２９）として同ディレクトリに保存される。一方、動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」への前記チャプタ追記の毎にチャプタ参照情報がヘッダ部に記載される（８２３）。
Next, the moving image M3 captured by the
図８（ｃ）を用いてチャプタ参照情報（８２３）の詳細について説明する。８３１は、画ファイルサイズであり、チャプタ追記の度にファイルエントリに記載の動画ファイルサイズの値に更新される。８３２は、動画総フレーム数であり、同様にチャプタ追記の度に合計のフレーム数で更新される。８３３は、チャプタ番号であり、チャプタ毎に後述する各チャプタ情報がチャプタ追記毎に追加されていく。８３４は、チャプタの撮影日時であり、本実施形態においては、関連する静止画の撮影日時と同じものが設定される。
Details of the chapter reference information (823) will be described with reference to FIG.
８３５は、チャプタの開始フレームであり、この情報をもとに各チャプタの直接再生が可能となる。８３６は、各チャプタのフレーム数であり、この情報をもとにチャプタの再生フレーム数を決定可能となる。８３７は、インカメラ画像の有無、合成位置及び合成サイズであり、この情報をもとにインカメラ画像の有無に応じた再生制御、一例としてインカメラ画像のあるチャプタのみの連続再生等が行える。またサブ画像の合成位置及び合成サイズを記録することにより、サブ画像のみのトリミング切り出し再生も可能になる。
８３８は、ストップモーションの有無及びフレーム範囲を示す。ここではチャプタ内の相対フレーム情報として表現されている。チャプタ１に対する情報は０−０であり、これはストップモーションが無いことを明示的に表すこととする。チャプタ２に対する情報９０−１７９はチャプタ内先頭から９０フレームより１７９フレームがストップモーションであることを表す。ここでチャプタ２はフレーム数が１８０フレームであることから、後半半分がストップモーションとなる。チャプタ３に対する情報は０−１７９であり、チャプタ３のフレームカウントが１８０であることからチャプタ３はすべてがストップモーションであることを表す。この情報により、各チャプタと各対応する静止画の重複関係、すなわちストップモーションの有無及びフレーム位置の判定が可能となる。したがって、チャプタ群及び対応する静止画群を選抜して再生する場合、再生フレームまたは静止画の制御を行うことにより、重複の無い再生を行うことが可能となる。
ここで述べたチャプタ参照情報は動画の部分削除等の編集の度にも動画ストリームと整合性を保つためにメンテナンスする必要があり、デジタルカメラ１００は、６３１〜６３８の情報を編集内容に応じて適切にメンテナンスを行う。一方、このチャプタ参照情報を解釈できない編集機器がこの動画を編集した場合チャプタ参集情報と動画ストリームの整合が崩れ不適格なフレームを指示することになる。このため、デジタルカメラ１００は、チャプタ参照情報を使用する際、同時に記載されているファイルサイズ（８３１）がファイルエントリに記載されているファイルサイズと一致するかの判定を行う。デジタルカメラ１００は、不一致が起これば、チャプタン参照情報の整合が取れないと判断し、チャプタ参書情報を使用しない。また、他の例としては、デジタルカメラ１００は、不一致を検出した場合、ストリーム中のチャプタ情報等からチャプタ参照情報を作り直してもよい。
The chapter reference information described here needs to be maintained in order to maintain consistency with the moving picture stream every time the editing such as partial deletion of the moving picture is performed, and the
図９は、デジタルカメラ１００による、インカメラ画像同時記録モードにおける処理を示すフローチャートである。インカメラ画像同時記録モードは、デジタルカメラ１００の操作部６２に含まれるモード切り替えスイッチで選択することが可能な、メイン静止画及びメイン動画の撮影を行うとサブ画像も同時に記録し撮影したメイン画像にサブ画像を合成するモードである。ここでは例としてメイン静止画の撮影を行うとサブ静止画も同時に記録し、メイン静止画にサブ静止画を合成する処理について説明する。
FIG. 9 is a flowchart showing a process in the in-camera image simultaneous recording mode by the
デジタルカメラ１００において、インカメラ画像同時記録モードが選択されると、ステップＳ９００において、制御部５０は、検出情報を取得する。ステップＳ９００の処理は、図３を参照しつつ説明したステップＳ３００の処理と同様である。なお、検出情報は、後述のステップＳ９０１における画質調整のためのパラメータに使用されるほか、図１０を参照しつつ後述するチャプタ状態情報として画像ファイルに記録され再生処理において利用される。次に、ステップＳ９０１において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１３の出力を基に、表示用メイン画像を生成する。
When the in-camera image simultaneous recording mode is selected in the
次に、ステップＳ９０２において、制御部５０は、インカメラ１２０により撮影された画像をアウトカメラ１１０により撮影された画像上に重畳する際のインカメラ１２０により撮影された画像の合成位置及び合成サイズを確認する。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは予め定められており例えばデジタルカメラ１００の不揮発性メモリ５１等に記録されている。本実施形態においては、インカメラ画像同時記録モードに対して設定されている合成位置及び合成サイズを第２の合成位置及び第２の合成サイズと称することとする。合成位置及び合成サイズについては、図１０を参照しつつ、後に詳述する。
Next, in step S902, the
次に、ステップＳ９０３において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、表示用サブ画像を生成する。ここで、制御部５０は、第２の合成サイズの表示用サブ画像を生成する。次に、ステップＳ９０４において、制御部５０は、ステップＳ９０１で作成した表示用メイン画像と、ステップＳ９０３で生成した表示用サブ画像と、を合成して、表示用合成画像を生成する。具体的には、制御部５０は、表示用サブ画像を表示用メイン画像の第２の合成位置に重畳することにより、表示用合成画像を生成する。
Next, in step S903, the
次に、ステップ９０５において、制御部５０は、表示用合成画像を表示部２３に表示する。このとき表示される画像は、例えば、図６（ａ）に示すように、サブ画像がメイン画像に重畳されたものとなる。次に、ステップＳ９０６において、制御部５０は、インカメラ画像同時記録モードからのモード変更が行われたか否かを確認する。本処理は、図３を参照しつつ説明したステップＳ３１２の処理と同様である。制御部５０は、モード変更が行われた場合は（ステップＳ９０６でＹｅｓ）、インカメラ画像同時記録モードを終了する。制御部５０は、モード変更が行われなかった場合には（ステップＳ９０６でＮｏ）、処理をステップＳ９０７へ進める。
Next, in step 905, the
ステップＳ９０７において、制御部５０は、メニューボタンによる設定メニュー以外の設定手段で撮影設定の変更が行われたか確認する。本処理は、図４を参照しつつ説明したステップＳ４００の処理と同様である。制御部５０は、ユーザにより撮影設定変更が指示された場合には（ステップＳ９０７でＹｅｓ）、処理をステップＳ９０８へ進める。制御部５０は、ユーザによる撮影設定変更が指示されなかった場合には(ステップＳ９０７でＮｏ)、処理をステップＳ７０９へ進める。ステップＳ９０８において、制御部５０は、ユーザによる撮影設定変更の指示に応じて撮影設定を変更する。次にステップＳ９０９において、制御部５０は、インカメラ表示の設定変更が行われたか否かを確認する。
In step S907, the
制御部５０は、インカメラ表示の設定変更がされた場合には（ステップＳ９０９でＹｅｓ）、処理をステップＳ９１０へ進める。制御部５０は、インカメラ表示の設定変更がなかった場合には（ステップＳ９０９でＮｏ）、処理をステップＳ９１１へ進める。ステップ９１０において、制御部５０は、変更内容をそれぞれ変更する。制御部５０は、その後、処理をステップＳ９００へ進め、新たに設定された内容に応じて再度、表示部２３への表示データの作成を行う。
When the setting of the in-camera display has been changed (Yes in step S909), the
ステップＳ９１１において、制御部５０は、シャッタースイッチＳＷ１（６０）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ１が押下された場合には（ステップＳ９１１でＹｅｓ）、処理をステップＳ９１２へ進める。制御部５０は、シャッタースイッチＳＷ１が押下されなかった場合には(ステップＳ９１１でＮｏ)、処理をステップＳ９００へ進める。ステップＳ９１２において、制御部５０は、デジタルカメラ１００に設定されているフォーカスモードや露出モードに応じた合焦・露出処理を行う。なお、図示しないがステップＳ９１２においても、ステップＳ３００における処理と同様に、検出情報の取得が行われる。
In step S911, the
次に、ステップＳ９１３において、制御部５０は、シャッタースイッチＳＷ２（６１）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ２が押下された場合には（ステップＳ９１３でＹｅｓ）、処理をステップＳ９１４へ進める。制御部５０は、シャッタースイッチＳＷ２が押下されなかった場合には（ステップＳ９１３でＮｏ）、処理をステップＳ９１１へ進める。ステップＳ９１４において、制御部５０は、撮像素子１３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ９１４において得られた静止画を記録用メイン静止画と称する。次に、ステップＳ９１５において、制御部５０は、撮像素子１０３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ９１５において得られた静止画を記録用サブ静止画と称する。
Next, in step S913, the
次に、ステップＳ９１６において、制御部５０は、ステップＳ９１４で撮影した記録用メイン静止画と、ステップＳ９１５で撮影した記録用サブ静止画と、を合成して、記録用合成静止画を生成する。具体的には、制御部５０は、第２の合成サイズの記録用サブ静止画を記録用メイン静止画の第２の合成位置に重畳することにより、記録用合成静止画を生成する。次に、ステップＳ９１７において、制御部５０は、記録用合成静止画から撮影後の画像確認用のレビュー画像を生成する。次に、ステップＳ９１８において、制御部５０は、ステップＳ４１１において画像処理回路２０に含まれる静止画圧縮処理等を用いて記録用のＪＰＥＧデータを生成し、メモリ２５に格納する。次に、ステップＳ９１９において、制御部５０は、ステップＳ９１８においてメモリ２５に格納されたＪＰＥＧデータを外部記録媒体９１に記録し、処理をステップＳ９００へ進める。
Next, in step S916, the
図１０は、静止画・動画同時記録モード及びインカメラ画像同時記録モードそれぞれにおける、ライブビュー表示時のインカメラ画像の表示位置及び表示サイズと、記録時のインカメラ画像の合成位置及び合成サイズを示す図である。さらに、図１０には、後述する画像再生処理における画像再生時の画像の表示状態を示している。図１０には、サブ画像を右下に配置するように設定されている場合を示している。なお、本実施形態の表示部２３は、アスペクト比が４：３の表示領域を有しており、この表示領域に画像が表示される。
FIG. 10 shows the display position and display size of the in-camera image during live view display and the composite position and composite size of the in-camera image during recording in the still image/video simultaneous recording mode and the in-camera image simultaneous recording mode, respectively. FIG. Further, FIG. 10 shows a display state of an image at the time of image reproduction in the image reproduction processing described later. FIG. 10 shows a case where the sub image is set to be arranged at the lower right. The
（ａ−１）は、インカメラ画像同時記録モードにおいて、表示部２３に表示されるライブビュー表示を示している。表示部２３には、アウトカメラ１１０で撮影されたメインのライブ画像１００１の上に、インカメラ１２０で撮影されたサブのライブ画像が合成されたライブ画像１０００が表示される。インカメラ画像同時記録モードにおいては、アスペクト比４：３の静止画が記録されるので、アスペクト比４：３のメインのライブ画像１００１が表示部２３の表示領域全体に表示される。（ａ−２）は、インカメラ画像同時記録モードにおいて記録媒体９１に記録される画像（静止画）１０１０を示している。インカメラ画像同時記録モードでは、アスペクト比４：３の静止画が記録されるので、アスペクト比４：３のメイン画像１０１１上に、サブ画像１０１２が合成されて記録される。
(A-1) shows live view display displayed on the
（ｂ−１）には、静止画・動画同時記録モードにおいて、表示部２３に表示されるライブビュー表示を示している。表示部２３には、アウトカメラ１１０で撮影されたメインのライブ画像１０２１の上に、インカメラ１２０で撮影されたサブのライブ画像１０２２が合成されたライブ画像１０２０が表示される。
(B-1) shows a live view display displayed on the
（ｂ−２１）は、静止画・動画同時記録モードにおいて記録媒体９１に記録される動画を示している。（ｂ−２２）には、静止画・動画同時記録モードにおいて記録媒体９１に記録される静止画を示している。静止画・動画同時記録モードでは、静止画については、インカメラ１２０で撮影された画像を合成せずに、アウトカメラ１１０で撮影された画像のみが記録される。また、静止画・動画同時記録モードにおいて、動画はアスペクト比が１６：９となるサイズで記録されるのに対し、静止画はアスペクト比が４：３のサイズで記録される。このため、静止画が記録される撮影領域の上下を切り取った領域が、動画として記録される。そして、インカメラ１２０で撮影されたライブ画像１０３２は、ライブ画像１０３１のうち、領域１０２３ａ，１０２３ｂと重ならない領域に合成されて記録される。これに対応し、（ｂ−１）に示すライブ画像１０２０においても、サブのライブ画像１０２２の表示位置及び表示サイズは、領域１０２３ａ，１０２３ｂと重ならない位置及びサイズとなっている。なお、図８（ｂ−１）の点線は説明のために記したものであって、ライブビュー表示には表示されない。なお、図１０の右側に示す画像選抜再生については、画像選抜再生処理の説明後に説明することとする。
(B-21) shows a moving image recorded on the
操作部６２からの指示信号により再生モードが確定すると、制御部５０は、再生処理を開始する。図１１は、再生処理を示すフローチャートである。再生モードに移行すると、ステップＳ１１０１において、制御部５０は、初期画像を設定する。これは、例えば、ＤＣＦ規格のＤＣＦディレクトリ番号が最大のディレクトリ内のＤＣＦファイル番号が最大の画像である。すなわち、撮影毎にＤＣＦファイル番号をインクリメントしファイル名を決定し、新規ディレクトリに撮影する際はＤＣＦディレクトリ番号をインクリメントしディレクトリ名を決定するような場合、最後に撮影した画像となる。
When the reproduction mode is determined by the instruction signal from the
次に、ステップＳ１１０２において、制御部５０は、画像再生処理を行い表示部２３に画像を表示するよう制御する。次に、ステップＳ１１０３、Ｓ１１０４、Ｓ１１０９、Ｓ１１１１、Ｓ１１１３にてユーザの操作部６２を介した指示要求を処理する。ステップＳ１１０３において、制御部５０は、再生モード終了の指示と判断した場合には（ステップＳ１１０３でＹｅｓ）、再生処理を終了する。ステップＳ１１０４において、制御部５０は、次又は前の画像再生指示があると判断した場合には（ステップＳ１１０４でＹｅｓ）、処理をステップＳ１１０５へ進める。制御部５０は、次又は前の画像再生指示がないと判断した場合には（ステップＳ１１０４でＮｏ）、処理をステップＳ１１０６へ進める。ステップＳ１１０５において、制御部５０は、ＤＣＦ番号順で次又は前の画像を再生画像として決定し、その後処理をステップＳ１１０２へ進める。
Next, in step S1102, the
ステップＳ１１０６において、制御部５０は、チャプタ検索処理を行う。ここでチャプタ検索とは現在再生されている静止画撮影時に撮影された動画追記単位（チャプタ）を特定する処理である。チャプタ検索処理（ステップＳ１１０６）については、図１２を参照しつつ後に詳述する。次に、ステップＳ１１０７において、制御部５０は、ステップＳ１１０６の結果、対応チャプタがあると判断した場合には（ステップＳ１１０７でＹｅｓ）、処理をステップＳ１１０８へ進める。制御部５０は、ステップＳ１１０６の結果対応チャプタがないと判断した場合には（ステップＳ１１０７でＮｏ）、処理をステップＳ１１１１へ進める。
In step S1106, the
ステップＳ１１０８において、制御部５０は、対応チャプタ有り表示を行う。次に、ステップＳ１１０９において、制御部５０は、チャプタ再生の指示がなされたと判断した場合には（ステップＳ１１０９でＹｅｓ）、処理をステップＳ１１１０へ進める。制御部５０は、チャプタ再生の指示がなされていないと判断した場合には（ステップＳ１１０９でＮｏ）、処理をステップＳ１１１１へ進める。ステップＳ１１１０において、制御部５０は、チャプタ再生を行う。これは現在再生中の静止画に対応するステップＳ１１０６のチャプタ検索処理にて特定された対応動画ファイル内の対応開始フレームから対応フレーム数の再生である。制御部５０は、ステップＳ１１１０にて対応チャプタの再生を行うと、その後処理をステップＳ１１０２へ進め、処理時点における静止画再生を行う。
In step S1108, the
ステップＳ１１１１において、制御部５０は、画像選抜再生の指示があったと判断した場合には（ステップＳ１１１１でＹｅｓ）、処理をステップＳ１１１２へ進める。制御部５０は、画像選抜再生の指示がなかったと判断した場合には（ステップＳ１１１１でＮｏ）、処理をステップＳ１１１３へ進める。ステップＳ１１１２において、制御部５０は、画像選抜再生処理を行う。画像選抜再生処理とは、選抜された画像（静止画及び動画の少なくとも一方を含む）を連続的に再生表示する処理である。画像選抜再生処理（ステップＳ１１１２）については、図１４を参照しつつ後に詳述する。
In step S1111, when the
ステップＳ１１１３において、制御部５０は、その他の処理指示がないか判定する。その他の処理とは例えば画像消去、画像編集、画像送信等である。制御部５０は、その他の処理指示を検出した場合には（ステップＳ１１１３でＹｅｓ）、処理をステップＳ１１１４へ進める。制御部５０は、その他の処理指示を検出しなかった場合には（ステップＳ１１１３でＮｏ）、処理をステップＳ１１０３へ進める。ステップＳ１１１４においては、制御部５０は、指示に応じた処理を行い、その後処理をステップＳ１１１３へ進める。
In step S1113, the
図１２は、チャプタ検索処理（ステップＳ１１０６）における詳細な処理を示すフローチャートである。ステップＳ１２０１において、制御部５０は、起点静止画を特定する。これは前段の処理にて指定されている静止画であり、図１１の再生処理においては、処理時点において再生表示されている静止画の存在するＤＣＦディレクトリ名及びＤＣＦファイル名の決定になる。次に、ステップＳ１２０２において、制御部５０は、ステップＳ１２０１で特定された静止画に対応する動画ファイルを特定する。本実施形態においては、図８で示したように静止画に関連する動画はＤＣＦ番号順において静止画より小さい番号に決定される事としている。したがって、制御部５０は、ＤＣＦ順に起点静止画より番号が小さい番号順で近い動画ファイルを特定すればよい。
FIG. 12 is a flowchart showing detailed processing in the chapter search processing (step S1106). In step S1201, the
次に、ステップＳ１２０３において、制御部５０は、起点静止画像検索キー取得を行う。本実施形態では、静止画と対応チャプタを関連付ける情報を撮影日時とする。ここでは、制御部５０は、図７の７０４に示したように、静止画ファイルに属性情報として記録されている撮影日時情報を取得するものとする。次に、ステップＳ１２０４において、制御部５０は、対応チャプタを特定する。これは図８（ｃ）のチャプタ参照情報テーブルに置いて同一の撮影日時（８３４）を持つチャプタを検索することである。チャプタ情報は一般的に動画ファイルのストリーム中に存在するためステップＳ１２０４のように対応する情報を検索する場合は動画ファイルのストリームを読み出す必要があり処理に時間がかかる。しかし、本実施形態においては、図８に示すようにチャプタ情報をテーブル化し動画のヘッダ部に記録するようにしているので少ないファイル読み込み量により高速に検索が可能となっている。
Next, in step S1203, the
ステップＳ１２０４により同一の撮影日時をもつチャプタが特定されると、次に、ステップＳ１２０５において、制御部５０は、チャプタに該当するフレームを確定する。これは図８（ｃ）において、特定されたチャプタに対応する開始フレーム（８３５）とフレーム数（８３６）を特定することである。
When the chapters having the same shooting date and time are specified in step S1204, next, in step S1205, the
図１３は、チャプタ状態を表すデータ構造の概念図である。撮影処理における検出情報取得によって取得された情報は例えば図１３（ａ）のような形式で記録される。検出情報取得は動画撮影中に定期的に実行されているため、時系列の遷移データとして表せる。ここでは静止画撮影時点を０とし、−３秒、−２秒、−１秒時点での各検出情報としてオートフォーカス（ＡＦ）動作、ズーム制御状態、回転姿勢を表している。ここでは、静止画撮影前の状態を表しているが、静止画撮影後のストップモーション時の状態も加えて記録してもよい。 FIG. 13 is a conceptual diagram of a data structure representing a chapter state. The information acquired by the detection information acquisition in the imaging process is recorded in the format as shown in FIG. Since the detection information acquisition is regularly executed during the moving image shooting, it can be represented as time-series transition data. Here, the still image capturing time is set to 0, and the autofocus (AF) operation, the zoom control state, and the rotation posture are represented as the respective detection information at the time of -3 seconds, -2 seconds, and -1 second. Although the state before the still image shooting is shown here, the state at the time of stop motion after the still image shooting may be additionally recorded.
図１４は、図１１において説明した画像選抜再生処理（ステップＳ１１１２）における詳細な処理を示すフローチャートである。ステップＳ１４０１において、制御部５０は、操作部６２から起点画像日の選抜再生が指示されたと判断した場合に（ステップＳ１４０１でＹｅｓ）、処理をステップＳ１４０２へ進める。制御部５０は、操作部６２から起点画像日の選抜再生が指示されていないと判断した場合に（ステップＳ１４０１でＮｏ）、処理をステップＳ１４０３へ進める。ステップＳ１４０２において、制御部５０は、検索条件を起点画像の撮影日時を持つ記録媒体９１内の静止画及び動画チャプタとし、その後処理をステップＳ１４０４へ進める。
FIG. 14 is a flowchart showing detailed processing in the image selection reproduction processing (step S1112) described in FIG. In step S1401, when the
ステップＳ１４０３において、制御部５０は、その他の検索条件を設定し、その後処理をステップＳ１４０４へ進める。これは例えば指定撮影日、指定撮影日期間、指定人物等である。ステップＳ１４０４において、制御部５０は、検索条件に合致する静止画及び動画チャプタ情報をメモリ２５にリストとして列挙する。この列挙動作は、検索条件に合致する静止画のヘッダ情報（図７の７０４〜７０７等）、検索条件に合致するチャプタの状態情報（図１３（ａ）等）及びチャプタ参照情報（図８（ｃ）等）の列挙である。
In step S1403, the
次に、ステップＳ１４０５において、制御部５０は、失敗画像を除外する。これは静止画においてはステップＳ１４０４で列挙した静止画のヘッダ情報のうち、被写体輝度（７０５）が極端に高いか低い画像、合焦度（７０６）の低い画像、お気に入り度（７０７）が−１の画像等をリストから削除することである。また、動画チャプタにおいては、図１３（ｂ）に示すように撮影期間中にオートフォーカスが動き続けて焦点が定まっていないチャプタをリストから除外することである。除外対象は、これ以外に、図１３（ｃ）に示すように撮影期間中にズーム動作を行い続け画角が安定しないチャプタが挙げられる。また、図１３（ｄ）に示すように撮影期間中にカメラの姿勢が変化し、再生時において被写体の角度が安定しないであろうチャプタ等が挙げられる。
Next, in step S1405, the
次に、ステップＳ１４０６において、制御部５０は、優良画像を選抜再生対象として仮決定する。これは例えば静止画においてはお気に入り度（７０７）が１以上の画像を再生対象として仮指定することである。また、動画チャプタにおいては、図１３（ｅ）に示すように撮影期間中に被写体の笑顔が検出されたチャプタを再生対象として仮指定することである。次に、ステップＳ１４０７において、制御部５０は、重複除外を行う。先述したように、デジタルカメラ１００の静止画・動画撮影同時記録モードにおいては、動画にストップモーションが挿入されることがある。このためＳ１４０４〜Ｓ１４０６において静止画と対応するチャプタがともにリストに残った場合、両者を再生するとシーンの重複する冗長な再生となってしまう。そこで、図８（ｃ）の８３８に示すストップモーション情報を用いて重複シーンの検出及び除外を行う。
Next, in step S1406, the
具体的には、例えば図８（ｂ）の８２８に示す「ＩＭＧ＿０００３．ＪＰＧ」と対応する図８（ｂ）の８２５に示すチャプタ２が選抜された場合、図８（ｃ）から重複フレームが９０−１７９であることが判る。したがって、チャプタ２の再生範囲としてフレーム９０−１７９を除く、または、「ＩＭＧ＿０００３．ＪＰＧ」を再生しない等の除外制御となる。もう一例としては、例えば図８（ｂ）８２９に示す「ＩＭＧ＿０００４．ＪＰＧ」と対応する図８（ｂ）８２６に示すチャプタ３が選抜された場合、図８（ｃ）から重複フレームが０−１７９であることが判る。したがって、チャプタ３、又は「ＩＭＧ＿０００４．ＪＰＧ」のいずれかを再生しない等の除外制御となる。
Specifically, for example, when the
また、例えば図８（ｂ）の８２７に示す「ＩＭＧ＿０００２．ＪＰＧ」と対応する図８（ｂ）の８２４に示すチャプタ１が選抜された場合、図８（ｃ）から重複フレームがないことが判る。したがって、チャプタ１及び「ＩＭＧ＿０００２．ＪＰＧ」はいずれも再生対象となる。制御部５０は、以上の処理にて選抜された静止画及び動画チャプタのアスペクトをステップＳ１４０８にて判定し、アスペクトが４：３の場合は（ステップＳ１４０８でＹｅｓ）、処理をステップＳ１４０９へ進める。アスペクト比が４：３でない場合、すなわちアスペクト比が１６：９の場合は（ステップＳ１４０８でＮｏ）、処理をステップＳ１４１１へ進める。
Further, for example, when the
ステップＳ１４０９において、制御部５０は、リサイズ処理を行う。本実施形態においては、画像選抜再生時にアスペクト比を１６：９に統一して表示するため、アスペクト比が４：３の画像がアスペクト比１６：９の領域にすべて表示されるようにリサイズ処理を行う。次に、ステップＳ１４１０において、制御部５０は、リサイズ処理後のアスペクト比４：３の画像の左右の領域を黒塗りして、全体としてアスペクト比１６：９の画像にする。次に、ステップＳ１４１１において、制御部５０は、連続再生表示を行うよう制御する。このように、失敗画像の除外、優良画像の選抜、重複シーンの除外を行い最適な選抜再生を行うことができる。
In step S1409, the
さらに、連続再生の後、ステップＳ１４１２おいて、制御部５０は、ユーザから、連続再生した画像の記録指示があった場合は（ステップＳ１４１２でＹｅｓ）、処理をステップＳ１４１３へ進める。制御部５０は、記録指示がなかった場合は（ステップＳ１４１２でＮｏ）、画像選抜再生処理を終了する。ステップＳ１４１３において、制御部５０は、連続再生した複数の画像をつなげた動画を生成して記録媒体９１に記録する。制御部５０は、再生対象の画像が静止画の場合は、静止画から所定時間の動画を生成して記録するようにする。以上で、画像選抜再生処理が終了する。
Further, after the continuous reproduction, in step S1412, the
次に、図１０を参照しつつ、画像選抜再生処理について具体的に説明する。図１０の（ａ−３）は、インカメラ画像同時記録モードにおいて記録された画像が選抜画像再生処理において再生される際の状態を示している。（ｂ−３１）は、静止画・動画同時記録モードにおいて記録された動画が選抜画像再生処理において再生される際の状態を示している。（ｂ−３２）は、静止画・動画同時記録モードにおいて記録された静止画が選抜画像再生処理において再生される際の状態を示している。 Next, the image selection reproduction processing will be specifically described with reference to FIG. Part (a-3) of FIG. 10 illustrates a state in which an image recorded in the in-camera image simultaneous recording mode is reproduced in the selected image reproducing process. (B-31) shows a state in which a moving image recorded in the still image/moving image simultaneous recording mode is reproduced in the selected image reproducing process. (B-32) shows a state when a still image recorded in the still image/moving image simultaneous recording mode is reproduced in the selected image reproducing process.
画像選抜再生においては、アスペクト比が１６：９となるように、複数の画像（動画、静止画を含む）を連続再生して表示する。画像選抜再生においては、同じ画像の再生を、後で又は他の装置で可能とするために、連続再生した画像から動画を作成して記録する。このとき作成して記録する動画がアスペクト比１６：９のサイズであるため、表示する際にも画像は、１６：９の領域内に収まるように表示する。すなわち、制御部５０は、（ａ−３）、（ｂ−３１）、（ｂ−３２）に示すように、表示部２３のうちアスペクト比１６：９の表示領域に内接するように画像を再生表示するよう制御する。すなわち、制御部５０は、の表示部２３の上下の領域１０５１ａ，１０５１ｂ，１０６１ａ，１０６１ｂ，１０７１ａ，１０７１ｂには、画像を表示しないこととする。
In the image selective reproduction, a plurality of images (including moving images and still images) are continuously reproduced and displayed so that the aspect ratio becomes 16:9. In the image selective reproduction, a moving image is created and recorded from the continuously reproduced images so that the same image can be reproduced later or by another device. Since the moving image created and recorded at this time has a size of the aspect ratio of 16:9, the image is displayed so as to fit within the area of 16:9 when displayed. That is, the
静止画・動画同時記録モードで撮影された動画は、アスペクト比が１６：９であるため、ライブビュー表示の時と同じサイズで、アスペクト比１６：９の表示領域内に表示する。なお、この場合も、制御部５０は、記録画像からのリサイズ処理は行う。インカメラ画像同時記録モードで記録した静止画及び静止画・動画同時記録モードで記録した静止画は、アスペクト比４：３で記録されている。このため、制御部５０は、ライブビュー表示で表示されていた時のサイズよりも縮小して表示するよう制御する。つまり、制御部５０は、（ａ−３）、（ｂ−３２）に示すように、アスペクト比１６：９の表示領域に画像が収まるようにリサイズし、かつ、左右の領域１０５２ａ，１０５２ｂ，１０７２ａ，１０７２ｂに黒画像を付加して表示するよう制御する。制御部５０は、リサイズする際には、画像がアスペクト比１６：９の表示領域に内接するように表示するよう制御する。
Since the aspect ratio of a moving image shot in the still image/moving image simultaneous recording mode is 16:9, the moving image is displayed in the display area having the same aspect ratio of 16:9 as in live view display. In this case as well, the
インカメラ画像同時記録モードで記録した静止画及び静止画・動画同時記録モードで記録した静止画を画像選抜再生で表示部２３に表示する際には、表示対象の画像と表示部２３のアスペクト比は同じである。しかしながら、上述の処理の結果、図１０に示すように、画像の周囲全体に、黒画像領域（画像を表示しない領域）が形成されることになる。ここで、上下の領域及び左右の領域は、所定の領域の一例である。
When the still image recorded in the in-camera image simultaneous recording mode and the still image recorded in the still image/moving image simultaneous recording mode are displayed on the
このように、画像選抜再生時に、静止画・動画同時記録モードで撮影された静止画は、ライブビュービュー表示の時よりも縮小されて表示される。そのため、インカメラ画像同時記録モードと静止画・動画同時記録モードとで、サブ画像を同じサイズでライブビュー表示し、同サイズで記録した場合に、画像選抜再生時に、撮影モードによりサブ画像のサイズが異なってしまう。 As described above, during the image selective reproduction, the still image captured in the still image/moving image simultaneous recording mode is displayed in a smaller size than that in the live view view display. Therefore, in the in-camera image simultaneous recording mode and the still image/moving image simultaneous recording mode, if the sub-images are displayed in live view at the same size and recorded at the same size, the size of the sub-image depending on the shooting mode will be used during image selective playback. Will be different.
そこで、画像選抜再生時に、インカメラ画像同時記録モードで記録した静止画と、静止画・動画同時記録モードで記録した動画とでサブ画像の表示サイズが同じとなるように、画像を記録する際のサブ画像の合成サイズを決定している。また、ライブビュー表示時のサブ画像の表示サイズは、画像を記録する際のサブ画像の合成サイズと同じものとしている。また、画像選抜再生時に、インカメラ画像同時記録モードで記録した静止画と、静止画・動画同時記録モードで記録した動画とでサブ画像の表示位置が同じとなるように、画像を記録する際のサブ画像の合成位置を決定している。また、ライブビュー表示時のサブ画像の表示位置は、画像を記録する際のサブ画像の合成位置と同じものとしている。すなわち、ライブビュー表示時の合成画像（ライブ画像）中のサブ画像（ライブ画像）の表示位置及び表示サイズは、撮影モード毎に異なるものとなる。 Therefore, during image selective playback, when recording images so that the sub-image display size is the same for a still image recorded in the in-camera image simultaneous recording mode and a moving image recorded in the still image/moving image simultaneous recording mode. Determines the composite size of the sub-image. Also, the display size of the sub-images during live view display is the same as the combined size of the sub-images when recording the image. Also, during image selective playback, when recording images so that the still image recorded in the in-camera image simultaneous recording mode and the moving image recorded in the still image/moving image simultaneous recording mode have the same sub-image display position. The composite position of the sub image of is determined. In addition, the display position of the sub-image during live view display is the same as the sub-image combining position when recording the image. That is, the display position and the display size of the sub image (live image) in the combined image (live image) during live view display differ depending on the shooting mode.
以上のように、本実施形態のデジタルカメラ１００は、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することができる。
As described above, the
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
<Other embodiments>
The present invention is also realized by executing the following processing. That is, the software (program) that implements the functions of the above-described embodiments is supplied to the system or device via the network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.
５０ 制御部
１００ デジタルカメラ
１１０ アウトカメラ
１２０ インカメラ
50
Claims (7)
撮影モードを設定する撮影モード設定手段と、
前記撮影モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像に対する前記第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、
前記第１の画像に、前記第２の画像を合成する合成手段と、
記録指示に応じて、前記合成手段により合成された画像を記録媒体に記録するように制御する記録制御手段と、
前記記録媒体に記録されている複数の画像を、所定の表示領域において連続的に再生表示するための連続再生手段と、を有し、
前記合成手段は、第１の撮影モードにおいて前記第１の撮像手段により撮影された第１の静止画に、前記第１の撮影モードにおいて前記第２の撮像手段により撮影された第２の静止画を合成して第１の合成静止画を生成し、第２の撮影モードにおいて前記第１の撮像手段により撮影された第１の動画に、前記第２の撮影モードにおいて前記第２の撮像手段により撮影された第２の動画を合成して第２の合成動画を生成し、
前記連続再生手段は、前記第１の撮影モードで記録した前記第１の合成静止画と前記第２の撮影モードで記録した前記第２の合成動画とを異なるサイズで再生表示し、
前記決定手段は、前記第１の合成静止画に合成されている前記第２の静止画と、前記第２の合成動画に合成されている前記第２の動画とが、前記連続再生手段によって複数の画像を再生表示する場合に同じ表示位置及び表示サイズで再生表示されるように、前記合成位置及び前記合成サイズを決定する、
ことを特徴とする撮像装置。 An image pickup apparatus having a first image pickup means and a second image pickup means,
Shooting mode setting means for setting the shooting mode,
The composite position and composite size of the second image captured by the second image capturing unit with respect to the first image captured by the first image capturing unit according to the image capturing mode set by the image capturing mode setting unit. Determining means for determining
Synthesizing means for synthesizing the second image with the first image,
Recording control means for controlling to record the image combined by the combining means on a recording medium in response to a recording instruction;
A plurality of images recorded on the recording medium, continuous reproduction means for continuously reproducing and displaying in a predetermined display area,
The synthesizing unit adds a second still image captured by the second image capturing unit in the first image capturing mode to the first still image captured by the first image capturing unit in the first image capturing mode. To generate a first combined still image, and the first moving image captured by the first image capturing unit in the second image capturing mode is added to the first moving image captured by the second image capturing unit in the second image capturing mode. Generate a second composite video by synthesizing the second video shot
The continuous reproduction means reproduces and displays the first combined still image recorded in the first shooting mode and the second combined moving image recorded in the second shooting mode in different sizes,
The deciding means includes a plurality of the second still images combined with the first combined still image and the second moving image combined with the second combined moving image, by the continuous reproduction means. The composite position and the composite size are determined so that the image is reproduced and displayed at the same display position and display size.
An imaging device characterized by the above.
前記表示制御手段は、前記第１のライブ画像を前記第１の撮影モードと前記第２の撮影モードとで同じ表示位置及び表示サイズで表示させ、前記第２のライブ画像を前記第１の撮影モードと前記第２の撮影モードとで異なる表示位置及び表示サイズで表示させることを特徴とする請求項１に記載の撮像装置。 Display control means for controlling to superimpose the second live image captured by the second image capturing means on the first live image captured by the first image capturing means and display it on the display means. Have more,
The display control unit displays the first live image at the same display position and display size in the first shooting mode and the second shooting mode, and the second live image is displayed in the first shooting mode. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is displayed at different display positions and display sizes depending on the mode and the second shooting mode.
撮影モードを設定する撮影モード設定ステップと、
前記撮影モード設定ステップにおいて設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像に対する前記第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定ステップと、
前記第１の画像に、前記第２の画像を合成する合成ステップと、
記録指示に応じて、前記合成ステップにおいて合成された画像を記録媒体に記録するように制御する記録制御ステップと、
前記記録媒体に記録されている複数の画像を、所定の表示領域において連続的に再生表示するための連続再生ステップと、を含み、
前記合成ステップにおいては、第１の撮影モードにおいて前記第１の撮像手段により撮影された第１の静止画に、前記第１の撮影モードにおいて前記第２の撮像手段により撮影された第２の静止画を合成して第１の合成静止画を生成し、第２の撮影モードにおいて前記第１の撮像手段により撮影された第１の動画に、前記第２の撮影モードにおいて前記第２の撮像手段により撮影された第２の動画を合成して第２の合成動画を生成し、前記連続再生ステップにおいては、前記第１の撮影モードで記録した前記第１の合成静止画と前記第２の撮影モードで記録した前記第２の合成動画とを異なるサイズで再生表示し、
前記決定ステップにおいては、前記第１の合成静止画に合成されている前記第２の静止画と、前記第２の合成動画に合成されている前記第２の動画とが、前記連続再生ステップにおいて複数の画像を再生表示する場合に同じ表示位置及び表示サイズで再生表示されるように、前記合成位置及び前記合成サイズを決定する、
ことを特徴とする情報処理方法。 An information processing method executed by an image pickup apparatus having a first image pickup means and a second image pickup means,
A shooting mode setting step to set the shooting mode,
The composite position and composite size of the second image captured by the second image capturing unit with respect to the first image captured by the first image capturing unit according to the image capturing mode set in the image capturing mode setting step. A decision step to determine
A synthesizing step of synthesizing the second image with the first image;
A recording control step of controlling the image combined in the combining step to be recorded on a recording medium in response to a recording instruction;
A plurality of images recorded on the recording medium, a continuous reproduction step for continuously reproducing and displaying in a predetermined display area,
In the synthesizing step, the first still image captured by the first image capturing unit in the first image capturing mode and the second still image captured by the second image capturing unit in the first image capturing mode are used. Images are combined to generate a first combined still image, and the first moving image captured by the first image capturing unit in the second image capturing mode is added to the second image capturing unit in the second image capturing mode. The second composite moving image captured by is combined to generate a second composite moving image, and in the continuous reproduction step, the first combined still image and the second captured image recorded in the first shooting mode are recorded. Playback and display the second composite video recorded in the mode in a different size,
In the determining step, the second still image combined with the first combined still image and the second moving image combined with the second combined moving image are combined in the continuous reproduction step. When reproducing and displaying a plurality of images, the composite position and the composite size are determined so that they are reproduced and displayed at the same display position and display size.
An information processing method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015230017A JP6702698B2 (en) | 2015-11-25 | 2015-11-25 | Imaging device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015230017A JP6702698B2 (en) | 2015-11-25 | 2015-11-25 | Imaging device and information processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017098788A JP2017098788A (en) | 2017-06-01 |
| JP2017098788A5 JP2017098788A5 (en) | 2018-12-20 |
| JP6702698B2 true JP6702698B2 (en) | 2020-06-03 |
Family
ID=58817460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015230017A Expired - Fee Related JP6702698B2 (en) | 2015-11-25 | 2015-11-25 | Imaging device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6702698B2 (en) |
-
2015
- 2015-11-25 JP JP2015230017A patent/JP6702698B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017098788A (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6324063B2 (en) | Image reproducing apparatus and control method thereof | |
| JP4720785B2 (en) | Imaging apparatus, image reproducing apparatus, imaging method, and program | |
| JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2006345254A (en) | Photographing apparatus, its control method, program, and storage medium | |
| JP2007081732A (en) | Imaging apparatus | |
| JP4725854B2 (en) | Image display device and image display method | |
| JP6460783B2 (en) | Image processing apparatus and control method thereof | |
| JP5361780B2 (en) | Image processing apparatus and image processing program | |
| JP2012160950A (en) | Image processing device, imaging device, and display device | |
| JP6702698B2 (en) | Imaging device and information processing method | |
| JP2015126242A (en) | Image pickup device, image pickup device control method, program and storage medium | |
| JP2007036587A (en) | Imaging apparatus and its control method | |
| JP7337526B2 (en) | Image processing device, imaging device, image processing method, and program | |
| JP2011103555A (en) | Image sensing device | |
| JP5195317B2 (en) | Camera device, photographing method, and photographing control program | |
| JP2006287588A (en) | Image processing apparatus and method, data file structure, computer program, and storage medium | |
| JP7213657B2 (en) | IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF | |
| JP6351260B2 (en) | Imaging apparatus and control method thereof | |
| JP5207930B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
| JP2018152699A (en) | Digital camera | |
| JP2016082276A (en) | Imaging apparatus | |
| JP6983692B2 (en) | Image pickup device, its display control method, and program | |
| JP2023174104A (en) | Image processing apparatus, method for controlling image processing apparatus, and program | |
| JP2015171115A (en) | Imaging apparatus | |
| JP6238735B2 (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6702698 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |