JP5023932B2 - Imaging apparatus, image capturing method by scenario, and program - Google Patents
Imaging apparatus, image capturing method by scenario, and program Download PDFInfo
- Publication number
- JP5023932B2 JP5023932B2 JP2007253082A JP2007253082A JP5023932B2 JP 5023932 B2 JP5023932 B2 JP 5023932B2 JP 2007253082 A JP2007253082 A JP 2007253082A JP 2007253082 A JP2007253082 A JP 2007253082A JP 5023932 B2 JP5023932 B2 JP 5023932B2
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- image
- performer
- guidance
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、デジタルカメラ等の撮像装置を用いて、シナリオに基づいて各シーン（カット）ごとの演者に台詞を対応付けた画像を撮影するシナリオによる画像撮影技術に関する。 The present invention relates to an image capturing technique based on a scenario in which an image is associated with a performer for each scene (cut) based on a scenario using an imaging apparatus such as a digital camera.
動画の中の一つながりの断片部分であるシーンのそれぞれについての撮影指南情報を含むシナリオデータを保持するシナリオデータ保持手段と、前記撮像手段を用いて行われる動画の各シーンの撮影時に前記シナリオデータの該当シーンの撮影指南情報を表示する表示手段とを備え、ストーリー性に優れ且つ完成度が高い動画撮影を可能にする動画記録装置がある（例えば、特許文献１参照）。 Scenario data holding means for holding scenario data including shooting instruction information for each of the scenes that are a part of a connected segment in the video, and the scenario data at the time of shooting each scene of the video performed using the imaging means There is a moving image recording apparatus that includes a display means for displaying shooting instruction information of the relevant scene, and that enables moving image shooting with excellent story and high completeness (see, for example, Patent Document 1).
また、受信した音声データを文字データに変換し、同時に受信した画像の口元に文字列を表示する画像表示装置がある（例えば、特許文献２参照）。 There is also an image display device that converts received voice data into character data and displays a character string at the mouth of the received image at the same time (see, for example, Patent Document 2).
しかしながら、上記特許文献１に開示の動画記録装置では、撮影者は自分の撮影目的により合致したシナリオを選んで撮影を行うことができ、撮影時には、時間軸に沿って撮影指南情報として台本やシナリオを文字ガイダンスやイラストガイダンスを表示するだけでなく、シナリオに基づいて撮影条件を制御できるのでので、ストーリー性に優れた完成度の高い動画撮影を行うことができるが、被写体（人物や動物等）に台詞を与え、その台詞を被写体に自動的、且つ視覚的に関連付けて画像中に表示することができなかった。
However, in the moving image recording apparatus disclosed in
また、上記特許文献２に開示の技術によれば、被写体人物の発言を被写体画像の口元に吹き出し風に文字表示できるので、被写体（人物）の主張や気持ちを可視的に伝えることができるが、撮影者がシナリオに沿った発言を被写体に割り当てて紙芝居風に画像のストーリー性を高めるといったことができなかった。
In addition, according to the technique disclosed in
本発明は、カメラ視野内の被写体のうち演者（人物や動物、および人物や動物として擬制されたものをいう）を選ぶと、選択したシナリオに応じて自動的に演者の台詞を演者に対応付けて表示する撮像装置、シナリオによる画像撮影方法、およびプログラムの提供を目的とする。 According to the present invention, when a performer (a person or animal, or an object imitated as a person or animal) is selected from subjects in the camera field of view, the speech of the performer is automatically associated with the performer according to the selected scenario. It is an object of the present invention to provide an imaging device that displays images, an image capturing method according to a scenario, and a program.
また、更に、本発明は、選択したシナリオに応じて自動的に演者に対応付けて（例えば、吹き出し文字として）表示される演者の台詞をカット単位で補正（台詞の追加、置換、部分的修正）できる撮像装置、シナリオによる画像撮影方法、およびプログラムの提供を目的とする。 Further, the present invention corrects the performer's dialogue displayed automatically in association with the performer (for example, as a balloon character) according to the selected scenario in units of cuts (addition, replacement, partial correction of dialogue). An object of the present invention is to provide an imaging device that can be used, an image capturing method according to a scenario, and a program.
前記課題を解決するために請求項１記載の発明では、レリーズ操作により被写体像を取り込んで画像データに変換し、画像を得る撮像装置において、シナリオによる画像撮影モードを有するとともに、複数のシナリオとそのシナリオを説明するための文字ガイダンスを含むシナリオ用データベースと、前記文字ガイダンスを補正するための台詞補正用データベースと、画像認識手段と、を有し、シナリオによる画像撮影モード時に、前記シナリオ用データベースに記憶されているシナリオを選択する手段と、前記画像認識手段により被写体から演者を指定する手段と、前記演者と前記シナリオの文字ガイダンスとを対応付ける手段と、前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正する手段と、前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録する手段と、を備えたことを特徴とする撮像装置を提供するものである。
In order to solve the above-mentioned problem, in the invention according to
前記課題を解決するために請求項２記載の発明では、前記生成された撮像画像をウエブサイトに送信する手段を備えたことを特徴とする請求項１記載の撮像装置を提供するものである。In order to solve the above-mentioned problem, the invention according to
前記課題を解決するために請求項３記載の発明では、レリーズ操作により被写体像を取り込んで画像データに変換し、画像を得るシナリオによる画像撮影方法において、シナリオによる画像撮影モードを有するとともに、複数のシナリオとそのシナリオを説明するための文字ガイダンスを含むシナリオ用データベースと、前記文字ガイダンスを補正するための台詞補正用データベースと、画像認識手段と、を有し、シナリオによる画像撮影モード時に、前記シナリオ用データベースに記憶されているシナリオを選択し、前記画像認識手段により被写体から演者を指定し、前記演者と前記シナリオの文字ガイダンスとを対応付け、前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正し、前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録することを特徴とするシナリオによる画像撮影方法を提供するものである。
In order to solve the above-mentioned problem, in the invention according to
前記課題を解決するために請求項４記載の発明では、レリーズ操作により被写体像を取り込んで画像データに変換し、画像を得るシナリオによる画像撮影モードを有するとともに、複数のシナリオとそのシナリオを説明するための文字ガイダンスを含むシナリオ用データベースと、前記文字ガイダンスを補正するための台詞補正用データベースと、画像認識手段とを有する撮像装置のシナリオによる画像撮影プログラムにおいて、前記シナリオ用データベースに記憶されているシナリオを選択するステップと、前記画像認識手段により被写体から演者を指定するステップと、前記演者と前記シナリオの文字ガイダンスとを対応付けるステップと、前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正するステップと、前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録するステップと、を有することを特徴とするプログラムを提供するものである。 In order to solve the above-mentioned problem, the invention described in claim 4 has an image shooting mode based on a scenario for capturing a subject image by a release operation and converting it into image data to obtain an image, and describes a plurality of scenarios and the scenarios. An image capturing program based on a scenario of an image pickup apparatus having a scenario database including character guidance for correcting, a dialogue correcting database for correcting the character guidance, and an image recognition means, is stored in the scenario database . A step of selecting a scenario, a step of designating a performer from the subject by the image recognition means, a step of associating the performer with the character guidance of the scenario, and correcting the associated character guidance from the dialogue correction database. Take out the string And a step of recording a captured image generated by associating the performer with the corrected character guidance on a recording medium during the release operation. is there.
本発明によれば、シナリオデータがシーン及び演者に対応付けた台詞を含んでいるので、撮影過程において、ユーザが指定した被写体像（演者像（以下、単に演者と記す））と対応させて台詞文字を表示でき、選択したシナリオに応じたよりストーリー性のある紙芝居的な一連の画像を得ることができる。 According to the present invention, since scenario data includes dialogues associated with scenes and performers, dialogue is performed in correspondence with a subject image (actor image (hereinafter simply referred to as a performer)) specified by the user in the shooting process. Characters can be displayed, and a series of picture-story-like images can be obtained with more story characteristics according to the selected scenario.
本発明において、演者とは人物や動物、および人物や動物として擬制された被写体をいう。本発明の撮像装置は、撮影時にシナリオおよびシーン（カット）を選択したあと、モニタ画面に表示される画像（演者）を指定（同じシナリオの演者は一回のみ指定）すると自動的に演者の台詞を（例えば、吹き出し文字として）演者に対応付けて表示したり、表示されている台詞を補正できる。
本発明は、撮像機能を備えた機器、例えば、デジタルカメラやカメラ付き携帯電話、カメラ付き携帯情報機器（ＰＤＡ（Personal Digital Assistant））などに適用できる。以下、図面を参照して本発明の実施形態について説明する。
＜実施形態１＞
In the present invention, a performer means a person or an animal and a subject impersonated as a person or an animal. The imaging apparatus of the present invention automatically selects the scenario and scene (cut) at the time of shooting, and then automatically specifies the performer's dialogue when the image (performer) displayed on the monitor screen is designated (the performer of the same scenario is designated only once). Can be displayed in association with the performer (for example, as a balloon character) or the displayed dialogue can be corrected.
The present invention can be applied to a device having an imaging function, for example, a digital camera, a mobile phone with a camera, a mobile information device with a camera (PDA (Personal Digital Assistant)), and the like. Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<
図１は、本発明の実施形態に係わる撮像装置の一実施例として用いるデジタルカメラ１００の電子回路の構成例を示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration example of an electronic circuit of a
デジタルカメラ１００は、制御部１０、撮像部１１、画像データ処理部１２、画像認識処理部１３、プログラム格納メモリ１５、一次記憶メモリ１６、画像表示部１７、画像記録部１８、シナリオ用データベース２０、外部入出力部４０、操作部６０を備えており、本発明に基づくシナリオによる画像撮影モード（機能）を含む静止画撮影モードおよび動画撮影モード、および公知のオートフォーカス機能等を備えている。撮像部１１および画像データ処理部１２は本発明の撮像系を構成する。また、台詞補正用データベース１４を備えるようにしてもよい。
The
制御部１０は、デジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、該ＣＰＵで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成されている。また、制御部１０は画像データ処理部１２からの画像データ（輝度及び色差信号）のＤＲＡＭ等の一次記憶メモリ１６へのＤＭＡ転送終了後に、この輝度及び色差信号を一次記憶メモリ１６から読出し、画像表示部１７の表示用バッファ１７１に書き込むよう制御する。
The
撮像部１１は、撮影レンズのほか、基本モードである撮影モードにおいてズームレンズを移動させて光学ズーム動作を行わせるズーム駆動部やフォーカスレンズを移動させて合焦動作を行わせるＡＦ駆動部等を含むレンズ駆動系（図示せず）と、撮像素子、信号変換部、撮像タイミング制御部や撮影補助光源等を含む撮像信号系（図示せず）を有しており、撮像レンズを経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子によって光電変換され撮像信号（アナログ）として出力される。撮像素子の出力信号は信号変換部で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部１２に送られる。撮像素子は、被写体の二次元画像を撮像するＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＭＯＳに限定されない。
In addition to the photographing lens, the
画像データ処理部１２は、撮像部１１から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＤＲＡＭ等の一次記憶メモリ１６にバス９０を介してＤＭＡ転送する。
The image
画像認識処理部１３は、シナリオによる画像撮影モード時に、一次記憶メモリ１６に記憶されている１フレーム分の画像データの中から演者として指定された画像の特定部分領域（例えば、演者が人物や動物の場合は顔画像領域）から特定部分の画像データ（以下、特定部分）を抽出しバス９０を介して制御部１０に送出する。また、抽出した特定部分と表示されている画像の特定領域内の画像を比較して類似判定により、表示されている画像のなかに演者の画像があるか否かを判定する。
The image
人物等の顔画像領域の抽出処理は、公知の技術（例えば、特開平２００４−１４５５６３号公報に記載の技術）を適宜用いることができる。なお、この特定部分の認識処理のために専用の回路を設けてもよいし、プログラム格納メモリ１５等のメモリに画像認識処理のための画像認識処理プログラムを格納しておき、制御部１０で画像認識処理プログラムを実行させるようにしてもよい。
A known technique (for example, the technique described in Japanese Patent Application Laid-Open No. 2004-145563) can be appropriately used for the extraction process of the face image area of a person or the like. Note that a dedicated circuit may be provided for the recognition processing of the specific portion, or an image recognition processing program for image recognition processing is stored in a memory such as the
台詞補正用データベース１４は単語や接頭語、接尾語等を検索可能に格納してなり、演者に対応付けられて表示された台詞（文字列）に撮影者が文字を追加したり、一部を訂正したり、台詞全体を置換したりする場合（以下、補正という）する場合に、補正用に入力（または指定）されたキーによって検索される。
The
プログラム格納メモリ１５は、本発明に基づくシナリオによる画像撮影プログラムや、撮像制御プログラム、画像処理プログラム、通信制御プログラム等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。プログラム格納メモリ１５に格納されるプログラムの機能等については後述する（図２の説明参照）。また、上述した画像認識処理部３３を設けることなくプログラム格納メモリ１５に画像認識処理のための画像認識処理プログラムを格納するようにしてもよい。
The
一次記憶メモリ１６はＤＲＡＭ等のメモリで構成され、画像データ処理部１２から取得する画像データを一時記憶するバッファメモリや、画像認識処理部１３による演者の顔画像抽出処理用のワークメモリや、本発明のシナリオによる画像撮影方法に基づくシナリオによる画像撮影用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。
The
シナリオによる画像撮影モードにおいて、一次記憶メモリ１６には、画像撮影時に用いられる部分領域として、画像認識処理部１３による認識処理の際、演者から抽出された特定部分（たとえば、人物や動物の場合は顔）の特徴データを保持する特徴データ保持領域１６１および演者に関連付けて合成する吹き出し枠の吹き出し位置、サイズ、および吹き出し文字列等を保持しておく文字列保持領域１６２がそれぞれ複数個確保される。
In the image capturing mode according to the scenario, the
画像表示部１７はＶＲＡＭ等の表示バッファ１７１や、表示制御部１７２及び液晶モニタ液晶モニタ１７３を有し、制御部１０の制御下で表示用バッファメモリに書き込まれた上記輝度及び色差信号を表示制御部を介して定期的に読み出し、これらのデータを基にビデオ信号を生成して上記液晶モニタ１７３に出力する。
The
画像記録部１８は、画像データの圧縮または伸張を行うデータ圧縮伸張部、ＤＲＡＭ等のバッファメモリから転送されるデータの記録媒体１９への書き込みや記録媒体１９からの読み出しを行うコントローラ（図示せず）から構成されている。
The
記録媒体１９は内蔵メモリ（フラッシュメモリ）や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり画像記録部１８によって書き込まれた撮影画像データや、シナリオによる撮影画像や、撮像情報等を保存記録する。また、シナリオ用データベース２０を記録媒体１９に予め格納しておくようにしてもよい。
The
シナリオ用データベース２０は、演者に関連付けて表示する文字列を所定の分類基準に基づいて簡易に検索可能に構成されており、シナリオ用データベース２０に格納されている台詞データ（文字列）は撮影時に、選択されたシナリオのシーン（カット）ごとに自動的に演者に対応付けられて表示される。シナリオ用データベース２０の構成例等については後述する（図３の説明参照）。
The
外部入出力部４０は、デジタルカメラ１００とＵＳＢケーブル等の接続手段やインターネット等の通信ネットワークによりデジタルカメラ１００に接続する外部装置との間で画像データやプログラム等を入出力する際の入出力インターフェィス等からなる。
The external input /
操作部６０は、モードダイアル６１、カーソルキー６２、ＳＥＴキー６３、シャッターキー６５、メニューキー６６、および電源ボタン６９等のキーと、それらのキーが操作されると操作されたキーの操作信号を生成して制御部１０に送出するキー処理部（図示せず）等から構成されている。
The
モードダイアル６１は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル６１を操作して、各種撮影モードのほか本発明に基づくシナリオによる画像撮影モードを選択することができる。シナリオによる画像撮影モードは静止画撮影モードまたは動画撮影モード下で表示される処理選択メニューで選択できる。なお、モードダイアル６１でシナリオによる画像撮影モードを選択できるように構成してもよい。 The mode dial 61 is used to select a shooting mode and a playback mode. The user can select the image shooting mode based on the scenario based on the present invention in addition to various shooting modes by operating the mode dial 61. The image shooting mode according to the scenario can be selected from a processing selection menu displayed under the still image shooting mode or the moving image shooting mode. Note that the mode dial 61 may be configured to select an image shooting mode according to the scenario.
カーソルキー６２はモード設定やメニュー選択等に際して液晶モニタ１７３に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー６２の操作によりカーソルを上下又は左右に移動させることができる。
ＳＥＴキー６３はカーソルキー６２によってカーソル表示されている項目を選択設定する際に押されるキーである。また、シナリオによる画像撮影モード時には液晶モニタ１７３の中央部分（フォーカス領域）にある画像を演者として指定する演者指定キーとして機能させることもできる。
The cursor key 62 is a key that is operated when pointing (designating) a menu, icon, or the like displayed on the liquid crystal monitor 173 with a cursor when setting a mode or selecting a menu. Can be moved.
A SET key 63 is a key that is pressed when the item displayed by the cursor key 62 is selected and set. Further, in the image capturing mode according to the scenario, it is possible to function as a performer designation key for designating an image in the central portion (focus area) of the liquid crystal monitor 173 as a performer.
シャッターキー６５は、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。なお、シナリオによる画像撮影モード下では２段目の操作（全押し状態）があると、撮影処理が行われ、演者と文字列が関連付けられて記録媒体に記録される。
また、シナリオによる画像撮影モード時には、上述したＳＥＴキー６３に代えて、液晶モニタ１７３の中央部分（フォーカス領域）にある画像を演者として指定する演者指定キーとして機能させるようにしてもよい。
The shutter key 65 performs a release operation at the time of imaging, has a stroke of two steps, and performs auto focus (AF) and automatic exposure (AE) by the first step operation (half-pressed state). And an imaging instruction signal for performing imaging processing by the second stage operation (fully pressed state). Note that under the image shooting mode according to the scenario, if there is a second-stage operation (fully pressed state), shooting processing is performed, and the performer and the character string are associated and recorded on the recording medium.
Further, in the image capturing mode according to the scenario, instead of the SET key 63 described above, the image in the center portion (focus area) of the liquid crystal monitor 173 may be functioned as a performer designation key for designating as a performer.
メニューキー６６は、その時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。 The menu key 66 is operated to display a selection menu or icon that can be processed at that time.
図２はプログラム格納メモリ１５に格納されているプログラムの例を示す図であり、図示の例ではプログラム格納メモリ１５には、撮像制御プログラム１５１、画像処理プログラム１５２、通信制御プログラム１５３、および本発明に基づくシナリオによる画像撮影プログラム１５４等が格納されている。また、画像認識処理部１３として専用の回路を設けない場合は、プログラム格納メモリ１５に画像認識処理のための画像認識処理プログラム１５５を格納するようにしてもよい。
なお、プログラムを格納するメモリはプログラム格納メモリ１５に限定されない。プログラムはその構成や使用目的に応じてプログラム格納メモリ１５以外のメモリ（例えば、記録媒体１９）に格納される。また、プログラムはその構成や使用目的に応じて外部入出力部４０を介してダウンロードして実行することもできる。
FIG. 2 is a diagram showing an example of a program stored in the
The memory for storing the program is not limited to the
撮像制御プログラム１５１は、いくつかのサブプログラムからなり、制御部１０がレンズ駆動系や撮像信号系の動作制御や各種プログラムの実行タイミングの制御等を行うように機能する。画像処理プログラム１５２は、いくつかのサブプログラムからなり、画像データ処理部１２の動作制御や画像表示時の画像処理、画像記録／読み出し時の画像圧縮／伸張処理等を行うように機能する。通信制御プログラム１５３は、いくつかのサブプログラムからなり、外部入出力部４０によるデジタルカメラ１００と外部装置との間での画像データやプログラム等の送受信を制御するように機能する。また、本発明により生成されたシナリオによる撮影画像をインターネット上のウエブサイトに送信するよう機能することもできる。
The imaging control program 151 includes several subprograms, and functions so that the
シナリオによる画像撮影プログラム１５４は、撮影時にスルー表示されるカメラ視野内の被写体（演者）を選ぶと、演者の台詞（文字列）を出力し、演者とその台詞を視覚的に関連付けて表示してなるシナリオによる撮影画像を生成する。シナリオによる画像撮影プログラム１５４の動作例については後述する（図７参照）。 The scenario-based image shooting program 154 outputs a performer's dialogue (character string) when selecting a subject (actor) within the camera field of view that is displayed through during the shooting, and visually displays the performer and its dialogue in association with each other. A captured image is generated according to a scenario. An example of the operation of the image capturing program 154 according to the scenario will be described later (see FIG. 7).
（シナリオ用データベース）
図３は、シナリオ用データベース２０の概念図である。シナリオ用データベース２０は、たとえば、シナリオテーブル２１、シーンテーブル２２及びカットテーブル２３の三つのテーブルを結合させたリレーショナル構造とすることができる。リレーショナル構造としたとき、シナリオテーブル２１は、ユニークなシナリオ識別情報（ＩＤ）を格納するシナリオＩＤフィールド２４、そのシナリオの名前（シナリオ名）を格納するシナリオ名フィールド２５及びそのシナリオの内容を説明するための文字ガイダンス２６ａやイラストガイダンス２６ｂからなるシナリオガイダンスを格納するシナリオガイダンスフィールド２６を含み、シーンテーブル２２は、シナリオテーブル２１との連結用参照ＩＤを格納する参照ＩＤフィールド２２−１、ユニークなシーン識別情報（ＩＤ）を格納するシーンＩＤフィールド２２−２、シーンの名前（シーン名）を格納するシーン名フィールド２２−３を含み、カットテーブル２３は、シーンテーブル２２との連結用参照ＩＤを格納する参照ＩＤフィールド２３−１、ユニークなカット識別情報（ＩＤ）を格納するカットＩＤフィールド２３−２、そのカットの名前（カット名）を格納するカット名フィールド２３−３、そのカットの内容を説明するための文字ガイダンス２３−４ａやイラストガイダンス２３−４ｂからなるカットガイダンスを格納するカットガイダンスフィールド２３−４、そのカットにおける各演者の台詞データ（文字列）を格納する台詞フィールド２３−５、そのカットの撮影に適した撮影条件データを格納する撮影条件データフィールド２３−６を含む。
(Scenario database)
FIG. 3 is a conceptual diagram of the
撮影条件フィールド２３−６に格納される撮影条件データは、絞り、被写界深度、画角、ズーム倍率、画像のボケ具合、露出、ホワイトバランス又は自動手ブレ補正の制御データである。制御部１０は各シーンの撮影条件データに基づいて、当該シーンにおける撮影動作を制御することができる。
The shooting condition data stored in the shooting condition field 23-6 is control data for aperture, depth of field, angle of view, zoom magnification, image blur, exposure, white balance, or automatic camera shake correction. The
シーン（Scene）とは、映像のストーリの中で、ある特定の同一地点や同一の動きのまとまりのある部分のことをいう。一般的に複数のカット（Cut）で構成されることが多い。カットは、映像の構成単位とみられる画像の一つながりの断片を指す編集用語。カメラが回り始めてから止まるまでに撮影された一つながりの断片をいう。ショット（Shot）ともいう。 A scene is a part of a video story that has a specific point and a set of movements. Generally, it is often composed of a plurality of cuts. Cut is an editing term that refers to a single piece of an image that is considered to be a video unit. A piece of a piece taken from the time the camera starts turning until it stops. Also called a shot.
通常、映画や放送などの分野ではシーンとカットを厳密に区別しているが、どちらも、概念的には「動画の中の一つながりの断片部分」であるので、ホームビデオなどのパーソナル用途では区別しないことも多い。本実施形態では一応、シーンとカットを区別するが、同義語として取り扱っても構わない。つまり、シーンテーブル２２とカットテーブル２３に分けているが、シーンテーブル２２を用いずに、シナリオテーブル２１とカットテーブル２３を一つのテーブルにまとめても構わない。この場合、カットテーブル２３は“シーン／カットテーブル”となり、また、それを構成するカットＩＤフィールド２３−２やカット名フィールド２３−３及びカットガイダンスフィールド２３−４の各々の用語（“カット”）は“シーン／カット”と読み替えられる。 Usually, scenes and cuts are strictly differentiated in the fields of movies and broadcasts, but both are conceptually "a piece of a piece in a video", so they are distinguished in personal applications such as home video. Often not. In this embodiment, the scene and the cut are distinguished for the time being, but they may be handled as synonyms. That is, although the scene table 22 and the cut table 23 are separated, the scenario table 21 and the cut table 23 may be combined into one table without using the scene table 22. In this case, the cut table 23 is “scene / cut table”, and the terms (“cut”) of the cut ID field 23-2, the cut name field 23-3 and the cut guidance field 23-4 constituting the cut table 23 are included. Is read as “scene / cut”.
図４〜図６は、シナリオ用データベース２０からのデータ取り出し概念図である。便宜的に、三つのシナリオ（Ａ、Ｂ、Ｃ）を考える。シナリオＡは二つのシーン（Ａ１、Ａ２）からなり、それぞれのシーンは各々二つのカット（Ａ１＿１、Ａ１＿２、Ａ２＿１、Ａ２＿２）からなっているものとする。また、シナリオＢは三つのシーン（Ｂ１、Ｂ２、Ｂ３）からなり、それぞれのシーンは各々三つのカット（Ｂ１＿１、Ｂ１＿２、Ｂ１＿３、Ｂ２＿１、Ｂ２＿２、Ｂ２＿３、Ｂ３＿１、Ｂ３＿２、Ｂ３＿３）からなっているものとする。また、シナリオＣは四つのシーン（Ｃ１、Ｃ２、Ｃ３、Ｃ４）からなり、それぞれのシーンは各々四つのカット（Ｃ１＿１、Ｃ１＿２、Ｃ１＿３、Ｃ１＿４、Ｃ２＿１、Ｃ２＿２、Ｃ２＿３、Ｃ２＿４、Ｃ３＿１、Ｃ３＿２、Ｃ３＿３、Ｃ３＿４、Ｃ４＿１、Ｃ４＿２、Ｃ４＿３、Ｃ４＿４）からなっているものとする。
4 to 6 are conceptual diagrams of data extraction from the
今、シナリオテーブル２１のシナリオＡを選択したとすると、図５に示すように、シナリオテーブル２１からシナリオＡのシナリオ名とシナリオガイダンス（文字ガイダンス、イラストガイダンス）が取り出されるとともに、シーンテーブル２２からシナリオＡの各シーン（Ａ１、Ａ２）のシーン名が取り出され、さらに、カットテーブル２３からそれぞれのシーン（Ａ１、Ａ２）を構成する各カット（Ａ１＿１、Ａ１＿２、Ａ２＿１、Ａ２＿２）のカット名やカットガイダンス（文字ガイダンス、イラストガイダンス）、台詞データ及び撮影条件データが取り出される。 Assuming that scenario A in scenario table 21 is selected, the scenario name and scenario guidance (character guidance and illustration guidance) of scenario A are extracted from scenario table 21 as shown in FIG. The scene name of each scene (A1, A2) of A is extracted, and further, the cut name and cut guidance of each cut (A1_1, A1_2, A2_1, A2_2) constituting each scene (A1, A2) from the cut table 23. (Text guidance, illustration guidance), dialogue data and shooting condition data are extracted.
同様に、シナリオテーブル２１のシナリオＢを選択したとすると、図６に示すように、シナリオテーブル２１からシナリオＢのシナリオ名とシナリオガイダンス（文字ガイダンス、イラストガイダンス）が取り出されるとともに、シーンテーブル２２からシナリオＢの各シーン（Ｂ１、Ｂ２、Ｂ３）のシーン名が取り出され、さらに、カットテーブル２３からそれぞれのシーン（Ｂ１、Ｂ２、Ｂ３）を構成する各カット（Ｂ１＿１、Ｂ１＿２、Ｂ１＿３、Ｂ２＿１、Ｂ２＿２、Ｂ２＿３、Ｂ３＿１、Ｂ３＿２、Ｂ３＿３）のカット名やカットガイダンス（文字ガイダンス、イラストガイダンス）、台詞データ及び撮影条件データが取り出される。 Similarly, if scenario B in scenario table 21 is selected, the scenario name and scenario guidance (character guidance, illustration guidance) of scenario B are extracted from scenario table 21 and from scene table 22 as shown in FIG. The scene name of each scene (B1, B2, B3) of scenario B is taken out, and furthermore, each cut (B1_1, B1_2, B1_3, B2_1, B2_2) constituting each scene (B1, B2, B3) from the cut table 23. , B2_3, B3_1, B3_2, B3_3), cut guidance (character guidance, illustration guidance), dialogue data, and shooting condition data are extracted.
同様に、シナリオテーブル２１のシナリオＣを選択したとすると、図７に示すように、シナリオテーブル２１からシナリオＣのシナリオ名とシナリオガイダンス（文字ガイダンス、イラストガイダンス）が取り出されるとともに、シーンテーブル２２からシナリオＣの各シーン（Ｃ１、Ｃ２、Ｃ３、Ｃ４）のシーン名が取り出され、さらに、カットテーブル２３からそれぞれのシーン（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を構成する各カット（Ｃ１＿１、Ｃ１＿２、Ｃ１＿３、Ｃ１＿４、Ｃ２＿１、Ｃ２＿２、Ｃ２＿３、Ｃ２＿４、Ｃ３＿１、Ｃ３＿２、Ｃ３＿３、Ｃ３＿４、Ｃ４＿１、Ｃ４＿２、Ｃ４＿３、Ｃ４＿４）のカット名やカットガイダンス（文字ガイダンス、イラストガイダンス）、台詞データ及び撮影条件データが取り出される。 Similarly, assuming that scenario C in scenario table 21 is selected, the scenario name and scenario guidance (character guidance, illustration guidance) of scenario C are taken out from scenario table 21 as shown in FIG. The scene names of the scenes (C1, C2, C3, C4) of the scenario C are extracted, and further, the cuts (C1_1, C1_2, C1_3) constituting the respective scenes (C1, C2, C3, C4) from the cut table 23. , C1_4, C2_1, C2_2, C2_3, C2_4, C3_1, C3_2, C3_3, C3_4, C4_1, C4_2, C4_3, C4_4) cut names, cut guidance (character guidance, illustration guidance), dialogue data and shooting condition data are extracted .
（シナリオによる画像撮影）
図７は、シナリオによる画像撮影時の制御部１０の制御動作例を示すフローチャートであり、シナリオによる画像撮影プログラムの動作に相当する。以下、本実施形態に係わるシナリオによる画像撮影時の動作について図７と、図１および図３〜図６を基に説明する。
なお、下記図７のフローチャートにおいて、表示された台詞（文字列）を補正するためのステップＳ８、Ｓ９は必須ではない。
(Image shooting by scenario)
FIG. 7 is a flowchart illustrating an example of a control operation of the
In the flowchart of FIG. 7 below, steps S8 and S9 for correcting the displayed dialogue (character string) are not essential.
シナリオによる画像撮影モードが選択されると、制御部１０は演者カウンタＪの値を１に設定すると共に、一次記憶メモリ１６に確保される特徴データ保持領域１６１および台詞データ等保持領域１６２をクリアし（ステップＳ１）、スルー画像の表示を開始する（ステップＳ２）。
When the image capturing mode based on the scenario is selected, the
制御部１０は、シナリオ選択操作を検出するとシナリオ選択およびカットガイダンス表示処理を行う。シナリオ選択およびカットガイダンス表示処理動作については後述する（図８参照）（ステップＳ３）。
When detecting the scenario selection operation, the
カットガイダンスが表示されると、撮影者はシナリオやカットガイダンスを参照して最適なカメラアングルの決定等の撮影準備を行なう。そして、シナリオやカットガイダンスに示す演者がそのカット画面に存在する場合は、演者に台詞を関連付けるために演者指定操作（例えば、ＳＥＴキー６３の押し下げ操作）を行うので、制御部１０は、演者指定操作を検出するとステップＳ５に進み、そうでない場合はステップＳ１５に進む（ステップＳ４）。 When the cut guidance is displayed, the photographer makes preparations for shooting such as determining the optimum camera angle with reference to the scenario and the cut guidance. When the performer shown in the scenario or the cut guidance exists on the cut screen, a performer specifying operation (for example, a pressing operation of the SET key 63) is performed in order to associate the dialogue with the performer. If an operation is detected, the process proceeds to step S5, and if not, the process proceeds to step S15 (step S4).
制御部１０は、合焦領域（カメラ中央に示される矩形領域）に表示されている画像を演者として画像認識処理部１３に演者の特定部分（人物、動物の場合は顔部分）について画像認識処理を行わせ、画像認識処理部１３によって抽出された特定部分の特徴を一次記憶メモリ１６に確保されている特徴データ保持領域１６１のうちＪ番目の領域に保持（記憶）する（ステップＳ５）。
The
制御部１０は、演者に対応付けて吹き出し枠を表示する。本実施例では吹き出し枠は演者が人物または動物の場合は口元に表示し、その他の場合はその近傍に表示しているがこれに限定されない。なお、口元に吹き出し枠を表示し、吹き出し枠内に文字列を表示するには公知の技術（例えば、特許文献２（特許第３７１１４１８号）や特許第３０７０９６号に開示の技術）を適宜用いることができる（ステップＳ６）。
The
制御部１０は、シナリオ用データベース２０から台詞データフィールド２３−５に格納されている現在撮影中のカット（シーン）の台詞（文字列）を取り出してステップＳ６で表示した吹き出し枠の中に表示すると共に吹き出し枠の吹き出し位置、サイズ、および吹き出し文字列等を文字列保持領域１６２のうちのＪ番目の領域に保持する（ステップ７）。
The
吹き出し枠内に表示されている台詞補正の要否を問うメッセージを画面の所定領域（例えば、画面下部）に表示し、撮影者が台詞補正を要する旨の指示（例えば、ＳＥＴキー６３の押し下げ）を行ったか否かを調べ、台詞補正を要する旨の指示があった場合はステップＳ９に進み、そうでない場合（例えば、所定時間経過するか他のキーが操作された場合）はステップＳ１０に進む（ステップＳ８）。 A message asking whether or not to correct the dialogue displayed in the balloon frame is displayed in a predetermined area of the screen (for example, the lower part of the screen), and an instruction to the photographer that the dialogue correction is necessary (for example, pressing the SET key 63) The process proceeds to step S9 if there is an instruction that a dialogue correction is required, and if not (for example, if a predetermined time has elapsed or another key has been operated), the process proceeds to step S10. (Step S8).
台詞補正処理を実行し、ステップＳ８に戻る。台詞補正処理動作については後述する（図９参照）（ステップＳ９）。 The line correction process is executed, and the process returns to step S8. The line correction processing operation will be described later (see FIG. 9) (step S9).
次に、制御部１０は、次の演者指定操作（例えば、ＳＥＴキー６３の押し下げ操作）の有無を調べ、演者指定操作を検出するとステップＳ９に進み、そうでない場合（例えば、所定時間経過するか他のキーが操作された場合）はステップＳ１５に進む（ステップＳ１０）。
Next, the
演者指定操作を検出すると、制御部１０は、合焦領域（カメラ中央に示される矩形領域）にある画像を演者として画像認識処理部１３に特定部分（人物、動物の場合は顔部分）について画像認識処理を行わせ、画像認識処理部１３によって抽出された特定部分の特徴を一次記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データと比較し（ステップＳ１１）、類似度が所定の閾値を超えた場合はステップＳ１３に進み、所定の閾値以下の場合はステップＳ１５に進む（ステップＳ１２）。
When the performer designation operation is detected, the
類似度が所定の閾値を超えた場合は、制御部１０は、指定された演者がすでに指定済みの演者の被写体と同一被写体と判定して抽出された特定部分の特徴を一次記憶メモリ１６の特徴データ保持領域１６１のうちＪ番目の領域に確保されている特徴データに上書きする（ステップＳ１３）。
When the degree of similarity exceeds a predetermined threshold, the
制御部１０は、演者カウンタＪの値に１を加えてステップＳ４に戻る。これにより、新たな演者に文字列を関連付けるための処理を開始できる（ステップＳ１４）。
The
シャッターキー６５が操作されたか否かを調べ、シャッターキー６５の操作がされていない場合はステップＳ８に戻る。なお、ステップＳ８、Ｓ９を設けない場合はシャッターキー６５の操作がされるまで待つようにする（ステップＳ１５）。 It is checked whether or not the shutter key 65 has been operated. If the shutter key 65 has not been operated, the process returns to step S8. If steps S8 and S9 are not provided, the process waits until the shutter key 65 is operated (step S15).
シャッターキー６５が半押し操作されるとオートフォーカス処理を行なう。オートフォーカス終了後、シャッターキー６５が全押し操作されると撮影処理を実行し、撮影された画像の各演者に吹き出しを視覚的に関連付けることができるように、一次記憶メモリ１６の吹き出し文字等保持領域１６２の各領域に保持（記憶）されている吹き出し枠の吹き出し位置や吹き出し枠のサイズに基づいて吹き出し文字を撮影画像に合成（たとえば、吹き出し枠および吹き出し文字を撮影画像に上書きするように合成）し、記録部１８を制御して記録媒体に記録し、１カット枚分の画像の撮影を終了する（ステップＳ１６）。
When the shutter key 65 is pressed halfway, autofocus processing is performed. After the autofocus is completed, when the shutter key 65 is fully pressed, shooting processing is executed, and the balloon characters in the
なお、上記図７のステップＳ１６の後に、「制御部１０は、送信指示があると通信制御プログラムの制御により合成されたシナリオによる撮影画像を外部入出力部５０を介してインターネット上のウエブサイトに送信する」ステップを設けるようにしてもよい。
After step S16 in FIG. 7, “the
図８は、図７のステップＳ３（シナリオ選択およびカットガイダンス表示処理）の詳細な動作を示すフローチャートである。 FIG. 8 is a flowchart showing the detailed operation of step S3 (scenario selection and cut guidance display processing) of FIG.
制御部１０は、シナリオ選択操作を検出すると、あらかじめシナリオ用データベース２０に保存されているシナリオテーブル２１のすべてのシナリオ名を液晶モニタ１７３の画面上に選択可能にリスト表示して撮影者にシナリオの選択を促し（ステップＳ３−１）、撮影者によるシナリオの選択を検出するとステップＳ３−３に進む。シナリオの選択は例えばカーソルキー６２によるシナリオの指定操作およびＳＥＴキー６３による確定操作によって行うことができる（ステップＳ３−２）。
When detecting the scenario selection operation, the
制御部１０は上記ステップＳ３−２の撮影者のシナリオ選択操作により選択されたシナリオに従い該当する文字ガイダンスや絵コンテ（イラスト）をシナリオ用データベース２０のカットガイダンスフィールド２３−４から取り出して液晶モニタ１７３の所定の箇所（実施例では画面の下側）に表示して演者等の選択を促し、図７のステップＳ４に進む（ステップＳ３−３）。これにより撮影者は表示される文字ガイダンスや絵コンテに基づいてカット（シーン）単位に撮影操作を行うことができる。
The
図９は、図７のステップＳ９（表示されている台詞（文字列）の補正処理）の詳細な動作を示すフローチャートである。 FIG. 9 is a flowchart showing the detailed operation of Step S9 (correction processing of the displayed dialogue (character string)) in FIG.
台詞補正を要する旨の指示があった場合は、制御部１０は、液晶モニタ１７３の画面の所定領域（例えば画面下部）に撮影者に台詞の補正位置の指定を促すメッセージを表示する（ステップＳ９−１）。
When there is an instruction to require line correction, the
撮影者は表示されている台詞のうちの補正したい位置（先頭に文字を追加する場合は先頭部分、後尾に追加したい場合は後尾部分、置換したい場合はその部分（図１０（ｂ）の例では符号１０４で示す部分）をカーソルキー６２を動かして指定するので、制御部１０は画面上の位置（座標）を一次記憶メモリ１６の所定領域に保持する（ステップＳ９−２）。
The photographer selects the position of the displayed dialogue to be corrected (the head portion when adding characters at the beginning, the tail portion when adding characters to the tail, or the portion when replacing) (in the example of FIG. 10B). Since the part designated by
次に、台詞補正用データベースから補正文字列を取り出すためのキーの選択を促すメッセージ１０５とキー選択欄１０６（図１０参照）を表示する。キーとしては、例えばキー選択欄１０６に五十音のうちの１文字をスクロール可能に表示し、カーソル操作により１文字キーを選択するように構成できる（ステップＳ９−３）。
Next, a
撮影者がキー選択欄１０１で補正文字の先頭をキーとして選択すると、選択された１文字をキーとして台詞補正用データベース１４を検索し、補正文字列候補（一個または複数個の、単語、接頭語、接尾語等）を画面の所定位置に表示し選択を促す（ステップＳ９−４）。
When the photographer selects the beginning of the correction character in the
撮影者は上記ステップＳ９−４で表示された文字列から所望の文字列を得るためにカーソルキー６２を操作して、文字列選択や連想検索等による文字列絞込み処理により所望の文字列を選択する（ステップＳ９−５）。 The photographer operates the cursor key 62 to obtain a desired character string from the character string displayed in step S9-4, and selects a desired character string by character string narrowing processing such as character string selection or associative search. (Step S9-5).
所望の文字が確定すると確定キー（本実施形態では、ＳＥＴキー６３）を押すので、制御部１０は、確定キーの押し下げを検出すると、その文字列を台詞補正文字列とし、上記ステップＳ９−２で指定した補正位置に上書き表示して台詞を補正し、ステップＳ７に戻る（Ｓ９−６）。
When the desired character is confirmed, the confirmation key (SET key 63 in the present embodiment) is pressed, so that when the depressing of the confirmation key is detected, the
上記図７〜図９のフローチャートに示した動作により、撮影者は表示されるシナリオガイダンスや絵コンテに基づいて撮影操作を行うことができる。
また、デジタルカメラ１００は、撮影者が選択したシナリオに基づいて、撮影時に撮影者が演者として指定した被写体画像に台詞を視覚的に関連付けたシナリオによる撮影画像を生成することができる。また、ステップＳ１０以下の動作により、複数の演者を指定し、それぞれ言葉（文字列）を視覚的に関連付けることもできる。
Through the operations shown in the flowcharts of FIGS. 7 to 9, the photographer can perform a photographing operation based on the displayed scenario guidance or storyboard.
Further, the
また、図７のステップＳ７、Ｓ８を設けることにより台詞の補正ができるので、画面がシナリオに沿って入るものの、そのときの演者の様子や撮影者の気分で、予めシナリオ用データベース２０に登録されている台詞を少し変更したり、アドリブを入れたい場合や、場面に応じた台詞をいれたい場合などに便利である。
In addition, since the dialogue can be corrected by providing steps S7 and S8 in FIG. 7, the screen enters along the scenario, but the state of the performer and the mood of the photographer at that time are registered in the
なお、図８に示したフローチャートでは、演者指定操作手段としてＳＥＴキー６３を用い、ＳＥＴキー６３が押されたときにステップＳ３およびステップＳ８でカメラの合焦領域にある画像を演者とするように構成したが、演者指定操作手段はＳＥＴキー６３に限定されない。例えば、シャッターキー６５を演者指定操作手段として用いるようにしてもよい。 In the flowchart shown in FIG. 8, the SET key 63 is used as the performer designation operation means, and when the SET key 63 is pressed, the image in the in-focus area of the camera is set as the performer in step S3 and step S8. Although configured, the performer designation operation means is not limited to the SET key 63. For example, the shutter key 65 may be used as a performer specifying operation means.
また、カメラの合焦領域にある画像を演者とするのではなく、カーソルキー６２によってカーソルを画面中の所望の画像部分に移動させ、ＳＥＴキー６３等の演者決定操作手段の操作があるとカーソルが位置している画像を演者とするようにしてもよい。 Also, instead of using the image in the in-focus area of the camera as a performer, the cursor is moved to a desired image portion on the screen by the cursor key 62, and when the performer determining operation means such as the SET key 63 is operated, the cursor is moved. The image where is located may be the performer.
図８に示したフローチャートでは図１０に示すように文字列の表示位置を演者の口元（演者が風景や建造物の場合は近傍）とし、吹き出し枠内に表示するようにしたがこれに限定されず、画面上の所定の位置（例えば、演者の頭上、口元、文字表示領域内（画面上で画像表示領域と別に設けた文字表示領域等）でもよい。 In the flowchart shown in FIG. 8, as shown in FIG. 10, the display position of the character string is the performer's mouth (near the performer if it is a landscape or a building) and is displayed in the balloon frame. However, the present invention is not limited to this. Instead, it may be a predetermined position on the screen (for example, above the performer's head, mouth, or within a character display area (a character display area provided separately from the image display area on the screen).
図１０は、演者に対応付けた台詞の吹き出表示例および表示された台詞の補正例を示す図である。
図１０で、（ａ）は演者に対応付けて表示される吹き出し枠１０２内に台詞１０３を表示した例、（ｂ）は台詞の補正位置１０４の指定例およびキー選択のメッセージ１０５、キー選択欄１０６、スクロール指示ボタン１０７、確認ボタン１０８の表示例、（ｃ）は選択した補正文字列によって補正された台詞の例を示し、この例では、「いいお天気！」という台詞の先頭に「すばらしく」という文字列が追加され「すばらしくいいお天気！」という台詞１０９が表示されている。
FIG. 10 is a diagram illustrating a speech balloon display example associated with the performer and a correction example of the displayed speech.
10, (a) is an example in which
＜実施形態２＞
上記実施形態１の台詞補正処理（図７のステップＳ９（図９のフローチャート））の例では、撮像装置が音声入力部を備えていない例を示したが、撮像装置を音声入力部を備えるように構成し、音声／文字変換部（若しくは音声／文字変換プログラム）により、入力した音声を文字に変換して演者に関連付けて表示されている台詞を補正することができる。
<
In the example of the dialogue correction process (step S9 in FIG. 7 (flowchart in FIG. 9)) of the first embodiment, an example in which the imaging device does not include the voice input unit is shown. However, the imaging device includes the voice input unit. The speech / character conversion unit (or speech / character conversion program) converts the input speech into characters and corrects the dialogue displayed in association with the performer.
図１１は、実施形態２に係わるデジタルカメラの内部構成例を示すブロック図であり、
デジタルカメラ２００の内部構成は、実施形態１（図１）で示したデジタルカメラ１００の構成に音声入出力部３１および音声／文字変換部３２を付加した構成（台詞補正用データベース１４は不要）でよい。
FIG. 11 is a block diagram illustrating an internal configuration example of a digital camera according to the second embodiment.
The internal configuration of the
音声入出力部３１はデジタルカメラ２００の液晶モニタ１７３側に設けられたマイクロフォンであり、入力した音声を音声信号に変換して文字列音声／文字変換部３２に出力する。音声／文字変換部３２は音声入力部３１から入力した音声信号を一音節ごとに音声認識処理により認識して対応する文字列を出力する。
The voice input /
このような音声入出力部３１および音声／文字変換部３２を設けることにより、シナリオによる画像撮影モードにおける台詞補正を簡単に行うことができる。
By providing the voice input /
具体的には、図７のフローチャートのステップＳ９（つまり、図９のステップＳ９−３、〜Ｓ９−５を、「撮影者は台詞補正用データベース１４から所望の補正用文字列を得るために音声を発するので、制御部１０は音声／変換部３１をオンにして音声入力部３１からの入力音声信号を音声認識し、出力された文字列を画面の所定位置に表示し確認を促す（ステップＳ９−３）。」ように構成し、ステップＳ９−６を「撮影者は、表示された文字列が所望の文字列の場合は確定キー（本実施形態では、ＳＥＴキー６３）を押すので、制御部１０は、確定キーの押し下げを検出すると、その文字列を台詞補正文字列とし、上記ステップＳ９−２で指定した補正位置に上書き表示し、ステップＳ７に戻る。また、表示された文字列が所望の文字列でない場合は、音声の再入力を促すメッセージを表示してステップＳ９−３に戻る（Ｓ９−４）。」ように構成すればよい。
Specifically, step S9 in the flowchart of FIG. 7 (that is, steps S9-3 to S9-5 of FIG. 9 are performed by “the photographer uses the
このように、補正用文字列を音声入力部からの入力音声に基づいて行うよう構成することにより、カーソル操作で補正文字列を取得する場合に比べ簡単に補正文字列を取得して台詞を補正できる。
＜実施形態３＞
In this way, by configuring the correction character string to be performed based on the input voice from the voice input unit, it is easier to acquire the correction character string and correct the dialogue than when the correction character string is acquired by the cursor operation. it can.
<
上記実施形態２では、撮像装置が文字入力装置を備えていない例を示したが、撮像装置を文字入力装置を備えるように構成し、入力した補正用文字列で台詞を補正することもできる。例えば、携帯電話の文字キーを用いてカーソル指定された位置から文字を入力するようにすれば撮影者の思い通りに補正できる。また、音声入力部（マイクロフォン３４５）や無線送信部３３１も元々備わっているので、音声による補正文字列の取得はカメラの場合より構造的に容易であり、ウエブサイトにシナリオによる撮影画像を送信する際にも予めウエブサイトのＵＲＬを登録しておけば、送信指示キーを押すだけでウエブサイトに送信できる。
In the second embodiment, an example in which the imaging device does not include the character input device has been described. However, the imaging device may be configured to include the character input device, and the dialogue may be corrected using the input correction character string. For example, if a character is input from the position designated by the cursor using a character key of a mobile phone, it can be corrected as the photographer wishes. In addition, since the voice input unit (microphone 345) and the
図１２は、本実施形態に係わるカメラ付き携帯電話機３００の内部構成例を示すブロック図であり、携帯電話機３００は、無線送受信部３３１、無線信号処理部３３２、制御部３３３、キー入力部３３４、ドライバ３３７、表示部３３８、加入者情報記憶部３３９、ＲＯＭ３４０、一時記憶メモリ３４１、記憶部３４２、音声信号処理部３４３、スピーカ３４４、マイクロフォン３４５、ドライバ３４６、スピーカ３４７、バイブレータ３４８に加え、撮像部３３５、画像データ処理部３３６、音声／文字変換部３５１、および台詞シナリオ用データベース３５２を備えている。また、撮像部３３５および画像データ処理部３３６は本発明の撮像系を構成する。
FIG. 12 is a block diagram illustrating an internal configuration example of the camera-equipped
無線送受信部３３１は無線によりアンテナ３１１を介して音声信号やデータを送受する。
無線信号処理部３３２は無線送受信部３３１で受信した音声信号やデータを復調したり、無線送受信部３３１から送信する音声信号やデータを変調するなどの無線通信に必要な処理を行う。
The wireless transmission /
The wireless
制御部３３３は、図２に示した各内部構成要素を総括し、ＲＯＭ４０に格納されている制御プログラム及び動作プログラムや、撮像制御プログラム、画像処理プログラム、等の各種プログラムにより、各内部構成要素の動作を制御する。動作プログラムにはモード選択プログラム、本発明に係わる画像認識プログラムおよびシナリオによる画像撮影プログラムを含んでいる。
The
キー入力部３３４は、電源キー、テンキー、送受信開始キー、送受信停止キー、カーソルキー、取り消しキー、決定キー、シャッターキー等の各種キーを含みこれらのキーが操作されると対応する信号が制御部３３３に送出される。カーソルキーは実施形態１（図１参照）のカーソルキー６２に、決定キーはＳＥＴキー６３に、シャッターキーはシャッターキー６６に相当する。
The
撮像部３３５は、撮像素子、信号変換部、撮像タイミング制御部や撮影補助光源等を含む撮像信号系（図示せず）を有しており、撮像レンズを経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子によって光電変換され撮像信号（アナログ）として出力される。撮像素子の出力信号は信号変換部で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部３３６に送られる。
The
画像データ処理部３３６は、撮像部３３５から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＲＡＭ等の一時記憶メモリ３４１にバスを介してＤＭＡ転送する。
The image
ドライバ３３７は表示部３３８を駆動し、画像及びデータを表示させる。また、加入者情報記憶部３３９は携帯電話機３００を呼び出すための電話番号やユーザ（加入者）のＩＤ等、プロフィールデータを格納する。
The
ＲＯＭ３４０は制御部の動作プログラムが記録されたプログラム格納用メモリであり、ＲＯＭ４０には制御プログラム及び動作プログラム、本発明に基づくシナリオによる画像撮影プログラムや、撮像制御プログラム、画像処理プログラム、等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。また、動作プログラムにはモード選択プログラムが含まれている。また、上述した画像認識処理部３３を設けることなくプログラム格納メモリ１５に画像認識処理のための画像認識処理プログラムを格納するようにしてもよい。
A
一時記憶メモリ３４１はＤＲＡＭ等のメモリで構成され、無線通信端末として必要な各種データを記憶し、且つ制御部３３３が動作する上で必要なプログラムやデータを記憶する。また、一時記憶メモリ３４１は撮影モードおよびシナリオによる画像撮影モードでは、画像データ処理部３３６から取得する画像データを一時記憶するバッファメモリや、画像認識処理部３４９による演者の顔画像抽出処理用のワークメモリや、シナリオによる画像撮影用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。
The
シナリオによる画像撮影モードにおいて、一時記憶メモリ３４１には、シナリオによる画像撮影時に用いられる部分領域として、画像認識処理部３４９による認識処理の際、演者から抽出された特定部分（たとえば、人物や動物の場合、顔）の特徴データを保持する特徴データ保持領域および演者に関連付けて合成する文字列を保持しておく文字列保持領域がそれぞれ複数個確保される。また、取得した季節（季節コード）を保持しておく季節データ保持領域も確保される（図１参照）。
In the image capturing mode according to the scenario, the
記憶部３４２は無線通信端末として必要な各種データや撮影画像や生成されたシナリオによる撮影画像を記憶する。また、プログラムを記憶することもできる。携帯電話機３００の電源スイッチがオフの場合でも、記憶部３４２には電源が供給され記憶内容が維持される。
The
音声信号処理部３４３はマイクロフォン３４５から入力された音声信号を符号化処理したり、無線信号処理部３３２から出力された信号に基づいて音声信号を復号してスピーカ３４７から出力したりする。ドライバ３４６は、スピーカ３４７、バイブレータ３４８を駆動するためのドライバである。
The audio
音声／文字変換部３５１は、マイクロフォン３４５から入力した音声信号を一音節ごとに音声認識処理により認識して対応する文字列を出力する。
The voice /
上記カメラ付き携帯電話機３００のキー入力部３３４に設けられている文字入力キーを用いてシナリオによる画像撮影モードでの補正用文字列の取得を簡単に行うことができる。
Using the character input key provided in the
具体的には、図７のフローチャートのステップＳ９（つまり、図９のステップＳ９−３、〜Ｓ９−５を、「撮影者は台詞補正用データベース１４から所望の補正用文字列を得るために文字入力キーを操作して所望の文字列を入力するので、制御部１０は入力された文字列を画面の所定位置に表示し確認を促す（ステップＳ９−３）。」ように構成し、ステップＳ９−６を「撮影者は、表示された文字列が所望の文字列の場合は確定キー（本実施形態では、ＳＥＴキー６３）を押すので、制御部１０は、確定キーの押し下げを検出すると、その文字列を台詞補正文字列とし、上記ステップＳ９−２で指定した補正位置に上書き表示し、ステップＳ７に戻る。また、表示された文字列が所望の文字列でない場合は、音声の再入力を促すメッセージを表示してステップＳ９−３に戻る（Ｓ９−４）。」ように構成すればよい。
Specifically, step S9 in the flowchart of FIG. 7 (that is, steps S9-3 to S9-5 of FIG. 9 are performed by “the photographer obtains a character string for obtaining a desired correction character string from the
このように構成することにより、図１２に示したカメラ付き携帯電話機３００のシナリオによる画像撮影モードでは、、撮影者は、演者指定、出力された台詞（文字列）の確認操作といった簡単な操作でシナリオ撮影画像を生成することができる。また、台詞を補正したい場合は、補正箇所の指定、補正用文字列の入力、補正された台詞（文字列）の確認操作といった簡単な操作で台詞を補正して所望の台詞にすることができる。生成されたシナリオによる撮影画像をまた、送信指示キーを押すだけでウエブサイトに送信できる。
With this configuration, in the image shooting mode based on the scenario of the camera-equipped
まなお、表示部３３８に表示される演者の台詞の補正を入力装置からの入力音声に基づいて行うようにしてもよい（実施形態２参照）。
In addition, you may make it correct | amend the performer's dialog displayed on the
１０，３３３ 制御部
１１，３３５ 撮像部
１２，３３６ 画像データ処理部
１３、３４９ 画像認識処理部
１４ 台詞補正用データベース
１５ プログラム格納メモリ
１６、３４１ 一時記憶メモリ
１７ 画像表示部
１８ 画像記録部
２０、３５２ シナリオ用データベース
３１ 音声入力部
３２、３５１ 音声／文字変換部
４０ 外部入出力部
６０ 操作部
１００、２００ デジタルカメラ
３００ カメラ付き携帯電話機
３４５ マイクロフォン
DESCRIPTION OF SYMBOLS 10,333 Control part 11,335 Image pick-up part 12,336 Image data process part 13,349 Image
Claims (4)
シナリオによる画像撮影モードを有するとともに、
複数のシナリオとそのシナリオを説明するための文字ガイダンスを含むシナリオ用データベースと、
前記文字ガイダンスを補正するための台詞補正用データベースと、
画像認識手段と、
を有し、
シナリオによる画像撮影モード時に、
前記シナリオ用データベースに記憶されているシナリオを選択する手段と、
前記画像認識手段により被写体から演者を指定する手段と、
前記演者と前記シナリオの文字ガイダンスとを対応付ける手段と
前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正する手段と、
前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録する手段と、
を備えたことを特徴とする撮像装置。 In an imaging device that captures a subject image by a release operation, converts it into image data, and obtains an image,
It has an image shooting mode by scenario,
A scenario database containing multiple scenarios and text guidance to describe them,
A dialogue correction database for correcting the character guidance;
Image recognition means;
Have
In the image shooting mode by scenario,
Means for selecting a scenario stored in the scenario database ;
Means for designating a performer from the subject by the image recognition means;
Means for associating the performer with the character guidance of the scenario, and means for taking out and correcting the associated character guidance by extracting a correction character string from the dialogue correction database;
Means for recording on the recording medium a captured image generated by associating the performer with the corrected character guidance during the release operation;
An imaging apparatus comprising:
シナリオによる画像撮影モードを有するとともに、
複数のシナリオとそのシナリオを説明するための文字ガイダンスを含むシナリオ用データベースと、
前記文字ガイダンスを補正するための台詞補正用データベースと、
画像認識手段と、
を有し、
シナリオによる画像撮影モード時に、
前記シナリオ用データベースに記憶されているシナリオを選択し、
前記画像認識手段により被写体から演者を指定し、
前記演者と前記シナリオの文字ガイダンスとを対応付け、
前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正し、
前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録する
ことを特徴とするシナリオによる画像撮影方法。 In the image shooting method based on the scenario of capturing the subject image by the release operation and converting it to image data to obtain the image,
It has an image shooting mode by scenario,
A scenario database containing multiple scenarios and text guidance to describe them,
A dialogue correction database for correcting the character guidance;
Image recognition means;
Have
In the image shooting mode by scenario,
Select a scenario stored in the scenario database ,
Specify the performer from the subject by the image recognition means,
Associating the performer with the text guidance of the scenario,
Correcting the associated character guidance by taking out a correction character string from the dialogue correction database,
An image photographing method according to a scenario, wherein a captured image generated by associating the performer with the corrected character guidance is recorded on a recording medium during the release operation.
前記シナリオ用データベースに記憶されているシナリオを選択するステップと、
前記画像認識手段により被写体から演者を指定するステップと、
前記演者と前記シナリオの文字ガイダンスとを対応付けるステップと、
前記対応付けられた文字ガイダンスを前記台詞補正用データベースから補正文字列を取り出して補正するステップと、
前記レリーズ操作時に、前記演者と前記補正された文字ガイダンスが関連付けられて生成された撮像画像を記録媒体に記録するステップと、
を有することを特徴とするプログラム。 A scenario database that includes an image shooting mode based on a scenario for capturing a subject image by a release operation and converting it into image data to obtain an image, and includes a plurality of scenarios and character guidance for explaining the scenarios, and the character guidance. In an image shooting program based on a scenario of an imaging apparatus having a dialogue correction database for correcting and an image recognition means,
Selecting a scenario stored in the scenario database ;
Designating a performer from the subject by the image recognition means;
Associating the performer with the character guidance of the scenario;
Taking out the corrected character string from the dialogue correction database and correcting the associated character guidance; and
Recording a captured image generated in association with the performer and the corrected character guidance on a recording medium during the release operation;
The program characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007253082A JP5023932B2 (en) | 2007-09-28 | 2007-09-28 | Imaging apparatus, image capturing method by scenario, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007253082A JP5023932B2 (en) | 2007-09-28 | 2007-09-28 | Imaging apparatus, image capturing method by scenario, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009088749A JP2009088749A (en) | 2009-04-23 |
| JP5023932B2 true JP5023932B2 (en) | 2012-09-12 |
Family
ID=40661622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007253082A Expired - Fee Related JP5023932B2 (en) | 2007-09-28 | 2007-09-28 | Imaging apparatus, image capturing method by scenario, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5023932B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5233491B2 (en) * | 2008-08-06 | 2013-07-10 | 株式会社ニコン | Electronic camera, data distribution method and server |
| JP2010283637A (en) * | 2009-06-05 | 2010-12-16 | Casio Computer Co Ltd | Device, program and method for processing photographed image |
| JP6334873B2 (en) * | 2013-09-11 | 2018-05-30 | 日本放送協会 | Content production apparatus and content production program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3784289B2 (en) * | 2000-09-12 | 2006-06-07 | 松下電器産業株式会社 | Media editing method and apparatus |
| JP2004260632A (en) * | 2003-02-26 | 2004-09-16 | Sony Ericsson Mobilecommunications Japan Inc | Portable terminal device and method for editing moving image added information |
| US20050206751A1 (en) * | 2004-03-19 | 2005-09-22 | East Kodak Company | Digital video system for assembling video sequences |
| JP2006174318A (en) * | 2004-12-20 | 2006-06-29 | Casio Comput Co Ltd | Apparatus and method for recording motion image |
| JP2006211139A (en) * | 2005-01-26 | 2006-08-10 | Sanyo Electric Co Ltd | Imaging apparatus |
-
2007
- 2007-09-28 JP JP2007253082A patent/JP5023932B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009088749A (en) | 2009-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5056061B2 (en) | Imaging device | |
| JP4645685B2 (en) | Camera, camera control program, and photographing method | |
| US20170099425A1 (en) | Imaging device, imaging system, imaging method, and computer-readable recording medium | |
| US7053938B1 (en) | Speech-to-text captioning for digital cameras and associated methods | |
| US7405754B2 (en) | Image pickup apparatus | |
| JPWO2008133237A1 (en) | IMAGING DEVICE, COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE CONTROL PROGRAM, AND CONTROL METHOD | |
| JP2007221570A (en) | Imaging apparatus and its program | |
| US20070236327A1 (en) | Apparatus, method, program and system for remote control | |
| JPWO2008149709A1 (en) | Portable terminal, portable terminal control method, portable terminal control program, and computer-readable recording medium recording the same | |
| JP4639965B2 (en) | Imaging apparatus, image processing method, and program | |
| JP2006270263A (en) | Photographing system | |
| JP5023932B2 (en) | Imaging apparatus, image capturing method by scenario, and program | |
| JP5206422B2 (en) | Composition selection device and program | |
| JP4595832B2 (en) | Imaging apparatus, program, and storage medium | |
| JP2017059121A (en) | Image management device, image management method and program | |
| JP2005117369A (en) | Moving image recorder, moving image reproducer and digital camera | |
| JP2008085582A (en) | System for controlling image, image taking apparatus, image control server and method for controlling image | |
| JP2010041527A (en) | Photographing support method, system, program | |
| JP5181935B2 (en) | Image processing apparatus, program, and subject detection method | |
| US10051203B2 (en) | Composite image creating apparatus | |
| JP6977847B2 (en) | Image management device, image management method and program | |
| KR102166331B1 (en) | Method and device for quick changing to playback mode | |
| JP5370577B2 (en) | Composition selection device and program | |
| KR20130101707A (en) | Photographing apparatus, electronic apparatus, method for generation of video, and method for display of thumbnail | |
| WO2022158201A1 (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5023932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |