JP2003032625A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

(57)【要約】 【目的】少なくとも１つ以上の画像、音声、テキストの
各ファイル間のリンクが可能となり、画像、音声、テキ
ストの各ファイル間での相互に関連性のある表現を容易
に編集、記録できるデジタル電子カメラを提供すること
である。 【構成】画像データと音声データとを関連づけて記録す
るための記録媒体１０１と、記録媒体１０１に格納され
た音声データを指定する指定手段２０３と、指定された
音声データに関連する画像データをファイル情報として
検索する制御手段１３と、検索された画像データを読み
出し、再生する読出手段１０２とを具備することを特徴
とする画像データ及び音声データを処理する装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像及び音声の処理し
て、記録再生を行なう装置に関するものである。

【０００２】

【従来の技術】従来、画像及び音声データを処理し、記
録する規格としてスチルビデオフォーマット方式が知ら
れている。

【０００３】この従来のスチルビデオフォーマットは、
画像データと音声データは夫々別のトラックにＦＭ記録
される。また、音声トラックは関連する画像トラックの
トラック番号を記録するためのフィールドをコントロー
ルコードに設けられており、特定の画像についての注釈
（識別情報）を記録できるようにしたものである。

【０００４】

【発明が解決しようとする問題点】しかしながら、上記
のような従来のデジタル電子カメラにおいては、以下の
ような問題がある。

【０００５】即ち、スチルビデオフォーマット方式で
は、音声トラックからの参照したい画像トラックの指定
はできるが、画像トラックからは関連する音声トラック
を指定できない。従って、音声データと画像データとの
関連を確定するためには記録媒体であるスチルビデオフ
ロッピー上の全てのトラックを検索して全ての音声トラ
ックを再生し、参照したい画像トラックを見つけ出さな
ければならず必然的に多大な時間を必要とするため無駄
が多く現実的ではないという欠点があった。

【０００６】また、音声トラックからは一つの画像し
か参照できないので、複数の画像である場合に一つの音
声を対応させることができなかった。従って、複数の画
像に対して、共通の概念を音声で注釈しようとしても一
度にできないという欠点があった。

【０００７】更に、音声データを記録するためには多
大な記録容量を必要とするので、特に単純な注釈を音声
トラックにて行うことはコスト的にみて不適切であると
いう問題があった。

【０００８】尚、上述した従来のデジタル電子カメラに
関する問題点は、一般的な音声及び画像データを処理す
る装置に係わる問題点でもある。

【０００９】従って、本発明は上述した課題に鑑みてな
されたものであり、その目的とするところは、少なくと
も１つ以上の画像、音声、テキストの各ファイル間のリ
ンクを可能とし、且つ、それらの状態をアイコン表示で
確認することができ、それぞれのファイルを双方から高
速に検索、再生できるように構成して、画像、音声、テ
キストファイル間での相互に関連性のある表現を容易に
編集、記録できる音声及び画像データを処理する装置を
提供することである。

【００１０】

【課題を解決するための手段】上述の課題を解決し、目
的を達成するために、本発明のデータ処理装置は、画像
データに対応するアイコンと、前記画像データにリンク
された音声データに対応するアイコンとを近接して表示
することにより、前記画像データと音声データのリンク
関係を表示する表示手段と、前記アイコンの一方を消去
することによって、前記リンクを同時に消去する消去手
段とを具備する。

【００１１】また、好ましくは、前記表示手段は、前記
画像データあるいは音声データにリンクされたテキスト
データに対応するアイコンを、前記画像データあるいは
音声データのアイコンに近接して表示する。

【００１２】また、好ましくは、前記表示手段は、前記
アイコンの表示されている同一画面内に、前記消去手段
を動作させるための消去ボタンのアイコンを表示する。

【００１３】また、好ましくは、画像データに対応する
アイコンと、前記画像データにリンクされた音声データ
に対応するアイコンとを近接して表示することにより、
前記画像データと音声データのリンク関係を表示する表
示工程と、前記アイコンの一方を消去することによっ
て、前記リンクを同時に消去する消去工程とを備える。

【００１４】また、好ましくは、前記表示工程は、前記
画像データあるいは音声データにリンクされたテキスト
データに対応するアイコンを、前記画像データあるいは
音声データのアイコンに近接して表示する。

【００１５】また、好ましくは、前記表示工程は、前記
アイコンの表示されている同一画面内に、前記消去工程
を実行させるための消去ボタンのアイコンを表示する。

【００１６】

【作用】以上のように、この発明は構成されているの
で、少なくとも１つ以上の画像、音声、テキストの各フ
ァイル間のリンクが可能となり、且つ、それらの状態を
アイコン表示で確認することができ、それぞれのファイ
ルを双方から高速に検索、再生できるので、画像、音
声、テキストファイル間での相互に関連性のある表現を
容易に編集、記録できる。

【００１７】

【実施例】以下、本発明の好適な実施例について、添付
図面を参照して詳細に説明する。図１は、本実施例のデ
ジタル電子カメラ本体のシステム構成を示すブロック図
である。

【００１８】図１において、記録媒体１０１は、例えば
ＰＣＭＣＩＡ規格に準拠したメモリカ−ドやハードディ
スクなどである。音声入力回路２０及び音声出力部２２
は、例えばオーディオジャックあるいはスピーカであ
る。Ａ／Ｄ変換器２４は、音声信号をアナログ信号から
デジタル信号に変換する装置で、Ｄ／Ａ変換器２５は、
信号処理制御用ＣＰＵ１３から送られるデジタルの音声
信号をアナログに変換する装置である。スイッチ２１は
音声出力部２２への音声信号の送信を選択する選択回路
である。メモリバスコントローラ１０２は、撮像信号処
理部１９、信号処理制御用ＤＳＰ１３、画像表示用バッ
ファメモリ１２、記録媒体Ｉ／Ｆ回路１０４の間での画
像データ、音声データなどの転送を行う。

【００１９】Ｄ／Ａ変換機２６は画像表示用バッファメ
モリ１２からのデジタル画像データをアナログ映像信号
に変換する装置であり、映像出力部２３はアナログに変
換された映像信号を映像として表示する映像表示装置で
ある。

【００２０】１は撮影レンズであり、２は絞り機能とシ
ャッター機能を兼ねる絞り兼用シャッター、３はストロ
ボ、メカ及び操作部制御用ＣＰＵ４は機械的な操作を行
なう各操作部を制御し、駆動回路５はメカ系各部の駆動
させる回路である。

【００２１】撮像素子６は被写体からの反射光を電気信
号に変換するＣＣＤで、タイミング信号発生回路７は撮
像素子６を動作させるために必要なタイミング信号を発
生する（以下、「ＴＧ」と称する）。撮像素子駆動回路
８はタイミング信号発生回路７からの信号を撮像信号の
駆動可能なレベルに増幅する駆動回路で、前置処理回路
９は撮像素子６で発生する出力ノイズ除去のためのＣＤ
Ｓ回路及びＡ／Ｄ変換前に行う非線形増幅回路を備え
る。Ａ／Ｄ変換器１０は前置処理後のデータをデジタル
に変換する。信号処理制御用ＣＰＵ１３は信号処理部を
制御する信号処理制御用ＤＳＰ（ＤＩＧＴＡＬ ＳＩＧ
ＮＡＬ ＰＲＯＣＥＳＳＯＲ）であり、操作表示部１４
は操作補助のための表示やカメラの状態を表わす表示部
で、操作部１５はカメラを外部から制御するためのキー
ボード等の入力装置である。記録媒体Ｉ／Ｆ１０４は本
実施例に基づくデジタル電子カメラと記録媒体１０１と
を接続するための記録媒体Ｉ／Ｆ用回路である。そし
て、本実施例のカメラの記録媒体への記録ファイルフォ
ーマットは、例えばＭＳーＤＯＳのようなファイルフォ
ーマットを使用することができる。

【００２２】画像表示用バッファメモリ１２は信号処理
制御用ＤＳＰ１３から画素単位でアクセスすることが可
能であり、また撮影する画像を表示しながら任意の操作
手段パネルを描画することができる。

【００２３】操作部１５にトラックボールなどを実装す
れば、近年におけるパ−ソナルコンピュ−タにおけるポ
インティングデバイスを用いたＧＵＩ（Graphical User
Interface）と同様のユーザーＩ／Ｆを実現できるよう
になっている。つまり信号処理制御用ＤＳＰ１３が画像
表示用バッファに様々なコントロールパネルを描画し
て、ユーザーがそのコントロールパネルに対してポイン
ティングデバイス（この場合トラックボール）によって
操作することでカメラのあらゆる操作が可能となる。ま
た信号処理制御用ＤＳＰ１３によって、画像やテキスト
や様々な図形を画像表示部に描画することでユーザーに
対して撮影された画像、カメラの現在の状態、記録媒体
上のファイル管理情報など多種多様な情報の提示が行わ
れる。本実施例では以下操作部１５と上記ＧＵＩによる
ユーザーＩ／Ｆ操作を操作部１５による操作と称するこ
ととする。またポインティングデバイスによるクリック
あるいはダブルクリック操作などを起動操作と称するこ
ととする。

【００２４】＜画像記録モード時の記録画像のモニタ＞
信号処理制御用ＤＳＰ１３がユーザーの操作部１５の記
録モード移行命令を検知すると、信号処理制御用ＤＳＰ
１３は以下の処理を実行し記録する画像を映像出力部２
３に表示する。

【００２５】撮影者の意図に応じてレンズ系の制御がメ
カ操作部制御用ＣＰＵ４及びメカ系駆動回路５により行
われる。この際、撮影条件などが操作部１５に表示さ
れ、撮影者にカメラの状況を伝える。さらに不図示の測
光回路により被写体の明るさを測定し、絞り兼用シャッ
ター２の絞り度を表す値やシャッタースピードのデータ
をメカ操作部制御用ＣＰＵにて導出する。メカ操作部制
御用ＣＰＵ４で導出された制御値に基づき、メカ系駆動
回路５により絞り兼用シャッター２を駆動する。また測
光回路（不図示）の出力によってはストロボ３を発光さ
せて撮影することになる。このようにして露光されて、
被写体の反射光が撮影レンズ１及び絞り兼用シャッター
２を介して撮像素子６に入射される。この際、絞り兼用
シャッター２は撮像素子６への入射光量を制限するとと
もに、撮像素子としてインターレース読み出し型ＣＣＤ
を用いた場合、画像の転送中に入射光が信号電荷に悪影
響を与えないようにするために設けられている。撮像素
子６は、ＴＧ７からの出力を撮像素子駆動回路８によっ
て増幅させた駆動信号により動作させる。尚、ＴＧ７は
信号処理制御用ＤＳＰ１３によりその動作を制御されて
いる。以上のようにして駆動させた撮像素子６の出力は
前置処理回路９に送られる。前置処理回路９では撮像素
子からの出力に発生する低域ノイズを除去するＣＤＳ処
理と共に、Ａ／Ｄ変換器１０のＤレンジ（デジタル化さ
れた信号データ）を有効に用いるために撮像出力を非線
形化する処理を行っている。前置処理された撮像信号出
力はＡ／Ｄ変換器１０においてデジタル信号に変換さ
れ、撮像信号処理部１９によって標準的なコンポーネン
トビデオ（例えば輝度信号と２色差信号やＲＧＢ信号）
に変換されメモリコントローラ１０２に入力される。メ
モリコントローラ１０２では信号処理制御用ＤＳＰ１３
の制御により、デジタル化された撮像信号をバッファメ
モリ１２に連続的に転送していく。

【００２６】図２は、画像記録モードにおける表示形式
を示す図である。画像表示部２３に出力される表示画像
は例えば図２に示すように記録画像のモニタ領域部分２
０２と、カメラの状態や撮影条件などユーザーが設定で
きるパラメータのコントロールパネル部分２０３を分割
されて表示される。画像表示用バッファメモリ１２のデ
ジタル化されたデータはＡ／Ｄ変換器２６によってアナ
ログ映像信号に変換され映像出力部２３に出力され、映
像出力部２３で表示される。ユーザーは、記録する画像
を動画像としてモニタ領域部分２０２において確認でき
る。

【００２７】以上の処理によって撮像素子６によって捕
らえられた動画像が映像出力部２３に表示されるのであ
る。

【００２８】＜画像の記録＞撮影者が操作部１５を制御
することによりカメラに撮影を指示すると、信号処理制
御用ＤＳＰ１３は動画表示を停止して表示用バッファメ
モリに保持された画像データにメモリコントローラを介
してアクセスしてデジタルの圧縮処理を行った後、記録
媒体Ｉ／Ｆ１０４を介して記録媒体１０１に記録する。

【００２９】この転送期間及び記録終了後一定期間中メ
モリバスコントローラ１０２は画像表示用バッファメモ
リ１２への書き込みを停止すれば記録する画像が静止さ
れて映像出力部２３に表示される。従ってユーザーがた
った今記録した静止画像を映像出力部２３で確認でき
る。

【００３０】また撮影後、より速く記録された画像の中
身を確認するために、信号処理制御用ＤＳＰ１３は圧縮
した画像の間引き画像を圧縮ファイルに付加することが
できる。例えば、元の画像の縦横８分の１程度に間引い
た画像を付加してもファイル容量はそれほど増加しない
のである。尚、この画像を索引画像と呼ぶ。

【００３１】＜音声記録時の音声のモニタ及び記録＞記
録モード時には信号処理制御用ＤＳＰ１３はスイッチ回
路２１で音声入力回路２０の出力を音声出力部２２の入
力に接続して記録する音声をモニタすることができる。

【００３２】信号処理制御用ＤＳＰ１３がユーザの操作
部１５による音声記録命令を検知すると、信号処理制御
用ＤＳＰ１３はＡ／Ｄ変換器２４でデジタルデータに変
換したデータを受け取り、メモリバスコントローラ１０
２を介して記録媒体Ｉ／Ｆ１０４に転送する。

【００３３】信号処理制御用ＤＳＰ１３がユーザーの操
作部１５による音声記録命令の解除を検知するか、ある
いは信号処理制御用ＤＳＰ１３が一定時間経過したこと
で音声記録の解除とみなした時点で信号処理制御用ＤＳ
Ｐ１３は音声の記録を終了する。

【００３４】＜画像と音声の同時記録＞画像と音声を同
時に記録する場合、前述の＜画像の記録＞で説明したよ
うに画像を圧縮して記録媒体Ｉ／Ｆ１０４に転送してい
る間は、信号処理制御用ＤＳＰ１３はＡ／Ｄ変換器２４
から受け取った音声のデータを信号処理制御用ＤＳＰ１
３の内部バッファに一時的に保存しておき、画像の転送
が終了した時点で音声データを記録媒体Ｉ／Ｆ１０４に
転送する。ＮＴＳＣ方式の１フィールド期間１６．７ミ
リ秒のうち、垂直同期期間とその前後には１．４ミリ秒
程度の垂直ブランキング期間といわれる映像信号が存在
しない期間がある。画像データを通常のビデオレートで
転送する場合、この垂直ブランキング期間を除いた時間
（約１５ミリ秒）の間に撮像信号処理されていない画像
データを転送する。これを実現するために約１０ＭＢｙ
ｔｅ／ｓｅｃのスピードでデータを転送する。

【００３５】音声データを１サンプル８ビットで２２ｋ
Ｈｚでサンプリングするとき１６．７ミリ秒分のデータ
容量は約３７０Ｂｙｔｅである。このデータを残りの
１．４ミリ秒で転送する場合、約２６０ＫＢｙｔｅ／ｓ
ｅｃの転送スピードが必要である。

【００３６】これらの転送スピードは、例えば記録媒体
としてＰＣＭＣＩＡ規格などに準拠したメモリカ−ドな
らば十分満足できる速度である。

【００３７】以上説明したように、１画面の走査期間の
うち垂直ブランキング期間中に音声データを転送し、映
像期間に画像転送を行い時分割多重することで本実施例
のカメラは画像と音声を同時にモニタしながら同時に記
録できる。

【００３８】このときは音声データは画像に関連した情
報とみなせるため、画像及び音声を後述する＜画像ファ
イルへの音声及びテキストのリンク＞の説明に基づい
て、両者が相互に参照し合うようにファイル管理する。

【００３９】また音声データを映像信号の水平ブランキ
ング期間内に転送しても良い。例えば、４４．１ｋＨ
ｚ、ステレオ、８ビットの条件で音声をサンプリングす
るとき、１回の水平ブランキング期間（１Ｈ期間）内に
計６Ｂｙｔｅもしくは４Ｂｙｔｅの音声データを転送・
記録する。この時、記録媒体としてＨＤＤなどの記録機
構を有する媒体を用いる際には１Ｈ期間毎に音声データ
がインターリーブされるように記録するのが良いが、半
導体メモリの場合には画像データと音声データを１Ｈ毎
にインターリーブさせる必要はなく、１フィールド期間
（１Ｖ期間）の画像データの前に音声データが記録され
るように１Ｖ毎のインターリーブ記録をしても良い。

【００４０】＜テキストデータの記録＞本実施例のカメ
ラでは５つの画像や音声を認識してテキストデータにす
ることで画像に対する注釈のための記録容量の拡大を大
幅に削減する。

【００４１】＜文字認識による記録＞信号処理制御用
ＤＳＰ１３がユーザーの操作表示部１５による文字認識
記録モード移行命令を探知するとカメラは＜画像記録モ
ード時の記録モニタ＞と同じ処理を行い文字認識する画
像を画像表示部に出力する。このとき画像表示部３０１
に表示される画像は、図３のように認識しようとする画
像３０２、文字認識された結果を表示する部分３０３、
カメラの状態や撮影条件などをユーザーが設定できるパ
ラメータのコントロールパネル３０４などを分割して表
示する。

【００４２】そしてユーザーが操作部１５によって文字
認識実行を指示している間は以下の処理を繰り返す。

【００４３】信号処理制御用ＤＳＰ１３は一旦画像表示
用バッファメモリへの書き込みを停止してその画像に対
して文字認識処理を行う。バッファメモリ上の画像に対
する文字認識処理が終了すると信号処理制御用ＤＳＰ１
３はその認識結果を図３に示す表示領域３０３に表示す
る。

【００４４】ユーザーは満足な認識結果が得られたとこ
ろで操作部１５によって文字認識実行の指示を終了す
る。この時点でユーザーは操作部１５によって認識され
たテキストの確定を指示する。カメラは確定されたテキ
ストをメモリコントローラ１０２、記録媒体Ｉ／Ｆ１０
４を介して記録媒体１０１に記録する。テキストデータ
が確定されない場合は、再度認識画像をバッファメモリ
に書き込み直し上述の動作を繰り返す。

【００４５】＜音声認識による記録＞信号処理制御用
ＤＳＰ１３がユーザーの操作部１５による文字認識記録
モード移行命令を探知するとカメラは＜音声記録時の音
声のモニタ及び記録＞に説明したのと同じ処理を行い音
声をモニタする。このとき画像表示部４０１の表示画像
は図４のように音声認識された結果を表示する部分４０
２、カメラの状態や、認識条件等ユーザーが設定できる
パラメ−タのコントロールパネル４０３などを分割して
表示する。さらに好適な具体例として、図１３のパネル
１３０のように構成できる。

【００４６】そしてユーザーが操作部１５によって音声
認識実行を指示している間信号処理制御用ＤＳＰ１３は
Ａ／Ｄ変換器２４でデジタルデータに変換したデータを
受け取り、音声認識処理を行い認識結果を図４の表示部
４０２に表示する。

【００４７】ユーザーは音声の認識結果が得られたとこ
ろで操作部１５によって音声認識実行の指示を終了す
る。

【００４８】認識結果に不満がある場合は再度操作部１
５によって音声認識実行を指示する。

【００４９】満足する認識結果が得られたらこの時点で
ユーザーは操作部１５によって認識されたテキストの確
定を指示する。カメラは確定されたテキストをメモリコ
ントローラ１０２、記録媒体Ｉ／Ｆ１０４を介して記録
媒体に記録する。

【００５０】以上の説明により明らかなように本実施例
のデジタル電子カメラは記録媒体に画像データ、音声デ
ータ、テキストデータの３種類のファイルを保持でき
る。

【００５１】＜ファイルの一覧表示＞図５は、記録され
たファイルの一覧を表示する表示形式を示す図である。
３種のファイルをカメラの表示部に映像としてディレク
トリ表示するときは信号処理制御用ＤＳＰ１３が記録媒
体上に記録されているファイルを読み出し、ファイルデ
ータの種類に応じて図５に示すように画像については画
像ファイルを表現する索引画像５０１、音声、テキスト
は夫々５０２、５０４のようなアイコンとして表示す
る。これらの表示は記録時間順に表示したり、また画像
だけ、音声だけ、テキストだけの表示を行うこともでき
る。またユーザーは索引画像、音声、テキストを表すア
イコンをポインティングデバイスで選択したのち、消去
ボタン５０９をクリックするとカメラは選択されたファ
イルの消去を行う。

【００５２】索引画像５０１の下部にある音声、テキス
トの夫々のアイコン５１１、５１２はその画像ファイル
にリンクされたテキストや音声が存在するかどうかを示
すためのものである。テキスト及び音声は後述する＜画
像ファイルへの音声、テキストのリンク＞に従ってリン
クされる。例えば、５１１、５１２のようにアイコンを
グレーレベルにすることでデータが存在することを表現
する。これらのアイコンをポインティングデバイスを用
いて選択して起動させ、後述する＜音声の再生＞又は＜
テキストの再生＞が行われる。

【００５３】図５において、画面の一部５１０は表示す
る索引画像やアイコンなどのオブジェクトが画面に入り
きらないときにそれらを検索できるように上下にスクロ
ールするためのスクロールバーである。これは近年のパ
−ソナルコンピュ−タやワークステーションで用いられ
るウィンドウ表示のためのツールと同様に機能する。

【００５４】＜画像の拡大及び再生＞図７は、拡大され
た画像の表示形式を示す図である。図７において一つの
画像について拡大再生したい場合、ユーザーは操作部の
ポインティングデバイスを用いて一つの索引画像を選択
して拡大命令（例えばボタンのダブルクリック）を行
う。信号処理制御用ＤＳＰ１３は上記操作を検知すると
選択された画像ファイルから圧縮画像データを読み出
し、伸長して画像表示用バッファメモリに転送し画像表
示部に表示する。このときの表示は、例えば図７に示す
ように拡大された画像の表示部７０１と各制御用ボタン
７０２〜７０４、更にリンクされた複数の音声、テキス
トのアイコンとして夫々７０５、７０６などが表示され
る。

【００５５】ポインティングデバイスでボタン７０２を
起動すると図７に表示された画像のパネルは閉じられて
前述の図５の表示に戻る。

【００５６】＜音声の再生＞次に、図５において、音声
を再生したい場合、ユーザーは操作部のポインティング
デバイスを用いて音声アイコンを選択して起動する。

【００５７】信号処理制御用ＤＳＰ１３はスイッチ回路
２１を制御してＤ／Ａ変換器２５からの出力を音声出力
部２２の入力に接続する。信号処理制御用ＤＳＰ１３は
記録媒体Ｉ／Ｆ１０４、メモリバスコントローラ１０２
を制御して音声データを読み出しＤ／Ａ変換器に記録時
の標本化周期で出力し音声出力部２２から音声が出力さ
れる。

【００５８】＜テキストの再生＞更に、テキストを表示
したい場合、ユーザは操作部のポインティングデバイス
を用いてテキストアイコンを選択して起動する。図７
は、テキストデータの表示形式を示す図である。

【００５９】信号処理制御用ＤＳＰ１３は記録媒体Ｉ／
Ｆ１０４、メモリバスコントローラ１０２を制御してテ
キストデータを読み出しキャラクタビットパターン展開
して例えば図６に示すようなテキストデータを画像表示
用バッファメモリに転送し画像表示部に表示する。

【００６０】図６ではテキストの表示部６０１と制御用
ボタン６０２などが表示される。ポインティングデバイ
スでボタン６０２を起動すると第６図のパネルは閉じら
れる。

【００６１】＜画像ファイルへの音声及びテキストのリ
ンク＞本実施例に基づくカメラは前述の＜単独の画像の
拡大及び再生＞での説明に従って一つの画像を再生した
とき、画像に対して音声、あるいは音声認識によるテキ
ストの付加を行うためのコントロールボタンを図７に示
すアイコン７０３、７０４を夫々備えている。ポインテ
ィングデバイスで図７中のアイコン７０３、７０４をク
リックし起動すると信号処理制御用ＤＳＰ１３は夫々＜
音声記録時の音声のモニタ及び記録＞、＜音声認識に
よる記録＞と同様に音声、テキストの記録を行う。この
操作は画像データを拡大及び再生しモニタすることによ
って行うことができる。図１３は、図７の画像表示パネ
ルの上に音声認識の制御用パネル１３０を重ねて表示し
た様子を示す図である。例えば、図１３のように図７の
画像表示パネルの上に音声認識の制御用パネル１３０を
重ねて表示することができる。 画像データと音声デー
タを同時記録する時、及び上記のように画像データを再
生した結果をモニタしながら音声、テキストを記録する
時は画像ファイル及び音声、テキストファイル双方がお
互いを参照するデータをファイル内に格納することによ
って相互にリンクされたファイルとなる。図８は、ファ
イル内の画像ファイル及び音声ファイルとテキストファ
イル夫々のデータ構成を示している。

【００６２】図８において、夫々のファイルはリンクさ
れるファイル形式ごとにリンクされたファイル数（夫々
音声ファイル数をｎ、テキストファイル数をｍ、画像フ
ァイル数をｋ）及びファイル数の応じたファイルの識別
子を格納する。

【００６３】このようにすれば音声ファイルだけでなく
画像ファイルも音声、テキストファイルを参照している
ので従来のように全てのファイルを検索しなくても一つ
の画像ファイルから関連される音声、テキストファイル
を特定してそのファイルを再生あるいは表示することが
できる。

【００６４】一つの画像ファイルにリンクされた音声、
テキストが存在する場合、その画像を表示する場合夫々
図５、図７に示すようにリンクされた音声ファイル、テ
キストファイルをアイコンで（例えば、画像データの下
部に）表示することができる。ユーザーはこのアイコン
をポインティングデバイスで選択、起動するとカメラは
関連づけられた音声の再生、テキストの表示を行う。

【００６５】テキストは図６のように表示される。この
表示は単独、または図５、図７の表示の上に重ねて表示
される。

【００６６】またユーザーは図７においてアイコン７０
５、７０６をポインティングデバイスで選択した後、削
除ボタン７０７をクリックするとカメラは関連づけられ
た音声、テキストファイルの削除を行うことが可能であ
る。この操作手段は図８に示した画像ファイル、音声、
テキストファイルのお互いのリンク情報を消去する。こ
のときリンクの削除された音声やテキストファイルは単
独で存在するようにしてもよいし、消去するようにして
もよい。

【００６７】また、単独で表示させるには、図５におい
てアイコン５０２、５０４のファイル一覧表示のように
夫々表現される。

【００６８】＜複数の画像ファイルのグループ化、及び
グループへの音声、テキストのリンク＞前述の＜ファイ
ルの一覧表示＞において、ポインティングデバイスによ
って複数の画像を選択すると索引画像は選択されたこと
を強調するように例えば図９のように枠が太く表示され
る。更に、ポインティングデバイスで図９のグループ化
ボタン９０１をクリックすると画像ファイルのグループ
が作成される。この時グループ化されたことを強調する
ために索引画像の枠の色を他の画像と異なる色にするこ
ともできる。

【００６９】更に、ポインティングデバイスで図９に示
す音声付加ボタン９０２あるいは音声テキスト付加ボタ
ン９０３を起動すると信号処理制御用ＤＳＰ１３は夫々
＜音声記録時の音声のモニタ及び記録＞、＜音声認識
による記録＞での説明と同様に音声、テキストの記録を
行う。この時点で複数の音声、テキストがグループに付
加されることとなる。この操作によってグループに特有
な事柄についての注釈説明を与えることができる。

【００７０】以上説明した操作により複数の画像と音
声、テキストがリンクされる。この時グループ内の夫々
のファイルについてそれ以外の全てのファイルに対する
参照データを付加すると、のちにこのグループを特定す
るためには全てのファイルを検索しなければならず管理
が困難になる。

【００７１】そこで本実施例ではグループの発生が明確
になった時点でグループ情報を保持するためのグループ
ファイルを作成する。このファイルの構成は、図１０に
示すようになる。即ち、グループに属する画像、音声、
テキスト夫々のファイルの個数、及び夫々のファイルの
識別子が格納される。またグループに属する画像、音
声、テキストファイルは夫々のファイルが属するグルー
プへの参照ができるように図１１のように編成される。
即ち、個々のファイルはグループを参照するだけでその
グループに属するファイルへの参照は行わない。

【００７２】このようなグループのファイル構成によ
り、グループ、画像、音声、テキスト、どのファイルか
らでもグループ情報すなわちグループに属するファイル
を高速に同定できる。例えば一つの画像ファイルからそ
のグループに属する他のファイルを探索する場合、一旦
所属するグループファイルを獲得してしまえばそれらの
ファイルの識別子を直接獲得できる。

【００７３】以上説明した実施例から明らかなように画
像ファイルは複数のグループに属することが可能であ
る。

【００７４】上述の手順によってグループファイルが発
生されるとカメラは＜ファイルの一覧表＞において、図
５のようにグループファイルを表現するアイコン５０５
を表示する。ポインティングデバイスでこのアイコンを
ダブルクリックすると図１２のようにグループに属する
ファイルが表示される。図１２において、音声アイコ
ン、テキストアイコンをポインティングデバイスでクリ
ックして起動すれば夫々前述した通りの＜音声の再生
＞、＜テキストの表示手段＞が行われ、このグループに
特有な事柄についての注釈、説明として表現することが
できる。

【００７５】グループに属するファイルをグループから
削除するためには図１２において削除するファイルをポ
インティングデバイスで選択した後、ボタン１２１で削
除を起動する。グループから削除された音声やテキスト
ファイルは単独で存在するようにする。単独で存在させ
るようにするときは図５においてアイコン５０１、５０
２、５０４のように一覧表示に現れるようになる。

【００７６】また消去ボタン１２２を設定してこのボタ
ンを起動することで選択されたファイルを消去してもよ
い。

【００７７】グループから削除、あるいは消去される場
合はもちろん、図１０、図１１に示されるグループファ
イル、画像、音声テキストデータファイルとの間のリン
ク情報は消去される。

【００７８】またファイルを既存のグループに加えるた
めには図５において加えるファイル及び加える先のグル
ープアイコンをポインティングデバイスで選択してグル
ープ化を起動する。これらの操作においてグループ以外
のファイルは複数選択することが可能である。

【００７９】記録媒体には単独で画像ファイル、音声フ
ァイル、テキストファイルが存在する。これらのいくつ
かをグループ化することも可能である。＜ファイルの一
覧表＞においてポインティングデバイスによって複数の
ファイルを選択する。さらにポインティングデバイスで
第５図のグループかボタン５０８を起動することで画
像、音声、テキストが属するグループファイルを作成す
る。

【００８０】（本実施例の効果）以上説明したように、
本実施例においては、単一の画像又は複数の画像と、音
声、テキスト間のリンクが可能になりそのリンクされた
関係を高速に再現できるので、画像、音声、テキストの
相互補間的な表現を容易に編集することができる。

【００８１】また音声あるいは画像をテキストに変換す
るため少ない容量で画像に注釈を付けることができる。

【００８２】また注釈としてつけられたテキストをもと
に検索を行ったり、データベースを形成するときのキー
ワードとすることも可能となる。さらには他のデータベ
ースの情報と自動的にリンクするなどの処理も可能とな
る。

【００８３】尚、本発明は、その趣旨を逸脱しない範囲
で上記実施例を修正又は変形したものに適用可能であ
る。例えば、複数の機器から構成されるシステムに適用
しても１つの機器から成る装置に適用しても良い。ま
た、システム或は装置にプログラムを供給することによ
って達成される場合にも適用できることはいうまでもな
い。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
少なくとも１つ以上の画像、音声、テキストの各ファイ
ル間のリンクが可能となり、且つ、それぞれの状態をア
イコン表示で確認することができ、それぞれのファイル
を双方から高速に検索、再生できるので、画像、音声、
テキストファイル間での相互に関連性のある表現を容易
に編集、記録することができる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例のデジタル電子カメラの全体構
成を示すブロック図である。

【図２】画像記録モードにおける表示形式を示す図であ
る。

【図３】文字認識モードにおける表示形式を示す図であ
る。

【図４】音声認識モードにおける表示形式を示す図であ
る。

【図５】記録されたファイルの一覧表示形式を示す図で
ある。

【図６】テキストの表示形式を示す図である。

【図７】画像の表示形式を示す図である。

【図８】画像ファイルと、音声ファイル及びテキストフ
ァイルとが相互にリンクされた場合の双方のファイル内
部の編成を示す図である。

【図９】一覧表示において複数のファイルが選択された
場合の表示形式を示す図である。

【図１０】グループファイルの内部データ編成である。

【図１１】グループに属する画像、音声、テキスト各フ
ァイルの内部のデータ編成を示す図である。

【図１２】グループに属するファイルの一覧表示形式を
示す図である。

【図１３】画像表示形式の上に音声認識制御パネルを重
ねて表示したときの表示形式を示す図である。

【符号の説明】

１ 撮影レンズ ６ 撮像素子 １０，２４ Ａ／Ｄ変換器 １２ バッファメモリ １３ 信号処理制御用ＤＳＰ １４ 操作表示部 １５ 操作部 １９ 撮像信号処理部 ２０ 音声入力回路 ２２ 音声出力部 ２３ 映像出力部 ２５，２６ Ｄ／Ａ変換器 １０１ 記録媒体 １０２ メモリバスコントローラ １０４ 記録媒体Ｉ／Ｆ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年５月９日（２００２．５．９）

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図１０】

【図２】

【図３】

【図４】

【図５】

【図１１】

【図６】

【図７】

【図１３】

【図８】

【図９】

【図１２】

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/76 Ｇ１０Ｌ 3/00 ５５１Ｇ ５６１Ｃ Ｆターム(参考） 5C052 AA01 AA17 AB02 AC08 CC01 DD02 GB07 5C053 FA10 FA14 FA23 FA27 GB05 GB11 GB21 HA29 JA03 JA16 JA23 KA04 KA24 LA01 5D015 KK02 5D110 AA13 AA27 AA29 BB07 CA21 CB06 EB08 FA09 5E501 AA20 BA05 CA02 CB02 EA05 EA10 EB17 FA03 FA04

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像データに対応するアイコンと、前記
   画像データにリンクされた音声データに対応するアイコ
   ンとを近接して表示することにより、前記画像データと
   音声データのリンク関係を表示する表示手段と、 前記アイコンの一方を消去することによって、前記リン
   クを同時に消去する消去手段とを具備することを特徴と
   するデータ処理装置。
2. 【請求項２】 前記表示手段は、前記画像データあるい
   は音声データにリンクされたテキストデータに対応する
   アイコンを、前記画像データあるいは音声データのアイ
   コンに近接して表示することを特徴とする請求項１に記
   載のデータ処理装置。
3. 【請求項３】 前記表示手段は、前記アイコンの表示さ
   れている同一画面内に、前記消去手段を動作させるため
   の消去ボタンのアイコンを表示することを特徴とする請
   求項１に記載のデータ処理装置。
4. 【請求項４】 画像データに対応するアイコンと、前記
   画像データにリンクされた音声データに対応するアイコ
   ンとを近接して表示することにより、前記画像データと
   音声データのリンク関係を表示する表示工程と、 前記アイコンの一方を消去することによって、前記リン
   クを同時に消去する消去工程とを備えることを特徴とす
   るデータ処理方法。
5. 【請求項５】 前記表示工程は、前記画像データあるい
   は音声データにリンクされたテキストデータに対応する
   アイコンを、前記画像データあるいは音声データのアイ
   コンに近接して表示することを特徴とする請求項４に記
   載のデータ処理方法。
6. 【請求項６】 前記表示工程は、前記アイコンの表示さ
   れている同一画面内に、前記消去工程を実行させるため
   の消去ボタンのアイコンを表示することを特徴とする請
   求項４に記載のデータ処理方法。