JP3547950B2

JP3547950B2 - Image input / output device

Info

Publication number: JP3547950B2
Application number: JP24060897A
Authority: JP
Inventors: 伸神谷; 明生柳
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-09-05
Filing date: 1997-09-05
Publication date: 2004-07-28
Anticipated expiration: 2017-09-05
Also published as: JPH1185949A

Description

【０００１】
【発明の属する技術分野】
本発明は、記録媒体に入力されている静止画や動画を区別して表示や検索をする画像入出力装置に関する。
【０００２】
【従来の技術】
近年、デジタル画像が多く使われるようになってきており、大量のデジタル画像データをハードディスク、ＭＤ、ＭＯなどの記録媒体に蓄積したり、蓄積してある画像データを読み出して表示する必要が出てきている。
【０００３】
例えば、電子ファイル装置において、大量の画像をスキャナで読み取り記録媒体に画像データを蓄積した場合、検索時においてはオリジナルの画像データ（原画像）を縮小した画像データ（縮小画像）の一覧を表示し、ユーザがマウスなどを操作して所望の原画像に対応した縮小画像を選択することにより、所望の画像データを得ることができる。
【０００４】
また、動画の表示に関しては、画面を分割して動画を表示する技術が、特開平８−７０４３０号公報や特開平８−３３５３８７号公報で開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、動画と静止画とを同じ装置で管理する場合には、静止画の枚数が増大した場合や動画の場合には検索時間が増大する上、これまでの装置はいづれかの画像管理を目的としており、静止画と動画の表示や検索を統一して行うことが困難であるという問題がある。
【０００６】
本発明の目的は、上記問題点に鑑みてなされたものであり、記録媒体上の動画と静止画とを直感的に表示や検索のできる画像入出力装置を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像入出力装置は、記録媒体に入力されている動画と静止画とを読み出して出力する画像入出力装置であって、動画と静止画とを画面を分割して表示するための表示手段と、表示手段に表示された動画または静止画のいずれかを指定するための指定手段とを含み、表示手段は、動画と静止画とを分割した状態のまま動画をコマ送り状態で表示するための手段を含み、表示手段は、動画が指定されると、指定された動画が撮像された時刻を中心として時間軸で相前後する一連の縮小画像を複数の分割画面に表示するための手段を含む。
【０００９】
請求項２に記載の画像入出力装置は、請求項１に記載の画像入出力装置において、表示手段は、記録媒体に記録されている音声データあるいは文字データの有無に応じたマークを分割画面ごとに表示するための手段を含む。
【００１１】
【発明の実施の形態】
図１に、本発明の画像入出力装置を動画と静止画を撮ることのできる電子カメラに適用した場合の実施の形態を示す。装置全体を制御する制御手段としてのＣＰＵ１、各種処理をＣＰＵ１が実行するプログラムや文字データ発生のための辞書を記憶するＲＯＭ２、一時的にプログラムやデータを記憶するＲＡＭ３、操作ボタンやペンやマウスやトラックボールやキーボード（ＬＣＤディスプレイ７の画面上に表示されるキーボードも含む）等により操作指示や文字データの入力を行う操作手段としての操作部４、ＣＣＤとその駆動回路からなる撮像手段としての入力部５、表示指示により駆動されるＬＣＤ制御回路６、ＬＣＤ制御回路６により所望の表示画面を出力するＬＣＤディスプレイ７、ディスク９の再生や記録または消去を行う記録手段または再生手段としてのディスクドライブ８、入力部５により撮像された静止画及び動画、さらに必要に応じて音声や文字データを記録する記録媒体としてのディスク９、ディスク９と同様なデータを記録できる記録媒体としてのＩＣカード１０、撮像時あるいは撮像時とは別に音声を録音するマイク１１、ディスク９の再生時に再生された音声を出力するスピーカ１２で構成されている。なお、記録媒体としてはディスク９でもＩＣカード１０でも同様であるので、ディスク９の場合について以下説明する。
【００１２】
操作部４からの撮像指示により撮像を開始し、図２に示すように、撮像時には、ＣＰＵ１は入力部５から入力された原画像から所定の手順により画素数を減らして縮小画像を作成し、縮小画像及び原画像に撮像時間を付けてディスク９に記録する。本装置の場合は、操作部４の指示により静止画と動画の双方を撮像することができ、原画像が静止画の場合は、原画像に対応した縮小画像を１枚作成する。原画像が動画の場合には、静止画の時系列で構成されているので、それぞれに対応した複数枚の縮小画像を作成する。なお、撮像時には、ＬＣＤディスプレイ７を撮像モニタとして用いる。
【００１３】
図３に、記録を行ったディスク９のファイル構造を示す。ディスク９の内周側から外周側に向かって、各ファイルの位置情報がまとめて記録されているＴＯＣ（ＴａｂｌｅｏｆＣｏｎｔｅｎｔｓ）３１、静止画か動画かの区別をする識別子等が記録されるタイムスタンプＤＢ（データベース）ファイル３２、原画像から作成した縮小画像が記録されている縮小画像データファイル３３、静止画または動画の原画像が記録されている原画像データファイル３４、マイク１１から入力された音声データが記録された音声データファイル３５で構成されている。
【００１４】
図４に、タイムスタンプＤＢファイル３２の構成を示す。このタイムスタンプＤＢファイル３２は、ヘッダーとデータで構成され、データの中にはタイムスタンプ数（Ｎ個）及びタイムスタンプ情報が記録される。このタイムスタンプ情報は、画像の撮像順に付与されたタイムスタンプ番号、領域ごとの番号を示すイメージ番号、ＣＰＵ１により付与される撮像時間を示すタイムスタンプ、操作部４により入力される文字データの有無を示す識別子としてのファイル名４１、静止画か動画を区別する識別子としてのインデックス枚数４２、及び音声データの有無を示す識別子としての音声データ番号４３から構成される。この音声データ番号４３は、原画像に付加された音声データのアドレスであり、音声データが付加されていない場合には音声データ番号として００ｈが入っている。
【００１５】
本実施の形態でのインデックス枚数４２は縮小画像の枚数を用いている。インデックス枚数４２は、静止画においては１枚、動画においては時系列の縮小画像数に対応した２枚以上となる。インデックス枚数として原画像の枚数を用いてもよいが、画像の再生時にディスクドライブ８の光学ヘッドでアクセスするのは内周側からであり、ＴＯＣ３１に近い縮小画像を用いる方が高速アクセスできるので望ましい。
【００１６】
図５に、タイムスタンプ情報と動画及び静止画の縮小画像との対応関係を模式的に示す。ここで、タイムスタンプ番号ごとに縮小画像Ｓ（ｎ）があり、静止画では１枚そのものであり、動画では先頭の縮小画像である。
【００１７】
まず、図６を用いて本発明のＬＣＤディスプレイ７分割表示の全体動作を説明する。
操作部４の指示により検索モードにすると、ディスクドライブ８の光学ヘッドでアクセスして縮小画像を再生して、ディスク９の記録内容の中から操作部４で指示した所定の縮小画像をＬＣＤディスプレイ７上の表示領域１〜１６に図６（ａ）に示す態様で表示する。この表示態様では、静止画は１枚表示した状態を維持し、動画はコマ送りで一連の時系列の画像を表示する。従って、ユーザは、画像の動きの有無で静止画か動画かを区別できる。なお、静止画か動画かに応じて画像をネガポジ反転させて表示する、あるいは三角と四角のように異なるマークを各画像の一部領域に表示する、のようにして区別してもよい。
【００１８】
次に、図６（ａ）の表示状態に対して、ユーザが操作部４により表示画面上に注視点を入力する（静止画か動画を選択する）ことによって、入力された注視点の座標をＣＰＵ１が検知して対応する画像の種類に応じて画面分割数等の表示態様を変更して、入力された注視点の縮小画像を強調するように表示する。
【００１９】
即ち、指定された画像が静止画の場合、図６（ｂ）に示すように、それに対応した原画像の１／４の大きさの縮小画像７を含む縮小画像を表示領域１〜１０に表示し、指定された画像が動画の場合、図６（ｃ）に示すように、指定された動画の縮小画像を中心として時間軸で相前後する一連の縮小画像を表示領域４〜６にコマ送り表示する。このように、静止画あるいは動画が指定されると、画面分割数等が変化して表示されるので、注目画像の検索をより直感的にすることができる。なお、本実施の形態の場合、直感的な検索のために、図６（ａ）の全体の表示領域の位置と面積は、図６（ｂ）〜図６（ｄ）の画面分割等が行われても変化しないように表示している。
【００２０】
さらに、図６（ｂ）の表示状態に対して操作部４により注視点を表示領域７に入力することによって、ディスクドライブ８の光学ヘッドでアクセスして静止画の原画像を再生して図６（ｄ）に示す原画像が表示される。なお、図示しないが、図６（ｄ）と同様にして、図６（ｃ）の表示状態に対して表示領域４〜６のいづれかに操作部４により注視点を入力することによって、指定された動画を中心として時間軸で相前後する一連の原画像がコマ送りで表示される。
【００２１】
また、図６（ｂ）の表示状態に対して操作部４により注視点を表示領域１０に入力することによって、図６（ｃ）の表示状態になり、逆に図６（ｃ）の表示状態に対して操作部４により注視点を表示領域１に入力することによって、図６（ｂ）の表示状態になる。
【００２２】
次に、図７〜図１０を用いて上記分割表示動作を説明する。
まず、図７のフローチャートを用いて、図６（ａ）の１６分割表示の動作を詳細に説明する。
【００２３】
ＣＰＵ１は、先ずステップＳ１において、タイムスタンプ番号ｎ、コマ送り用変数ｆ（ｍ）を初期化する。ただし、分割表示される画像は最大で１６枚であるから、ｍは１以上１６以下とする。
【００２４】
ステップＳ２において、ｙ軸方向の表示領域を指定する変数ｊ、表示領域番号ｍに０を入力する。さらに、ステップＳ３において、ｘ軸方向の表示領域を指定する変数ｉに０を入力する。
【００２５】
ステップＳ４において、タイムスタンプ番号ｎ、表示領域番号ｍに各々１を加え、ステップＳ５において、タイムスタンプ番号ｎが総数Ｎ以下か否かの判断を行う。ＮＯである場合は、ステップＳ１９へジャンプする。ＹＥＳである場合は、ステップＳ６において、左上を始点とする画面座標上の点（ＸＭ／４×ｉ，ＹＭ／４×ｊ）と点（ＸＭ／４×（ｉ＋１），ＹＭ／４×（ｊ＋１））を対角とする矩形内に縮小画像Ｓ（ｎ）＋ｆ（ｍ）を表示する。
【００２６】
ステップＳ７において、ＣＰＵ１は、次に表示する縮小画像があるか否かをインデックス枚数から１枚減算して１以下となるかどうかチェックする。１以下の場合はステップＳ９へ進む。１以上の場合は、ステップＳ８でｆ（ｍ）に１を加えることによって現在表示されている縮小画像の次の縮小画像をコマ送り表示する。
【００２７】
次に、ステップＳ９において、ＣＰＵ１は画面ｘ軸方向の表示領域を指定する変数ｉが３、すなわち所定の表示領域が右端へ到達しているかどうかを判断し、ＮＯである場合は、ステップＳ１０においてｉに１を加え、次の表示領域に進み、さらに再びステップＳ４へ戻って上記の処理をｉが３になるまで繰り返す。ステップＳ９においてＹＥＳである場合は、ステップＳ１１へ進み、画面ｙ軸方向の表示領域を指定する変数ｊに１を加えることによって表示領域を改行する。さらに、ステップＳ１２においてｊが４である場合、ページは１６分割画面全て表示されたことになるから、操作部４からの「次頁キー」入力をチェックする。ｊが４でない場合は、再びステップＳ３へ戻り、上記の処理を繰り返す。
【００２８】
次に、ステップＳ１３においてステップＳ２からステップＳ１３までの間に「次頁キー」が入力された場合はステップＳ１８へ進む。「次頁キー」が入力されなかった場合は、ステップＳ１４で操作部４からの「前頁キー」の入力をチェックする。「前頁キー」が入力された場合にはステップＳ１５においてタイムスタンプ番号を前頁先頭に戻す。さらにステップＳ１６において該タイムスタンプ番号が０以上である場合は、ステップＳ１８へ進む。ＮＯである場合は、ＣＰＵ１は、該ページ以前のページに表示すべき縮小画像は存在しないと判断するから、ステップＳ１７においてタイムスタンプ番号を更新して再び現在のページのタイムスタンプ番号に戻す。ステップＳ１８では変数ｆ（ｍ）を０に更新し、再びステップＳ２へ戻って上記の動作を繰り返す。
【００２９】
ステップＳ１４において、「前頁キー」が入力されなかった場合は、ステップＳ１９において注視点入力をチェックする。ＹＥＳである場合は図８へ進む。ＮＯである場合は、ステップＳ２０において画面左上のタイムスタンプ番号に更新して再びステップＳ２へ戻り、上記の動作を繰り返す。
【００３０】
次に、操作部４からの注視点の入力により画面上の座標を入力して、注視点座標に対応する縮小画像を表示するまでの判断の流れを図８に示すフローチャートを用いて説明する。
まず、ステップＳ１において、ユーザーは操作部４から注視点座標（ｘｘ，ｙｙ）を入力する。これを受けてＣＰＵ１は、ステップＳ２において、タイムスタンプ番号ｎを図６（ａ）の分割画面上の表示領域１に対するタイムスタンプ番号（ｎ−ｍ）に更新する。さらに、ステップＳ３において変数ｆ（ｍ）を０に、ステップＳ４においてｊを０、表示領域番号ｍを０に、ステップＳ５においてｉを０に初期化する。
【００３１】
ステップＳ６、ステップＳ７、ステップＳ８において、ＣＰＵ１は、入力された注視点座標（ｘｘ，ｙｙ）がどの表示領域にあるかを認識して、ステップＳ９においてｎ＋ｍ番目の縮小画像が指定されたと判断した場合、ステップＳ１０へ進み、タイムスタンプ番号ｎをｎ＋ｍに更新する。さらにステップＳ１１でインデックス枚数Ｉ（ｎ）が１か否かを比較し、ＹＥＳである場合は静止画と判断して、図９のフローチャートへ進み分割数を変更して１３分割表示を行う。ＮＯである場合は動画と判断して図１０のフローチャートへ進み９分割表示をする。
【００３２】
ステップＳ６、ステップＳ７、ステップＳ８において、縮小画像が指定されなかったと判断した場合はステップＳ１４へ進む。該ステップにおいて表示領域番号ｍをｍ＋１に更新し、ステップＳ１５においてｉが３であればステップＳ１７に進み、ステップＳ１５においてｉが３、すなわち最右段に達していない場合は、ステップＳ１６においてｉに１を加えて、ステップＳ６へ戻り上述の動作を繰り返す。
【００３３】
ステップＳ１７では、ｊに１を加えてチェック領域を改行し、ステップＳ１８でｊが３、すなわち最下段の行である場合には、ステップＳ３へ戻って、上記の動作を繰り返す。ステップＳ１８においてｊが３でない場合にはステップＳ１９に進んでｊに１を加えステップＳ５へ戻り上述の動作を繰り返す。
【００３４】
図８のステップＳ１２で指定された縮小画像が静止画と判断された場合に、１３分割表示動作について図９のフローチャートを用いて説明する。
まず、ステップＳ１において、図６（ｂ）の分割画面上の所定の表示領域１〜６にＳ（ｎ−６）…Ｓ（ｎ−１）を表示する。次に、ステップＳ２において、固定座標（０，ＹＭ／４）と（ＸＭ／２，３ＸＭ／４）を対角とする矩形内に縮小画像Ｓ（ｎ）を表示する。さらに、ステップＳ３において、図６（ｂ）の分割画面上の所定の表示領域８〜１３に、Ｓ（ｎ＋１）…Ｓ（ｎ＋６）を表示する。
【００３５】
図８のステップＳ１２で指定された縮小画像が動画と判断された場合に、９分割表示動作について図１０のフローチャートを用いて説明する。
まず、ステップＳ１において、ユーザーによって指定された縮小画像以外の前後に連続する縮小画像を、各々所定の表示領域に表示する。つまり、図６（ｃ）の分割画面に示すように、所定の表示領域１、２、３には、縮小画像Ｓ（ｎ−３）、Ｓ（ｎ−２）、Ｓ（ｎ−１）を、表示領域７、８、９には、Ｓ（ｎ＋１）、Ｓ（ｎ＋２）、Ｓ（ｎ＋３）を表示する。次に、ステップＳ２において動画のシーンを表す変数ｉｍ、及びステップＳ３においてｘ軸方向の表示領域を指定する変数ｉｉをそれぞれ０に初期化する。
【００３６】
次に、ステップＳ４において、ＣＰＵ１は、動画のシーンに対応する縮小画像列を時間軸方向で等分割した、複数の縮小画像列を別々の表示領域に表示するために、点（ＸＭ／３×ｉｉ，ＹＭ／３）と点（ＸＭ／３×（ｉｉ＋１），２ＹＭ／３）を対角とする矩形内に、Ｓ（ｎ）＋ｉｍ＋（Ｉ（ｎ）／３）×ｉｉを表示する。ステップＳ５においてｉｉが３、すなわち画面右端に到達しているか否かをチェックし、ＹＥＳであればステップＳ７へ進み、ＮＯであればステップＳ６でｉｉに１を加えてステップＳ４へ戻り、次の表示領域について再び上記の処理を繰り返す。
【００３７】
ステップＳ７では、指定された縮小画像の動画のシーンｉｍとこれに対応したインデックス枚数Ｉ（ｎ）／３に等しいか否かの比較を行い、ＹＥＳであれば処理を終了する。ＮＯであればステップＳ８へ進みｉｍに１を加えてステップＳ３へ戻り、次のシーンについても上述の処理を繰り返す。
【００３８】
次に、図１１に、音声データまたは文字データの有無に応じた図６（ｃ）の別の表示形態を示す。このような表示形態を行うには、タイムスタンプＤＢファイルのファイル名４１と音声データ番号４３の内容の有無をＣＰＵ１が判断することにより実現でき、大量の画像に対して表示や検索を直感的で容易に行うことができる。この図６（ｃ）の一覧表示画面において、静止画と動画のタイムスタンプ情報をチェックして対応する文字データがある場合は，ファイル名４１の内容を表示領域中の所定位置に表示し、音声データがある場合は、それを示す図形（本実施の形態では波形の矩形図形）で表示領域中の所定位置に表示する。ここで、音声データが付加されていない場合は図形表示を行わず、また、タイムスタンプ情報のファイル名がない場合は文字表示を行わない。なお、音声データまたは文字データの有無に応じた表示マークは、上記実施の形態に限らず、音声データまたは文字データの有無が区別できるマークであればよい。さらに、図６（ａ）、（ｂ）、（ｄ）にも同様に音声データまたは文字データの有無が区別できるマークを表示しても良い。
【００３９】
上述した実施の形態では、記録や再生を行うことのできる電子カメラに適用した場合を説明したが、上述した表示や検索をコンピュータ装置により表示装置あるいは検索装置として実現することもでき、さらには、上述した表示や検索を行う機能を備えたプログラムをフロッピーディスクやＣＤＲＯＭのような記録媒体に記録しておいて、適宜インストールして用いても良い。
【００４０】
【発明の効果】
以上のように、本発明の画像入出力装置によれば、検索したい画像の種類に応じて分割画像数等の表示態様が変更されるので、記録媒体の内容を直感的に把握でき、ユーザが所望する画像を検索し易くすることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像入出力装置のブロック図である。
【図２】原画像と縮小画像の関係を示す図である。
【図３】本実施の形態に係るディスクのデータ構造を説明するための図である。
【図４】本実施の形態に係るタイムスタンプＤＢファイルの詳細を示す図である。
【図５】本実施の形態に係るタイムスタンプ情報と縮小画像との対応関係を示す図である。
【図６】本実施の形態に係る各種分割表示の動作例を示す図である。
【図７】１６分割表示を説明するためのフローチャートである。
【図８】指定された縮小画像の表示判断を説明するためのフローチャートである。
【図９】１３分割表示を説明するためのフローチャートである。
【図１０】９分割表示を説明するためのフローチャートである。
【図１１】本実施の形態に係る他の表示例を示す図である。
【符号の説明】
１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４操作部
５入力部
６ＬＣＤ制御回路
７ＬＣＤディスプレイ
８ディスクドライブ
９ディスク
１０ＩＣカード[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image input / output device that performs display and search while distinguishing between still images and moving images input to a recording medium.
[0002]
[Prior art]
2. Description of the Related Art In recent years, digital images have been widely used, and it has become necessary to store a large amount of digital image data on a recording medium such as a hard disk, MD, or MO, and to read and display the stored image data. ing.
[0003]
For example, when a large number of images are read by a scanner and image data is stored in a recording medium, a list of image data (reduced images) obtained by reducing the original image data (original images) is displayed at the time of retrieval. When the user operates a mouse or the like to select a reduced image corresponding to a desired original image, desired image data can be obtained.
[0004]
Regarding the display of a moving image, techniques for displaying a moving image by dividing a screen are disclosed in Japanese Patent Application Laid-Open Nos. 8-70430 and 8-335387.
[0005]
[Problems to be solved by the invention]
By the way, when a moving image and a still image are managed by the same device, the search time increases when the number of still images increases or in the case of a moving image. Therefore, there is a problem that it is difficult to unify display and retrieval of a still image and a moving image.
[0006]
An object of the present invention has been made in view of the above problems, and an object of the present invention is to provide an image input / output device capable of intuitively displaying and searching for a moving image and a still image on a recording medium.
[0007]
[Means for Solving the Problems]
An image input / output device according to claim 1, which reads and outputs a moving image and a still image input to a recording medium, and displays the moving image and the still image by dividing the screen. Display means for specifying a moving image or a still image displayed on the display means, and the display means displays the moving image frame by frame while dividing the moving image and the still image. When a moving image is specified , the display unit displays a series of reduced images successive on the time axis around the time at which the specified moving image was captured on a plurality of divided screens. Means .
[0009]
The image input / output device according to claim 2 is the image input / output device according to claim 1, wherein the display means displays a mark corresponding to the presence or absence of audio data or character data recorded on the recording medium for each divided screen. including means for displaying on.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an embodiment in which the image input / output device of the present invention is applied to an electronic camera capable of taking a moving image and a still image. CPU 1 as control means for controlling the entire apparatus, ROM 2 for storing a program for executing various processes by the CPU 1 and a dictionary for generating character data, RAM 3 for temporarily storing programs and data, operation buttons, a pen, a mouse, An operation unit 4 for inputting operation instructions and character data by using a trackball or a keyboard (including a keyboard displayed on the screen of the LCD display 7), and an input as an imaging unit including a CCD and its driving circuit. Unit 5, an LCD control circuit 6 driven by a display instruction, an LCD display 7 for outputting a desired display screen by the LCD control circuit 6, and a disk drive 8 as recording means or reproducing means for reproducing, recording, or erasing a disk 9. , A still image and a moving image captured by the input unit 5, and sound if necessary. , A recording medium for recording character data, an IC card 10 as a recording medium capable of recording data similar to the disk 9, a microphone 11 for recording sound at the time of image pickup or separately from image pickup, and at the time of reproduction of the disk 9. It comprises a speaker 12 for outputting reproduced sound. Note that the same applies to the disk 9 and the IC card 10 as the recording medium, and thus the case of the disk 9 will be described below.
[0012]
The imaging is started by an imaging instruction from the operation unit 4, and as shown in FIG. 2, at the time of imaging, the CPU 1 creates a reduced image by reducing the number of pixels from the original image input from the input unit 5 by a predetermined procedure, The reduced image and the original image are recorded on the disk 9 with an imaging time. In the case of the present apparatus, both a still image and a moving image can be captured according to an instruction from the operation unit 4. If the original image is a still image, one reduced image corresponding to the original image is created. If the original image is a moving image, it is composed of a time series of still images, so a plurality of reduced images corresponding to each are created. At the time of imaging, the LCD display 7 is used as an imaging monitor.
[0013]
FIG. 3 shows a file structure of the disc 9 on which recording has been performed. From the inner peripheral side to the outer peripheral side of the disc 9, a TOC (Table of Contents) 31 in which the position information of each file is collectively recorded, and a time stamp in which an identifier for distinguishing between a still image and a moving image are recorded. DB (database) file 32, reduced image data file 33 recording reduced images created from original images, original image data file 34 recording still images or moving image original images, audio input from microphone 11 It is composed of an audio data file 35 in which data is recorded.
[0014]
FIG. 4 shows the configuration of the time stamp DB file 32. The time stamp DB file 32 includes a header and data, and the number of time stamps (N) and time stamp information are recorded in the data. The time stamp information includes a time stamp number assigned in the order of capturing images, an image number indicating a number for each area, a time stamp indicating an imaging time assigned by the CPU 1, and the presence or absence of character data input by the operation unit 4. It comprises a file name 41 as an identifier, an index number 42 as an identifier for distinguishing between a still image and a moving image, and an audio data number 43 as an identifier indicating the presence or absence of audio data. The audio data number 43 is the address of the audio data added to the original image, and contains 00h as the audio data number when no audio data is added.
[0015]
The number of index images 42 in this embodiment uses the number of reduced images. The index number 42 is one for a still image, and two or more corresponding to the number of time-series reduced images for a moving image. The number of original images may be used as the number of indexes, but the optical head of the disk drive 8 accesses the disk from the inner side during image reproduction, and it is preferable to use a reduced image closer to the TOC 31 because high-speed access is possible. .
[0016]
FIG. 5 schematically shows the correspondence between time stamp information and reduced images of moving images and still images. Here, there is a reduced image S (n) for each time stamp number, which is a single still image for a still image and a leading reduced image for a moving image.
[0017]
First, the overall operation of the LCD display 7-split display according to the present invention will be described with reference to FIG.
When a search mode is set according to an instruction from the operation unit 4, a reduced image is reproduced by accessing the optical head of the disk drive 8 and a predetermined reduced image specified by the operation unit 4 is displayed from the recorded contents of the disk 9 on the LCD display 7. Display is made in the upper display areas 1 to 16 in the mode shown in FIG. In this display mode, a state in which one still image is displayed is maintained, and a moving image displays a series of time-series images by frame advance. Therefore, the user can distinguish between a still image and a moving image based on the presence or absence of motion of the image. Note that the image may be displayed in a negative / positive inversion depending on whether the image is a still image or a moving image, or a different mark such as a triangle and a square may be displayed in a partial area of each image.
[0018]
Next, with respect to the display state of FIG. 6A, the user inputs a point of interest on the display screen by using the operation unit 4 (selects a still image or a moving image), and thereby changes the coordinates of the input point of interest. The CPU 1 changes the display mode such as the number of screen divisions according to the type of the image detected and corresponding, and displays the input reduced image of the gazing point so as to be emphasized.
[0019]
That is, when the designated image is a still image, as shown in FIG. 6B, the corresponding reduced image including the reduced image 7 having a size of 1/4 of the original image is displayed in the display areas 1 to 10. When the designated image is a moving image, a series of reduced images successively arranged on the time axis centering on the reduced image of the designated moving image is sent to the display areas 4 to 6 as shown in FIG. indicate. As described above, when a still image or a moving image is designated, the number of screen divisions and the like are changed and displayed, so that the search for the target image can be made more intuitive. In the case of the present embodiment, for the purpose of intuitive search, the position and area of the entire display area in FIG. 6A are determined according to the screen divisions in FIG. 6B to FIG. It is displayed so that it does not change even if it is touched.
[0020]
Further, by inputting a gazing point into the display area 7 by the operation unit 4 in the display state of FIG. 6B, the original image of the still image is reproduced by accessing with the optical head of the disk drive 8 in FIG. The original image shown in (d) is displayed. Although not shown, in the same manner as in FIG. 6D, the point of interest is designated by inputting a gazing point to any of the display areas 4 to 6 using the operation unit 4 in the display state of FIG. A series of original images that are successive on the time axis around the moving image are displayed frame by frame.
[0021]
Also, by inputting a gazing point into the display area 10 by the operation unit 4 with respect to the display state of FIG. 6B, the display state of FIG. 6C is changed, and conversely, the display state of FIG. By inputting a gazing point into the display area 1 using the operation unit 4, the display state shown in FIG.
[0022]
Next, the split display operation will be described with reference to FIGS.
First, the operation of the 16-split display of FIG. 6A will be described in detail with reference to the flowchart of FIG.
[0023]
First, in step S1, the CPU 1 initializes a time stamp number n and a frame forwarding variable f (m). However, since the maximum number of images to be divided and displayed is 16, m is 1 or more and 16 or less.
[0024]
In step S2, a variable j for specifying a display area in the y-axis direction and 0 for a display area number m are input. Further, in step S3, 0 is input to a variable i that specifies a display area in the x-axis direction.
[0025]
In step S4, 1 is added to each of the time stamp number n and the display area number m. In step S5, it is determined whether or not the time stamp number n is equal to or less than the total number N. If NO, the process jumps to step S19. If YES, in step S6, the points (XM / 4 × i, YM / 4 × j) and the points (XM / 4 × (i + 1), YM / 4 × (j + 1) on the screen coordinates starting from the upper left corner )), The reduced image S (n) + f (m) is displayed in a rectangle having a diagonal of.
[0026]
In step S7, the CPU 1 subtracts one from the number of index images to determine whether or not there is a next reduced image to be displayed, and checks whether the number is 1 or less. If the value is 1 or less, the process proceeds to step S9. If the number is equal to or larger than 1, in step S8, 1 is added to f (m) to display the next reduced image next to the currently displayed reduced image frame by frame.
[0027]
Next, in step S9, the CPU 1 determines whether the variable i designating the display area in the screen x-axis direction is 3, that is, whether or not the predetermined display area has reached the right end. One is added to i, the process proceeds to the next display area, and the process returns to step S4 again to repeat the above processing until i becomes 3. When YES is determined in the step S9, the process proceeds to a step S11, in which the display area is line-feeded by adding 1 to a variable j that specifies the display area in the screen y-axis direction. Further, if j is 4 in step S12, the page has been completely displayed on the 16 divided screens, so the input of the “next page key” from the operation unit 4 is checked. If j is not 4, the process returns to step S3, and the above processing is repeated.
[0028]
Next, in step S13, when the "next page key" is input between step S2 and step S13, the process proceeds to step S18. If the "next page key" has not been input, the input of the "previous page key" from the operation unit 4 is checked in step S14. If the "previous page key" is input, the time stamp number is returned to the top of the previous page in step S15. Further, when the time stamp number is 0 or more in step S16, the process proceeds to step S18. If the determination is NO, the CPU 1 determines that there is no reduced image to be displayed on the page before the page, and thus updates the time stamp number in step S17 and returns the time stamp number to the current page time stamp number again. In step S18, the variable f (m) is updated to 0, and the process returns to step S2 to repeat the above operation.
[0029]
If the "previous page key" has not been input in step S14, input of the point of interest is checked in step S19. If YES, the process proceeds to FIG. If NO, the time stamp number is updated to the upper left of the screen in step S20, the process returns to step S2, and the above operation is repeated.
[0030]
Next, the flow of determination from inputting the coordinates on the screen by inputting the point of interest from the operation unit 4 to displaying the reduced image corresponding to the points of interest will be described with reference to the flowchart shown in FIG.
First, in step S1, the user inputs the gazing point coordinates (xx, yy) from the operation unit 4. In response to this, in step S2, the CPU 1 updates the time stamp number n to the time stamp number (nm) for the display area 1 on the divided screen in FIG. Further, the variable f (m) is initialized to 0 in step S3, j is initialized to 0, the display area number m is initialized to 0 in step S4, and i is initialized to 0 in step S5.
[0031]
In steps S6, S7, and S8, the CPU 1 recognizes in which display area the input gazing point coordinates (xx, yy) are located, and determines that the (n + m) th reduced image has been designated in step S9. In this case, the process proceeds to step S10, and the time stamp number n is updated to n + m. Further, in step S11, whether or not the index number I (n) is 1 is compared. If YES, it is determined that the image is a still image, and the process proceeds to the flowchart of FIG. If NO, it is determined that the moving image is a moving image, and the process proceeds to the flowchart of FIG.
[0032]
If it is determined in step S6, step S7, or step S8 that the reduced image has not been specified, the process proceeds to step S14. In this step, the display area number m is updated to m + 1. If i is 3 in step S15, the process proceeds to step S17. If i is not 3 in step S15, that is, if i does not reach the rightmost step, the process proceeds to step S16. After adding 1, the process returns to step S6 to repeat the above operation.
[0033]
In step S17, 1 is added to j to start a new line in the check area. If j is 3 in step S18, that is, if j is the bottom row, the process returns to step S3 to repeat the above operation. If j is not 3 in step S18, the process proceeds to step S19, where 1 is added to j, and the process returns to step S5 to repeat the above operation.
[0034]
When the reduced image specified in step S12 in FIG. 8 is determined to be a still image, the 13-split display operation will be described with reference to the flowchart in FIG.
First, in step S1, S (n-6)... S (n-1) are displayed in predetermined display areas 1 to 6 on the divided screen in FIG. Next, in step S2, the reduced image S (n) is displayed in a rectangle having the fixed coordinates (0, YM / 4) and (XM / 2, 3XM / 4) as diagonals. Further, in step S3, S (n + 1)... S (n + 6) are displayed in predetermined display areas 8 to 13 on the divided screen in FIG.
[0035]
The nine-segment display operation when the reduced image specified in step S12 in FIG. 8 is determined to be a moving image will be described with reference to the flowchart in FIG.
First, in step S1, successive reduced images other than the reduced image designated by the user are displayed in a predetermined display area. That is, as shown in the divided screen of FIG. 6C, reduced images S (n-3), S (n-2), and S (n-1) are displayed in predetermined display areas 1, 2, and 3, respectively. , S (n + 1), S (n + 2), and S (n + 3) are displayed in the display areas 7, 8, and 9, respectively. Next, a variable im representing a scene of a moving image is initialized to 0 in step S2, and a variable ii designating a display area in the x-axis direction is initialized to 0 in step S3.
[0036]
Next, in step S4, the CPU 1 divides the reduced image sequence corresponding to the moving image scene into equal parts in the time axis direction, and displays a plurality of reduced image sequences in separate display areas (XM / 3 × S (n) + im + (I (n) / 3) × ii is displayed in a rectangle having a diagonal between (ii, YM / 3) and the point (XM / 3 × (ii + 1), 2YM / 3). In step S5, it is checked whether or not ii has reached 3, that is, whether or not it has reached the right end of the screen. If YES, the process proceeds to step S7. If NO, 1 is added to ii in step S6, and the process returns to step S4. The above processing is repeated again for the display area.
[0037]
In step S7, a comparison is made as to whether the scene im of the designated reduced image moving image is equal to the index number I (n) / 3 corresponding to the scene im. If YES, the process ends. If NO, the process proceeds to step S8, 1 is added to im, and the process returns to step S3. The above process is repeated for the next scene.
[0038]
Next, FIG. 11 shows another display mode of FIG. 6C according to the presence or absence of voice data or character data. Such a display form can be realized by the CPU 1 determining whether or not the contents of the file name 41 and the audio data number 43 of the time stamp DB file are present, so that display and search for a large number of images can be performed intuitively. It can be done easily. In the list display screen of FIG. 6C, the time stamp information of the still image and the moving image is checked, and if there is corresponding character data, the content of the file name 41 is displayed at a predetermined position in the display area, If there is data, it is displayed at a predetermined position in the display area with a figure indicating the data (a rectangular figure of a waveform in the present embodiment). Here, if no audio data is added, no graphic display is performed, and if there is no file name of the time stamp information, no character display is performed. In addition, the display mark according to the presence or absence of voice data or character data is not limited to the above embodiment, and may be any mark that can distinguish the presence or absence of voice data or character data. Further, in FIGS. 6A, 6B, and 6D, similarly, a mark for distinguishing the presence or absence of voice data or character data may be displayed.
[0039]
In the above-described embodiment, a case has been described in which the present invention is applied to an electronic camera that can perform recording and playback. However, the above-described display and search can be realized as a display device or a search device by a computer device. A program having a function of performing the above-described display and search may be recorded on a recording medium such as a floppy disk or a CDROM, and may be appropriately installed and used.
[0040]
【The invention's effect】
As described above, according to the image input / output device of the present invention, the display mode such as the number of divided images is changed in accordance with the type of image to be searched, so that the contents of the recording medium can be intuitively grasped, A desired image can be easily searched.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image input / output device according to an embodiment.
FIG. 2 is a diagram illustrating a relationship between an original image and a reduced image.
FIG. 3 is a diagram for explaining a data structure of a disk according to the embodiment.
FIG. 4 is a diagram showing details of a time stamp DB file according to the embodiment.
FIG. 5 is a diagram showing the correspondence between time stamp information and reduced images according to the present embodiment.
FIG. 6 is a diagram illustrating an operation example of various divided displays according to the present embodiment.
FIG. 7 is a flowchart for explaining 16-split display.
FIG. 8 is a flowchart for explaining display determination of a designated reduced image.
FIG. 9 is a flowchart for explaining 13-split display.
FIG. 10 is a flowchart for explaining 9-split display.
FIG. 11 is a diagram showing another display example according to the present embodiment.
[Explanation of symbols]
1 CPU
2 ROM
3 RAM
4 Operation unit 5 Input unit 6 LCD control circuit 7 LCD display 8 Disk drive 9 Disk 10 IC card

Claims

記録媒体に入力されている動画と静止画とを読み出して出力する画像入出力装置であって、
動画と静止画とを画面を分割して表示するための表示手段と、
前記表示手段に表示された動画または静止画のいずれかを指定するための指定手段とを含み、
前記表示手段は、動画と静止画とを分割した状態のまま動画をコマ送り状態で表示するための手段を含み、前記表示手段は、動画が指定されると、指定された動画が撮像された時刻を中心として時間軸で相前後する一連の縮小画像を複数の分割画面に表示するための手段を含む、画像入出力装置。An image input / output device for reading and outputting moving images and still images input to a recording medium,
Display means for displaying a moving image and a still image by dividing the screen,
Specifying means for specifying either a moving image or a still image displayed on the display means,
The display unit includes a unit for displaying a moving image in a frame-by-frame state while dividing the moving image and the still image, and the display unit is configured to capture the specified moving image when the moving image is specified. An image input / output device including a unit for displaying a series of reduced images successively on a time axis around a time on a plurality of divided screens .

前記表示手段は、前記記録媒体に記録されている音声データあるいは文字データの有無に応じたマークを分割画面ごとに表示するための手段を含む、請求項１に記載の画像入出力装置。2. The image input / output apparatus according to claim 1, wherein the display unit includes a unit for displaying a mark corresponding to the presence or absence of audio data or character data recorded on the recording medium for each divided screen .