JPH0341573A - データ編集方法とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、電子媒体に記録されている複数のメディアデ
ータを提示する場合の画面上の提示位置、提示タイミン
グを編集する方法、及び利用者の指示によって関連する
データを提示するための対話メニューの提示位置、提示
タイミングを編集するための方法及びそれらの方法を同
時に実施する装置に関する。

（従来の技術） 近年、テキスト、静止画、音声、動画などのマルチメデ
ィア情報を電子媒体に記録し、コンピュータでこれを統
合的に編集し、提示することが可能になっている。また
、マルチメディアデータをネットワーク的なデータ構造
で結びっけ、より柔軟な電子化文書を構築しようとする
試みがなされている。このような電子化文書をハイパー
メディアと呼ぶことがある。ハイパーメディアでは、各
メディアデータをノードというアクセス単位で統合的に
管理し、あるノードから、関連のある他のノードヘアク
セスするための情報（アクセスするノード名、あるいは
ポインタなど）を、各ノードのリンク情報として記録す
る。この例を第７図に示す。利用者は画面上の対話メニ
ューを選択することにより、関連する情報を提示させる
ことができる。

このようなマルチメディアデータの画面上の提示位置（
空間的レイアウトと呼ぶ）と時間的なタイミング（時間
的レイアウトと呼ぶ）を編集する方法に関して、これま
で以下のような方法が実施されている。

■プロシジャファイル 複数のデータの時間軸上の提示シーケンスをプロシジャ
ファイルに記述し、それに従って作成したタイムテーブ
ルに基づきデータの提示開始及び終了を指示する方法が
ある。この例は、特願昭６３−０６０９０８号明細書「
データ提示方法及びその装置」で述べられている。

■時間設計と空間設計を装置上で並行して編集する方法 画面を２つに分割し、一方に時間情報（例えばグラフ化
されたタイミングチャート）を表示し、もう一方に空間
情報（例えば画面上の提示位置を示す枠）を表示して編
集を行なう方法も提案されている。

この例は、特願昭６３−１５７３０１号明細書「データ
提示編集装置］で述べられている。・ （発明が解決しようとする問題点） 従来方式のは複数のメディアの並列的な同時提示を行な
わない場合には有効な方法である。しがし、複数のメデ
ィアの並行提示を行なう場合には時間的、空間的なレイ
アウトを直感的に把握することが難しく、また細かい数
値で編集を行なう必要があり、特にプログラム言語など
の記述に慣れていない一般の利用者の場合は使うのが難
しがった。

従来方式■では、時間的レイアウトと空間的レイアウト
を独立して編集するために、時間的、空間的な微調整を
同時に行なう場合には編集が困難となり、また時空間レ
イアウトを直感的に把握することが難しい。

本発明によるデータ編集方法とその装置は、マルチメデ
ィアデータおよび対話メニューの時間的、空間的レイア
ウトを立体で表示して編集することによって上記問題を
解決し、直感的な把握と直接的で簡単な操作を実現する
ことを目的とする。

（問題点を解決するための手段） 本発明は、上記問題点を解決したものであり、第１の発
明は、電子媒体に記録された複数のメディアデータの画
面上の提示位置と提示タイミングを編集する方法であっ
て、各メディアデータの画面上の提示位置、提示時間を
立体で視覚的に表現し、各立体に対し画面上で移動、拡
大、縮小操作を行なうことにより、上記提示位置、提示
タイミングを指定することを特徴とする。

第２の発明は、利用者の指示に従って関連するメディア
データを提示するための対話メニューの画面上の提示位
置と提示タイミングを編集する方法であって、各対話メ
ニューの画面上の提示位置と提示時間間隔を立体で視覚
的に表現し、その立体を請求項１記載のメディアデータ
の提示時間、提示サイズを表わす立体とともに画面上で
移動、拡大、縮小操作を行なうことにより、提示位置、
提示タイミングを決定することを特徴とする。

第３の発明は、各メディアデータの属性を管理するメデ
ィアデータ管理手段と各対話メニューの属性を管理する
対話メニュー管理手段とメディアデータの属性及び対話
メニューの属性を編集のため一時的に記憶する編集デー
タ記憶手段と編集中の前記メディアデータの属性及び編
集中の前記対話メニューの属性より表示用の図形データ
を生成する立体生成手段と前記図形データを表示画面上
の描画座標に変換する座標変換手段と前記表示画面上の
描画座標に基づき図形表示を行なう立体表示手段と利用
者からの立体操作に関する編集命令及び入力を受け取る
入力管理手段と前記メディアデータ管理手段、前記対話
メニュー管理手段から属性データを読み出して前記編集
データ記憶手段に記録し、前記立体生成手段、前記座標
変換手段、前記立体表示手段に命令またはデータを送り
、前記入力管理手段からの入力に従って前記編集データ
記憶手段中の属性データを更新する表示更新制御手段を
有することを特徴とするデータ編集装置であり、第１、
第２の発明を同時に実施することができる。

（作用） 本発明によるデータ編集方法と装置では、テキストｌ静
止画等の時間に依存しないメディア（静的メディアと呼
ぶ）、音声ｌ動画等の時間に依存するメディア（動的メ
ディアと呼ぶ）を含むマルチメディアデータを対象とす
る。各メディアデータはファイル単位で記録し、１フア
イルを１ノードとする。

個々のノードは、提示レイアウト情報として、提示を開
始する時間、提示を終了する時間、及び画面上の提示位
置とサイズをメディアデータ管理手段に記録する。また
各ノードに関連するデータを提示するための対話メニュ
ーの提示レイアウト情報を対話メニュー管理手段に記録
する。対話メニュー提示レイアウト情報は、あるノード
の提示時間中のある時間帯及び画面上の位置を指定し、
この時間帯に、関連データがあることを示す対話メニュ
ーを提示し、利用者にメニュー選択を行なわせるために
必要な情報である。各対話メニューは関連データの情報
及び対話メニュー提示レイアウト情報をリンク情報とし
て持つ。

第１の発明は、上記のメディアデータの提示レイアウト
情報の編集方法を与える。第２の発明は上記の対話メニ
ューの提示レイアウト情報を編集する方法を与える。第
３の発明は、第１及び第２の方法を同時に実施できる装
置構成を与える。以下、第１，２の発明の方法を第３の
発明の装置構成に基づいて説明する。

まず、メディアデータの提示レイアウト情報の編集方法
（第１の発明）を説明する。利用者は、メディアデータ
編集命令と、編集の対象とするノード名を入力管理手段
に入力する。入力管理手段は、キーボード、マウス等の
入力デバイスを備えているものとする。表示更新制御手
段は入力管理手段からノード名を受け取り、メディアデ
ータ管理手段から対応するノードの提示レイアウト情報
を読み出し、編集データ記憶手段に記録する。また、こ
のデータを立体生成手段に送り、図形データを生成させ
る。つづいて座標変換手段により図形データを画面上の
描画座標に変換させ、立体表示手段により表示させる。

この立体を第６図に示す。図で（ｘ、ｙ）は空間方向の
位置、Ｔは提示時間を示す仮想的な座標軸である。ここ
で、この立体の空間方向の位置を変更することは、メデ
ィアデータを提示する画面上のウィンドウの位置を変更
することに対応し、空間方向のサイズを変更することは
提示するウィンドウの画面上のサイズを変更することに
対応する。

また、時間方向の位置を変更することは開始時刻を変更
することに対応し、時間方向のサイズを変更することは
提示時間の長さを変更することに対応する。そのため、
画面上の立体の時空間座標内の位置とサイズを変更する
ことにより、時空間内のレイアウト編集が行なえる。

利用者は入力管理手段を通じて、表示された立体に対し
て移動、拡大、縮小の操作を行なうことにより、立体の
時空間内の位置とサイズを変更する。

操作は、例えば立体の左上手前の頂点をマウスで移動さ
せた場合は立体全体の移動、右下奥の頂点をマウスで移
動させた場合は立体のサイズの変更というように実現す
る。また、マウスの左ボタンで操作した場合には空間方
向内の移動、右ボタンで操作した時は時間方向内の移動
と定義すれば、立体の時空間内の位置とサイズを自由に
編集できる。

マウス入力は、入力管理手段が表示更新制御手段に通知
する。表示更新制御手段はマウスの変位量を提示レイア
ウト情報の変位量に変換し、編集データ記憶手段中の対
応するノード情報を更新する。さらに、更新したノード
情報をメディアデータ管理手段に送り、記録させる。ま
た、更新したノード情報に基づき、画面上の立体の表示
更新も行なわせる。

次に、対話メニュー時空間情報の編集方法（第２の発明
）を説明する。利用者は、対話メニュー編集命令と、編
集の対象とする刻話メニュー名（リンク名）を入力管理
手段に入力する。表示更新制御手段は入力管理手段から
リンク名を受け取り、対話メニュー管理手段から対応す
るリンクの対話メ、ニュー提示レイアウト情報を読み出
し、編集データ記憶手段に記録する。また、このデータ
を立体生成手段に送り、図形データを生成させる。つづ
いて座標変換手段により図形データを画面上の描画座標
に変換させ、立体表示手段により表示させる。

この立体をメディアデータの場合と同様に移動、拡大、
縮小操作することにより、対話メニューの時空間内のレ
イアウト編集を行う。マウス入力は、入力管理手段が表
示更新制御手段に通知する。表示更新制御手段はマウス
の変位量を時空間情報の変位量に変換し、編集データ記
憶手段中の対応するリンク情報を更新する。さらに、更
、新したリンク情報を対話メニュー管理手段に送り、記
録させる。また、更新したリンク情報に基づき、画面上
の立体の表示更新も行なわせる。

（実施例） 以下、本発明の一実施例について、図面を参照して説明
する。第１図に、本発明によるデータ編集方式を実施し
たデータ編集装置の構成例を示す。

Ａ、装置構成の説明 本実施例は、第３の発明の装置構成を実施したものであ
り、各装置の詳細は以下のとおりである。

（１）メディアデータ管理部１１（メディアデータ管理
手段） 各メディアデータの属性をノード情報として管理する。

ノード情報は、例えば第３図（ａ）のような形式で格納
する。図では、ノード情報の属性として、ノードタイプ
Ｎｔ（例えばメディア種別などを記録する）、ノード名
Ｎｎ、画面上の提示位置（Ｘｎｌ。

Ｙｎｌ）、（Ｘｎ２．　Ｙｎ２）、提示開始／終了時刻
（Ｔｎｌ、　Ｔｎ２）を記録する。時間属性は、動的メ
ディアｌ静的メディアいずれにも指定できる。このうち
提示レイアウト情報は（Ｘｎ　１−　Ｙｎ　１−　Ｔｎ
　Ｉ　Ｘｎ９．　’ｌｎ９．　Ｔｎ９）でふみ（２）対
話メニュー管理部１２（対話メニュー管理手段）各対話
メニューの属性をリンク情報として管理する。リンク情
報は、例えば第３図（ｂ）のような形式で格納する。リ
ンク情報の属性として、リンクタイプＬｔ（例えば関連
の種類などを記録）、リンク始点ノード名Ｎｓ、リンク
終点ノード名Ｎｅ（関連データとして提示するノードの
名前）、対話メニュー図形の画面上の提示位置（Ｘ、ｙ
）（例えばメニュー図形描画の基点座標）、提示サイズ
（ｄｘ、　ｄｙ）、提示開始ｌ終了時刻（ｔｓ、　ｔｅ
）を含む。（ｔｓ、　ｔｅ）は、始点ノードＮｓの提示
開始時刻をＯとした時この対話メニューを表示すべき有
効時区間の開始ｌ終了時刻を示し、デフォルト値はノー
ドＮｓの提示開始ｌ終了時刻（Ｔｎｌ、Ｔｎ２）となる
。

対話メニュー提示レイアウト情報は（Ｘ、ｙ、ｔｓ、ｄ
Ｘ、ｄｙ。

ｔｅ）である。

（３）立体生成部１３（立体生成手段）表示更新制御部
１１０からメディアデータまたは対話メニューの時空間
情報を受け取り、これによって作られる直方体の８つの
頂点の座標を発生し、表示更新制御部１１０に返す。こ
れを立体の時空間座標と呼ぶ。

（４）座標変換部１４（座標変換手段）表示更新制御部
１１０から立体の各頂点の座標を受け取り、表示画面上
の２次元の描画座標に変換して表示更新制御部１１０に
返す。変換の際に時空間の中で立体を見る視線の方向を
表わすパラメータを設定する。このパラメータにより、
立体の重りが少ないように表示することが可能である。

（５）立体表示部１５（立体表示手段）表示更新制御部
１１０から立体の表示画面上の描画座標を受け取り、Ｃ
ＲＴデイスプレィに表示する。

（６）編集データ記憶部１６（編集データ記憶手段）第
２図に示すように、ノード情報記憶部２１．リンク情報
記憶部２２、時空間座標記憶部２３、描画座標記憶部２
４から構成される。

ノード情報記憶部２１はメディアデータ管理部がらのノ
ード情報を記憶する。

リンク情報記憶部２２は対話メニュー管理部がらのリン
ク情報を記憶する。

時空間座標記憶部２３は立体生成部１３にまり生成され
た立体の各頂点の時空間座標を記憶する。

描画座標記憶部２４は座標変換部１４により変換された
各頂点の描画座標を記憶する。

各記憶部は表示更新制御部１１０からの読み出し命令に
よりそれらのデータを表示更新制御部１１０に返す。

（７）入力管理部１７（入力管理手段）キーボード、マ
ウスの入力デバイスとその制御部、及び利用者からの入
力を解読するインタプリタ等で構成し、入力に対応して
表示更新制御部１１０にマウスカーソルの変位やマウス
ボタンの情報を送る。

（８）表示更新制御部１１０（表示更新制御手段）メデ
ィアデータ管理部１１及び対話メニュー管理部１２より
それぞれメディアデータのノード情報及び対話メニュー
のリンク情報を受け取ってノード情報記憶部２１及びリ
ンク情報記憶部２２に記録する。

また、それらのデータを立体生成部１３に送って立体の
各頂点の時空間座標を受け取って時空間座標記憶部２３
に記憶し、そ゛れを座標変換部１４に送り表示画面上の
描画座標を受け取って描画座標記憶部２４に記憶し、そ
れを立体表示部１５に送って表示させる。

一方で、入力管理部１７よりマウスのボタン押下の入力
とマウスカーソルの座標の変位を受け取って、ノード情
報記憶部２１のノード情報またはリンク情報記憶部２２
のリンク情報を変更し、メディアデータ管理部１１また
は対話メニュー管理部１２に送ってデータを更新させる
。更新したデータは、再び立体生成部１３、座標変換部
１４を介して立体表示部１５に表示させる。

Ｂ、第１の発明の実施例 利用者は入力管理部１７に編集開始命令、編集の対象と
するメディアデータのノード名を入力する。これを受け
た表示更新制御部１１０は、第４図に示すフローに従い
、以下のように動作する。

（１）メディアデータ管理部１１からノード情報を読み
出し、ノード情報記１意部２１に記１意する。（ステッ
プ４１） （２）提示レイアウト情報を立体生成部１３に送り、立
体の８つの頂点の時空間座標を得て、時空間座標記憶部
２３に記憶する。（ステップ４２）（３）生成された立
体図形の各頂点の時空間座標を座標変換部１４に送り、
表示画面上の描画座標に変換して、描画座標記憶部２４
に記憶する。（ステップ４３） （４）変換された描画座標を立体表示部１５に送り、画
面上に表示させる。（ステップ４４） （５）マウスのボタンの状態を調べる。（ステップ４５
）（６）マウスのボタンが押されていない状態ならば（
５）に戻る。（ステップ４６） （７）描画座標記憶部２４内にマウスカーソルに対応す
る立体の頂点が存在するかどうか調べる。（ステップ４
７） （８）対応する立体が見つかった場合には（１１）に飛
ぶ。

（ステップ４８） （９）マウスのボタンの状態を調べる。（ステ・ノブ４
９）（１０）マウスのボタンが押されている状態ならば
（９）に戻り、離されている状態ならば（５）に戻って
次の入力を待つ。（ステップ４１０） （１１）マウスカーソルの座標を記憶する。（ステップ
４１１） （１２）マウスのボタンの状態を調べる。（ステップ４
１２） （１３）マウスのボタンが押されている状態ならば（１
２）に戻る。（ステップ４１３） （１４）　現在のマウスカーソルの座標と（１１）の時
点のマウスカーソルの座標の変位を求め、時空間座標の
変位量に変換する。（ステップ４１４）（１５〉求めら
れた変位をもとにノード情報記憶部２１中の提示レイア
ウト情報を更新する。この時、立体の左上手前の頂点が
選択された場合には提示位置（Ｘｎｉ、　Ｙｎｌ、　Ｔ
ｎｌ）及び（Ｘｎ２．　Ｙｎ２゜Ｔｎ２）について変位
量を足す。これは立体の位置の変更に対応する。立体の
右下奥の頂点が選択された場合には（Ｘｎ２．　Ｙｎ２
．Ｔｎ２）のみ変位量を足す。これはサイズの変更に対
応する。

（ステップ４１５） （１６）データ書き込み命令を生威し、更新したノード
情報をメディアデータ管理部１１に送る。（ステップ４
１６） （１７）　（５）に戻る。

上記の説明では、ノード情報の編集を一個に限定したが
、複数のメディアデータを同時に編集することもできる
。この時は、編集データ記憶部１６において複数のノー
ド情報を記録できるよう番こし、編集中であることを示
すフラグ（ポインタ）を持たせる。

Ｃ９第３の発明の実施例 利用者は入力管理部１７に編集開始命令、編集の対象と
する対話メニューのリンク名を入力する。

これを受けた表示更新制御部１１０は、第５図に示すフ
ローに従い、以下のように動作する。

（１）対話メニュー管理部１２からリンク情報を読み出
し、立体データ記憶部１６に記憶する。（ステ・ノブ５
１） （２）時空間情報を立体生成部１３に送り、立体の８つ
の頂点の時空間座標を得て、時空間座標記憶部２３に記
憶する。（ステップ５２） （３）生成された立体図形の各頂点の時空間座標を座標
変換部１４に送り、表示画面上の描画座標に変換して、
描画座標記憶部２４に記憶する。（ステップ５３） （４）変換された描画座標を立体表示部１５に送り、画
面上に表示させる。（ステップ５４） （５）マウスのボタンの状態を調べる。（ステップ５５
）（６）マウスのボタンが押されていない状態ならば（
５）に戻る。（ステップ５６） （７）描画座標記憶部２４内にマウスカーソルに対応す
る立体の頂点が存在するかどうか調べる。（ステップ５
７） （８）対応する立体が見つかった場合には（１１）に飛
ぶ。

（ステップ５８） （９）マウスのボタンの状態を調べる。（ステップ５９
）（１０）マウスのボタンが押されてｌ、）る状態なら
ｃｆ（９）に戻り、離されている状態ならば（５）に戻
って次の入力を待つ。（ステップ５１０） （１１）マウスカーソルの座標を記憶する。（ステップ
５１１） （１２）マウスのボタンの状態を調べる。（ステ・ノブ
５１２） （１３）マウスのボタンが押されてし）る状態なら（ｆ
（１２）に戻る。（ステップ５１３） （１４）現在のマウスカーソルの座標と（１１）の時点
のマウスカーソルの座標の変位を求め、時空間座標の変
位量に変換する。（ステップ５１４）（１５）求められ
た変位をもとにリンク情報記憶部２２中の提示レイアウ
ト情報を更新する。この時、立体の左上手前の頂点が選
択された場合には提示位置（ｘ、ｙＸマウスの左ボタン
が押された場合）または提示開始時刻ｔｓ（右ボタンの
場合）について変位量を足す。これは立体の位置の変更
に対応する。立体の右下奥の頂点が選択された場合には
提示サイズ（ｄｘ、　ｄｙＸマウスの左ボタンの場合）
または提示終了時刻ｔｅ（右ボタンの場合）に変位量を
足す。これはサイズの変更に対応する。（ステップ５１
５） （１６）データかきこみ命令を生威し、更新したリンク
情報を対話メニュー管理部１２に送る。（ステップ５１
６） （１７）　（５）に戻る。

上記の説明では、リンク情報の編集を一個に限定したが
、複数の対話メニューを同時に編集することもりきる。

この時は、編集データ記憶部１６において複数のリンク
情報を記録できるようにし、編集中であることを示すフ
ラグ（ポインタ）を持たせる。

（発明の効果） 第１の発明より、複数のマルチメディア情報の編集にお
いて、画面上の提示位置及び提示時間の編集を、視覚的
に容易に行なうことができる。

第２の発明により、利用者の指示に従って関連するデー
タを提示するための対話メニューの編集において、画面
上の提示位置及び提示時間の編集を、視覚的に容易に行
なうことができる。

第３の発明により、上記第１、第２の発明を同一の装置
上で組み合わせることができ、直感的、かつ視覚的な、
メディアデータと対話メニューの編集を同時に行なえる
。

【図面の簡単な説明】

第１図は本発明によるデータ編集方法を実施したデータ
編集装置の構成例を示すブロック図、第２図は第１図の
立体データ記憶部１６の詳細な構成例を示すブロック図
、第３図はメディアデータ管理部１１及び対話メニュー
管理部１２に記憶するノード情報、リンク情報の格納形
式の例を模式的に示す図、第４図は、メディアデータ編
集命令を受けた表示更新管理部１１０の動作を示すフロ
ー図、第５図は、対話メニュー編集命令を受けた表示更
新管理部１１０の動作を示すフロー図である。第６図は
メディアデータあるいは対話メニューの時空間レイアウ
トを模式的に示す図である。第７図は、電子化文書の一
例を示す図である。 図において、 １１・・・メディアデータ管理部、 １２・・・対話メニュー管理部、１３・・・立体生成部
、１４・・・座標変換部、１５・・・立体表示部、１６
・・・立体データ記憶部、１７人カ管理部、１１０・・
・表示更新制御部、２１・・・ノード情報記憶部、２２
・・・リンク情報記憶部、２３・・・時空間座標記憶部
、２４・・・描画座標記憶部。

Claims (1)

1. 【特許請求の範囲】 １、電子媒体に記録された複数のメディアデータの画面
   上の提示位置と提示タイミングを編集する方法であって
   、各メディアデータの画面上の提示位置、提示時間を立
   体で視覚的に表現し、各立体に対し画面上で移動、拡大
   、縮小操作を行なうことにより、上記提示位置、提示タ
   イミングを指定することを特徴とするデータ編集方法。 ２、利用者の指示に従って関連するメディアデータを提
   示するための対話メニューの画面上の提示位置と提示タ
   イミングを編集する方法であって、各対話メニューの画
   面上の提示位置と提示時間間隔を立体で視覚的に表現し
   、その立体を請求項１記載のメディアデータの提示時間
   、提示サイズを表わす立体とともに画面上で移動、拡大
   、縮小操作を行なうことにより、提示位置、提示タイミ
   ングを決定することを特徴とするデータ編集方法。 ３、メディアデータの属性を管理するメディアデータ管
   理手段と各対話メニューの属性を管理する対話メニュー
   管理手段とメディデータの属性及び対話メニューの属性
   を編集のため一時的に記憶する編集データ記憶手段と編
   集中の前記メディアデータの属性及び編集中の前記対話
   メニューの属性より表示用の図形データを生成する立体
   生成手段と前記図形データを表示画面上の描画座標に変
   換する座標変換手段と前記表示画面上の描画座標に基づ
   き図形表示を行なう立体表示手段と利用者からの立体操
   作に関する編集命令及び入力を受け取る入力管理手段と
   前記メディアデータ管理手段、前記対話メニュー管理手
   段から属性データを読み出して前記編集データ記憶手段
   に記録し、前記立体生成手段、前記座標変換手段、前記
   立体表示手段に命令またはデータを送り、前記入力管理
   手段からの入力に従って前記編集データ記憶手段中の属
   性データを更新する表示更新制御手段を有することを特
   徴とするデータ編集装置。