JPS63201821A

JPS63201821A - 音声メモ方式

Info

Publication number: JPS63201821A
Application number: JP62033257A
Authority: JP
Inventors: Hiroshi Ichikawa; 市川　熹; Shigeru Yabuuchi; 薮内　繁
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1987-02-18
Filing date: 1987-02-18
Publication date: 1988-08-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、音声メモ方式に係り、特に電子化した文書に
音声によるメモを付与するのに好適な方式に関する。

〔従来の技術〕

従来の装置は、音声メモを付加した位置をマークとして
示したり、音声メモの長さをバーで表示し、再生時にど
こまで再生したか、残りがどの程度あるか、などの機能
を持たせる工夫がなされている。なお、この種の装置と
して関連するものには例えば特開昭６１−１３７３０号
、特開昭６０−２４８０５６号等が挙げられる。

〔発明が解決しようとする問題点〕

音声によるメモを付与する場合、通常の会話のように相
手の応答を見ながら、話す内容を変更したり、説明の程
度を変えたりすることができず、ある程度筋道の通った
順序で、適格にまとめて行かないと、大変聞きにくいも
のとなる。このため一度付与した音声メモの一部を言い
換えたり、順序を入れ換えたり、追加したりして聞きや
すいものに編集しなおす必要があるが、上記技術は、こ
の点に関する配慮がなされていない。

また、音声は時間的に一次元の信号であり、画像のよう
に、一覧して、はしい情報がどれであるかを知ることが
できず、順番に各音声メモを全部間いて行く必要があり
、効率的でない。この点に関しては、音声メモの再生を
ステレオ技術によって空間的に分散させてカクテルパー
ティ−効果をねらって同時に聞く方式が提案、されてい
るが、′実効的でない。それは、同一の話者による音声
を同時に聞く条件ではカクテルパーティ−効果は小さい
からである。

本発明の目的は、音声メモの付与を容易にし、かつ、必
要な音声メモを効率良く取り出す手段を提供することに
ある。

〔問題点を解決するための手段〕

上記目的は、メモの一部を言い換え入れ替えたり、順序
を入れ換えたりするための簡易な音声編集機能と、各メ
モの主要となる文章等主要な部分を効率良く再生する機
能を付すことにより達成される。

〔作用〕

上記目的を達成するために、本発明では、音声の入力・
記録再生手段と記録音声と表示を対応付ける手段、各種
のポインティング及び機能選択手段の他に、音声の編集
手段と音声早送り再生手段とを設ける。更に、この音声
入力、記録、再生手段には、音声区間を検出する手段を
設ける。また、音声区間の終りを検出後／／１〜２秒た
って、音声区間の終りを確認したことを入力者に知らせ
る機能を設けると、使用者にとって使いやすいものとな
る。記録手段及び再生手段には、高能率音声符号化手段
及び復号化手段を利用すると、メモリ容、最上有利にな
ることは言うまでもない。

編集手段は、音声入力・記録・再生手段の他、音声と表
示を対応付ける手段、ポインティング及び各種機能選択
手段等と組み合せ、使いやすい編集手段を構成する。機
能選択手段で、音声入力又は編集モードを選択すると、
音声メモを付す文書の画面付近に、編集用の画面を設定
する。編集画面は、いわゆるマルチ、ウィンドウのよう
な構成で実現することがで来る。編集画面には、メモ音
声を文単位等で表示しポインティング手段と組み合せて
、音声の挿入、入れ換え、消去、キーセンテンスの指定
等が可能な編集機能をもたせる。

音声早送り手段は、文書中に付せられた音声メモを再生
位置を表示しながら、次々と主要部分のみを再生して行
くもので、再生の方式に幾つかのモードを設ける。その
第１は、各メモの頭部から１〜２秒程度を再生するもの
、第２は、早口で、同じく、１〜２秒頭部より再生する
もの、第３゜第４は、キーセンチレスについてのみ、頭
部から、普通の速さ又は早口で再生するものである。各
再生文の尾部は再生音レベルを除々に小さくし、次の再
生文を重ねて再生することにより、自然で聞きやすい早
送り再生が可能となる。

更に、文書のどこに音声メモが付されているかを表示す
るマークが付けられているのが普通であるが、音声メモ
を使わない場合は、この音声メモマークの表示を禁止し
たり、再生時には、再生位置を示すのに、マークではな
く１文書の該当部分の色を変えたり、ブリンキングをさ
せる機能とすることにより、より一層直接的に音声と文
書がスムースに対応付けられる、又、対象部分外の表示
の輝度を下げたり、ややぼかすなどの表示をすることに
より、より自然に注目すべき位置を示すことも自然な対
応付けに大きな効果がある。

ボインテツング及び機能選択手段は、専用のライトペン
のようなものやマウスを用いても良く、又、メニュー選
択方式によっても機能を実現できることは言うまでもな
い。

これらの各種の機能を組み合せ使用することにより、効
果的かつ使いやすい音声メモ方式を実現することが可能
となる。

〔実施例〕

以下、本発明の一実施例を図を用いて説明する。

第１図は本発明を説明するためのブロック図である。

第１図において、画像メモリ３４に格納された文書が画
像制御プロセッサ３０の制御のもとに、画像バッファ３
５を経て、画像ディスプレー３６に表示されている。こ
の構成は、通常のマルチ・ウィンドウ機能を持つ画像端
末として実現されているものである。画像メモリ３４に
は、マルチウィンドウ表示に必要な各セグメント画像情
報が格納されており、画像バッファ３５で表示画面に編
集され、出力される。

音声メモとして入力された音声は、コーディングの符号
化部２４を経て、音声検出部２６及び入力音声バッファ
２７に入力される。音声処理プロセッサ２０は音声検出
部２６の出力を見て、音声が入力されたと判定すると、
入力音声バッファ２７中の入力音声信号を音声メモリイ
ンターフェース２８を経て、音声メモリ２９に格納する
。

２１は音声処理プロセッサ用のメモリ部でプログラム等
が格納されている。音声検出部２６は入力音声の短時間
パワーを計算し、短時間パワーが、あらかじめ定めた閾
値を起えて、一定時間以上継続すると音声ありと判定し
、一定時間以上、閾値を検出する技術として用いられて
いる公知技術で実現可能である。

音声メモの再生は、音声処理プロセッサ２０の制御のも
とに、音声メモリ２９より音声メモリインターフェース
２８出力音声バツフア２２を経て、コープイックの復号
化部２５を経て出力する。

画像表示と音声メモの対応付け、及び全体の制御は、制
御プロセッサ１１が音声インターフェース部２３及び画
像インターフェース部３３を経て音声処理プロセッサ２
０及び画像制御プロセッサ３０と交信しながら実行する
。対応付けの表にはメモ作成の順序も合せ記録しておく
。ここでは、キーボード１３からの情報の入力及び、ポ
インティングディバイス１４の入力も制御プロセッサ１
１が統一的に管理し、音声及び画像と同様対応付けを行
なう。１２は制御プロセッサ１１用のメモリ部であり、
３１は画像処理プロ７セツサ３０用のメモリ部である。

メモリ部１１には音声メモと画像の部分を対応付ける対
応表等も記録される。

先ず、表示された画面の特定ケ所に音声メモを付す場合
について第２図を用いて説明する。

ポインティング・ディバイス１４を用いて、先ず画面下
部のメニューから音声メモ付加のファンクションを指定
し、次にメモを付加したい位置■を指定すると、音声メ
モ編集画面Ｂが表示される。

ポインティング・ディバイスとしてはマウスなどすでに
広く用いられているものを利用することができる。音声
メモ編集画面Ｂの位置は、メモを付す位置が画面のどこ
にあるかにより、自動的に表示位置を定められる。これ
は、画面を大まかに、幾つかの領域に分け、メモを付す
位置■がどの領域に入るかにより、予め定めた表により
表示位置を決めることにより実現することが可能である
。

編集画面Ｂは、図に示すように、破線で囲ま２れたバー
（補助マーク）と、実線で囲まれたバー（音声記録マー
ク）が交互に横にならんだものが表示される。この画面
は、原文書データとは別の画像セグメントとして、画像
メモリの原文書とは別の位置に格納されたものが１画面
バッファ上で編集されて一つの画面として表示されてい
るものである。メモ音声が入力されると、一つの音声を
間毎に（通常一つの音声による文章）、実線でかこまれ
たバーの内側がぬりつぶされる。制御プロセッサ１１は
、画面上のメモを付すデータの位置と音声メモの対応表
を作り、メモリ１２に表を格納すると共に、音声プロセ
ッサ２０に対し、入力された音声を音声メモリ２９に格
納するように指示する。第３図に示すようにこの対応表
は、メモを構成する複数の音声文章の一つ一つに対して
も、その順序と位置の情報を持っている。

第３図を用いて対応表の例を説明する。（Ａ）はある画
面全体の音声メモの状況を示すものであり、（Ｂ）は個
々の音声メモの状況を示すもので゛ある。（Ａ）は画面
に表示されている音声に一連の番号を付し、その番号の
順に情報がならべられており、各音声メモには次の音声
メモはメモ番号何番の音声メモが来るかを示すポインタ
と、個々の音声メモの状況を示す各音声メモ毎に用意さ
れるテーブル（Ｂ）を指す対応テーブル・ポインタから
なる。音声メモ番号０の情報は音声メモ開始の先頭情報
となるポインタ情報Ｐｏと、メモ数ｎを有する。

編集等の作業で、音声メモ番号ｉが選択されると、対応
テーブルポインタの情報ｔにより、ｔｉに対応する個別
音声メモ情報テーブル（Ｂ）が選択される。

個別音声メモ情報テーブル（Ｂ）は、音声メモ番号ｉ、
音声Ｘを作成順序番号（（Ａ）の表の中での作成順で、
その画面中でのメモ作成順序情報に等しい）、音声メモ
リ２９中の実際に音声情報が格納されている位置に関す
る情報、このメモが付加される画面上の位置との対応付
けを行なうための画像メモリ３４上の画像の位置に関す
る情報と対応付ける情報、音声メモを構成する音声文章
数Ｎ、及び個々の音声文章に関する情報よりなる。

個々の音声文章に関する情報は、実際にその音声の格納
されている先頭位置（この情報は音声処理部に作っても
良い）、その文章がキーセンテンスかどうかを示す重要
度マーク、次の音声文章がどれかを示すポインタよりな
る。このポインタを操作することにより音声メモ内の順
序を編集することができる。

このような構成により得られる情報を用いれば。

音声メモの編集や、再生順序を入力順や画面の位置順等
任意に操作できることは容易に理解できる。

また、これらの表の一部を音声メモリや画像メモリ等に
移すなど、表の構成に関しては様々な変形がありうるが
、その具体的構成をどうするかは本発明のポイントを制
約するものでないことは明らかである。

ポインティング・デバイス１４等により、音声メモ付加
終了の指示を入れると、編集画面が消え、メモを付した
画面の位置に、音声メモを付したことがわかるような表
示を付す。この表示のデータも、原文書とは別の画原セ
グメントとして、画像メモリ３４に記録する。これより
原文書のみを表示したい場合に、音声メモ付加等の表示
を簡単に消すことが可能となる。

次に、一つの音声メモ内での音声文章の順序を入れ換え
たり、挿入したり、消去する編集の場合を説明する。

メニューから１編集機能を選択すると、メニュー画面が
編集用の各種機能のメニューに変ると共に、音声メモ付
加の場合と同様の編集画面１３が指定した位置に応じて
表示される。実線に囲まれたバーは、音声メモの付せら
れている数だけ、内部がぬりつぶされて表示されている
。

先ず、メモ全体を聞いて見たい場合は、メニューから再
生機能を選択すると、再生される音声文章位置のバーが
ブリンキングしながら、順次再生されて行く。

特定の音声文章を消去したい場合は、その音声のバーと
消去ファンクションを選択すると、その音声文章が消去
され、それ以降のぬりつぶされたバーは一つづつ繰り上
る。

音声文章を挿入したい場合は、挿入したい位置の破線の
バーと挿入ファンクションを選択すると、それ以降のぬ
りつぶされたバーが一つづつ繰り下がり、実線の内部の
ぬりつぶされていないバーが一つ挿入位置に表示される
。ここで音声文章を発声すると、音声メモが挿入され、
バーがぬりつぶされて行く、ある音声文章の位置を入れ
換えたい場合は、その音声文章を示す、ぬりつぶされた
バーと、移動先きの破線バー及び移動ファンクションを
選択することにより実行される。

特定の音声文章がそのメモの中で特に重要であることを
指定したい場合は、メニューから、キーセンテンス指定
を選択し、キーセンテンスとなる音声文章を示すバーを
指定することにより実現される。

次に音声メモを付す人がメモを発声しやすいように、音
声入力に対し応答する機能を付した。第１図において、
音声区間検出部２６が、音声区間の尾部を検出後１〜２
秒を経て、制御部１１は画像表示プロセッサ３０に対し
、音声入力があったことを確認する応答表示をするよう
指示する。画像表示プロセッサ３０は、この指示にもと
づき、表示画面の一部に確認表示として数十ｍｓの時定
数で立上り立下る数Ｌｏｏｍｓ間の表示を行なう。

表示としては、音声メモの存在を示す表示の輝度や大き
さを変えるなどの方法がある。また、画像表示の代わり
に音声処理プロセッサに指示し、音声出力を用いて、″
ハイ″とか″それで？″とがの音声を出力させても良い
。なお発声後１〜２秒で応答すると、発声がやりやすい
ことは、石井他の研究で知られており（たとえば、中白
書店″ヒユーマン、サイエンス″第２券２を利用したものである。

これらの処理の結果は、すべて制御プロセッサ１１で管
理され、必要な対応表等が、その都度修正され、修正に
件なうメモリの管理に関する指令が画像制御プロセッサ
３ｏと音声処理プロセッサ２０に出され、各プロセッサ
は必要な処理を行なう。これらの処理自体は，現在のマ
ルチウィンドウ方式の表示端末で行なわれている各種の
技法により容易に実現されるので、ここでは省略する。

音声メモを聞く場合は、音声メモ再生のメニューを選択
し、位置を指定する他に、直接音声メモを付しである表
示を指示するだけで、再生できるモードを設ける。

次に音声の早送り再生を行なう場合を説明する。

早送り再生機能のメニューを選択すると、通常の早送り
の他、早口の再生、キーセンテンスによる早送り再生等
のメニューが表示される。又１表示の順序は画面位置順
の他に、音声メモ作成順の再生機能のメニューも用意す
る。通常の早送り再生では、各メニューの頭部から２秒
程度の音声メモを画面の左上から右下方向に順次再生し
て行く、再生と共に対応する再生ケ所がわかるように画
面上の対応ケ所の表示をブリンキングさせる。また、対
象ケ所の近傍以外の部分に淡いアミカケを行なうなどの
表示を取っても良い。

記録順の再生モードでは、音声メモ作成の順に没送りや
、全メモの再生を行なう、この機能はメモ作成時の作成
者、発想の順序を再現する必要があるとき、有効な機能
となる。

早口再生は、音声メモの再生時に音声のスピードを早く
するもので、良く知られているＰＡＲＣＯＲ方式などパ
ラメータ符号化方式で音声メモを記録しておけば、パラ
メータの読み出しタイミングを早くすることにより、テ
ープレコーダの早送りのような声の高さの変化を判なう
ことなく、実現できる。

キーセンテンスによる早送り再生は、各メモの先頭から
ではなく、キーセンテンスの先頭から一定時間（１〜２
秒）ずつ順次再生して行く方式である。

これらの早送り再生においては、一定時間毎に次のメモ
へいきなり切り換えると、不自然で非常に聞きづらいも
のとなる。本発明では、先行する再生音をその再生の終
了付近で音量を除々に小さくし、次のメモの再生音をそ
の上にかぶせることにより自然な関係で次々と音声メモ
を聞いて行くことができる。これを実現するためには、
第１図において、音声メモリ２９から取り出した音声デ
ータの音声レベルを決めるパラメータを音声メモリイン
ターフェース部２８で除々に小さくし、実時間の約２倍
の高速で読み出し、出力制御部２２内に設ける二面バッ
ファの一方の出力バッファへ書き込む、先にもう１面の
バッファメモリに書き込まれている先行する音声メモの
データと出力制御部２２内に設けられる加算器÷加算し
、その結果をコープイックの復号部２５へ送り音声に再
生して出力する。音声圧縮゛の方式によっては、パラメ
ータでの加算が不可な方式もあり、この場合は、線形う
°波形に複合機振幅に重みをつけたり両者を加算するよ
うに、出力制御部２２と復号部２５の順序や構成をそれ
ぞれの方式に合致するよう適宜修正する必要があること
は言うまでもない。

重要なメモのみを聞きたい場合は、重要メモ選択のメニ
ューを選択することにより、重要を指定された音声文章
を含む音声メモのみを順次再生させる。

この他、メニュー選択により、音声メモ関係の表示を除
いた原文書情報のみの表示を行なうモー　ドを設けてお
く。

以上の編集処理の主な手順をＰＡＤ表現により第４ＷＩ
に示す。同量の用語等は第３図を参照。ボインティング
ディバイスを用いた処理手順の実現には、すでに様々な
実現方法があるように、この手順も様々な変形があるこ
とはいうまでもない。

その手続き自体をどのような手段と手順で実現するかに
より本特許の主張点が左右されるものでないことは明ら
かである。

［発明の効果〕本発明によれば、画面に表示された文書や画像（医療画
像など）、図面（地図や設計図面など）に音声による任
意のメモを容易に付したり、簡単に修正したり、効率良
くメモの概要を聞いたりすることができるので１人間に
とって扱いやすい情報の取り扱いが可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例を説明するブロック図、第２
図は本発明の詳細な説明する図、第３図は本発明におけ
る音声メモと画像上のメモとを対応させる図、第４図は
本発明における音声メモの編集処理の流れを示す図であ
る。１１・・・制御プロセッサ、１３・・・キーボード、１
４・・・ポインティングディバイス、２０・・・音声処
理プロセッサ、２９・・・音声メモリ、３０・・・画像
制御プロセツサ、３４・・・画像メモリ、３５・・・画
像バッファ、３６・・・画像ディスプレー。

Claims

【特許請求の範囲】１、表示された所定画像に対して音声によりメモを付す
る音声メモ方式において、前記音声メモを付するために
前記画像上の任意の位置を指定する手段と、前記指定位
置に付す音声を入力する手段と、前記入力された音声を
音声メモとして記録する手段と、前記画像上の位置と前
記記録された音声メモとを対応付ける手段と、前記記録
された音声メモを編集する手段と、前記画像上の所定位
置の指定に基づいて前記編集された音声メモを再生する
手段とを有することを特徴とする音声メモ方式。２、特許請求の範囲第１項記載の音声メモ方式において
、前記記録した音声メモを編集する手段は、編集用の画
面を表示する手段を有していることを特徴とする音声メ
モ方式。３、特許請求の範囲第２項記載の音声メモ方式において
、前記編集用画面は前記音声の音声文章単位での記録を
示す複数個のマークと、前記各記録マークの間にはさま
れた編集用の補助マークを有することを特徴とする音声
メモ方式。４、特許請求の範囲第３項記載の音声メモ方式において
、前記編集用画面は前記音声が実際に入力されるに伴な
い表示状態が変ることを特徴とする音声記録マークを有
することを特徴とする音声メモ方式。５、特許請求の範囲第１項記載の音声メモ方式において
前記記録した音声メモを編集する手段は、音声メモを構
成する音声文章の中から、重要なものを選択指定する機
能を有することを特徴とする音声メモ方式。６、特許請求の範囲第１項記載の音声メモ方式において
、前記記録した音声メモを編集する手段は、前記音声メ
モを構成する音声文章の順序を入れ換える機能を有する
ことを特徴とする音声メモ方式。７、特許請求の範囲第１項記載の音声メモ方式において
前記記録した音声メモを編集する手段は、前記音声メモ
を構成する音声文章間の任意の位置に新たな音声文章を
挿入する機能を有することを特徴とする音声メモ方式。８、特許請求の範囲第１項記載の音声メモ方式において
、前記記録した音声メモを編集する手段は、音声メモを
構成する音声文章の任意のものを消去する機能を有する
ことを特徴とする音声メモ方式。９、特許請求の範囲第１項記載の音声メモ方式において
、前記記録した音声メモを編集する手段は、前記音声メ
モを構成する音声文章の消去又は挿入に伴ない音声の記
録マークの表示状態を修正する機能を有する音声メモ方
式。１０、特許請求の範囲第１項記載の音声メモ方式におい
て前記音声を入力する手段は前記入力音声の区間の尾部
を検出後１〜２秒後に音声入力があつたことを確認出力
する手段を有することを特徴とする音声メモ方式。１１、特許請求の範囲第１項記載の音声メモ方式におい
て、前記再生する手段は前記表示画面内の一連の音声メ
モの各々を２秒程度の範囲のみを順次再生して行く早送
り再生手段を有する音声メモ方式。１２、特許請求の範囲第１１項記載の音声メモ方式にお
いて、前記再生する手段は前記音声メモの再生速度を入
力音声の発声速度より早口になるよう修正、再生する手
段を有する音声メモ方式。１３、特許請求の範囲第１１項記載の音声メモ方式にお
いて、前記再生手段は前記音声メモを構成する音声文章
の中から重要なものとして指定された音声文章のみを選
択し、早送り再生を行なう手段を有する音声メモ方式。１４、特許請求の範囲第１１項記載の音声メモ方式にお
いて、前記再生手段は、先行して再生された音声の尾部
の音声強度を除々に小さくし、次の音声メモの再生に引
き継ぐ手段を有する音声メモ方式。