JP4407494B2 - デジタルペンを用いた速記文字反訳作業支援システム - Google Patents

Description

本発明は、速記文字を通常文字に変換する反訳作業を支援するシステムに関し、特にデジタルペンを用いて速記文字を記録し、音声情報を用いて速記文字の反訳誤りをチェックする速記文字反訳作業支援システムに関する。

従来、議会等の議事録を作成する手段として速記者が速記文字を用いて発言を逐一記録し、後で普通文字に反訳して議事録とする手段が取られている。近年音声認識技術の向上により、発言を録音したものをそのまま文字に変換することが可能になっているが、信頼性向上のために速記と併用することが一般的である。

一方、速記文字を機械的に入力する装置も提案されており、特許文献１に示すような速記文字をキー入力で入力する装置が提案されている。この装置では速記文字をそのまま自動的に普通文字に変換することが可能であり、さらに入力誤りを修正することが可能となっている。

特開２００１−３６４８８号公報

上記従来の速記文字の入力装置によれば、速記文字から普通文字へ変換する反訳作業が自動化され、入力や変換誤りの修正が可能になるが、以下のような問題がある。

まず上記従来の装置の修正作業では、速記文字から普通文字へ文字変換された後で文法的に不適当な点を検出したり、音声を聞きながら相違を検出したりしているが、この作業は機械化されておらずこの部分で時間がかかり、また精度が落ちるという問題があった。また、従来の速記文字の体系と速記文字入力装置のキー体系は基本的に異なるものであり、熟練した速記者でも新たにこの装置の文字体系を覚える必要があり、かつキー入力では熟練した速記者の筆記速度には及ばないという問題があった。

本発明の目的は、上記課題を解決し、熟練した速記者の技術を生かした速記文字入力手段を備え、かつ反訳作業を自動化する速記文字反訳作業支援システムを提供することにある。

上記課題を解決するために、本発明の速記文字反訳作業支援システムは以下のような機能を備える。

まず速記文字の入力手段として、本発明の速記文字反訳作業支援システムは速記文字をデジタルペンにより筆記ストロークとして取得する機能を備える。

この筆記ストロークは、筆記時間情報と対応付けて取得する機能を備える。反訳作業を支援する手段として、本発明の速記文字反訳作業支援システムは被記録内容を音声として取得する機能を備える。この音声情報も上記と同様に発話時間情報と対応付けて取得する機能を備える。本発明の速記文字反訳作業支援システムは、上記２つの入力手段によって取得した被記録内容を、それぞれ筆記ストローク−文字変換機能、音声認識機能により普通文字に変換する機能を備える。これらの変換は従来の筆記ストローク認識技術、音声認識技術を用いて実施する。それぞれの変換後の文字、または形態素解析技術により語句単位に区切った情報は、発生時間と対応付けて格納する。本発明の速記文字反訳作業支援システムは、この時間の同期を取って速記文字から取得した文字または語句と音声から取得した文字または語句とを比較する機能を備える。この比較機能は、単に並べて表示して相違部分に修飾を加える機能であっても、相違部分のみを取り出す機能であっても良い。さらに相違箇所についてどちらかを選択、または修正入力する機能を備えても良い。

以下、本発明の速記文字反訳作業支援システムの、速記文字をデジタルペンにより筆記ストロークとして取得する機能の詳細を説明する。本発明のデジタルペンは、デジタルペーパーのパターンを画像として取得し、座標の動きを筆記ストロークとして取得して端末に送信し、端末で筆記イメージに変換する方式を想定する。デジタルペーパーは、特殊なドットパターンをカーボンインク紙に印刷したデジタルペーパーである。ドットは約０．３ｍｍ間隔で格子状に配置されており、それぞれ微妙に上下左右にずれて配置されている。６×６ドット分の面積（１．８ｍｍ×１．８ｍｍ）を一単位として解釈すると、３６個のドットにつき、それぞれ上下左右４通りの組み合わせが考えられるので、理論上そのパターンは４の３６乗通りの組み合わせがある。このドットパターンは一単位ごとにＸ、Ｙ座標が割り当てられているため、個々のデジタルペーパー上でのドットパターンから絶対位置を判別できる。上記デジタルペーパー各々にＩＤ（ペーパーＩＤ）を割り振ることにより、ペーパーの管理・識別が容易となる。

次に、デジタルペンはデジタルペーパーに書き込んだ情報を取得する。デジタルペンにはカメラ、画像処理装置、メモリ、インクカートリッジ（通常のボールペンと同じインク）、筆圧センサ、バッテリが内臓されており、個々のデジタルペンを識別するために、それぞれのペンには固有のペンＩＤが割り振られている。記述時に筆圧センサが作動し、カメラがデジタルペーパーのドットパターンを読み込むと、画像処理装置によってペン先の位置情報とデジタルペーパーのペーパーＩＤが取得される。ペン軌跡以外に、書いた順序、速度、筆圧、時間情報なども取得できる。取得した筆圧ストローク情報は、端末に転送される。この端末、または端末が接続するサーバにドットパターンの座標情報を備え、この情報によりドットパターンを座標に変換することで、筆記ストロークを筆記イメージに変換することができる。

以下、本発明の速記文字反訳作業支援システムの、文字取得から変換、反訳支援処理について説明する。ここではデジタルペン取得情報、音声情報を端末に送信し、業務サーバで処理する方式で説明する。

デジタルペーパーに記入されたデジタルペンの情報を、電子データとして端末に送信する。また、端末の速記文字記録機能はデジタルペンに保持されている時間情報をもとに、一定時間毎に時間情報を採取し、次時間までに時間情報を採取するまでに記載された速記文字情報に、同一の時間情報を付与する。また、マイク等により録音された音声情報を端末に送信する。端末の音声認識機能でも、一定時間毎に時間情報を採取し、次時間までに時間情報を採取するまでに入力された音声情報に、同一の時間情報を付与する。これら速記文字情報と音声情報を業務サーバに送信する。業務サーバでは、速記文字情報を１文字ずつまたは１単位の速記文字として保持する。また音声情報は音声情報制御部により、普通文字への文字変換を行う。

業務サーバは、文字確定手段により、音声の発生時刻（一定時間音声なしの状態から音声が発生した時）と速記文字の記入開始時刻（一定時間文字の記入なしの状態から文字の記入が発生した時）の時差を算出し、補正時間情報として保持する。次に、１文字ずつまたは１単位ずつ速記文字の文字変換を行い、速記の特徴である音声とほぼ同時に記載が行われる特性を活かして、当該速記文字の時間情報から、速記文字時間情報−補正時間情報の指定範囲内に対応する音声情報が存在するかチェックする。存在すれば、精度の高い文字変換として確定文字情報とする。存在しなければ、速記文字の記入誤り、あるいは、音声変換誤りとして抽出する。また、速記文字の文字変換時に文字変換候補が２つ以上ある場合は、文字変換精度向上の処理として、当該速記文字の時間情報とその補正時間情報内に対応する音声情報の文字と合致するものが存在すれば、それを確定文字情報とする。存在しない場合は、速記文字の記入誤り、あるいは、音声変換誤りとして抽出する。これら文字確定手段により生成された文字を端末に送信し、端末の画面に表示する。端末の画面には、確定文字情報、速記文字の記入誤り、あるいは、音声変換誤り箇所と思われる箇所を視覚的に判断できるように表示する。これにより文字修正が必要と思われる箇所を機械的にチェックし、文字の修正作業を容易にし、速記文字の反訳作業の精度を高めることが可能となる。

以上本発明によれば、速記文字と音声情報とを発生時間により対応付けて照合することにより、速記文字から普通文字への文字変換精度を高め、速記文字の記入誤りによる変換誤りや音声の文字変換誤り箇所と思われる箇所を機械的に特定することが可能となる。また、特定した箇所について修正を加えることで反訳作業の精度向上や容易性を確保できる。

以下本発明の実施の形態を図を用いて説明する。図１は本発明のデジタルペンを用いた速記文字反訳作業支援システムの構成図である。本発明は、デジタルペン１０１と、デジタルペーパー１０２と、速記文字入力部１０３と、音声情報入力部１０４と、ディスプレイ１０５と、キーボード１０６と、表示制御部１０７と、速記文字制御部１０８と、音声情報制御部１０９と、文字確定制御部１１０と、速記データデータベース１１１と、音声データデータベース１１２と、文字確定情報データベース１１３からなる。

デジタルペン１０１は、一定時間毎（例えば１秒毎）に時間情報を取得し、デジタルペーパー１０２に記載された速記記号とデジタルペン１０１の時間情報を、随時、速記文字入力部１０３で受信する。音声情報については、音声情報入力部で受け取った音声情報を、一定時間毎に時間情報を採取し、音声情報と時間情報を持つ。

速記文字制御部１０８では、速記文字入力部１０３から受け取った速記文字、時間情報を、速記データデータベース１１１に登録する。図４（ａ）は速記データデータベース１１１に登録された際のデータ構造例である。

音声情報制御部１０９の詳細を図２に示す。まず、音声入力部から音声情報と音声入力が行われ時間情報を受信する（処理２０１）。次に、音声情報を普通文字へ文字変換を行う（処理２０２）。音声情報に対応した時間情報をもとに音声入力時刻と文字変換情報を音声データデータベース１１２に登録する（処理２０３）。図４（ｂ）は音声データデータベースに登録された際のデータ構造例である。

その後、速記文字と音声情報から文字の確定作業を行う。その手段として文字確定手段１１０の詳細を図３に示す。音声の発生時刻（一定時間音声なしの状態から音声が発生した時）と速記文字の記入開始時刻（一定時間文字の記入なしの状態から文字の記入が発生した時）の時差を考慮し、音声発生時刻と速記文字記入開始時刻の時差Ｔを求め、補正時間情報として保持する（処理３０１）。速記データデータベース１１１から、１文字づつ時間情報と文字情報を受け取り、速記文字の文字変換を行う（処理３０２）。文字変換の精度を高めるため、音声情報との速記文字比較処理を行う。文字変換候補が１文字ならば、文字の精度を確かなものにするため、音声情報との文字比較処理を行う。比較対象時間帯は、当該速記文字の時間情報から、速記文字時間情報−補正時間情報として、当範囲内で合致する音声情報があるかチェックを行う（処理３０３）。合致する文字がある場合は、文字確定情報データベース１１２へ、合致した文字を確定文字情報として登録する。（処理３０４）。合致する文字がない場合は、速記文字から変換された文字を文字確定情報データベース１１２へ未確定文字情報として登録する（処理３０５）。上記処理を全文字終了するまで行う（処理３０６）。

上記結果を、ディスプレイ１０５に表示する。表示に際しては、文字変換精度が高い確定文字情報、速記文字の記入誤りによる文字変換誤りや音声の文字変換誤り箇所と思われる箇所である未確定文字情報の箇所をビジュアル的に判明つくように表示し、キーボード１０６で文字の修正、編集を可能とする。
（実施例）
12:00:00に「あしたのてんき」と発話した内容を速記と音声で記録した処理を例にあげる。デジタルペン１０１で記入された速記文字は、速記文字入力部１０３を介して、速記文字制御部１０８を介して、１秒間隔毎に速記文字列を速記データデータベース１１１に登録する。登録例図４（ａ）は、速記文字入力が12:00:01に始まり、１秒間隔毎に速記文字列が登録された例である。また、アナウンスされた音声情報は、音声情報入力部１０４を介して、音声情報制御部１０９により、音声入力が行われた時間情報と、１秒間隔毎に音声情報と変換された文字を音声データデータベース１１２に登録する。登録例として、図４（ｂ）では、時刻12:00:00にアナウンスが始まり、「あしたのでんき」と文字変換され、時間情報と共に登録された例である。

以下、速記文字と音声情報が一致する場合について図３の処理フローを用いて説明する。文字確定制御部１１０では、まず、速記文字と音声である１秒を時差Ｔとする（処理３０１）。速記データデータベース１１１から、12:00:01に記載された最初の速記文字である速記文字１を読み出す、その際、文字変換を行い「あ」と変換される（処理３０２）。速記文字の時間情報である12:00:01から、時差Ｔを考慮した12:00:00の範囲指定時間内で音声データデータベース１１２に合致する文字があるか検索を行う（処理３０３）。「あ」の文字が存在するため、文字確定情報データベース１１３へ、「あ」を確定文字情報として登録する（処理３０４）。次に、速記データデータベース１１１から、12:00:01の次の速記文字である速記文字２を読み込み、文字変換を行う。文字変換の際、「し」「ち」に変換されたとする。範囲指定時間内の音声データデータベース１１２に「し」の文字が存在したため、文字確定情報データベース１１３へ、「し」を確定文字情報として登録する。

次に速記文字と音声情報が一致しない場合を説明する。速記データデータベース１１１から、12:00:02に記載された速記文字３を読み込み、文字変換を行う。文字変換の際、「な」と変換されたとする。範囲指定時間内の音声データデータベース１１２に「な」の文字が存在しないため、文字確定情報データベース１１３へ、「な」を未確定文字情報として登録する。

このようにして上記操作が終了したら、確定文字情報と未確定文字情報を、ディスプレイ１０５に表示し、修正、編集作業を可能とする。

本発明を実現するための機器構成の一例を示す図である。 音声情報の処理を行う一例の図である。 速記文字と音声情報を併用した文字変換確定手段の一例を示す図である。 速記文字、音声情報、文字変換確定結果の一例を示す図である。

符号の説明

１０１…デジタルペン、１０２…デジタルペーパー、１０３…速記文字入力部、１０４…音声情報入力部、１０５…ディスプレイ、１０６…キーボード、１０７…表示制御部、１０８…速記文字制御部、１０９…音声情報制御部、１１０…文字確定制御部、１１１…速記データデータベース、１１２…音声データデータベース、１１３…文字確定情報データベース、２０１…音声情報を受信する処理、２０２…音声情報を文字情報へ変換する処理、２０３…音声情報を登録する処理、３０１…音声と速記の時差を算出する処理、３０２…速記文字を文字変換する処理、３０３…音声と速記の文字比較をする処理、３０４…文字を登録する処理、３０５…誤り文字を登録する処理、３０６…音声と速記の比較を判定する処理、４０１…速記データデータベースの登録例、４０２…音声データデータベースの登録例、４０３…文字確定情報データベースの登録例。

Claims (2)

1. 速記文字を反訳する作業を支援するシステムであって、
   被記録内容を音声と速記文字とで記録する機能を備え、音声記録機能に音声取得時間記録機能を備え、速記文字記録機能としてユニークなドットパターンを備えたデジタルペーパーと、ドットパターン取得機能と取得時間記録機能とデータ送信機能を備えたデジタルペンと、該デジタルペンから送信されたデータを受信して取得ドットパターン変化を筆記ストロークに変換する端末とを備え、
   音声認識により文字変換を行う機能と、筆記ストローク情報を予め設定した速記文字パターンと照合して普通文字に反訳する機能とを備え、上記音声記録機能により取得した時間と上記速記文字記録機能により取得した時間の同期を取る機能と、各時間に対応して取得したそれぞれの文字情報を比較する、または比較を支援する機能を備えたことを特徴とするデジタルペンを用いた速記文字反訳作業支援システム。
2. 請求項１に記載のデジタルペンを用いた速記文字反訳作業支援システムにおいて、
   上記音声記録機能により取得した文字と上記速記文字記録機能により取得した文字との相違箇所を検出し、相違箇所についてどちらかを選択、または修正入力する機能を備えたことを特徴とするデジタルペンを用いた速記文字反訳作業支援システム。

Images