JP2013125553A - 情報処理装置、記録プログラム - Google Patents

Abstract

【課題】より自然な操作で会議、会合を進行させることができ、また議事内容を保存する技術を提供することを目的とする。
【解決手段】実施形態の情報処理装置は、パネル式の表示部と、タッチパネル式の入力部と、制御部とを有する。入力部は、表示部に積層配置され、接触検知により入力を受け付ける。制御部は、表示部に画像を表示させ、表示部に、入力部が接触検知した検知点の移動軌跡を描画させ、表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる。
【選択図】図４

Description

この明細書に記載の実施形態は、会議や会合での議事内容を記録する技術に関する。

会議、会合の議事録は、議事内容を別途テキスト化するか、ホワイトボードに書かれた内容を印刷する方法が一般的である。

しかしながら、会議中に比較検討のため並べられた状態や、その図を指してコメントされた内容は記録されず、言葉による間接的な記録となり、後日確認する際、わかりにくいものとなる。

実施形態は上述した問題点を解決するためになされたものであり、より自然な操作で会議、会合を進行させることができ、また議事内容を保存する技術を提供することを目的とする。

実施形態の情報処理装置は、パネル式の表示部と、タッチパネル式の入力部と、制御部とを有する。入力部は、表示部に積層配置され、接触検知により入力を受け付ける。制御部は、表示部に画像を表示させ、表示部に、入力部が接触検知した検知点の移動軌跡を描画させ、表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる。

実施形態の卓上型情報処理装置の外観を示す図である。 実施形態の卓上型情報処理装置のハードウェア構成例を示す図である。 実施形態の卓上型情報処理装置を上側から視認したときの図、およびタッチパネルディスプレイの表示例を示す図である。 会議、会合時のタッチパネルディスプレイの表示例を示す図である。 管理データの一例を示す図である。 会議、会合時の表示動作例、議事録画像を保存するときの動作例を示すフローチャートである。 会議、会合時の音声を保存するときの動作例を示すフローチャートである。

本実施形態では、卓上型の情報処理装置（コンピュータ）について説明する。本実施形態の卓上型情報処理装置は、平らな天板面に、タッチパネルディスプレイを有している。

タッチパネルディスプレイは、複数接触を同時に検出できるマルチタッチ機能を有し、タッチパネルディスプレイ上に描かれた線を画面上に表示する機能を有している。また卓上型情報処理装置は、複数人のユーザが同時にログインすることが可能である。

タッチパネルディスプレイ上に指もしくはタッチペンで線を描くと、その移動軌跡が画面上に表示される。その状態の画像（キャプチャ画像）を日時情報やログインユーザ情報、その時の会話の録音などと一緒に記録することができる。また、個々の画像データに描き込んだものは、その画像データに関連付けて記録され、保存される。ユーザが指やタッチペンなどで書いた線は、削除することもできる。またユーザは、描かれる線の色や太さを事前に用意されたものの中から選択することができる。

実施形態の卓上型情報処理装置は、手書き線だけでなく、キーボード（具体的にはキーボードを模した画像）を呼び出して、テキストフォントで書いた文を表示させることもできる。これら手書きやキーボードによる入力は、ディスプレイ上の作業領域すべてに対して受け付けることが可能である。

実施形態の卓上型情報処理装置は、音声マイクを備えており、音声そのものの録音を行う。また卓上型情報処理装置は、会議での音声データを音声認識によりをテキスト化して画面に表示する。また音声認識によりテキスト化された会話は、時間情報とともに記録される。

卓上型情報処理装置は、タッチパネルディスプレイで表示された画面全体をそのままキャプチャ保存することが可能で、そのデータには日時、卓上型情報処理装置の置かれている場所（会議室など）、ログインユーザの情報、会話の録音内容、音声認識の内容のテキスト情報が付加情報として保存される。

尚、画面全体のキャプチャは、画面上での動きの変化があった時点で全てを記録するのではなく、手書き入力が完了したと判断した直後や、図示しない画面上のボタンにより画面キャプチャが指示された時点で行われるよう構成してもよい。この場合、キャプチャした日付、時刻も合わせて保存されてもよく、ファイル名に時刻情報（日付の情報も含む）が盛り込まれてもよい。

また、画面全体ではなく、そこに表示されている個々のデータの表示の範囲内に書きこまれたものは、そのデータ自身に記録され保存することができる。

音声情報および音声認識によるテキスト情報、画面キャプチャ機能による画像データは、それぞれ時間情報を有しているため、それぞれが時間情報をもとにリンクされた状態でディスプレイ上への表示、音声再生が可能となる。

以下、図面を参照しつつ、本実施形態の態様について説明する。図１は、実施形態の卓上型情報処理装置１００の外観を示した図である。図１に示すように、卓上型情報処理装置１００はテーブル型（卓上型）の情報処理装置であり、その天板面上に、操作表示用の大型のタッチパネルディスプレイ５０が配置されている。

タッチパネルディスプレイ５０は、タッチパネル式のシート（入力部）がパネル式の表示部上に積層配置されている。またディスプレイ全面に受光機能があり、表面に置かれた物体、特に表面に文字、絵が印刷されたシートを接触対向させることで、シート上からの反射光を受光してデータ化するスキャナ機能を有する。

卓上型情報処理装置１００の下部には、例えば電子写真式の印刷エンジン（後述のプリンタユニット８０）が配置されている。卓上型情報処理装置１００の一側面には、この印刷エンジンで印刷されたシートの排出口がある。

タッチパネルディスプレイ５０は、装置内の制御部によってコントロールされ、印刷エンジンに対する印刷設定を入力する装置としても機能する。またコンピュータの表示装置としての機能も有している。タッチパネルディスプレイ５０は、マルチタッチ機能を有しており、複数の異なる位置での指の動きを検知可能である。

卓上型情報処理装置１００は、例えば非接触ＩＣカード等による認証により、複数人のユーザの同時ログインを許容する。複数ユーザが使用する際には、ユーザごとに使用可能な領域が区分けされ、ユーザはその領域ごとに使用する。卓上型情報処理装置１００を用いて複数人で会議、会合やプレゼンテーション、商談などを行うこともできる。

図２は、卓上型情報処理装置１００内部のハードウェア構成例を示すブロック図である。卓上型情報処理装置１００は、図２に示すように、プロセッサ１０、ＤＲＡＭ（Dynamic Random Access Memory）２０、ＲＯＭ（Read Only Memory）３０、ＨＤＤ（Hard Disk Drive）４０、タッチパネルディスプレイ５０、ネットワークＩ／Ｆ（Interface）６０、センサユニット７０、プリンタユニット８０、音声マイク９０を有する。これらは通信バスＢにより互いに制御信号、データの送受信を行う。図２では、各ユニットを直接的に制御するコントローラ等については図示していない。

プロセッサ１０は、例えばＣＰＵ（Central Processing Unit）などの演算処理装置であり、ＲＯＭ３０やＨＤＤ４０などに格納されているプログラムをＤＲＡＭ２０にロードし、演算実行することで、プログラムに従い様々な処理を行う。ＤＲＡＭ２０は、揮発性の主記憶装置である。ＲＯＭ３０は、永続的に記憶する不揮発性の記憶装置であり、システム起動時のＢＩＯＳ（Basic Input Output System）などが記憶されている。ＨＤＤ４０は、永続的に記憶可能な不揮発性の補助記憶装置であり、ユーザが使用するデータやプログラムはＨＤＤ４０に記憶される。

タッチパネルディスプレイ５０は、静電容量方式のタッチパネルの入力部（タッチパネル式の入力部）、およびフラット型パネルの表示部（パネル式の表示部）により構成されている。タッチパネルは、複数の同時接触を検知するマルチタッチに対応しており、接触位置に応じた座標値（Ｘ値、Ｙ値）を得ることができる。またフラット型パネルは、表示用の発光素子ととともに読み取り用の撮像素子がパネル全面に備えられており、物体読み取り機能（スキャナ機能）も有する。読み取りの際には、発光素子がシート面を照射し、この反射光を撮像素子が撮像（受光）する。

ネットワークＩ／Ｆ６０は、外部機器と通信を担うユニットであり、ＬＡＮ（Local Area Network）ボード、近距離無線通信を制御するユニットや機構、公衆回線網と接続されるＦＡＸボードなどを含む。センサユニット７０は、ユーザが所持するＩＤ（identification）カードを検知し、ＩＤカード内に記述されている情報を読み取るユニットである。読み取られた情報は、卓上型情報処理装置１００のログイン認証などに用いられる。このＩＤカードは、非接触型のＩＣカードであり、ユーザの識別情報が少なくとも記憶されている。

プリンタユニット８０は、画像データを印刷するユニットである。プリンタユニット８０は、トナーを収容するトナーカートリッジ、シートを収容するカセット、プロセスユニット（感光体ドラム、帯電部、露光部、中間転写ベルトなど）、加熱定着器、排出トレイを有し、カセットに収容されているシートを、プロセスユニット、加熱定着器、排出トレイの順に搬送する搬送部を有する。

音声マイク９０は、外部で発せられる音声を取得し、デジタル信号に変換するユニットである。変換された信号は、プロセッサ１０により所定のフォーマットに変換されてＨＤＤ４０に保存される。

図３（Ａ）は、卓上型情報処理装置１００を上側から視認したときの平面図であり、図３（Ｂ）は、タッチパネルディスプレイ５０の表示例を示す図である。卓上型情報処理装置１００は、複数ユーザの同時ログインを可能としており、複数ユーザのデスクトップ画面を同時に表示させることができる。センサユニット７０は、本例では天板付近の四方側面の中央部にそれぞれ配置されている（計４つ）。ＩＤカード２００Ａ〜２００Ｄを携帯したユーザがセンサユニット７０に近接することで、センサユニット７０がＩＤカード内の情報を読み取り、ログイン認証が行われる。ＩＤカード内の情報が事前にＨＤＤ４０もしくは外部の認証機構に登録されているものである場合、認証適合となり、そのユーザの居る向きに各個人のデスクトップ画面が表示される（図３（Ｂ）参照）。ユーザの居る向きは、いずれのセンサユニット７０からＩＤカード情報が取得されたかにより決定される。

またタッチパネルディスプレイ５０は、各個人が使用できる範囲を示す境界も表示する。図３（Ｂ）の例では破線ラインとしたが、これに類するものであり、使用範囲がユーザに分かるものであればどのような態様でもよい。また図３（Ｂ）の例は、４人のユーザが同時に使用している例であり、各ユーザの作業領域は、領域Ｒ１〜Ｒ４となっている。ＩＤカード２００Ａを所持しているユーザは領域Ｒ１を作業領域として使用し、以下同様にＩＤカード２００Ｂを所持しているユーザは領域Ｒ２を、ＩＤカード２００Ｃを所持しているユーザは領域Ｒ３を、ＩＤカード２００Ｄを所持しているユーザは領域Ｒ４を、それぞれ作業領域として使用する。

タッチパネルディスプレイ５０は、図３（Ｂ）に示すようにユーザの居る位置に応じて、ユーザにとって正規の向きとなるようにデスクトップ画面を表示する。すなわち、ユーザの居る方が画面下方となり、向かい側が画面上方となる向きでデスクトップ画面を表示する。またログイン時のデスクトップ画面は、ユーザが前回ログアウトしたときの状態で表示されてもよく、事前にユーザごとに定義されたデフォルト状態で表示されてもよい。

次に、卓上型情報処理装置１００の会議機能の具体的な態様例について、図４を参照しつつ説明する。図４は、所定のジェスチャー操作により、会議機能を有効にした場合の表示例である。本実施形態のタッチパネルディスプレイ５０は、図４の横軸をＸ、縦軸をＹとし、左上端を原点座標（０，０）とした座標系とする。

会議機能が有効になると、ログイン認証を済ませた全てのユーザのアイコンが表示される（図４のＵ１〜Ｕ３）。卓上型情報処理装置１００は、ユーザの不図示のボタン押下や所定のジェスチャー操作により、会議資料の画像をＨＤＤ４０や外部機器から取得し、タッチパネルディスプレイ５０に表示する。図４の例では、Ｐ１〜Ｐ４の画像が表示されている。このように表示された画像は、ユーザの操作により回転、移動することができる。本実施形態では、タッチパネルディスプレイ５０が画像の表示領域内で複数点の接触（例えば親指、人差し指、中指、薬指、小指の５点接触）を検知した場合、各接触点の移動に合わせて当該画像が回転、移動する。ユーザは、同一画像を複数の５本指でタッチし、スライド移動させることで、当該画像がスライド移動する。またユーザは、同一画像を複数の５本指でタッチし、ねじるように指先を移動させることで、当該画像が回転する。この指先の移動検知や表示は、プロセッサ１０の制御に依拠する。

ユーザは、表示された資料（画像）を参照しつつ会議を進め、必要事項を専用ペンもしくは指先でタッチパネルディスプレイ５０上に書き込む。このときの手書き操作の一例を、画像Ｐ１を用いて説明する。ユーザは、画像Ｐ１を１本の指先でタッチして選択し、この接触を維持しながら他方の手で必要事項を書き込む。書き終わったら、画像Ｐ１での接触を解除する（タッチしていた１本の指先を離す）。図４の例では、画像Ｐ１がタッチされた状態で、手書きオブジェクトＯＢＪ１（画像Ｐ１内にある手書きの円形状、円形状を指し示す矢印、矢印始点にある「これを修正」の文字）が記述され、画像Ｐ１の接触が解除されたとする。この操作により、画像Ｐ１と手書きオブジェクトＯＢＪ１とが関連付けられる。また同様操作により、手書きオブジェクトＯＢＪ２（画像Ｐ１内にある手書きの縦長四角形、縦長四角形を指し示す矢印、矢印始点にある「このＲを大きく」の文字画像）も画像Ｐ１と関連付けられる。画像と関連付けられた手書きオブジェクトは、当該画像が移動、回転した場合、連動して回転、移動し、当該画像が表示上消去された場合、関連付けられた手書きオブジェクトも表示上消去される。

画像が１本指でタッチされた場合、ＤＲＡＭ２０には、手書きオブジェクト用の画像を記憶するための領域が確保される。１本指がタッチされた状態で、他方の手の指先やペン先をスライドさせることで、タッチパネルディスプレイ５０はその軌跡像を描画する。このように得られた手書きオブジェクトは、画像の１本指の接触が解除された時点で、透過型の画像形式（描画した図柄以外は透過する形式）でＨＤＤ４０もしくはＤＲＡＭ２０に保存される。尚、ＯＢＪ３は、いずれの画像にも関連付けられていない手書きオブジェクトであり、手書き入力があってから一定時間後もしくは所定のジェスチャーがあった場合に透過型の画像形式で保存される。

タッチパネルディスプレイ５０は、図４の領域Ｒ１１に音声データの認識結果をテキストで表示する。またいずれのユーザが発した言葉であるかを識別する機能（話者識別機能）がある場合、ユーザ名もテキストで表示される。音声認識、話者識別は、既存の技術が用いられる。話者識別は、ログイン認証のあったユーザのみを識別対象範囲として検索され、同定される。また図４では明示されていないが、現在日時の情報も領域Ｒ１１に表示される。

タッチパネルディスプレイ５０は、領域Ｒ１２にキーボードを模した画像を表示してユーザの入力を受け付ける。入力された文字は領域Ｒ１３に表示される。ユーザが領域Ｒ１３を指先でタッチして回転、移動させた場合に、その動きに追随して領域Ｒ１３内の表示文字列も回転、移動するという実装でもよい。この場合、ユーザは領域Ｒ１３をタッチし、その後関連付けたい画像をタッチすることで、これらが関連付けられる。画像と関連付けられたテキストデータもまた、上記の手書きオブジェクトと同様に透過型の画像形式として保存される。画像が回転、移動、消去した際には、透過型の画像形式となったテキストデータも追随して回転、移動、消去する。

ユーザは、不図示のダイアログを用いて手書きオブジェクトの線の太さや色を変えることができる。また不図示のダイアログを用いて、事前に定義された図形、図柄、画像を選択し、タッチパネルディスプレイ５０に描画させることができる。

また手書き操作を行っているユーザを識別し、ユーザに応じた色、線の太さで描画する実装でもよい。ユーザの識別については、ユーザ固有の専用ペン（ペンから識別情報が出力される）を使用する運用にしたり、指先接触の場合は、従前の人体通信技術を応用したりする。人体通信の場合、ユーザの指先がタッチパネルディスプレイ５０に接触することで、ユーザ所持のＩＤカードの識別情報を、人体を伝達媒体として取得可能となる。ＩＤカードは、首にぶら下げた状態やポケットにしまった状態であってもよい。当然、ＩＤカードや卓上型情報処理装置１００には人体通信を可能にするユニットを含ませることが必要となる。

手書きオブジェクトの一部分もしくは全部は、所定のジェスチャーや不図示の消しゴムアイコンが選択された場合、表示上消去される。ユーザは、例えば消しゴムアイコンを選択して、手書きオブジェクト上をペン先や指先でスライドさせることで、スライドした領域の描画が消去される。消去編集した後、手書きオブジェクト画像のファイルがその消去編集後の画像に更新される実装でもよいし、履歴を残すため、新たに別ファイルとして消去編集後の画像が生成される実装でもよい。

図５（Ａ）は、会議資料用の画像に関しての管理データであり、図５（Ｂ）は、手書きオブジェクトに関しての管理データである。これら管理データは、ＨＤＤ４０もしくはＤＲＡＭ２０に記憶される。画像に関しての管理データは、自動採番の画像識別情報（画像ＩＤ）、画像のファイル名、現在の画像中心座標値、画像中心を回転軸とした現在の回転角度（Ｘ軸を０°とした角度）の各データが対応付けられている（図５（Ａ）参照）。また手書きオブジェクトは、自動採番のオブジェクト識別情報（オブジェクトＩＤ）、関連付けられた画像の識別情報（画像ＩＤ）、関連付けられた画像の中心座標を基準とした相対座標値、手書きオブジェクト画像のファイル名の各データが対応付けられて記憶される。本例では、図５（Ｂ）に示す相対座標値は手書きオブジェクト画像の中心座標値に相応する。また手書きオブジェクト画像のファイル名には、手書きオブジェクトが生成された日時の情報（年、月、日、時、分、秒）が含まれる。尚、図４のＯＢＪ３のように、画像と関連付けられていない手書きオブジェクトは、画像ＩＤの欄がＮＵＬＬ値となる。

図５（Ｂ）に示す管理データにより、画像（例えば図４のＰ１）とオブジェクト画像（例えば図４のＯＢＪ１）とが対応付けられる。画像Ｐ１がタッチパネルディスプレイ５０上で回転を加えず移動する際、プロセッサ１０は、図５（Ａ）に示す座標値を更新する。プロセッサ１０は、ＯＢＪ１が画像Ｐ１との位置関係を相対座標値分で維持しつつ、画像Ｐ１と連動して同じ方向に移動するようにタッチパネルディスプレイ５０の表示を制御する。ＯＢＪ２についても同様である。

また画像Ｐ１がスライド移動せずに回転した際は、プロセッサ１０は、図５（Ａ）に示す回転角度を更新する。プロセッサ１０は、ＯＢＪ１が図５（Ｂ）に示す対応関係に基づき同じ角度分回転するようにタッチパネルディスプレイ５０の表示を制御する。このときの動作について説明する。プロセッサ１０は、まずＯＢＪ１を画像Ｐ１と同じ角度で回転させた画像を作成する。プロセッサ１０は、相対座標値を用いて、画像Ｐ１の中心座標からＯＢＪ１の中心座標までの距離を算出し、算出した距離と回転角度で、ＯＢＪ１の移動後の座標値（画像Ｐ１の中心座標を基準とした座標値）を算出する。プロセッサ１０は、この算出した座標値に、画像Ｐ１の中心座標値（図５（Ａ）の座標値）を加算して、表示領域の左上端を原点座標（０，０）とした絶対座標系での座標値を算出する。プロセッサ１０は、ＯＢＪ１の中心がこの絶対座標系の座標位置にくるように、先に作成したＯＢＪ１の回転画像を表示させる。このようにすることで、位置関係を相対座標値分で維持しつつ、画像Ｐ１の回転と連動してＯＢＪ１を回転させることができる。ＯＢＪ２についても同様である。

図６は、卓上型情報処理装置１００による画像の回転／移動、手書きオブジェクトの描画、キーボードによるテキスト文字の表示の動作例を示すフローチャートである。このフローチャートは、プロセッサ１０がＨＤＤ４０（もしくはＲＯＭ３０）に事前に導入されているプログラムをＤＲＡＭ２０に展開し、プログラムコードに従い各ハードウェアを制御することで実現される。

まず、ユーザにより所定の画像取り込み操作が行われると（ＡＣＴ００１、Ｙｅｓ）、タッチパネルディスプレイ５０は、プロセッサ１０からの指示に従い当該画像を表示する（ＡＣＴ００２）。取り込み操作は、ダイアログから画像を選択する手法でもよく、他の機器から取得する方法でもよい。またタッチパネルディスプレイ５０のスキャナ機能を用いて、資料シートをスキャンして画像を取り込む方法でもよい。プロセッサ１０は、取り込まれた画像についての管理データ（図５（Ａ）の１レコード）を作成する。

タッチパネルディスプレイ５０がユーザの指先などの接触を検知しない場合（ＡＣＴ００３、Ｎｏ）、処理はＡＣＴ０１６に移行する。タッチパネルディスプレイ５０が接触を検知した場合（ＡＣＴ００３、Ｙｅｓ）、プロセッサ１０は、この検知位置がＡＣＴ００２で取り込んだ画像の領域内であるかを判定する（ＡＣＴ００４）。画像領域内である場合（ＡＣＴ００４、Ｙｅｓ）、プロセッサ１０は一定期間内（例えば０．５秒内）に同領域内で複数点検知したかを判定する（ＡＣＴ０１１）。このＡＣＴ０１１の判定で、Ｎｏの場合は手書きオブジェクトを描画する処理となり、Ｙｅｓの場合は画像を移動／回転する処理となる。

複数点検知でない場合（ＡＣＴ０１１、Ｎｏ）、プロセッサ１０は、システムクロックもしくは外部から現在の時刻情報（日付も含む。以下同様）を取得し（ＡＣＴ０１２）、他点の接触位置（ＡＣＴ００３では使用しなかった他方の手の指先接触点）にオブジェクトを描画する（ＡＣＴ０１３）。タッチパネルディスプレイ５０は、ＡＣＴ００３での接触が解除されるまで、この他点の軌跡を描画する（ＡＣＴ０１４、Ｎｏのループ）。尚、消しゴムアイコンなどが選択されている場合、ＡＣＴ０１３では、当該オブジェクトの一部分もしくは全部の消去処理が行われる。

ＡＣＴ００３で行われた接触が解除されると（ＡＣＴ０１４、Ｙｅｓ）、プロセッサ１０は、ここまで描画された手書きオブジェクトが透過型画像データとしてＨＤＤ４０もしくはＤＲＡＭ２０に記憶させる（ＡＣＴ０１５）。本例では、プロセッサ１０は、ＡＣＴ０１２で取得される描画開始時刻、およびＡＣＴ０１４で接触解除された時刻である終了時刻の情報を、手書きオブジェクトの画像データのファイル名に含ませる。またＡＣＴ０１５が実施されるとき、プロセッサ１０は、図５（Ｂ）に示す管理データ（１レコード分）を作成する。その後処理はＡＣＴ０１６に進む。

このＡＣＴ００３〜ＡＣＴ０１５までは、ユーザが例えば左手の１本指で画像をタッチして対応付ける画像を選択し、右手の指先やペン先で手書きオブジェクトを描画する動作となる。

ＡＣＴ０１１の判定に戻る。画像領域内で複数点検知される場合（ＡＣＴ０１１、Ｙｅｓ）、タッチパネルディスプレイ５０は、検知位置の移動に従い、当該画像を移動もしくは回転させるよう表示する（移動、回転の両方同時でもよい）（ＡＣＴ０２１）。プロセッサ１０は、各接触点が略同じ方向、且つ略同じ距離分移動する場合は画像の移動として扱い、そうで無い場合は回転として扱う。回転の場合、プロセッサ１０は、各接触点の移動方向から回転中心を算出し、この回転中心から任意の接触点（本例では回転中心から最も遠い接触点とする）までの距離、およびこの任意の接触点の移動距離を用いて、回転角度を算出する。タッチパネルディスプレイ１０は、この角度で画像を回転させる。ＡＣＴ０２１により、図５（Ａ）で示す座標値、回転角度が更新される。

移動、回転した画像と対応付けられた手書きオブジェクトがある場合、タッチパネルディスプレイ５０は、この画像と同じ移動量、回転角度で、対応付けられた手書きオブジェクトを移動、回転させる（ＡＣＴ０２２）。プロセッサ１０は、図５（Ａ）、図５（Ｂ）の管理データに基づき手書きオブジェクトの移動後の座標を算出し、回転角度を取得して描画の制御を行う。この動作後、処理はＡＣＴ０１６に進む。

尚、画像回転の場合、本例では画像内の接触点の位置にかかわらずその画像の中心点を回転軸にして回転表示するものとするが、複数の接触点の重心となる点を回転軸として回転表示する、という実装でもよい。この場合、手書きオブジェクト画像も上記重心点を回転軸として回転移動する。

ＡＣＴ００４の判定に戻る。画像領域内で無い場合（ＡＣＴ００４、Ｎｏ）、プロセッサ１０は、接触位置がキーボード内（図４の領域Ｒ１２内）であるかを判定する（ＡＣＴ０３１）。キーボード内である場合（ＡＣＴ０３１、Ｙｅｓ）、タッチパネルディスプレイ５０は、入力された文字を領域Ｒ１３内に表示する（ＡＣＴ０３２）。その後、ＡＣＴ０１６に進む。尚、本フローチャートには明示しないが、領域Ｒ１３もタッチおよびスライド操作により移動、回転を行うことができる実装でもよい。この場合、領域Ｒ１３がタッチされ、その後画像がタッチされることで、画像との対応付けも行うことができ、画像の動きに従いテキスト画像も移動、回転する。対応付けが行われた後、領域Ｒ１３は新たなテキスト表示領域となり、新たな入力テキストを表示することができる。

ＡＣＴ０３１の判定に戻る。キーボード内で無い場合（ＡＣＴ０３１、Ｎｏ）、本実施形態では、プロセッサ１０は手書きオブジェクトの描画処理を行う（ＡＣＴ０４１）。この手書きオブジェクトは、いずれの画像にも対応付けられないオブジェクトとなり、図５（Ｂ）の画像ＩＤ欄がＮＵＬＬ値のオブジェクトとなる。プロセッサ１０は、一定期間内に書き込まれた手書きオブジェクトを１つの画像データとして保存し（ＡＣＴ０４２）、ＡＣＴ０１６に進む。このときプロセッサ１０は、図５（Ｂ）に示す管理データに当該手書きオブジェクトの１レコードを登録する。

上記各動作は、会議終了の規定ジェスチャー操作や不図示の会議終了ボタン押下などが行われるまで繰り返し行われる（ＡＣＴ０１６、Ｎｏのループ）。終了操作が行われると（ＡＣＴ０１６、Ｙｅｓ）、プロセッサ１０は、タッチパネルディスプレイ５０に表示されている全領域の画像（キャプチャ画像）をＨＤＤ４０に保存し（ＡＣＴ０５１）、入力されたテキスト（ＡＣＴ０３２で入力されたテキスト）を規定の文字コード形式でＨＤＤ４０に保存する（ＡＣＴ０５２）。また、図５（Ａ）、図５（Ｂ）に例示する管理データや手書きオブジェクトの画像データもＨＤＤ４０に永続的に保存される。

プロセッサ１０は、ＡＣＴ０５１、ＡＣＴ０５２で保存される各データのファイル名に、会議の日付、開始時刻、終了時刻のデータ、ログインユーザ名、卓上型情報処理装置１００の識別情報を含ませて保存する。ログインユーザ名を含ませることで、会議参加者を特定でき、卓上型情報処理装置１００の識別情報を含ませることで、卓上型情報処理装置の置かれている場所（会議室など）を特定することが可能となる。

プリンタユニット８０は、これら全領域の画像データ、およびテキストデータをシート上に印刷出力する（ＡＣＴ０５３）。このときプリンタユニット８０は、会議の日付、開始時刻、終了時刻、ログインユーザ名、卓上型情報処理装置１００の識別情報を印字する実装でもよい。

また図６のフローチャートでは、表示領域全域の画像保存はＡＣＴ０５１のみとしているが、さまざまなタイミングで表示領域全域のキャプチャ画像を保存してもよい。例えば、一定時間間隔（例えば１分）や、ＡＣＴ０１５やＡＣＴ０４２が行われる直後、ユーザの所定ジェスチャー操作により、都度行われてもよい。この場合のファイル名も、上記同様形式のファイル名となる。日時情報などのデータをファイル名に付加する実装以外に、キャプチャ画像データ内の画像として付加する実装でもよい。

図７は、音声データの記録を保存する際のフローチャートを示す図である。ユーザにより音声録音ボタン（不図示）が押下されると、プロセッサ１０は、規定のファイル形式で音声データの録音を開始する（ＡＣＴ１０１）。プロセッサ１０は、音声マイク９０から音声データの入力がある場合（ＡＣＴ１０２、Ｙｅｓ）、現在の日付、時刻の情報を取得し（ＡＣＴ１０３）、従前の音声認識技術を用いて音声をテキストデータに変換する（ＡＣＴ１０４）。またプロセッサ１０は、従前の話者識別技術を用いていずれのユーザ（認証済みのユーザ）が発した音声かを識別する（ＡＣＴ１０５）。

プロセッサ１０は、現在の日時情報、話者名、音声テキストの順となるように整形した文字列を作成し、タッチパネルディスプレイ５０はこの文字列を領域Ｒ１１（図４参照）に表示する（ＡＣＴ１０６）。ＡＣＴ１０２〜ＡＣＴ１０６の動作は、録音停止操作が行われるまで繰り返し実施される（ＡＣＴ１０７、Ｎｏのループ）。録音停止操作が行われる場合（ＡＣＴ１０７、Ｙｅｓ）、プロセッサ１０は、録音を停止し（ＡＣＴ１０８）、音声データ、領域Ｒ１１に表示されたテキストデータをＨＤＤ４０内に保存する（ＡＣＴ１０９）。このときに保存される各ファイルの名前には、会議の日付、録音開始時刻、録音終了時刻、ログインユーザ名、卓上型情報処理装置１００の識別情報が含まれる。

尚、ＡＣＴ１０２の判定で否定である場合（ＡＣＴ１０２、Ｎｏ）、処理はＡＣＴ１０７に進む。

上記例では、画像と手書きオブジェクトとを対応付けるために、ユーザが画像をタッチし、その接触が維持されている間に書き込む、という実装としているが、これ以外にも様々な方法が考えられる。他の例としては、ユーザが画像をタッチした後に一定期間内に描かれたものを当該画像と対応させる、という実装がある。

また上記例では、日時情報やログインユーザ名、卓上型情報処理装置の識別情報の付加データを、キャプチャ画像などの記録データのファイル名に付加する実装例について説明したが、態様はこれに限定されない。記録データと付加データを対応付けて記憶される実装であればよい。また付加データの種類は、これに限らない。会議名称や会議室名など、卓上型情報処理装置が取得可能なデータであれば、どのようなデータであっても構わない。

上記例では、手書き描画とするか、画像の移動／回転とするかの切り分けは、画像の表示領域内で１本指での接触であるか複数指での接触であるかを判定することで行っているが、その他にも様々な手法がある。一例を示すと、画像の表示領域内をタッチし、例えば円の軌跡を描くジェスチャー操作を行うと、それ以降の一定期間は手書き描画とする、という実装でもよいし、逆に円の軌跡を描くことで画像が回転する、という実装も考えられる。このように、ジェスチャー操作には様々な態様があり、どのようなジェスチャー操作で切り分け制御しても構わない。

上記例では、キャプチャ画像をタッチパネルディスプレイ５０の全表示領域に表示されている状態の画像データとしたが、タッチパネルディスプレイ５０の一部の表示領域でもよい。このキャプチャ対象の領域をユーザが指定する実装でも当然構わない。

上記動作をコンピュータに実行させるための記録プログラムや会議プログラムが提供されてもよい。本実施形態を例にして説明すると、ＨＤＤ４０にこのプログラムが事前に記憶されており、プロセッサ１０がこのプログラムを読み出してＤＲＡＭ２０に展開し、演算実行する。

本実施形態では装置内部に発明を実施する機能が予め記録されている場合で説明をしたが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

制御部は、実施形態のプロセッサ１０、ＤＲＡＭ２０、通信バス９０を少なくとも有する構成に相当する。またプロセッサ１０、ＤＲＡＭ２０、通信バス９０などの各ハードウェアと協働して動作するプログラムは、ＨＤＤ４０（ＲＯＭ３０でもよい）に事前に記憶されており、プロセッサ１０によりＤＲＡＭ２０にロードされ、演算実行される。また記憶部は、ＤＲＡＭ２０、ＨＤＤ４０に相当する。表示部、入力部は、タッチパネルディスプレイ５０に相当する。

以上に詳説したように、本実施形態の態様により、自然な操作で会議、会合を進行させることができ、また議事内容を保存することができる。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、すべて本発明の範囲内のものである。

１０ プロセッサ、２０ ＤＲＡＭ、３０ ＲＯＭ、４０ ＨＤＤ、５０ タッチパネルディスプレイ、５１ タッチパネルディスプレイ、５２ 撮像ユニット、５３ 発光ユニット、６０ ネットワークＩ／Ｆ、７０ センサユニット、８０ プリンタユニット、９０ 音声マイク、Ｂ 通信バス、卓上型情報処理装置１００（情報処理装置）。

Claims (6)

1. パネル式の表示部と、
   前記表示部に積層配置され、接触検知により入力を受け付けるタッチパネル式の入力部と、
   前記表示部に画像を表示させ、
   前記表示部に、前記入力部が接触検知した検知点の移動軌跡を描画させ、
   前記表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる制御部と、
   を有する情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記制御部は、前記画像と、前記移動軌跡の描画画像とを対応付けて記憶部に記憶させる
   情報処理装置。
3. 請求項２に記載の情報処理装置において、
   前記制御部は、前記表示部で表示されている前記画像が前記入力部の接触検知に基づき移動もしくは回転のいずれか一方もしくは両方するように、前記表示部を制御し、且つ、前記描画画像を、前記対応付けに基づき前記画像の動きに追随して移動、回転するように前記表示部を制御する
   情報処理装置。
4. 請求項１乃至３のいずれか１項に記載の情報処理装置において、さらに、
   外部の音声を取得する音声マイクを有し、
   前記制御部は、前記音声マイクにより得られた音声データを、日時情報を含めて記憶部に記憶させる
   情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記制御部は、前記音声データを、文字列のテキストデータに変換し、
   前記表示部は、前記テキストデータを表示する
   情報処理装置。
6. パネル式の表示部と、前記表示部に積層配置され、接触検知により入力を受け付けるタッチパネル式の入力部とを有するコンピュータに実行させるためのプログラムであり、
   前記表示部に画像を表示させ、
   前記表示部に、前記入力部が接触検知した検知点の移動軌跡を描画させ、
   前記表示部の表示領域内で表示されている状態のキャプチャ画像を、日時情報を含めて記憶部に記憶させる
   処理をコンピュータに実行させるための記録プログラム。

Images