JP6045175B2 - 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム - Google Patents

情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム Download PDF

Info

Publication number
JP6045175B2
JP6045175B2 JP2012086175A JP2012086175A JP6045175B2 JP 6045175 B2 JP6045175 B2 JP 6045175B2 JP 2012086175 A JP2012086175 A JP 2012086175A JP 2012086175 A JP2012086175 A JP 2012086175A JP 6045175 B2 JP6045175 B2 JP 6045175B2
Authority
JP
Japan
Prior art keywords
voice
time
input
reading
voice input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012086175A
Other languages
English (en)
Other versions
JP2013218001A (ja
Inventor
裕一朗 伊藤
裕一朗 伊藤
寿和 神
寿和 神
隆太 川島
隆太 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Nintendo Co Ltd
Original Assignee
Tohoku University NUC
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Nintendo Co Ltd filed Critical Tohoku University NUC
Priority to JP2012086175A priority Critical patent/JP6045175B2/ja
Priority to US13/593,779 priority patent/US10096257B2/en
Publication of JP2013218001A publication Critical patent/JP2013218001A/ja
Application granted granted Critical
Publication of JP6045175B2 publication Critical patent/JP6045175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、情報を提示するとともに提示した情報に関連してユーザが音声を入力するための情報処理プログラム、情報処理装置、情報処理方法及び情報処理システムに関するものである。
従来、情報を提示するとともに提示した情報に関連してユーザが音声を入力するための装置が知られている(例えば特許文献1を参照)。この装置にはマイクが接続されており、音声認識部がマイクを通して入力される音声信号をデジタル変換処理してデジタルデータを生成した上で、音声の内容を認識する。具体的には、特許文献1の装置では、問題を提示するとともに、その問題に対する解答の音声入力を受け付けて、受け付けた音声に対して音声認識することで、解答が正解であるか否かを判断する。
特開2007−130068号公報(0093−0095段落)
本発明は、情報を提示するとともに提示した情報に関連してユーザが音声を入力するための新規な情報処理プログラム、情報処理装置、情報処理方法及び情報処理システムを提供することを目的とする。
本発明の情報処理プログラムは、情報処理装置を、音読対象を提示する提示手段、音声を入力する音声入力手段、前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段、及び前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段として機能させ、前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する。
この構成により、音声入力時間と音声入力後の無音時間に基づいて音読対象が音読されたか否かが判定されるので、一定の音声入力時間の後に一定の無音時間があった場合に音読対象が音読されたと判定する等の音声入力の判定ができる。また、音声入力時間は途中で無音時間があっても累積して計測され、無音時間は継続した時間として計測されて、途中で音声入力があった場合には無音時間はリセットされる。なお、無音時間は、まったく音声入力がない状態の時間のほか、入力される音声の大きさが所定の閾値に満たない状態を含んでもよい。
上記の情報処理プログラムにおいて、前記音読判定手段は、前記累積手段により累積された前記音声入力時間が第1の閾値に達した後に継続した無音時間が第2の閾値に達したときに、前記音読対象が音読されたと判定してよい。
この構成により、音読対象に関連した音読の最中に無音時間があった場合にも、音声入力時間が未だ第1の閾値に達していない場合には、音読対象が音読されたとは判定されない。また、無音時間が第2の閾値の長さだけ継続しない場合には、音読対象が音読されたとは判定されない。なお、音声入力時間についての上記の第1の閾値と無音時間についての上記の第2の閾値とは同じでも異なっていてもよい。
上記の情報処理プログラムにおいて、前記第1の閾値は、提示された音読対象の内容に基づいて決定されてよい。
この構成により、音読対象の内容に応じて第1の閾値が決定される。第1の閾値は、音読対象の内容に基づいて音読所要時間が求められ、この音読所要時間に基づいて決定されてよい。具体的には、第1の閾値は、例えば音読対象が文章である場合には、文章の長さ(文字数)に従って決定されてよく、レベルに応じた係数を文章の長さにかけて決定されてもよい。
上記の情報処理プログラムは、前記情報処理装置を、前記音読判定手段により前記音読対象が音読されたと判定された場合に、前記提示手段に、前記音読対象の提示を継続したまま、前記音読対象の提示の終了をユーザに指示させるための指示手段を提示させる処理を行なう制御手段として機能させてよい。
音声入力時間及びその後の無音時間に基づいて音読対象の音読が完了したと判断できる場合にも、実際にはユーザの音読の速度が遅くて、未だ音読対象の音読を完了していない状態で無音時間が生じることもある。上記の構成によれば、このような場合にも音読対象の提示は継続され、ユーザは音読対象の音読が完了したときに、音読対象の提示の終了を指示できる。また、音声入力時間及びその後の無音時間に基づいて音読対象の音読が完了したと判断された場合に、実際にユーザが音読対象の音読を完了している場合には、ユーザは、指示手段で音読対象の提示の終了を指示することで、直ちに音読対象の提示を終了させて次の処理に移ることができる。音読対象の提示の終了をユーザに指示させるための指示手段は、次の音読対象の提示を指示するものであってよく、音読対象の提示を終了して次の処理の内容の提示を指示するものであってもよい。
上記の情報処理プログラムにおいて、前記制御手段は、前記提示手段に前記指示手段を提示させた後に、無音であってかつ前記指示手段への指示がない時間が第3の閾値に達したときに、前記指示手段への指示を促すための処理を行なってよい。
上記の通り、音声入力時間及びその後の無音時間に基づいて音読対象の音読が完了したと判断できる場合に、直ちに音読対象の提示を終了するのではなく、提示手段に、音読対象の提示を継続したまま、音読対象の提示の終了をユーザに指示させるための指示手段を提示させるようにしているが、このようにして指示手段を提示させた状態で、音読も指示手段への指示もされていない時間が一定時間以上となった場合には、指示手段への指示を促すことで、次の処理への移行を促進できる。
上記の情報処理プログラムにおいて、前記音読判定手段は、前記音声入力時間が第4の閾値に達したときに、無音時間に関わらず、前記音読対象が音読されたと判定してよい。
本情報処理装置では、音声入力手段にユーザの音読による音声を入力することを想定しているが、音声入力手段には、ユーザの音読による音声がない状態でも、ユーザの周りの音(騒音)が定常的に入力されて、時間計測手段がこの騒音が入力された時間をも音声入力時間として計測することがある。上記の構成によれば、このような定常的な騒音が入力されて無音の状態となることなく音声入力時間が第4の閾値に達したときには、音読対象が音読されたと判定されるので、定常的な騒音が入力されて無音の状態となることない場合にも、適切に音読対象の提示を制御できる。
上記の情報処理プログラムにおいて、前記音読対象は文章であり、前記文章中のターゲット語自体の表示態様を変更するか、または当該ターゲット語にマークが付されていてよく、上記の情報処理プログラムは、前記情報処理装置を、前記ターゲット語のユーザによる入力を受け付ける受付手段、および前記受付手段により受け付けられた入力が前記ターゲット語に一致するか否かの正解判定を行なう正解判定手段としてさらに機能させてよい。
この構成によれば、リーディングスパンテストを実行可能な情報処理装置を提供できる。
本発明の別の態様は、情報処理装置であって、この情報処理装置は、音読対象を提示する提示手段と、音声を入力する音声入力手段と、前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段と、前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段とを備え、前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する。
この構成によっても、音声入力時間と音声入力後の無音時間に基づいて音読対象が音読されたか否かを判定するので、一定の音声入力時間の後に一定の無音時間があった場合に音読対象が音読されたと判定する等の音声入力の判定ができ、リーディングスパンテストや書籍の朗読等のための音読対象の提示を情報処理によって行なうことができる。また、音声入力時間は途中で無音時間があっても累積して計測され、無音時間は継続した時間として計測されて、途中で音声入力があった場合には無音時間はリセットされる。
本発明の別の態様は、情報処理方法であって、この情報処理方法は、音読対象を提示する提示ステップと、音声の入力を受け付ける音声入力ステップと、前記音声入力ステップにて音声が入力された音声入力時間と音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定ステップと、前記音声入力ステップで音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積ステップとを含み、前記音読判定ステップは、前記累積ステップで累積された音声入力時間と前記音声入力ステップで音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する。
この構成によっても、音声入力時間と音声入力後の無音時間に基づいて音読対象が音読されたか否かを判定するので、一定の音声入力時間の後に一定の無音時間があった場合に音読対象が音読されたと判定する等の音声入力の判定ができ、リーディングスパンテストや書籍の朗読等のための音読対象の提示を情報処理によって行なうことができる。また、音声入力時間は途中で無音時間があっても累積して計測され、無音時間は継続した時間として計測されて、途中で音声入力があった場合には無音時間はリセットされる。
本発明の別の態様は、情報処理システムであって、この情報処理システムは、音読対象を提示する提示手段と、音声を入力する音声入力手段と、前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段と、前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段とを備え、前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する。
この構成によっても、音声入力時間と音声入力後の無音時間に基づいて音読対象が音読されたか否かを判定するので、一定の音声入力時間の後に一定の無音時間があった場合に音読対象が音読されたと判定する等の音声入力の判定ができ、リーディングスパンテストや書籍の朗読等のための音読対象の提示を情報処理によって行なうことができる。また、音声入力時間は途中で無音時間があっても累積して計測され、無音時間は継続した時間として計測されて、途中で音声入力があった場合には無音時間はリセットされる。
本発明によれば、リーディングスパンテストや書籍の朗読等のための音読対象が音読されたか否かの判定を情報処理によって行なうことができる。
本発明の実施の形態におけるゲーム装置の外観図 本発明の実施の形態におけるゲーム装置のブロック図 本発明の実施の形態におけるテスト方法のフローチャート 本発明の実施の形態におけるテスト方法のフローチャート 本発明の実施の形態における音読対象を表示する表示パネルの表示例を示す図 本発明の実施の形態における移行ボタンを表示するタッチパネルの表示例を示す図 本発明の実施の形態における解答入力画面を表示するタッチパネルの表示例を示す図
以下、本発明の実施の形態の情報処理装置について、図面を参照しながら説明する。本発明の情報処理装置は、情報を提示するとともに提示した情報に関連してユーザが音声を入力するための装置である。かかる情報処理装置は、リーディングスパンテストを行なうゲーム装置に応用され得る。リーディングスパンテストでは、音読対象としての文章をユーザに提示して音読させて、ユーザに音読しながらターゲット語の記憶を行なわせる。ここで、提示される文章において、ターゲット語は、それがターゲット語であるとわかるように、マーク(下線付与等)が付され、又は文章中の他の文字とは異なる表示態様(色や字体)で表記される。リーディングスパンテストでは、文章の音読が終了すると、文章を提示しない状態で、ユーザに文章中のターゲット語を再現させる。このリーディングスパンテストでは、音読をしながら記憶することが重要であるので、提示された文章の音読が終了すると、すぐに文章の提示を終了することが求められる。
また、本発明の情報処理装置は、例えば、書籍の朗読を行なわせる装置や外国語学習のための外国語文章の音読を行なわせる装置にも有効に応用され得る。この書籍の朗読や外国語学習のための音読等においても、音読対象としての文章を提示して、その文章の音読が終了するとすぐに次の文章を提示することが求められる。
そこで、以下では、本発明の実施の形態の情報処理装置として、ユーザの音読に対応して、音読対象の提示を制御できる情報処理装置を説明する。以下では、リーディングスパンテストを実行するゲーム装置を例に、本発明の実施の形態の情報処理装置を説明する。
図1は、本発明の実施の形態のゲーム装置の外観図である。図1に示すようにゲーム装置10は、本体部11と、本体部11に対してヒンジ結合された画面部12を備えており、画面部12を本体部11に対して折り畳んだり開いたりすることができる2画面折り畳みタイプのゲーム装置である。画面部12は、その中央に液晶パネルからなる表示パネル13を備えている。本体部11は、その中央にタッチパネル141を備えている。タッチパネル141は、表示パネルに対してタッチセンサが被せられてなり、表示の機能とともに物体の接触を検出する機能を有する。また、タッチパネル141の周囲には、複数の丸ボタン142、スライドパッド143、十字ボタン144、機能ボタン145が設けられている。また、本体部11にはマイク15が設けられている。
図2は、本発明の実施の形態におけるゲーム装置のブロック図である。ゲーム装置10は、操作入力部101、音声入力部102、テスト実行部103、表示部104、及び時間計測部105を備えている。操作入力部101は、図1に示した複数の丸ボタン142、スライドパッド143、十字ボタン144、機能ボタン145に相当する。音声入力部102は、図1に示したマイク15に相当する。また、表示部104は、図1に示した表示パネル13及びタッチパネル141の表示パネルに相当する。
図2に示すテスト実行部103は、演算処理装置、メモリ等によって、本実施の形態の情報処理プログラムが実行されることにより、その機能が実現される。また、図2に示すテスト実行部103以外の要素についても、その機能の一部は演算処理装置が本実施の形態の情報処理プログラムを実行することにより実現される。ゲーム装置10の本体部11には、図示しないスロットが設けられており、そのスロットに情報処理プログラムが記録された記録媒体が挿入されることで、ゲーム装置10によって情報処理プログラムが読み出される。
操作入力部101は、上述のように、図1に示したタッチパネル141、複数の丸ボタン142、スライドパッド143、十字ボタン144、機能ボタン145に相当し、ユーザが操作することで、各種の情報を入力できる。特に、タッチパネル141は、ユーザがスタイラスペンを用いて、パネル上に描いた内容を読み取ることができる。操作入力部101に入力された各種の情報は、ゲーム装置10に対するユーザの各種の指示として処理される。特に、操作入力部101に入力されたユーザからのテストに関する指示は、テスト実行部103に入力される。
音声入力部102は、マイク15に入力された音声信号をデジタル変換処理して音声データを生成する。本実施の形態では、この音声信号から変換された音声データがテスト実行部103に入力される。テスト実行部103はこの音声データに基づいて、テストの進行を制御する。
テスト実行部103は、テストを実行する。表示部104は、テスト実行部103に制御されて、テストにおいてユーザに提示する音読対象としての文章、解答入力画面等の各種の情報を表示する。時間計測部105は、テスト実行部103に制御されて時間の計測を開始し、又は停止し、計測した時間が所定の時間に達したことをテスト実行部103に通知する。
以下、本実施の形態のゲーム装置10がテストを行なうための処理を説明する。まず、本実施の形態のテスト、即ちリーディングスパンテストの概要を説明する。リーディングスパンテストでは、最初に音読対象としての文章が表示部104によって表示される。この文章中の1つの単語はユーザが記憶すべきターゲット語とされており、表示部104に表示される文章において、ターゲット語には下線が付されている。ユーザは、表示部104に表示された文章を音読しながらターゲット語を記憶する。
ユーザがターゲット語の記憶と同時に行なう文章の音読を完了すると、次にユーザは、記憶したターゲット語を操作入力部101から入力する。正しいターゲット語が入力されると、次の文章が表示部104に表示されて、以下同様に、文章の音読及びターゲット語の記憶と、記憶したターゲット語の入力とが所定回数繰り返されると、1ステージのテストが終了する。このように、文章の音読とターゲット語の記憶とを同時に行なうことで作動記憶の能力を鍛錬することができる。なお、リーディングスパンテストにおいて、複数の文章の音読をした後に、各文章のターゲット語を入力させるようにしてもよい。
以下、ゲーム装置10の各構成が行なう処理を具体的に説明する。図3は、ゲーム装置10において実行される情報処理方法としてのテスト方法のフローチャートである。テスト実行部103は、テストをスタートすると、まず、表示部104に音読すべき文章を表示させて、これが表示パネル13表示される(ステップS11)。図4は、このときの表示パネル13の表示例を示す図である。図4に示すように、文章中のターゲット語である「装置」という単語には下線が付されている。テスト実行部103は、表示部104に文章を表示させると、音声入力があるかを判断する(ステップS12)。
ユーザはこの文章を音読しながら、ターゲット語である「装置」の読み仮名である「そうち」を記憶する。ユーザによる音読の音声がマイク15に入力されると、音声入力部102が音声データを生成してテスト実行部103に提供する。テスト実行部103はこの音声データに基づいて音声入力があると判断すると(ステップS12にてYES)、時間計測部105に音声入力時間を計時させる(ステップS13)。また、テスト実行部103は、音声入力があると、図4に示すように、文章とともに表示されているインジケータ41を音声の大きさに応じて変化させる。
そして、テスト実行部103は、時間計測部105によって計測した時間の累計が音読完了時間に達したか否かを判断する(ステップS14)。本実施の形態では、音読完了時間は、表示される文章の長さ、即ち文字数に応じて決定される。即ち、文字数に単位時間をかけて得られる音読所要時間、又はそのようにして得られる音読所要時間から一定の時間を減じた時間を音読完了時間とする。この音読所要時間は、ユーザが比較的早い速度で読んだ場合を想定して設定されてよい。表示される文章の長さが毎回変わる場合には、文章が表示されるごとに音読完了時間が計算されてよく、表示される文章の長さが毎回ほぼ一定である場合には、この音読完了時間を固定の時間としてよい。また、テストに複数の難易レベルがある場合には、音読所要時間に難易レベルに応じた係数をかけてもよい。この音読完了時間は、本発明の第1の閾値に相当する。
音声入力時間の累計が音読完了時間に達していない場合には(ステップS14にてNO)、ステップS12に戻って音声入力があるかを判断する。音声が入力され続けているときは、ステップS12〜ステップS14のループが繰り返される。文章が表示されてから音声入力がない場合、及びステップS12〜ステップS14のループが繰り返された後に音声入力がなくなった場合には、ステップS12でNOとなり、時間計測部105での音声入力時間の計時が停止されて、無音時間が計時される(ステップS15)。なお、このとき、上述のように音声入力時間はその累計が音読完了時間に達したか否か判断されるので、音声入力がなくなった場合にも時間計測部105で計測した音声入力時間はリセットされずに、その後に再び音声入力があった場合には、停止したときの音声入力時間に、再開後に計測された音声入力時間が加算される。累計の音声入力時間は、音声入力時間が音読完了時間に達したと判断されたときに(ステップS14にてYES)、リセットされる。
そして、テスト実行部103は、計時された無音時間が催促時間に達したか否かを判断する(ステップS16)。催促時間に達していない場合には(ステップS16にてNO)、ステップS12に戻って音声入力があるか否かを判断する。無音時間が継続する場合には、ステップS12、ステップS15、及びステップS16のループが繰り返される。このループを繰り返した後に無音時間が催促時間に達した場合には(ステップS16にてYES)、テスト実行部103は、表示部104を制御して表示パネル103に「音読してください」という催促のメッセージを表示させる(ステップS17)。なお、ステップS16では、継続した無音時間が催促時間に達したか否かが判断される。即ち、ステップS16では、ステップS12、ステップS15、及びステップS16のループで計時された継続した無音時間が催促時間に達したか否かが判断され、ステップS16にてその時間が督促時間に達した(ステップS16にてYES)と判断される前に音声入力があり、ステップS12でYESとなることで、このステップS12、ステップS15、及びステップS16のループを抜けると、ステップS15で計時した無音時間はリセットされる。
音声入力があった累計時間が音読完了時間に達すると(ステップS14でYES)、テスト実行部103は、音声入力があるか否かを判断する(ステップS18)。テスト実行部103は、音声入力があると判断すると(ステップS18にてYES)、時間計測部105に音声入力時間を計時させる(ステップS19)。そして、テスト実行部103は、時間計測部105によって計測した時間の累計が強制移行時間に達したか否かを判断する(ステップS20)。音声入力時間の累計が強制移行時間に達していない場合には(ステップS20にてNO)、ステップS18に戻って音声入力があるかを判断する。音声入力時間の累計が音読完了時間に達した後にも、音声入力が続くときは、ステップS18〜ステップS20のループが繰り返される。
音声入力時間の累計が音読完了時間に達した後に音声入力がなくなった場合、及びステップS18〜ステップS20のループが繰り返された後に音声入力がなくなった場合には、ステップS18でNOとなり、時間計測部105での音声入力時間の計時が停止されて、無音時間が計時される(ステップS15)。そして、テスト実行部103は、計時された無音時間が一定の(例えば0.5秒)の無音時間に達したか否かを判断する(ステップS22)。このように一定の無音時間の有無を判断するのは、ユーザが音読を完了したか否かを判断するためである。即ち、本実施の形態では、音声入力時間が音読完了時間に達するまでは、無音時間があったとしても音読が完了したとは判断せずに、音声入力の再開を待つ(ステップS12からステップS14のループ)。そして、音声入力時間が音読完了時間に達した後に、初めて、無音時間により音読が完了したと判断する。この一定の無音時間は、本発明の第2の閾値に相当する。
一定の無音時間があった場合(ステップS22にてYES)、及び一定の無音時間がなく強制移行時間に達した場合(ステップS20でYES)には、タッチパネル141に「次へ」という移行ボタンを表示する(ステップS23)。なお、ステップS22では、継続した一定の無音時間があったか否かが判断される。即ち、ステップS22では、ステップS18、ステップS21、及びステップS22のループで計時された継続した無音時間が一定の無音時間に達したか否かが判断され、ステップS22にてその時間が一定の無音時間に達した(ステップS22にてYES)と判断される前に音声入力があり、ステップS18でYESとなることで、このステップS18、ステップS21、及びステップS22のループを抜けると、ステップS21で計時した無音時間はリセットされる。
一定の無音時間がないまま強制移行時間に達したときに移行ボタンを表示するのは、ユーザが音読の音声をする環境に定常的な騒音が存在して、ユーザが音読をしていない状態でも一定レベルの音声入力が継続する場合を考慮したものである。この場合には騒音がある限り、ユーザが音読を終了しても無音時間が生じないことになるので、この場合には強制的に次のステップ(移行ボタンの表示)に進むこととしている。この強制移行時間は、本発明の第4の閾値に相当する。図5は、移行ボタン51を表示するタッチパネル141の表示例を示す図である。なお、このとき、表示パネル13には文章を表示したままとする。
テスト実行部103は、移行ボタンへの指示があるか、即ち移行ボタンがスタイラスによって押されたか否かを判断する(ステップS24)。移行ボタンへの指示があった場合には(ステップS24にてYES)、操作入力部101がこれを検知してテスト実行部103に通知し、テスト実行部103は、表示部104を制御してタッチパネル141に解答入力画面を表示させる(ステップS25)。なお、この移行ボタンは、本発明の指示手段に相当する。
テスト実行部103は、移行ボタンを表示した後に、それに対する指示がない場合には(ステップS24にてNO)、移行ボタンの表示(ステップS23)からの経過時間が催促時間に達したか否かを判断する(ステップS26)。催促時間に達していない場合には(ステップS26にてNO)、引き続き指示を待つ(ステップS24)。指示がないまま催促時間に達した場合には(ステップS26にてYES)、テスト実行部103は、表示部104を制御してタッチパネル141に「ボタンを押してください」という催促メッセージを表示させる(ステップS27)。なお、この催促時間は、本発明の第3の閾値に相当する。
図6は、タッチパネル141に表示される解答入力画面の例を示す図である。ユーザは、スタイラスペンを用いてタッチパネル141の入力枠61に解答を手書き入力することができる。表示された文章のターゲット語は「装置」であったので、ユーザは、解答として、「そうち」という文字をタッチパネル141に手書き入力する。ユーザは、解答がわからない場合には、「降参」ボタン62をタッチして、次の問題に移行することができる。操作入力部101は、入力された描画データをテスト実行部103に提供し、テスト実行部103は、文字認識処理によってユーザが入力した文字を認識する。認識された文字は解答入力画面の認識結果枠63に表示される。テスト実行部103は、ユーザによって入力されて文字認識処理によって認識した文字が正解であるか否かを判断する(ステップS28)。
テスト実行部103は、正解が入力されない場合、即ち文字が入力されない場合、及び認識された文字が正解でない場合には(ステップS28にてNO)、「降参」ボタン62(図6参照)が押されたか否かを判断する(ステップS29)。「降参」ボタン62が押されていなければ、ステップS28に戻って引き続き正解が入力されるのを待つ。「降参」ボタン62が押されると(ステップS29でYES)、処理を終了してステージの最初に戻る。解答制限時間内に正解が入力された場合には(ステップS28にてYES)、そのステージのすべての問題が終了したかを判断する(ステップS30)。本実施の形態では、1ステージの問題数は2問とする。
すべての問題を終了していない場合には(ステップS30でNO)、次の文章を表示すべくステップS11に戻る。上記の処理を繰り返して、すべての問題を終了した場合には(ステップS30でYES)、処理を終了する。
以上説明したように、本実施の形態のゲーム装置10によれば、ゲーム装置10において、音読対象である文章を表示するとともに、ユーザによる音読の音声の入力を検知して、音声入力時間が音読完了時間に達したか否かを判断するので、実際の音声入力時間に応じて適切に次の表示を行なうための処理(移行ボタンの表示)を行なうことができる。しかも、音声入力時間は、音声を検出した累積時間であるので、ユーザが途中で音読を止めた場合にも、音読を完了したと誤判断することを回避できる。さらに、音声入力時間が音読完了時間に達した後に、一定の無音時間を検出して、次の表示を行なうための処理を行なうので、ユーザの音読の速度が遅く、音読完了時間が終了した後にも音読を続けている場合には、次の表示を行なうための処理は行われず、ユーザは音読を継続させることができる。
また、上記の実施の形態のゲーム装置10では、音声入力時間が音読完了時間に達して、さらに、一定の無音時間があった場合にも、直ちに音読対象である文章の提示を終了するのではなく、まず、文章の提示を終了して次の処理のための画面に移行するための移行ボタンを表示するので、誤判断により文章が画面から消去されてしまうことを回避できる。
また、上記の実施の形態のゲーム装置10では、ユーザの周りに定常的な騒音があって、ユーザが音読を終了したにも関わらず音声入力が検出されている状態が継続した場合には、強制的に移行ボタンを表示するので、騒音の影響によっていつまでもユーザの音声入力があると誤判断されて、次の処理に移行できないという状況を回避できる。
さらに、上記の実施の形態のゲーム装置10では、文章が表示されても音声入力がない場合や、移行ボタンが表示されても指示がない場合には、催促メッセージを表示するので、テストを円滑に進めるためにユーザに注意喚起をすることができる。
なお、上記の実施の形態では、リーディングスパンテストは、1つの文章を音読して次にそのターゲット語を入力するというテストであったが、2つ又はそれ以上の文章を連続して音読して、その後にそれらの文章のターゲット語を入力するものであってもよい。
また、上記の実施の形態では、リーディングスパンテストに本発明が適用される例を説明したが、音読対象を表示して、その音読対象の音読が終わると次の処理(例えば次の音読対象の表示)を行なう場合にも本発明を適用することができる。例えば、上述の書籍の朗読や外国語学習のための音読にも本発明を適用できる。
また、上記の実施の形態では、音読対象として、音読すべき文章を表示したが、音読対象は文章でなくてもよい。即ち、音読すべき内容がそのまま音読対象として表示されなくてもよい。さらに、音読対象は表示されなくても、例えば音声で出力されてもよい。例えば、外国語学習において、音声で再生される外国語の文章にあわせてユーザがその文章を発声するシャドウイングと呼ばれるテストがあるが、このようなシャドウイングにも本発明を適用することができる。
また、上記の情報処理装置の構成の一部がネットワークを介して他の構成と接続されて、全体として情報処理システムが構成されてもよい。たとえば、操作入力部101、音声入力部102、及び表示部104と、テスト実行部103及び時間計測部105との間がネットワークで接続されて、全体で情報処理システムが構成されてよい。
10 ゲーム装置(情報処理装置)
11 本体部
12 画面部
13 表示パネル
141 タッチパネル
142 丸ボタン
143 スライドパッド
144 十字ボタン
145 機能ボタン
101 操作入力部
102 音声入力部
103 テスト実行部
104 表示部
105 時間計測部

Claims (10)

  1. 情報処理装置を、
    音読対象を提示する提示手段、
    音声を入力する音声入力手段
    前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段、及び
    前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段
    として機能させ
    前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する情報処理プログラム
  2. 前記音読判定手段は、前記累積手段により累積された前記音声入力時間が第1の閾値に達した後に継続した無音時間が第2の閾値に達したときに、前記音読対象が音読されたと判定する、請求項に記載の情報処理プログラム。
  3. 前記第1の閾値は、提示された音読対象の内容に基づいて決定される、請求項に記載の情報処理プログラム。
  4. 前記情報処理装置を、
    前記音読判定手段により前記音読対象が音読されたと判定された場合に、前記提示手段に、前記音読対象の提示を継続したまま、前記音読対象の提示の終了をユーザに指示させるための指示手段を提示させる処理を行なう制御手段として機能させる、請求項1ないしのいずれか一項に記載の情報処理プログラム。
  5. 前記制御手段は、前記提示手段に前記指示手段を提示させた後に、無音であってかつ前記指示手段への指示がない時間が第3の閾値に達したときに、前記指示手段への指示を促すための処理を行なう、請求項に記載の情報処理プログラム。
  6. 前記音読判定手段は、前記音声入力時間が第4の閾値に達したときに、無音時間に関わらず、前記音読対象が音読されたと判定する、請求項1ないしのいずれか一項に記載の情報処理プログラム。
  7. 前記音読対象は文章であり、前記文章中のターゲット語自体の表示態様を変更するか、または当該ターゲット語にマークが付されており、
    前記情報処理装置を、
    前記ターゲット語のユーザによる入力を受け付ける受付手段、及び
    前記受付手段により受け付けられた入力が前記ターゲット語に一致するか否かの正解判定を行なう正解判定手段としてさらに機能させる、請求項1ないしのいずれか一項に記載の情報処理プログラム。
  8. 音読対象を提示する提示手段と、
    音声を入力する音声入力手段と、
    前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段と、
    前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段と、
    を備え
    前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する情報処理装置。
  9. 音読対象を提示する提示ステップと、
    音声の入力を受け付ける音声入力ステップと、
    前記音声入力ステップにて音声が入力された音声入力時間と音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定ステップと、
    前記音声入力ステップで音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積ステップと、
    を含み、
    前記音読判定ステップは、前記累積ステップで累積された音声入力時間と前記音声入力ステップで音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する情報処理方法。
  10. 音読対象を提示する提示手段と、
    音声を入力する音声入力手段と、
    前記音声入力手段に音声が入力された音声入力時間と前記音声入力手段に音声が入力された後の無音時間とに基づいて、前記音読対象が音読されたか否かを判定する音読判定手段と、
    前記音声入力手段への音声の入力が開始されてから、無音時間があるか否かに関わらず、当該音声が入力された音声入力時間を累積する累積手段と、
    を備え
    前記音読判定手段は、前記累積手段により累積された音声入力時間と前記音声入力手段に音声が入力された後の継続した無音時間とに基づいて、前記音読対象が音読されたか否かを判定する情報処理システム。
JP2012086175A 2012-04-05 2012-04-05 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム Active JP6045175B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012086175A JP6045175B2 (ja) 2012-04-05 2012-04-05 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム
US13/593,779 US10096257B2 (en) 2012-04-05 2012-08-24 Storage medium storing information processing program, information processing device, information processing method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012086175A JP6045175B2 (ja) 2012-04-05 2012-04-05 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2013218001A JP2013218001A (ja) 2013-10-24
JP6045175B2 true JP6045175B2 (ja) 2016-12-14

Family

ID=49292569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012086175A Active JP6045175B2 (ja) 2012-04-05 2012-04-05 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム

Country Status (2)

Country Link
US (1) US10096257B2 (ja)
JP (1) JP6045175B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339500B2 (en) * 2012-01-04 2019-07-02 Universal Research Solutions, Llc Patient education modules
CN105529036B (zh) * 2014-09-29 2019-05-07 深圳市赛格导航科技股份有限公司 一种语音质量的检测***及方法
CN104867359B (zh) * 2015-06-02 2017-04-19 阔地教育科技有限公司 一种直录播***中的音频处理方法及***
JP6032660B1 (ja) * 2015-07-23 2016-11-30 デレック・ヤキュウチャク 言語練習用装置、言語教材、および言語練習用プログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539436A (en) * 1977-11-30 1985-09-03 Theis Peter F Programmed conversation recording system
US5887069A (en) * 1992-03-10 1999-03-23 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
KR100309207B1 (ko) * 1993-03-12 2001-12-17 에드워드 이. 데이비스 음성-대화식언어명령방법및장치
US5810599A (en) * 1994-01-26 1998-09-22 E-Systems, Inc. Interactive audio-visual foreign language skills maintenance system and method
US5857173A (en) * 1997-01-30 1999-01-05 Motorola, Inc. Pronunciation measurement device and method
US5920838A (en) * 1997-06-02 1999-07-06 Carnegie Mellon University Reading and pronunciation tutor
US6397185B1 (en) * 1999-03-29 2002-05-28 Betteraccent, Llc Language independent suprasegmental pronunciation tutoring system and methods
US6446041B1 (en) * 1999-10-27 2002-09-03 Microsoft Corporation Method and system for providing audio playback of a multi-source document
JP2001343989A (ja) * 2000-03-31 2001-12-14 Tsukuba Seiko Co Ltd 朗読装置
US7043193B1 (en) * 2000-05-09 2006-05-09 Knowlagent, Inc. Versatile resource computer-based training system
GB0103242D0 (en) * 2001-02-09 2001-03-28 Radioscape Ltd Method of analysing a compressed signal for the presence or absence of information content
US7101185B2 (en) * 2001-09-26 2006-09-05 Scientific Learning Corporation Method and apparatus for automated training of language learning skills
US7837472B1 (en) * 2001-12-27 2010-11-23 The United States Of America As Represented By The Secretary Of The Army Neurocognitive and psychomotor performance assessment and rehabilitation system
US6953343B2 (en) * 2002-02-06 2005-10-11 Ordinate Corporation Automatic reading system and methods
US20030233237A1 (en) * 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
JP2004309631A (ja) * 2003-04-03 2004-11-04 Nippon Telegr & Teleph Corp <Ntt> 対話練習支援装置、方法及びプログラム
JP4206332B2 (ja) * 2003-09-12 2009-01-07 株式会社バンダイナムコゲームス 入力装置、ゲームシステム、プログラムおよび情報記憶媒体
US20050175970A1 (en) * 2004-02-05 2005-08-11 David Dunlap Method and system for interactive teaching and practicing of language listening and speaking skills
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
JP2005274830A (ja) * 2004-03-24 2005-10-06 Central Information System Corp 音読評価プログラム、音読評価装置及び音読評価方法
US7610199B2 (en) * 2004-09-01 2009-10-27 Sri International Method and apparatus for obtaining complete speech signals for speech recognition applications
US8109765B2 (en) * 2004-09-10 2012-02-07 Scientific Learning Corporation Intelligent tutoring feedback
US7433819B2 (en) * 2004-09-10 2008-10-07 Scientific Learning Corporation Assessing fluency based on elapsed time
US8033831B2 (en) * 2004-11-22 2011-10-11 Bravobrava L.L.C. System and method for programmatically evaluating and aiding a person learning a new language
WO2006069381A2 (en) * 2004-12-22 2006-06-29 Enterprise Integration Group Turn-taking confidence
US8170875B2 (en) * 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US7873522B2 (en) * 2005-06-24 2011-01-18 Intel Corporation Measurement of spoken language training, learning and testing
JP5001546B2 (ja) 2005-11-08 2012-08-15 任天堂株式会社 ゲームプログラム、ゲーム装置、プログラム、システム、および方法
JP4557919B2 (ja) * 2006-03-29 2010-10-06 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
US20080057483A1 (en) * 2006-09-05 2008-03-06 Lawrence H Avidan Apparatus and System for Testing Memory
JP4973664B2 (ja) * 2006-11-24 2012-07-11 富士通株式会社 文書読上げ装置、文書読上げ装置を制御する制御方法及び文書読上げ装置を制御する制御プログラム
US20080140652A1 (en) * 2006-12-07 2008-06-12 Jonathan Travis Millman Authoring tool
US8358965B2 (en) * 2006-12-30 2013-01-22 Realtime Learning Systems, Llc Internet based learning systems
JP5141687B2 (ja) * 2007-07-31 2013-02-13 富士通株式会社 音声認識用照合ルール学習システム、音声認識用照合ルール学習プログラムおよび音声認識用照合ルール学習方法
US8306822B2 (en) * 2007-09-11 2012-11-06 Microsoft Corporation Automatic reading tutoring using dynamically built language model
US9685094B2 (en) * 2007-09-26 2017-06-20 Verizon Patent And Licensing Inc. Text to training aid conversion system and service
JP5088109B2 (ja) * 2007-11-26 2012-12-05 富士通株式会社 形態素解析装置、形態素解析方法、コンピュータプログラム、音声合成装置及び音声照合装置
US20090198490A1 (en) * 2008-02-06 2009-08-06 International Business Machines Corporation Response time when using a dual factor end of utterance determination technique
GB2458461A (en) * 2008-03-17 2009-09-23 Kai Yu Spoken language learning system
BRPI0916749A2 (pt) * 2008-07-28 2015-11-03 Breakthrough Perfomancetech Llc sistema e métodos de treinamento configurados para treinar usuários com base em computador e meio tangível legível em computador
EP2441386A1 (en) * 2008-10-14 2012-04-18 Ohio University Cognitive and linguistic assessment using eye tracking
JP2011083403A (ja) * 2009-10-15 2011-04-28 Hokkaido Univ 認知機能評価システム
US9191639B2 (en) * 2010-04-12 2015-11-17 Adobe Systems Incorporated Method and apparatus for generating video descriptions
US8392186B2 (en) * 2010-05-18 2013-03-05 K-Nfb Reading Technology, Inc. Audio synchronization for document narration with user-selected playback
US10909880B2 (en) * 2011-05-10 2021-02-02 Cooori Ehf Language learning system adapted to personalize language learning to individual users
US20130157245A1 (en) * 2011-12-15 2013-06-20 Microsoft Corporation Adaptively presenting content based on user knowledge
US9449522B2 (en) * 2012-11-16 2016-09-20 Educational Testing Service Systems and methods for evaluating difficulty of spoken text

Also Published As

Publication number Publication date
US20130266920A1 (en) 2013-10-10
US10096257B2 (en) 2018-10-09
JP2013218001A (ja) 2013-10-24

Similar Documents

Publication Publication Date Title
JP5281659B2 (ja) 音声対話装置、対話制御方法及び対話制御プログラム
US10504502B2 (en) Sound control device, sound control method, and sound control program
JP6045175B2 (ja) 情報処理プログラム、情報処理装置、情報処理方法及び情報処理システム
CN111901665A (zh) 教学资源播放方法、设备及存储介质
US8315552B2 (en) Body interactively learning method and apparatus
GB2527242A (en) System and method for dynamic response to user interaction
JP6466391B2 (ja) 言語学習装置
JP6166831B1 (ja) 単語学習支援装置、単語学習支援プログラム、単語学習支援方法
JP6868258B1 (ja) 認知機能検査システム
CN109559575B (zh) 学习辅助装置、学习辅助***和学习辅助方法
US20130219132A1 (en) Storage medium storing information processing program, information processing apparatus, information processing method, and information processing system
JP2007322754A (ja) キー入力練習装置及びキー入力練習用コンピュータプログラム
JP2020038371A (ja) コンピュータプログラム、発音学習支援方法及び発音学習支援装置
JP2002156897A (ja) 発音学習装置
CN110310086B (zh) 辅助背诵提醒方法、设备和存储介质
CN108986784B (zh) 语音输出控制装置及语音输出控制方法
KR100624040B1 (ko) 온라인 상의 언어 속독 훈련 서비스 제공 방법
JP2016157042A (ja) 電子機器およびプログラム
WO2023248520A1 (ja) 認知機能検査装置及び認知機能検査プログラム
JP2020149024A (ja) 対話適応化装置、対話適応化方法、プログラム、および記録媒体
KR20100130655A (ko) 문제 풀이에 기반한 이동통신 단말기 기상 알람 신호 종료 방법
JP2005077678A (ja) テキスト音声同期装置およびテキスト音声同期処理プログラム
JP2018130454A (ja) 軽度認知障害検査システム及び軽度認知障害検査プログラム
JP2022032671A (ja) 情報処理装置、制御方法、及びプログラム
JPH07220008A (ja) 操作誘導制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161115

R150 Certificate of patent or registration of utility model

Ref document number: 6045175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250