JPH03252812A

JPH03252812A - プログラム実行状況表示方法

Info

Publication number: JPH03252812A
Application number: JP2052214A
Authority: JP
Inventors: Suketsugu Nagamatsu; 永松　祐嗣
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1990-03-02
Filing date: 1990-03-02
Publication date: 1991-11-12
Also published as: US5315697A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、ソフトウェア開発のうち、特に保守およびテ
ストの支援方法に関し、特に画像録画装置を利用して、
プログラムの実行状況の確認、および実行に関連するデ
ータを検出するために好適なプログラム実行状況表示方
法に関する。

〔従来の技術〕

従来の技術では、画像録画を行う際に各画像とプログラ
ムとのリンク付け（対応付け）を、全て人手で行う必要
があり、その準備に時間と人手がかかり過ぎ、実用に向
かなかった。

このように、画像録画装置を用いた各種情報の関係付け
と、ソフトウェア開発支援に応用する方法としては、例
えば、高田著「ハイパテキストとそのプログラミング環
境への応用」情報処理、ＶｏＬ、３０．　Ｎｏ、４．　
（１９８９，４）　ｐｐ、４０６〜４１３において論じ
られている。

すなわち、装置取扱説明書や明細書、あるいは文学書等
の文書内のテキスト情報とビデオ画面との間に人手によ
りリンク付けを行い、注目するテキスト情報をリンクを
たどって検索し、これらの注目する情報のビデオ画面を
マルチウィンドウ等で画面に表示することにより、その
情報を自由に扱うことができた。

〔発明が解決しようとする課［１このように、従来の方法では、録画情報やプログラムの
ソーステキスト、実行履歴情報等の各種のデータ間を関
係付ける作業は、全て人手により行う必要があり、準備
に手間と時間がかかり過ぎる問題があった。

また、従来、プログラムの修正箇所の検出、プログラム
の保守、あるいはプログラムの実行状況テストを行う場
合、実際にプログラムを稼動させて、人手により仕様書
と対応させて不具合点を検出するか、ログ情報を収集し
て、仕様書と対応付けるか、プログラムの走査を任意の
時点に停止させて、当該場所を点検する方法により行っ
ていた。

また、従来、既存のプログラムの機能や特徴を把握する
ためには、仕様書を見て人が頭脳で想像する他になかっ
たので、漠然としたイメージしかつかめなかった。従っ
て、プログラムを再利用して、他のプログラムの開発支
援を行う場合にも、既存のプログラムを確実に把握でき
ないため、支援が不十分であった。また、従来、ユーザ
が行ったテスト情報やクレームを、現場にいないプログ
ラム開発者に伝達する方法として、状況を示すメモや口
述しかないため、完全な状態を開発者に伝えることがで
きなかった。また、従来、プログラムの実行状態を任意
の時点で詳細に調べたい場合でも、録画画面とプログラ
ムとの同期が不十分であると、調査に時間がかかり、し
かも状況把握も十分に行えなかった。

本発明の第１の目的は、このような従来の課題を解決し
、プログラムを実行させると、その実行状況を示した各
種情報を録画し、人手を介さずに、全て自動的に各種情
報と録画した画面との間の関係付けを行って、作業を軽
減させることが可能なプログラム実行状況表示方法を提
供することにある。

また、本発明の第２の目的は、プログラムの実行履歴情
報と実行状況を示した各種情報を、全て自動的に関係付
けて録画し、ユーザにこの録画を提供することにより、
プログラムの修正箇所の検出を簡単にして、プログラム
の保守やテストの効率化を図ることができるプログラム
実行状況表示方法を提供することにある。

また、本発明の第３の目的は、既存のプログラムの操作
イメージ（操作方法）や、プログラムにより制御する機
械自体、あるいは周辺の人や物の動作イメージを、実際
に現場に行って見なくても、迅速かつ確実に把握するこ
とができるプログラム実行状況表示方法を提供すること
にある。

また、本発明の第４の目的は、第３者が現場に不在でも
、プログラムの実行状況をその第３者に詳細に提示して
、プログラムの保守、テストを効率よく行わせることが
できるプログラム実行状況表示方法を提供することにあ
る。

また、本発明の第５の目的は、プログラムの実行状態を
示す情報として、画像の他に音声データや図的表現、ア
ニメーション等の各種情報を関係付けて表示させ、プロ
グラムの保守、テストを効率よく行わせることができる
プログラム実行状況表示方法を提供することにある。

さらに、本発明の第６の目的は、第４世代言語のインタ
プリタや実行可能仕様を実行した場合にも、その実行に
各種の情報を関係付けて表示させて、ソフトウェアの開
発を効率よく行わせることができるプログラム実行状況
表示方法を提供することにある。

［課題を解決するための手段］上記目的を遠戚するため、本発明のプログラム実行状況
表示方法は、（イ）第１のファイルに登録したプログラ
ムを実行させるステップと、プログラムの実行に伴って
該プログラムの実行履歴情報を順次記録し、第２のファ
イルに登録するステップと、プログラムの実行に同期し
て画像録画装置を起動し、プログラムの実行状況を示す
任意の画像を録画するステップと、プログラムの実行に
伴って、プログラムの実行状況を録画した上記画像と実
行履歴情報の任意のものとを関係付けて、関係付けられ
た情報を第３のファイルのテーブルに登録するステップ
とからなる録画動作と、録画した画像を再生する際に、
任意の時点で再生情報に関係付けられた実行履歴情報を
、第３のファイルの関係情報より検索して、実行履歴情
報を表示装置に表示するステップと、ステップ動作とは
逆に、任意の時点における実行履歴情報に基づいて、関
係情報から実行履歴情報に関係付けられた録画画面ない
し録画画面の前後を再生するステップとからなる再生動
作を有することに特徴がある。また、（ロ）第２のファ
イルに登録されるプログラム実行履歴情報に、プログラ
ムの実行行番号とその時点で該プログラムが扱う全ての
データ値を記録するステップを含む第１の録画動作と、
録画された画面を再生している際に、任意の時点でユー
ザにより再生画面が静止されると、再生画面に対応する
実行履歴情報を前記第３のファイルの関係情報のテーブ
ルから検索するステップと、実行履歴情報を参照するこ
とにより、該時点で再生画面と異なるデータ値がユーザ
により設定されると、そこに記録されているプログラム
の実行行番号から該プログラムの実行を再開するステッ
プとからなる第２の録画動作と、上記異なるデータによ
る異なる実行状況と上記再生画面を比較して再生する再
生動作を有することにも特徴がある。また、（ハ）プロ
グラムの実行中に、ユーザにより任意の時点で該プログ
ラムが中断され、任意のデータが指定された場合、指定
された上記データと中断時点でのプログラム実行状況を
示す画像情報とを関係付ける情報を第３のファイルの関
係情報テーブルに記録するステップを含む録画動作と、
録画された画面を再生する際に、関係情報テーブルによ
りユーザの指定したデータの存在を検知した時点で再生
を停止し、指定されたデータを表示するステップと、ス
テップの動作とは逆に、関係情報テーブル上に指定され
たデータがあると、関係情報テーブルの内容に従って関
係する時点の前後の録画情報を再生するステップからな
る再生動作を有することにも特徴がある。（ニ）また、
プログラムの実行中に任意の時点で中断された場合、ユ
ーザが指定したクレーム、テストデータ、および各種仕
様データを含む情報を、音声入力装置および画像入力装
置に入力して、入力された音声情報および画像情報をフ
ァイルに登録するステップと、音声情報および画像情報
をプログラム実行状況を示す画像情報と関係付けて第３
のファイルの関係情報チーフルに記録するステップを含
む録画動作を有することにも特徴がある。また、（ホ）
プログラムを含む複数種類のプログラムの実行状況を示
す情報を、各々複数の音声録音装置および画像録画装置
により記録する場合に、各プログラムの実行に従って同
時刻に記録するプログラムの実行状況を示す各種情報を
、互いに関係付けた関係情報を自動的に記録するステッ
プを含む録画動作と、任意の録音情報ないし録画情報を
再生する場合に、上記関係情報により関係付けられた録
音情報ないし録画情報を同期して再生するステップを含
む再生動作を有することにも特徴がある。また、（へ）
録音装置および録画装置を情報処理装置の周辺ないしプ
ログラムにより制御される機械装置の周辺に配置し、実
行プログラムに従った情報処理装置ないし機械装置の動
作ないし音声、あるいは装置周辺の人間および物体の動
作ないし音声を、録音装置ないし録画装置により記録し
、記録した音声ないし画面を再生することにも特徴があ
る。さらに、（ト）プログラムのソーステキスト、実行
履歴情報、画像データ、音声データ、プログラムの実行
画面、プログラムの実行状況の図的表現、アニメーショ
ン表現、および各種のデータを関係付ける関係情報を記
録し、その後、該関係情報を用いて各々のデータから関
係するデータを検索して、該データを表示し、再生する
ことにも特徴がある。さらに（チ）プログラムの実行の
代りに、情報処理装置上で稼動する第４世代言語のイン
タプリタ、実行可能仕様を含むソフトウェアを実行する
とともに、その実行状況を示す音声情報１画像情報およ
び実行履歴情報を関係付けて記録した後、これらの情報
を再生することにも特徴がある。

〔作　　用〕

本発明においては、プログラムの実行状況を示す画像を
録画するとともに、プログラムのソーステキスト、実行
履歴等の各種の情報の関係を登録管理する関係情報テー
ブル（全体関係情報テーブルと要素関係情報テーブルの
２種類）を設ける。

全体関係情報テーブルは、関係付けられるデータの格納
場所を、要素関係情報テーブルは、全体関係情報テーブ
ルにより関係付けられたデータの要素間の関係を、それ
ぞれ記録する。また、画像を記録する際には、関係情報
テーブルの各レコードへのポインタ情報（ポイントマー
カ）を設定する。

先ず、プログラムを実行すると同時に、画像録画装置を
用いてプログラムの実行状況を示す画像を記録する。こ
れと同時に、記録する情報のポイントマーカの値として
、初期値を設定し、要素関係情報テーブルの最初のレコ
ードにポイントマーカの初期値を設定し、プログラムの
ソーステキストファイルの先頭行とプログラム実行履歴
情報テキストの先頭行の値を設定する。

次に、プログラム実行中に、単位時間または単位情報毎
に、ポイントマーカの値をプラス１して、要素関係情報
テーブルにその値を設定し、レコードに対して現在実行
中のプログラムのソーステキストの行番号と現在の履歴
情報テキストの行番号を設定する。これらの動作を、プ
ログラムの実行終了まで繰り返する。

録画した画面を再生する場合には、再生画面に記録され
たポイントマーカの値を読み取り、関係情報テーブルに
より再生画面に対応するプログラムのソーステキストと
履歴情報テキストの行番号を用いて、マルチウィンドウ
画面で各種のデータを表示する。

このように、プログラム実行と同期して自動的に実行状
況を示した各種情報を録画し、これらを自動的に関係付
けるので、人手の作業は不要となる。また、録画を再生
することにより、プログラムの実行状況を確認しながら
再生情報に関係するプログラムの実行履歴をユーザに自
動的に示すので、プログラムの修正箇所を簡単に検出し
、プログラムの保守やテストを効率よく行うことができ
る。また、既存のプログラムの操作イメージ（方法）や
プログラムが制御する機械自体、あるいは周辺の人や物
の動作イメージを示すことにより、既存プログラムの機
能や特徴を迅速に把握することができる。また、プログ
ラム実行時に、ユーザの指定したデータ（テスト情報や
クレーム）と、プログラムの実行状況を示す情報を関係
付けて登録するので、第３者が現場に不在でも、プログ
ラムの実行状況を示す情報を再生することにより、ユー
ザの登録したデータを確認することができ、プログラム
の保守およびテストを効率よく行うことができる。また
、プログラムの実行状況を示す情報とともに、関係する
実行履歴情報等のテキスト情報、画像データ、音声デー
タ、プログラムの実行状況の図的表現、アニメーション
等の各種情報を関係付けて表示するので、プログラムの
保守やテストを効率よく行うことができる。さらに、第
３世代の高級言語に対して、スプレッドシート、データ
ベース管理プログラム等の第４世代言語のインタプリタ
（解釈実行）や実行可能仕様書等を実行した場合に、こ
れらの実行状況を示す情報と。

関係する実行履歴情報等のテキスト情報、画像データ、
音声データ、実行状況の図的表現、アニメーション等の
各種データを関係付けて表示することにより、ソフトウ
ェアの開発を効率よく行うことができる。

［実施例］以下、本発明の実施例を、図面により詳細に説明する。

第１図は、本発明の第１の実施例を示すプログラム実行
状況表示機能を有する計算機システムのブロック図であ
る。

第１図において、ｌはデイスプレィとキーボードとマウ
スを備えた端末装置、２は画像を録画・再生するＶＴＲ
（ビデオテープレコーダ）装置、３は本発明における録
画再生の制御や関係情報の設定表示や履歴情報管理を行
う処理装置、４は作成したプログラムのソーステキスト
を登録したプログラムファイル、５はプログラムの実行
履歴を登録したプログラム実行履歴ファイル、６は録画
した各画面と、プログラムのソーステキスト、実行履歴
等のデータとの関係情報を登録した関係情報ファイルで
ある。

処理装置３には、ユーザが指定したプログラムファイル
中のプログラムを実行するプログラム実行部８と、プロ
グラムの実行画面をＶＴＲ装置２を用いて録画・再生す
る録画・再生部９と、録画画面にテープマーカやポイン
トマーカを設定し、かつ画面再生時に、画面中にあるテ
ープマーカ、ポイントマーカの値を読み取る関係情報設
定・読取り部１０と、テープマーカ、ポイントマーカの
値により、関係する情報を表示する関係情報表示部１１
と、プログラムの実行履歴を管理し、かつプログラム実
行履歴ファイルに情報を登録するとともに、それらの情
報を読み出す履歴情報管理部１２と、これらの各機能ブ
ロックの全体制御を行う全体制御部７とが設けられる。

なお、これらの機能ブロック部７〜１２は、いずれも機
能を逐行するプログラムモジュールである。

関係情報ファイル６には、関係情報テーブルが登録され
る。これらは全体関係情報テーブルと要素関係情報テー
ブルであって、これらの関係情報テーブルが録画した各
画面とプログラムのソーステキスト、実行履歴との関係
情報を管理する。

全体関係情報テーブルは、関係付けようとするデータが
格納されている場所（アドレス、識別子）を記録する。

また、要素関係情報テーブルは、全体関係情報テーブル
により関係付けられたデータの要素間の関係を記録する
。

第２図は、本発明における全体関係情報テーブルの一例
を、また第３図は、要素関係情報テーブルの一例を、そ
れぞれ示す図である。

全体関係情報テーブルは、第２図に示すように、実行画
面を録画したビデオテープの識別子（テープＩＤ）、実
行したプログラムが格納されているファイル４の名称（
プログラムＩＤ）、実行履歴情報が格納されているファ
イル５の名称（履歴情報ＩＤ）、および要素関係情報テ
ーブルへのポインタ（要素関係情報テーブルＩＤ）を、
それぞれ記録している。

ここでは、ビデオテープ）Ｄとして、Ｔ（１）、Ｔ　（
２）　、Ｔ　（３）、・・・・・が記録され、プログラ
ムＩＤとして、プログラムＡ１プログラムＢ、プログラ
ムＣ１・・・・が記録され、履歴情報ＩＤとして、履歴
情報Ｘ、履歴情報Ｙ、履歴情報Ｚ、・・・・が記録され
、要素関係情報テーブルＩＤとして、要素関係情報テー
ブルα、要素関係情報テーブルβ、要素関係情報テーブ
ルγ、・・が記録されている。

要素関係情報テーブルは、第３図に示すように、実行画
面を録画したビデオテープの識別子（ポイントマーカ）
、実行したプログラムに関係するプログラムのソーステ
キストの行番号、および実行履歴情報テキストの行番号
を、それぞれ記録している。実行画面を録画したビデオ
テープの識別子は、録画しようとする画面上に、第３図
の５１で示すような印（テープマーカ）を設定し、この
値により区別する。ここでは、テープマーカは、Ｔ（数
値）の形式を用いており、プログラムの実行画面を録画
したテープに対応させて値を設定する。

なお、テープマーカの数値は、第１図に示した関係情報
設定・読み取り部１０により設定され、自動的に全体関
係情報テーブルにない数値が設定される。これは、一番
最近に設定された値にプラス１した値である。

各画面を録画する場合に、第３図の５２で示すような印
（ポイントマーカ）を録画しようとする画面上に設定し
、これを要素関係テーブルに記録する。ポイントマーカ
の値は、要素関係情報テーブルの１つのレコードを指定
する。ポイントマーカは、Ｐ（数値）の形式で表わされ
る。

第３図の要素関係情報テーブルでは、各録画画面に対し
て、ポイントマーカとじて、Ｐ（ＯＯ２）と、また関係
するプログラムのソーステキストの行番号として、プロ
グラムＡのソーステキストの行番号００３と、実行履歴
情報テキストの行番号として、履歴情報Ｘの行番号００
４とが、それぞれ対応して記録されている。

このように、全体関係情報テーブルを利用することによ
り、録画画面、プログラムのソーステキスト、履歴情報
テキストの各種データの任意の１つの中から、関係する
他のデータの為る領域を指定することができる。

第４図は、第１図のシステムが実行する処理フローチャ
ートである。

第１図におけるプログラム実行部８は、ユーザが指定し
たプログラムファイル４に登録中のプログラムを実行す
る（ステップ１０１）。次に、録画・再生部９は、ＶＴ
Ｒ装置２を用いてプログラムの実行画面を録画する（ス
テップ１０２）。この時、関係情報設定・読取り部１０
は、第２図の全体関係情報テーブルの各項目の値を設定
する。すなわち、テープマーカの値を１から開始して一
番最近に設定された値にプラス１した値に自動的に設定
するとともに、プログラムが格納されているファイル４
の名称、実行履歴情報を格納するファイル５の名称を設
定し、かつ要素関係情報テーブルを新たに作成して、こ
のテーブルの識別子（テーブルへのポインタ）を全体関
係情報テーブルに設定する。また、録画画面上のテープ
マーカの値も、全体関係情報テーブルに設定した値と同
じ値にする（ステップ１０３）。次に、第１図における
関係情報設定・読取り部１０は、録画画面にポイントマ
ーカの値として、初期値（例えば、１）を設定する。こ
のポイントマーカの値は、更新処理（ステップ１０６）
を行わない限り、常に同一値が各録画画面に設定され続
ける。また、先に作成した要素関係情報テーブルの最初
のレコードに、ポイントマーカの初期値を設定し、プロ
グラムのソーステキストファイルの先頭行と、プログラ
ム実行履歴情報テキストの先頭行の値を設定する（ステ
ップ１０４）。

本発明では、録画画面の更新は、計算機の動作に変化が
生じた時点で行われるようにして、画面が無駄に進まな
いようにする。動作に変化が生じたことは、メモリの画
面表示領域にデータが入出力したことにより検出する。

この領域にデータの入出力が１５秒間ないときには、デ
ータの入出力があるまで録画を一時停止する（ステップ
１０５゜１０７）。第１図の関係情報設定・読取り部ｌ
Ｏは、プログラム実行中に計算機メモリの画面表示領域
に対してデータの入出力があるか否かを監視し、その領
域にデータの入出力があれば、録画画面にポイントマー
カの値として、既存の数値にプラス１した値を設定する
。同時に、要素関係情報テーブルにそのポイントマーカ
の値を設定し、このレコード（行）に対して、現在実行
中のプログラムのソーステキストの行番号と、第１図の
履歴情報管理部１２が現在、プログラム実行履歴ファイ
ル５に登録した履歴情報テキストの行番号を設定する（
ステップ１０５，１０６）。以上の動作を、プログラム
の実行が終了するまで繰り返し行う（ステップ１０８，
１０９）。

なお、他の実施例として、第４図のステップ１０５．１
０６，１０７の代りに、プログラム実行中、単位時間（
例えば、１秒経過）あるいは単位画面（１画面）毎に、
録画画面にポイントマー力の値として既存の数値からプ
ラス１の値を設定して、画面の変更がなくても数値を更
新するようにもできる。すなわち、１秒経過毎、あるい
は１画面毎にポイントマーカを更新し、要素関係情報テ
ーブルにそのポイントマーカの値を設定して、このレコ
ード（行）に対して現在実行中のプログラムのソーステ
キストの行番号と、履歴情報管理部１２が現在、プログ
ラム実行履歴ファイル５に登録した履歴情報テキストの
行番号を設定する。

第５図は、第１図における関係情報表示部の制御による
マルチウィンドウ画面を示す図である。

録画した画面を再生する場合には、第１図における関係
情報設定・読取り部１０が、再生画面に記録しであるポ
イントマーカの値を読み取ることにより、関係情報テー
ブルから再生画面に対応するプログラムのソーステキス
トや履歴情報テキストの行番号を知ることができる。

これらの再生画面と各種データの対応関係の表示の手法
としては、第１図の関係情報表示部１１が、例えば第５
図に示すように、マルチウィンドウ画面を用いて、一方
のウィンドウ画面で再生画面（実行画面）を表示し、こ
れをユーザが任意の再生画面で一時停止させるとともに
、他方の画面で、関係するテキストの行部分を色を変化
させて表示するか、あるいは再生画面の動きに合せて関
係する部分の色の変化に動きを付けて表示する。ここで
は、その再生画面に関係するプログラムソーステキスト
と実行履歴テキストが色を変えて表示されている。なお
、当然のことであるが、画面の再生は、早送り、早戻し
、静止、スロー等の動作を含む任意の動作が可能である
。

このようにしたので、ユーザは再生画面、つまりプログ
ラムの実行画面イメージを確認しながら、関係するプロ
グラムのソーステキスト、履歴情報の部分を即座に知る
ことができる。また、自動的に、録画情報に関係する各
種データ、例えばプログラムのソーステキストの実行箇
所と、履歴情報の関係する部分へのポインタ（ポインタ
マーカ）を記録するので、録画・情報を再生する時に、
再生情報に記録されている関係情報から関係するデータ
をアクセスすることができる。

なお、本実施例では、画像録画装置として、ＶＴＲ装置
、ビデオカメラ装置を用いているが、他の装置、例えば
光デイスク装置、８ミリビデオ、ＩＣメモリ等の画像を
録画・再生できる機能を持つものであれば、本発明に用
いることができる。

また、ＶＴＲ装置、ビデオカメラ装置で、画像を録画・
再生しているが、既存のＶＴＲ装置やビデオカメラ装置
では、画像と音声を同時に記録・再生する機能を持って
いるため、画像を録画・再生する時には、同時に音声も
録音・再生することができる。

本発明の第２の実施例として、再生画面との対話処理を
行うことが可能である。

通常、実行プログラムの画面にキーボードからデータを
入力すると、実行状況が変化する場合が起こる。種々の
実行状況を得たい場合、プログラムの任意の値を種々に
変化させて動作させる必要がある。

上述の実施例において、各実行録画画面に関係付けられ
ているプログラムの実行履歴情報には、プログラムの実
行行番号と、その時点におけるプログラムで扱う全ての
データの値が記録されている。

そこで、録画画面を再生している時に、ユーザが任意の
時点で再生画面を静止させると、この再生画面に付けら
れているポイントマーカの値がら、関係情報テーブルを
利用して、対応する実行履歴情報を検索し、そこに記録
されているプログラムの実行行番号からプログラムの実
行を開始する。

その場合に、実行履歴情報に記録されている当該時点の
プログラムで扱う全てのデータの値を設定して、プログ
ラムの実行を開始する。このプログラムにユーザとの画
面対話が含まれている場合には、前述の方法により、プ
ログラムの実行再開時に、再生画面と異なる対話を行い
、異なるデータ値を設定することにより異なるプログラ
ムの実行状況を生じさせることができ、かつこの場合の
実行状況と再生画面の実行状況とを比較・検討すること
ができる。

また、プログラムを任意の時点まで早送りを行って、そ
の時点までのプログラムの実行状況を概略的に確認し、
その時点以降に再生画面と異なる実行状況を確認したい
場合には、その時点から実際のプログラムを動作させる
ことにより確認することができる。

第６図は、本発明の第３の実施例を示すプログラム実行
状況表示システムのブロック図である。

第６図の実施例は、ユーザがプログラムの任意の時点で
中断し、ユーザが指定登録したデータを設定してプログ
ラムの実行を再開させる場合のプログラム実行状況表示
方法である。

第６図の実施例では、第１図のシステム構成に、さらに
扱者の音声を入出力する音声入出力装置１１０と、ＶＴ
Ｒ２から画像を読取る画像読取り装置１１１と、音声と
画像を読取り、かつ再生するための制御を行う音声・画
像読取り・再生部１１５と、音声入出力装置１１０によ
り読み取られた情報を格納する音声データファイル１１
２と、画像読取り装置１１１により読み取られた情報を
格納する画像データファイル１１３と、扱者等のコメン
ト、クレームをテキスト中に挿入するためのエディタ（
編集用プログラムモジュール）１１４とを追加している
。

第７図は、第６図において用いられる全体関係情報テー
ブルと要素関係情報テーブルの格納情報図である。

第６図の実施例では、画像データと音声データとを独立
に取り出しているので、その分の関係情報データをテー
ブルに格納する必要がある。すなわち、第２図、第３図
に示したように、第１図の実施例では、全体関係情報テ
ーブルにはビデオテープＩＤ１１７と、プログラムＩＤ
１１８と、履歴情報ＩＤＩ　ｌ　９と、要素関係情報テ
ーブルＩＤ１２４とが格納されるとともに、要素関係情
報テーブルにはポイントマーカ１２７と、プログラムソ
ーステキストの行番号１２８と、履歴情報の行番号１２
９とが格納されていた。これに対して、第６図の実施例
では、第７図（ａ）に示すように、全体関係情報テーブ
ルには、上記データの他にさらに、画像データＩＤＩ　
２０と、音声データＩＤ１２１と、ビデオテープＩＤ（
アニメーション用）１２２と、ビデオテープＩＤ（装置
周辺用）１２３とが追加されるとともに、要素関係情報
テーブルには、第７図（ｂ）に示すように、さらに画像
データ（エリア）１３０と、ポイントマーカ（音声）１
３１と、ポイントマーカ（アニメーション）１３２と、
ポイントマーカ（周辺装置）１３３とが追加されている
。

以下、第６図の実施例の動作を説明する。

プログラム実行部８によりプログラムファイル４に登録
されているプログラムを実行させ、第１図の場合と同じ
ように、関係情報テーブルの設定と録画を行う。プログ
ラム実行部８は、ユーザの実行中断指示があると、プロ
グラムの実行を中断させて画面の録画も一時停止する。

中断時に、ユーザは中断した画面と関係付けたいデータ
を、音声入出力装置１１０と画像読取り装置１１１とエ
ディタ１１４を用いて計算機に入力し、これらのデータ
が格納されているファイル名称とデータのエリア（位置
）情報を中断画面に対応させて関係情報テーブルに登録
する。上記関係付は処理が終了し、ユーザが実行再開の
指示を行うと、プログラム実行部８はプログラムの実行
を再開して、画面の録画も再開する。これらの処理を、
プログラムの実行が終了するまで繰り返し行う。

そして、録画した画面を再生する時、関係情報設定・読
取り部ｌＯにおいて、再生画面に記録されたポイントマ
ーカの値を読み取り、関係情報テーブルを参照して、ユ
ーザが指定登録したデータがある場合には、録画画面の
再生を一時停止して、再生画面に対応するプログラムの
ソーステキスト、履歴情報テキストおよびユーザが登録
したデータを、関係情報表示部１１と音声・画像データ
読取り・再生部１１５が例えばマルチウィンドウ画面で
表示する。

上述の方法においては、プログラムの実行画面を録画し
て、各種データを関係付けるユーザと、その画面を再生
して、ある画面の関連情報を見るユーザとは、異なるユ
ーザであってよい。これによって、プログラムの実行画
面に関係する情報を、実行画面のイメージに沿って録画
時に在席していない第３者に伝達することができる。例
えば、プログラムの実行時に発生したユーザのクレーム
を、実行画面に関連付けて即時登録し、プログラムの開
発者がその場に在席していない場合でも、どの場面でど
のようなユーザクレームが発生したかを他のユーザに確
認させる方法を与える。

さらに、本発明の第４の実施例として、第６図および第
７図により、アニメーションでプログラムの実行状況を
表現する方法がある。

例えば、簡単な図形により並行動作状態、繰り返し動作
状態、条件動作状態、あるいは順序実行状態等を表現で
き、また状態の遷移を簡単に表現できる図形表現方法と
して、ｐ　ＡＤ（ＰｒｏｂｌｅｍＡ　ｎａｌｙｓｉｓ　
　Ｄ　ｉａｇｒａｍ）や遷移図が用いられている。

このＰＡＤにおける各図形が、プログラムの実行に従っ
て色を変えたり、状態遷移図における各状態図が、プロ
グラムの実行に従って色を変える場合がある。これらの
アニメーション実行画面を、第６ＩｙＪに示すシステム
でプログラム実行画面と同じ方法により録画する。

第１図のプログラム実行画面と異なる点は、アニメーシ
ョン実行録画の画面１枚毎に、異なるポイントマーカの
値を設定することである。同時に、第７図（ｂ）の要素
関係情報テーブルの項目１３２にも値を設定し、かっこ
の画面に対応するプログラムソーステキストの実行行番
号（１２８）、履歴テキスト行番号（１２９）、および
プログラム実行画面のポイントマー　、ｌ：１（１２７
）の各値も設定する。

次に、録画した画面を再″する場合には、第６図におけ
る関係情報設定・読取り部１０により、プログラム実行
画面に記録しであるテープマーカ、ポイントマーカの値
を読み取って、関係情報テーブルから関係するアニメー
ション実行画面（その前後の実行画面を含む）を再生し
たり、あるいはプログラム実行画面の再生と同期して、
アニメーション実行画面を再生することが可能である。

これとは逆に、アニメーション実行画面から、あるいは
関係情報テーブルから、これらに関係するプログラム実
行画面、プログラムソーステキスト、実行履歴情報、画
像データあるいは音声データにアクセスすることも可能
である。

第８図、第９図および第１０図は、本発明の第５の実施
例を示す計算機システムの配置図である。

これらの実施例では、プログラム実行画面を録画するの
ではなく、プログラムが制御する機械（計算機）の周辺
にビデオカメラ装置を設置して、それらの機械自体ある
いはその周辺の人物や物体の動作を録画する。

第８図では、プログラムを実行する計算機装置２０２の
周辺にビデオカメラ装置２０３を設置して、計算機装置
２０２とそれに接続されたキーボードデイスプレィとマ
ウス等の入出力装置２０１とそれらを操作する人の動作
状態を録画する例を示している。

第９図では、プログラムが機械装置２０７の制御用であ
る場合であって、その機械装置２０７の周辺にビデオカ
メラ装置２０８を設置して、その機械装置２０７とそれ
を操作する人物の動作を録画する例を示している。

実際に稼動させる場合には、プログラムは機械装置２０
７に組み込まれて動作するが、試験・保守時には、プロ
グラムを計算機本体２０２上でインタプリタ方式により
実行させ、計算機２０２の実行制御信号に従って、試験
装置２０６が機械装置２０７をプログラムが実際に組み
込まれた時と同じ動作を行わせる。なお、インタプリタ
方式とは、命令を１行ずつ解釈して実行する解釈実行方
式であって、コンパイル実行方式とは区別される。

第１０図では、プログラムが制御する機械装置２１２．
２１３，２１４が複数個分散されている場合において、
各機械装置周辺に複数のビデオカメラ装置２１５，２１
６，２１７を設置して、これらの機械装置２１２，２１
３，２１４およびそれらを操作する人物の動作を録画す
る例を示している。

なお、第７図（ａ）に示す全体関係情報テーブルでは、
項目としてビデオテープＩＤ（装置周辺）１２３が１つ
だけしかなく、また第７図（ｂ）に示す要素関係情報テ
ーブルでは、項目としてポイントマーカ（装置周辺）１
３３が１つだけしかないが、第１０図の例では、これら
の関係情報テーブルにおける項目をビデオカメラ装置の
数だけ追加設定する。

第５の実施例における録画の方法は、第４の実施例（第
６図参照）と同じ方法で実現できる。すなわち、計算機
周辺の録画画面１枚毎に異なるボイントマーカの値を設
定して、第７図（ｂ）の要素関係情報テーブルの項目１
３３にも値を設定する。

そして、この画面に対応してプログラムのソーステキス
トの実行行番号（第７図（ｂ）の１２８）、履歴テキス
ト行番号（第７図（ｂ）の１２９）、およびプログラム
実行画面のポイントマーカ（第７図（ｂ）の１２７）の
各位を設定する。

そして、録画した画面を再生する場合には、第６図の関
係情報設定・読取り部１０により計算機周辺の録画画面
に記録されであるテープマーカ、ポイントマーカの値を
読み取って、関係情報テーブルからそれらと関係するプ
ログラム実行画面、プログラムソーステキスト、実行履
歴情報、画像データ、および音声データにアクセスする
ことが可能である。

〔発明の効果〕

このように、本発明によれば、（イ）プログラムの実行
状況を画像録画装置や音声録音装置により録画または録
音して、これを再生することにより、プログラムの実行
状況を参照しながら実行状況に関係する情報やプログラ
ムの関係部分をユーザに自動的に提示することができる
ので、実行状況に対応するプログラムの修正箇所を容易
に検出できる。また、（ロ）既存のプログラムの操作イ
メージやプログラムにより制御される機械自体、または
周辺の人間および物体の動作イメージを提示するので、
そのプログラムの機能や特徴をユーザに迅速に把握させ
ることができる。

また、（ハ）プログラム実行時に、ユーザの指定したデ
ータ（テスト情報やクレーム）を録画画面と関係付けて
即時登録することにより、第３者にプログラム実行の再
生画面に沿ってユーザの登録したデータを提示するので
、プログラムの実行画面に関係する実行履歴情報等のテ
キスト情報、画面データ、音声データ、あるいはプログ
ラム実行状況の間約表現（アニメーション）データ等の
各種データを関係付けて表示することができる。この結
果、ソフトウェアの開発や保守、あるいは試験環境を向
上させることができ、ソフトウェアの生産性を向上させ
ることが可能である。

【図面の簡単な説明】

第１図は本発明の第１の実施例を示すプログラム実行状
況表示システムのブロック図、第２図は第１図における
全体関係情報テーブルの内容および関係説明図、第３図
は第１図における要素関係情報テーブルの内容および関
係説明図、第４図は本発明の処理手順を示すフローチャ
ート、第５図は本発明における再生画面の説明図、第６
図は本発明の第３の実施例を示すプログラム実行状況表
示システムのブロック図、第７図は第６図における関係
情報テーブルの内容説明図、第８図、第９図および第１
０図はそれぞれ本発明の第５の実施例を示すプログラム
実行状況表示のための配置図である。１：計算機端末装置、２：ＶＴＲ装置、３：計算機処理
装置本体、４：ソーステキストを登録したプログラムフ
ァイル、５ニブログラム実行履歴ファイル、６：関係情
報ファイル、７：全体制御部、８ニブログラム実行部、
９：録画・再生部、１０：関係情報設定・読取り部、１
１：関係情報表示部、１２：履歴情報管理部、１１０：
音声入出力装置、１１１：画像読取り装置、１１２：音
声データファイル、１１３：画像データファイル、１１
４：エディタ、１１５：音声・画像読取り・再生部、２
０１：端末装置、２０２：計算機本体、２０３．２０８
，２１５，２１６．２１７：ビデオカメラ、２０６，２
１１：試験装置、２０７゜２１２．２１３，２１４＋機
械装置。第１図第６図第図第９図第図

Claims

【特許請求の範囲】１、第１のファイルに登録したプログラムを実行させる
ステップと、該プログラムの実行に伴って該プログラム
の実行履歴情報を順次記録し、第２のファイルに登録す
るステップと、該プログラムの実行に同期して画像録画
装置を起動し、該プログラムの実行状況を示す任意の画
像を録画するステップと、該プログラムの実行に伴って
、該プログラムの実行状況を録画した上記画像と上記実
行履歴情報の任意のものとを関係付けて、関係付けられ
た情報を第３のファイルのテーブルに登録するステップ
とからなる録画動作と、録画した上記画像を再生する際
に、任意の時点で再生情報に関係付けられた上記実行履
歴情報を、上記第３のファイルの関係情報より検索して
、該実行履歴情報を表示装置に表示するステップと、該
ステップ動作とは逆に、任意の時点における上記実行履
歴情報に基づいて、上記関係情報から該実行履歴情報に
関係付けられた録画画面ないし該録画画面の前後を再生
するステップとからなる再生動作を有することを特徴と
するプログラム実行状況表示方法。２、請求項１に記載のプログラム実行状況表示方法にお
いて、前記第２のファイルに登録されるプログラム実行
履歴情報に、該プログラムの実行行番号とその時点で該
プログラムが扱う全てのデータ値を記録するステップを
含む第１の録画動作と、録画された画面を再生している
際に、任意の時点でユーザにより再生画面が静止される
と、該再生画面に対応する実行履歴情報を前記第３のフ
ァイルの関係情報のテーブルから検索するステップと、
該実行履歴情報を参照することにより、該時点で再生画
面と異なるデータ値がユーザにより設定されると、そこ
に記録されているプログラムの実行行番号から該プログ
ラムの実行を再開するステップとからなる第２の録画動
作と、上記異なるデータによる異なる実行状況と上記再
生画面を比較して再生する再生動作を有することを特徴
とするプログラム実行状況表示方法。３、請求項１に記載のプログラム実行状況表示方法にお
いて、前記プログラムの実行中に、ユーザにより任意の
時点で該プログラムが中断され、任意のデータが指定さ
れた場合、指定された上記データと中断時点でのプログ
ラム実行状況を示す画像情報とを関係付ける情報を第３
のファイルの関係情報テーブルに記録するステップを含
む録画動作と、録画された画面を再生する際に、該関係
情報テーブルによりユーザの指定したデータの存在を検
知した時点で再生を停止し、指定されたデータを表示す
るステップと、該ステップの動作とは逆に、該関係情報
テーブル上に指定されたデータがあると、該関係情報テ
ーブルの内容に従って関係する時点の前後の録画情報を
再生するステップからなる再生動作を有することを特徴
とするプログラム実行状況表示方法。４、請求項３に記載のプログラム実行状況表示方法にお
いて、前記プログラムの実行中に任意の時点で中断され
た場合、ユーザが指定したクレーム、テストデータ、お
よび各種仕様データを含む情報を、音声入力装置および
画像入力装置に入力して、入力された音声情報および画
像情報をファイルに登録するステップと、該音声情報お
よび画像情報をプログラム実行状況を示す画像情報と関
係付けて第３のファイルの関係情報テーブルに記録する
ステップを含む録画動作を有することを特徴とするプロ
グラム実行状況表示方法。５、請求項１〜４のいずれかに記載のプログラム実行状
況表示方法において、前記プログラムを含む複数種類の
プログラムの実行状況を示す情報を、各々複数の音声録
音装置および画像録画装置により記録する場合に、各プ
ログラムの実行に従って同時刻に記録するプログラムの
実行状況を示す各種情報を、互いに関係付けた関係情報
を自動的に記録するステップを含む録画動作と、任意の
録音情報ないし録画情報を再生する場合に、上記関係情
報により関係付けられた録音情報ないし録画情報を同期
して再生するステップを含む再生動作を有することを特
徴とするプログラム実行状況表示方法。６、請求項１〜５のいずれかに記載のプログラム実行状
況表示方法において、前記録音装置および録画装置を情
報処理装置の周辺ないしプログラムにより制御される機
械装置の周辺に配置し、実行プログラムに従った上記情
報処理装置ないし機械装置の動作ないし音声、あるいは
装置周辺の人間および物体の動作ないし音声を、上記録
音装置ないし録画装置により記録し、記録した音声ない
し画面を再生することを特徴とするプログラム実行状況
表示方法。７、請求項１〜６のいずれかに記載のプログラム実行状
況表示方法において、前記プログラムのソーステキスト
、実行履歴情報、画像データ、音声データ、プログラム
の実行画面、プログラムの実行状況の図的表現、アニメ
ーシヨン表現、および各種のデータを関係付ける関係情
報を記録し、その後、該関係情報を用いて各々のデータ
から関係するデータを検索して、該データを表示し、再
生することを特徴とするプログラム実行状況表示方法。８、請求項１〜７のいずれかに記載のプログラム実行状
況表示方法において、前記プログラムの実行の代りに、
情報処理装置上で稼動する第４世代言語のインタプリタ
、実行可能仕様を含むソフトウェアを実行するとともに
、その実行状況を示す音声情報、画像情報および実行履
歴情報を関係付けて記録した後、これらの情報を再生す
ることを特徴とするソフトウェア実行状況表示方法。