JP2002262233A - Behavior measurement system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To obtain a behavior measurement system that helps efficiently perform behavior evaluation and analysis work by automatically synchronizing a plurality of pieces of media data and reproducing the media data. SOLUTION: This system is provided with a media data inputting means 1 for storing one piece of media data or more together with an input time, a data integrating means 2 for setting a prescribed reference time and recording integrated data including an offset time against the input time of each of the media data, a master timer 4 for counting a reproduction elapse time from the reference time, a time converting means 5 for calculating the actual reproduction position of each media data being a reproduction object by using a count time in the master timer 4 and the offset time, a data reproducing means 6 for instructing synchronous reproduction of the media data by using the reproduction position, and a displaying means 3 for displaying the media data on the basis of an instruction from the data reproducing means.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】この発明は行動計測システム
に関し、特に、ものづくり作業などにおいて作業中の行
動を評価・分析し、作業効率の改善を図る行動計測にお
いて、評価・分析作業を効率化したシステムに関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a behavior measurement system, and more particularly, to a system which evaluates and analyzes a behavior during a work in manufacturing or the like to improve work efficiency, and which makes the evaluation and analysis work more efficient. It is about.

【０００２】[0002]

【従来の技術】従来、作業における行動の評価を行い、
作業効率の改善を図るには、次のような手法を用いて行
っていた。まず作業風景をビデオカメラによって撮影記
録する。同時に各作業手順開始時刻と問題行動（以下ま
とめて「行動」とする）などの発生時刻をストップウオ
ッチなどで計測してコメントと共に観察用のシートに記
録する。このとき必要に応じて湿度・温度変化などの環
境値や機器の動作状況など（以下「計測値」とする）も
記録する。分析を行う際は、観察シートを元にして記録
した時間と行動データを用いて、不要な動作及び時間を
要している作業個所などの特定を行う。必要に応じて再
度ビデオのチェックを行う。２者のデータを比較する際
は観察シートによって差異を見つけ、どの部分が問題で
あったか、時間がかかっているかなどを求める。ビデオ
で確認するときはスイッチング機器によって映像を切り
替えて観察したり、ビデオテープを入れ替えて観察した
りする。2. Description of the Related Art Conventionally, behaviors in work are evaluated,
In order to improve work efficiency, the following method was used. First, the working scene is photographed and recorded by a video camera. At the same time, the start time of each work procedure and the time of occurrence of a problem behavior (hereinafter collectively referred to as "action") are measured by a stopwatch or the like, and recorded together with comments on an observation sheet. At this time, environmental values such as changes in humidity and temperature, operation states of the devices, and the like (hereinafter, referred to as “measured values”) are also recorded as necessary. When performing the analysis, the unnecessary operation and the work location requiring the time are specified using the time and the action data recorded based on the observation sheet. Check the video again if necessary. When comparing the data of the two, a difference is found by the observation sheet, and it is determined which part is a problem, it takes time, and the like. When confirming with a video, the video is switched and observed with a switching device, or the video tape is replaced and observed.

【０００３】この方法では次のような問題点がある。第
１に映像と記録した時刻との間は正確に一致しないとい
う点である。通常のビデオ機器はタイムコードを記録す
る機構をもっているが、これを正確に管理するには記録
開始時のタイムコードを記憶し、さらに行動が発生した
場合にタイムコードを記録する必要がある。しかし、タ
イムコードにおけるフレームなどの細かい単位に関して
はそのサイクルが高速なために人間がその記録中に正確
に読み取ることは不可能である。This method has the following problems. First, there is no exact match between the video and the recorded time. Normal video equipment has a mechanism for recording a time code, but in order to accurately manage the time code, it is necessary to store the time code at the start of recording and to record the time code when an action occurs. However, it is impossible for a human to accurately read a fine unit such as a frame in a time code during recording because the cycle is so fast.

【０００４】第２に計測値とビデオ映像との同期の問題
がある。仮に第１の問題が解決されているとしても、計
測値に関しては別の機器によって記録されるので、ビデ
オ映像とは時刻同期していない。もし同期が取れたとし
ても、別々の機器で記録している場合、映像と計測値を
同時に見ることは現状では不可能である。Second, there is a problem of synchronization between the measured value and the video image. Even if the first problem is solved, the measured value is recorded by another device, and thus the time is not synchronized with the video image. Even if synchronization has been achieved, it is not possible at the present time to view the video and the measured values simultaneously when recording is performed by different devices.

【０００５】第３には２者比較に関する問題がある。比
較表示画面では、画面分割ユニットなどによって映像を
同時に確認することも考えられるが、やはり機器操作面
で簡単に所望の動作を引き出せないという問題がある。
また、比較時に作業速度的な面でどの程度の差異がある
のかを見たい場合は一連の作業で見ることは可能である
が、個々のキー操作などの詳細作業単位での差異把握は
非常に困難である。Third, there is a problem related to two-party comparison. On the comparative display screen, it is conceivable to simultaneously check the image by a screen division unit or the like, but there is still a problem in that a desired operation cannot be easily extracted on the device operation side.
Also, if you want to see how much difference there is in terms of work speed when comparing, it is possible to see it in a series of work, but it is very difficult to grasp the difference in detailed work units such as individual key operation. Have difficulty.

【０００６】第４の問題点として検索性の点があげられ
る。収集したデータを後日確認する場合、ビデオテープ
・観察シートの保管場所を管理する必要がある。さらに
特定の行動を見たい場合には該当タイムコードの頭だし
が必要となるが、機器の操作など手間がかかる。A fourth problem is the searchability. When checking the collected data at a later date, it is necessary to manage the storage location of the videotape and observation sheet. If you want to see a specific action, you need to start the corresponding time code, but it takes time to operate the device.

【０００７】また、さまざまな角度から作業風景を評価
したい場合、大量のビデオカメラの設置が必要となり、
しかもその時刻同期を取るのが難しいという第５の問題
点も存在する。In order to evaluate the work scenery from various angles, it is necessary to install a large number of video cameras.
In addition, there is a fifth problem that it is difficult to synchronize the time.

【０００８】特開２００１−１４０１６号公報ではこれ
らの問題点を限定された範囲で解決している。特開２０
０１−１４０１６号公報では、作業風景の映像をディジ
タル化して計算機内に取り込み、計算機上で映像を再生
しながら動作区間の一つ一つを定義することが可能であ
る。動作区間の開始位置・終了位置を映像データ上の時
刻と関連付けて記憶することで、正確な位置付けを行っ
ている。これによって上記第１の問題は解決される。ま
た、特開２００１−１４０１６号公報では動作区間に対
するラベル付けと属性設定を行うことができるので、ラ
ベルを見ることによって見たいシーンの頭だしを比較的
簡単に行うことができる。また、動作区間にはコメント
を記述することができるので作業上の注意点などを記入
して作業者に対して指示を与えることなども可能であ
る。さらに動作区間に無効の属性を付加することで該当
区間を再生対象から除外すること、動作区間の手動によ
る並べ替え機能によって理想的な作業をシミュレートす
ることも可能である。Japanese Patent Application Laid-Open No. 2001-14016 solves these problems within a limited range. JP 20
In Japanese Patent Application Laid-Open No. 01-14016, it is possible to digitize an image of a working scene, take it into a computer, and define each operation section while reproducing the image on the computer. Accurate positioning is performed by storing the start position and the end position of the operation section in association with the time on the video data. This solves the first problem. In Japanese Patent Application Laid-Open No. 2001-14016, it is possible to perform labeling and attribute setting for an operation section, so that it is possible to relatively easily find the beginning of a scene to be viewed by looking at the label. Further, since a comment can be described in the operation section, it is also possible to enter a cautionary note on the work and give an instruction to the worker. Further, by adding an invalid attribute to the operation section, the corresponding section can be excluded from the reproduction target, and an ideal operation can be simulated by a function of manually rearranging the operation sections.

【０００９】[0009]

【発明が解決しようとする課題】しかしながら、特開２
００１−１４０１６号公報においては、上記第２〜５の
問題に関しては解決されておらず、比較分析を行うには
多くの問題を有している。このように従来のシステムに
おいては、上述したような多くの問題があり、行動の評
価・分析作業を効率よく行うことができなかった。SUMMARY OF THE INVENTION However, Japanese Patent Application Laid-Open
Japanese Patent Application Laid-Open No. 001-14016 does not solve the second to fifth problems, and has many problems in performing comparative analysis. As described above, in the conventional system, there are many problems as described above, and the work of evaluating and analyzing the behavior cannot be performed efficiently.

【００１０】この発明はかかる問題点を解決するために
なされたもので、複数のメディアデータを自動的に同期
して再生することにより、行動の評価・分析作業を効率
的に行うことを支援する行動計測システムを得ることを
目的とする。[0010] The present invention has been made to solve such a problem, and automatically performs a plurality of media data in synchronism with each other to support efficient evaluation and analysis of behavior. The purpose is to obtain a behavior measurement system.

【００１１】[0011]

【課題を解決するための手段】この発明は、１以上のメ
ディアデータを入力とし、各メディアデータの入力時刻
と共に記憶するメディアデータ入力手段と、所定の基準
時刻を設定し、各メディアデータについて入力時刻と基
準時刻との時間差であるオフセット時刻を算出し、各メ
ディアデータについてのオフセット時刻を統合した統合
データを記録するデータ統合手段と、メディアデータの
うちの１以上の再生対象のメディアデータについて再生
経過時刻を基準時刻からカウントするマスタータイマー
と、マスタータイマーにおけるカウント時刻を、統合デ
ータ内のオフセット時刻を用いて、各メディアデータに
おける時刻に変換することにより、再生対象の各メディ
アデータの実際の再生位置を求める時刻変換手段と、時
刻変換手段によって得られたメディアデータの実際の再
生位置を用いて、１以上の再生対象のメディアデータの
同期再生を指示するデータ再生手段と、データ再生手段
からの指示に基づいて、１以上の前記再生対象のメディ
アデータの一部もしくは全部を表示する表示手段とを備
えた行動計測システムである。According to the present invention, media data input means for inputting one or more media data and storing the media data together with the input time of each media data, a predetermined reference time, and inputting each media data are set. A data integration means for calculating an offset time, which is a time difference between the time and the reference time, and recording integrated data obtained by integrating the offset times for the respective media data; and reproducing one or more of the media data to be reproduced from the media data The master timer that counts the elapsed time from the reference time, and the count time in the master timer is converted to the time in each media data using the offset time in the integrated data, so that the actual playback of each media data to be played is performed. Time conversion means for obtaining the position and time conversion means A data reproducing unit that instructs synchronous reproduction of one or more media data to be reproduced using an actual reproduction position of the obtained media data, and one or more of the one or more reproduction targets based on an instruction from the data reproducing unit. And a display unit for displaying a part or all of the media data.

【００１２】また、作業対象となる機器の状態を入力と
し、入力時刻と共に記憶する機器状態入力手段をさらに
備え、データ統合手段は、機器状態入力手段に入力され
た機器状態データを統合データの統合対象として取り扱
う。In addition, the apparatus further includes device status input means for inputting the status of the device to be operated and storing the status together with the input time, and the data integration means integrates the device status data input to the device status input means into integrated data. Treat as a target.

【００１３】また、作業者の状態を入力とし、入力時刻
と共に記憶する計測データ入力手段をさらに備え、デー
タ統合手段は、計測データ入力手段に入力された作業者
状態データを統合データの統合対象として取り扱う。Further, the apparatus further comprises measurement data input means for inputting the state of the worker and storing the data together with the input time, and the data integration means sets the worker state data input to the measurement data input means as an integration target of the integrated data. handle.

【００１４】また、計測データ入力手段は、作業者状態
データとして、作業者の生理的なデータを入力とする。The measurement data input means inputs the physiological data of the worker as the worker state data.

【００１５】また、データ統合手段は、各メディアデー
タを分割する所定の区間を定義する区間定義手段を備え
ている。[0015] The data integration means includes section definition means for defining a predetermined section into which each piece of media data is divided.

【００１６】また、区間定義手段は、区間を入れ子構造
にする。Further, the section definition means makes sections into a nested structure.

【００１７】また、統合データが複数個あって、表示手
段は、１以上の統合データを同時に表示する。Further, there are a plurality of integrated data, and the display means simultaneously displays one or more integrated data.

【００１８】また、統合データが複数個あって、表示手
段は、１以上の前記統合データを同時に表示し、データ
統合手段は、表示されている統合データにおいて対応付
けの対象とする区間を選択する区間選択手段と、選択さ
れた複数の区間同士の対応付けを行う区間対応付け手段
とを備えている。Further, there are a plurality of integrated data, the display means simultaneously displays one or more of the integrated data, and the data integrating means selects a section to be associated in the displayed integrated data. The apparatus includes a section selecting unit and a section associating unit that associates a plurality of selected sections with each other.

【００１９】また、データ再生手段は、区間対応付け手
段によって対応付けられたデータを利用して再生を行う
区間同期再生手段を備えている。The data reproducing means includes a section synchronous reproducing means for reproducing using the data associated by the section associating means.

【００２０】また、区間同期再生手段は、再生中の区間
の終了点に到達したデータを待機状態として、すべての
統合データに関する再生が該当区間の終了点に達したと
きに再度すべての再生を開始する待機再生手段を備えて
いる。The section synchronous playback means sets the data which has reached the end point of the section being played back to a standby state, and starts all the playback again when the playback of all the integrated data reaches the end point of the section. Standby reproducing means for performing the operation.

【００２１】また、区間同期再生手段は、マスターとな
る統合データを選択するマスター選択手段と、各メディ
アデータにおける対応区間ごとの再生時間をもとめ、マ
スターとなったデータの該当区間の再生時間に合わせて
自動的に再生速度を増減する再生速度同期手段とを備え
ている。The section synchronous playback means includes a master selection means for selecting integrated data serving as a master and a playback time for each corresponding section of each media data, and adjusts the playback time of the corresponding section of the master data in accordance with the playback time of the corresponding section. Playback speed synchronization means for automatically increasing or decreasing the playback speed.

【００２２】また、与えられた検索条件によって、自身
もしくは他の統合データにて設定されている区間を検索
する区間検索手段をさらに備えている。Further, the apparatus further comprises a section search means for searching a section set by itself or other integrated data according to given search conditions.

【００２３】また、区間検索手段は、定義された区間に
おけるデータ間の関係を評価する評価関数を定義する評
価関数定義手段と、与えられた評価関数によって得られ
た評価値を検索結果とする評価結果提示手段とを備えて
いる。The section searching means includes an evaluation function defining means for defining an evaluation function for evaluating a relation between data in a defined section, and an evaluation function for obtaining a search result using an evaluation value obtained by a given evaluation function. Result presenting means.

【００２４】また、メディアデータ入力手段が複数個設
けられている。Further, a plurality of media data input means are provided.

【００２５】また、計測データ入力手段が複数個設けら
れている。Further, a plurality of measurement data input means are provided.

【００２６】また、メディアデータ入力手段は、対象と
なる作業者を取り囲むように配置した複数のビデオカメ
ラからの出力を入力とし、データ表示手段は、任意の視
点を指定できる視点指定手段と、視点指定手段によって
指定された視点に一致するカメラ映像が存在しない場合
には近傍の２台以上のカメラ映像から指定視点における
映像を合成して表示する視点映像合成手段とを備えてい
る。The media data input means receives outputs from a plurality of video cameras arranged so as to surround a target worker, and the data display means includes a viewpoint designating means capable of designating an arbitrary viewpoint, and a viewpoint designating means. When there is no camera image that matches the viewpoint specified by the specifying means, a viewpoint image synthesizing means for synthesizing and displaying an image at the specified viewpoint from two or more nearby camera images is provided.

【００２７】また、データ表示手段は、球面上の一部に
映像を表示し、視点指定手段は、球面を転がすことによ
り視点を選択する。The data display means displays an image on a part of the spherical surface, and the viewpoint designating means selects a viewpoint by rolling the spherical surface.

【００２８】また、データ表示手段は、映像データを映
像の解像度×Ｎ（Ｎは浮動小数点であらわせる正の数）
を一面とし、時間を長さとして変換したものを奥行きと
して表した直方体とし、その時間軸方向に指定された計
測データまたは音声データの時間的な変化をグラフ化し
たものを表示し、グラフ上で指定された位置に該当する
映像中のフレームデータを縦方向にポップアップ表示す
る。The data display means converts the video data to the resolution of video × N (N is a positive number representing a floating point).
Is a rectangular parallelepiped that converted the time as the length and expressed as the depth, and displayed a graph of the temporal change of the measurement data or audio data specified in the time axis direction, and displayed on the graph Pop-up frame data in the video corresponding to the specified position is displayed in the vertical direction.

【００２９】また、機器状態入力手段は、機器からの操
作履歴を入力とし、区間設定手段は、操作履歴情報に従
って区間を自動的に分割する自動区間設定手段を備えて
いる。The device state input means receives an operation history from the device as input, and the section setting means includes automatic section setting means for automatically dividing a section according to the operation history information.

【００３０】[0030]

【発明の実施の形態】実施の形態１．図１は、この発明
の実施の形態１に係る行動計測システムの構成を示すブ
ロック図である。以下にこの実施の形態について説明す
る。図において、１は、ものづくり作業などの作業中の
映像または音声を複数入力し、それぞれを時刻と共に記
憶するメディアデータ入力手段であり、２は、所定の基
準時刻を定め、メディアデータ入力手段１に入力された
各メディアデータにおける開始時刻を前記基準時刻から
のオフセットとして算出し、それらのオフセット時刻を
統合して記録するデータ統合手段であり、３は、データ
統合手段２に記録された統合データを用いて、メディア
データ入力手段１に入力された各メディアデータの一部
もしくは全部を表示する表示手段である。また、４は、
後述するデータ再生手段の再生経過時間を基準時刻から
カウントするマスタータイマーであり、５は、マスター
タイマー４における時刻を、統合データにて管理されて
いるオフセット時刻を用いて、各メディアデータにおけ
る時刻に変換するものであり、すなわち、各メディアデ
ータにおける実際の再生位置を、マスタータイマー４の
カウント時刻と統合データにて管理されているオフセッ
ト時刻とにより計算して出力する時刻変換手段であり、
６は、各メディアデータの同期再生を指示するデータ再
生手段である。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 FIG. 1 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 1 of the present invention. Hereinafter, this embodiment will be described. In the figure, reference numeral 1 denotes a media data input unit for inputting a plurality of videos or sounds during a work such as a manufacturing operation and storing each of them together with time. Reference numeral 2 denotes a predetermined reference time. Data integration means for calculating a start time in each input media data as an offset from the reference time, and integrating and recording the offset times. Reference numeral 3 denotes integrated data recorded in the data integration means 2. It is a display means for displaying a part or all of each piece of media data input to the media data input means 1. 4 is
A master timer 5 counts the playback elapsed time of the data playback unit, which will be described later, from a reference time. Reference numeral 5 denotes a time in the master timer 4 which is set to a time in each media data by using an offset time managed by integrated data. Time conversion means for calculating and outputting the actual playback position in each media data based on the count time of the master timer 4 and the offset time managed by the integrated data;
Reference numeral 6 denotes a data reproducing unit for instructing synchronous reproduction of each media data.

【００３１】次に動作について説明する。メディアデー
タ入力手段１は、複数の映像または音声からなるメディ
アデータを入力してディジタル化すると共に、当該映像
を撮影した時刻を取得して記憶装置に記憶する。データ
統合手段２は、所定の基準時刻を設定し、メディアデー
タ入力手段１で入力された各メディアデータにおける時
刻と基準時刻との差（以下、オフセット時刻とする。）
を計算して、そのオフセット時刻の情報を統合して記憶
する。データ再生手段６はマスタータイマー４に基準時
刻からの経過時間を要求し、受け取った経過時間を時刻
変換手段５に出力する。時刻変換手段５は、受け取った
経過時間と統合データにて管理されているオフセット時
刻とにより、再生対象となるメディアデータにおける実
際の再生位置を計算してデータ再生手段６に戻す。デー
タ再生手段６は、時刻変換手段６を利用して取得した情
報を用いて、表示手段３により該当するメディアデータ
の同期再生を行う。Next, the operation will be described. The media data input means 1 inputs and digitizes media data composed of a plurality of videos or sounds, acquires the time at which the video was shot, and stores it in a storage device. The data integration means 2 sets a predetermined reference time, and the difference between the time and the reference time in each piece of media data input by the media data input means 1 (hereinafter referred to as offset time).
Is calculated, and the information of the offset time is integrated and stored. The data reproducing unit 6 requests the master timer 4 for the elapsed time from the reference time, and outputs the received elapsed time to the time conversion unit 5. The time conversion unit 5 calculates an actual reproduction position in the media data to be reproduced based on the received elapsed time and the offset time managed by the integrated data, and returns the calculated position to the data reproduction unit 6. The data reproducing means 6 performs synchronous reproduction of the corresponding media data by the display means 3 using the information acquired by using the time converting means 6.

【００３２】さらに詳細に説明する。本実施の形態にお
いては、メディアデータ入力手段１に、メディアデータ
として２つの映像データが入力されたものとする。入力
された映像データは、その記録開始時の時刻と関連付け
て記録される。例えば、図２に示すように、映像データ
はＭＰＥＧなどの汎用的なデータとして映像ファイル１
０に記録し、その管理情報として映像データへのポイン
タ（すなわち、メディアデータファイルへのパス）、映
像記録開始時刻および映像継続時間を記録したデータを
管理ファイル１１に記録する。もちろん、映像データ中
に時刻管理領域を確保してひとつのデータとして扱って
もよい。This will be described in more detail. In the present embodiment, it is assumed that two pieces of video data are input to the media data input unit 1 as media data. The input video data is recorded in association with the time at the start of the recording. For example, as shown in FIG. 2, video data is video file 1 as general-purpose data such as MPEG.
0, and the management information is recorded in the management file 11 as data in which a pointer to video data (that is, a path to a media data file), a video recording start time, and a video duration are recorded. Of course, a time management area may be secured in the video data and handled as one data.

【００３３】図３にメディアデータの管理ファイル１１
の構造の一例をしめす。管理ファイル１１には、図のよ
うに、メディアデータ実体への参照が記憶されているの
で、管理ファイル１１を見れば、所望のメディアデータ
を呼び出すことができる。映像継続時間は、メディアデ
ータ入力手段１へのデータ入力が終了した時点で計算さ
れ記録することができる。FIG. 3 shows a management file 11 for media data.
An example of the structure is shown below. Since the management file 11 stores a reference to the media data entity as shown in the figure, the user can call up desired media data by looking at the management file 11. The video continuation time can be calculated and recorded when data input to the media data input means 1 is completed.

【００３４】データ統合手段２では２つの管理ファイル
１１を統合する処理を行う。このときに基準時刻を設定
する。基準時刻は行動記録開始時刻近辺など評価におい
て適した時刻を設定する。図４に示すように、２つの管
理ファイル１１があり、基準時刻をたとえば、２００１
／１／２１ ２２：０１：００．０００と設定したとす
ると、メディアデータ管理ファイル１に対するオフセッ
トは、（２２：００：３０．１８７−２２：０１：０
０．０００＝）−２９秒８１３となり、メディアデータ
管理ファイル２に対するオフセットは、（２２：０１：
１０．２２０−２２：０１：００．０００＝）１０秒２
２０となる。これを図４の統合データ１２に示すような
形式で統合して記録する。すなわち、各メディアデータ
毎にラベルをつけて、オフセット時刻と映像継続時間お
よび当該メディアデータへのポインタを記録する。な
お、基準時刻は利用者によって指定されたものを利用し
てもよいし、はじめに読み込んだメディデータ管理ファ
イル１１に記録されている記録開始時刻を利用するなど
してもよい。The data integration means 2 performs processing for integrating the two management files 11. At this time, the reference time is set. The reference time is set to a time suitable for evaluation, such as around the action recording start time. As shown in FIG. 4, there are two management files 11, and the reference time is set to, for example, 2001.
Assuming that 1/21/22: 01: 00.000 is set, the offset for the media data management file 1 is (22: 00: 30.187-22: 01: 00).
0.000 =) − 29 seconds 813, and the offset for the media data management file 2 is (22:01:
10.220-22: 01: 00.000 =) 10 seconds 2
It will be 20. This is integrated and recorded in a format as shown in integrated data 12 in FIG. That is, a label is attached to each piece of media data, and an offset time, a video duration, and a pointer to the media data are recorded. The reference time may be the one designated by the user, or may be the recording start time recorded in the media data management file 11 read first.

【００３５】表示手段３はたとえば図５のようなインタ
ーフェースを用いることができる。図５の例において
は、表示手段３の画面は大きくわけて３つの領域から構
成されている。符号３ａ及び３ｂにより示す映像表示領
域Ａ，Ｂには、それぞれの映像を表示する。図５におい
て、時刻制御ボタン群３ｃは、データ再生手段６のイン
ターフェースとなっている。時刻制御ボタン群３ｃに
は、再生・停止・一時停止・早送り・巻き戻しなどの機
能ボタンが並んでいる（いずれも図示省略）。As the display means 3, for example, an interface as shown in FIG. 5 can be used. In the example of FIG. 5, the screen of the display means 3 is roughly composed of three regions. The respective images are displayed in image display areas A and B indicated by reference numerals 3a and 3b. In FIG. 5, the time control button group 3c serves as an interface of the data reproducing means 6. The time control button group 3c includes function buttons such as play / stop / pause / fast-forward / rewind (all not shown).

【００３６】マスタータイマー４は基準時刻からの再生
経過時間を開始要求によりカウントし保持したり、デー
タ再生手段６の要求によって経過時間を設定・提供した
りするものである。マスタータイマー４はデータ再生手
段６からの指示によって再生時には、経過時間のカウン
トを行い、停止時にはカウントをとめる。また、データ
再生手段６からの要求によって、現在の基準時刻からの
経過時間を提供する機能も持つ。さらにマスタータイマ
ー４はデータ再生手段６からの要求によって、所望の経
過時間をセットすることも可能である（詳細については
後述する。）。The master timer 4 counts and holds the playback elapsed time from the reference time in response to a start request, and sets and provides the elapsed time in response to a request from the data playback means 6. The master timer 4 counts the elapsed time during reproduction according to an instruction from the data reproduction means 6, and stops counting when stopped. In addition, it has a function of providing an elapsed time from the current reference time in response to a request from the data reproducing unit 6. Further, the master timer 4 can set a desired elapsed time in response to a request from the data reproducing means 6 (the details will be described later).

【００３７】たとえば再生時の動作を考える。時刻制御
ボタン群３ｃにおいて、再生ボタンが選択されると、デ
ータ再生手段６は準備作業を行い、その後同期再生を行
う。まず、準備作業について説明する。データ再生手段
６は基準時刻からの経過時間をマスタータイマー４に要
求する。マスタータイマー４は自身が保持している経過
時間を要求元に返す。データ再生手段６はこれを受け取
り、時刻変換手段５に対して出力するとともに各メディ
アデータにおける該当位置を要求する。時刻変換手段５
は、受け取った経過時間と、統合データ１２におけるオ
フセットとによって、該当するメディアデータ上の時刻
（すなわち、実際の再生位置）を算出し、データ再生手
段６に返す。以上で準備作業は完了である。準備作業に
よって得られたデータをもとに、同期再生を開始する。
データ再生手段６は各メディアデータの該当位置からの
再生と、マスタータイマー４へカウント開始を指示す
る。これにより、各メディアデータがマスタータイマー
４に同期して再生される。停止や一時停止が選択された
場合、データ再生手段６はマスタータイマー４の停止を
指示すると共に各メディアデータの再生を停止する。早
送りの場合は、データ再生手段６は該当する再生倍率を
マスタータイマー４に伝達してカウント開始命令を発行
すると共に、各メディアに関する再生倍率を設定して再
生することで早送り操作を行う。巻き戻しの場合は、デ
ータ再生手段６は該当する再生倍率をマスタータイマー
４に伝達して、カウント減算開始命令を発行すると共
に、各メディアに関する指定倍率巻き戻し命令を発行し
て操作を行う。For example, consider the operation during reproduction. When the reproduction button is selected in the time control button group 3c, the data reproducing means 6 performs a preparation operation, and then performs synchronous reproduction. First, the preparation work will be described. The data reproducing means 6 requests the elapsed time from the reference time to the master timer 4. The master timer 4 returns the elapsed time held by itself to the request source. The data reproducing means 6 receives this, outputs it to the time converting means 5, and requests the corresponding position in each media data. Time conversion means 5
Calculates the time on the corresponding media data (that is, the actual playback position) based on the received elapsed time and the offset in the integrated data 12 and returns the time to the data playback unit 6. Preparation work is completed above. Synchronous playback is started based on the data obtained by the preparation work.
The data reproducing means 6 instructs the reproduction of each media data from the corresponding position and the start of counting to the master timer 4. Thereby, each media data is reproduced in synchronization with the master timer 4. When the stop or the pause is selected, the data reproducing means 6 instructs the stop of the master timer 4 and stops the reproduction of each media data. In the case of fast-forward, the data reproducing means 6 transmits the corresponding reproduction magnification to the master timer 4 and issues a count start command, and performs the fast-forward operation by setting the reproduction magnification for each medium and reproducing. In the case of rewinding, the data reproducing means 6 transmits the corresponding reproduction magnification to the master timer 4, issues a count subtraction start instruction, and issues a designated magnification rewind instruction for each medium to perform the operation.

【００３８】たとえば図４のようなデータの場合、基準
時刻から再生を開始すると、メディアデータ管理ファイ
ル１に該当するデータはメディアデータ上の２９秒８１
３の地点から再生を開始し、メディアデータ管理ファイ
ル２に該当するデータは再生開始時点では再生を行わな
い。データ再生手段６はマスタータイマー４における経
過時間を常に監視している。データ再生手段６はマスタ
ータイマー４のカウントが１０秒２２０になった時点で
メディアデータ管理ファイル２に該当するデータの再生
を開始する。このようにして複数のメディアデータを同
期させて再生することが可能となる。一時停止または停
止された場合は、データ再生手段６は前記のようにマス
タータイマー４のカウントを停止すると共にメディアデ
ータの停止を行う。たとえば利用者により基準時刻から
３０秒後のデータを再生したいという要求があった場
合、データ再生手段６はマスタータイマー４に経過時間
を３０秒とセットする命令を発行し、メディアデータ
１、２に対する再生開始位置を計算して返すように時刻
変換手段５に依頼する。時刻変換手段５ではそれぞれに
対し５９秒８１３、１９秒７８０を返し、これを受け取
ったデータ再生手段６では当該位置から再生開始し、マ
スタータイマー４へのカウント開始を指示する。For example, in the case of the data shown in FIG. 4, when the reproduction is started from the reference time, the data corresponding to the media data management file 1 is 29 seconds 81
The reproduction is started from the point 3 and the data corresponding to the media data management file 2 is not reproduced at the start of the reproduction. The data reproducing means 6 constantly monitors the elapsed time in the master timer 4. The data reproducing means 6 starts reproducing data corresponding to the media data management file 2 when the count of the master timer 4 reaches 220 for 10 seconds. In this way, a plurality of media data can be reproduced in synchronization. When the recording is temporarily stopped or stopped, the data reproducing unit 6 stops counting the master timer 4 and stops the media data as described above. For example, when a user requests to reproduce data 30 seconds after the reference time, the data reproducing means 6 issues a command to the master timer 4 to set the elapsed time to 30 seconds, It requests the time conversion means 5 to calculate and return the reproduction start position. The time conversion means 5 returns 59 seconds 813 and 19 seconds 780, respectively, and the data reproduction means 6 which has received them, starts reproduction from the position and instructs the master timer 4 to start counting.

【００３９】以上のように、本実施の形態で示した行動
計測システムにおいては、所定の基準時刻を設定して、
当該基準時刻からのオフセット時刻を各メディアデータ
毎に求めて、それらの情報を統合データとして統合して
記録しておき、再生の際には、当該統合データを用いて
同期再生を行うようにしたので、複数の映像を自動的に
同期して再生することができるので、行動の評価・分析
作業を効率化することができる。As described above, in the action measuring system shown in this embodiment, a predetermined reference time is set,
An offset time from the reference time is obtained for each media data, the information is integrated and recorded as integrated data, and at the time of reproduction, synchronous reproduction is performed using the integrated data. Therefore, a plurality of videos can be automatically and synchronously reproduced, so that the action evaluation / analysis work can be made more efficient.

【００４０】実施の形態２．図６はこの発明の実施の形
態２に係る行動計測システムの構成を示す図である。本
実施の形態では、システムは計算機上にて動作するもの
とする。図において、メディアデータ入力手段２１は、
映像を入力してディジタル化すると共に計算機内のシス
テムクロックを取得して記憶装置に記憶する。機器状態
入力手段２２は、作業対象となる工作機械等の機器にお
ける動作状態（キー操作状態・機器状態などの操作・信
号履歴）を入力すると共に、計算機内のシステムクロッ
クによる絶対時刻を取得して、上記動作状態を絶対時刻
とともに記憶装置に記憶する。計測データ入力手段２３
は、作業者の状態（すなわち、脈拍、心拍、呼吸、血圧
などの生理的なデータ）をディジタルデータ化して取得
すると共に計算機内のシステムクロックによる絶対時刻
を取得して記憶装置に記憶する。なお、これらすべての
入力手段２１〜２３において、データに対する属性を付
加するようにすることも可能である。Embodiment 2 FIG. 6 is a diagram showing a configuration of a behavior measurement system according to Embodiment 2 of the present invention. In this embodiment, the system operates on a computer. In the figure, media data input means 21
An image is input and digitized, and a system clock in the computer is obtained and stored in a storage device. The device status input means 22 inputs the operating status (operations such as key operation status and device status, signal history) of the device such as a machine tool to be worked, and acquires the absolute time by the system clock in the computer. The operation state is stored in the storage device together with the absolute time. Measurement data input means 23
Acquires digital data of the state of the worker (ie, physiological data such as pulse, heart rate, breathing, blood pressure, etc.) and obtains the absolute time by the system clock in the computer and stores it in the storage device. Note that it is also possible to add an attribute to data in all of these input means 21 to 23.

【００４１】データ統合手段２４は、所定の基準時刻を
設定し、各入力手段２１〜２３で入力された情報を基準
時刻に従って配置する。それぞれに属性情報が存在する
場合、これも統合して記憶する。表示手段２５は、統合
データに従って入力された各種データを表示するもので
ある。マスタータイマー２６は、基準時刻からの再生経
過時間をカウントするものである。時刻変換手段２７
は、統合データにて管理されている映像または音声デー
タにおける位置をマスタータイマー２６の時刻と各メデ
ィアデータにおける時刻管理単位によって計算するもの
であり、データ再生手段２８は表示手段２５によって表
示されている映像などのデータを時刻変換手段２７を用
いて同期再生するものである。The data integration means 24 sets a predetermined reference time, and arranges the information inputted by each of the input means 21 to 23 according to the reference time. If there is attribute information for each, this is also integrated and stored. The display unit 25 displays various data input according to the integrated data. The master timer 26 counts the elapsed playback time from the reference time. Time conversion means 27
Calculates the position in the video or audio data managed by the integrated data by the time of the master timer 26 and the time management unit in each media data. The data reproducing means 28 is displayed by the display means 25. Data such as video is reproduced synchronously using the time conversion means 27.

【００４２】次に、動作について説明する。メディアデ
ータ入力手段２１により入力された映像は、計算機内の
システムクロックから得られる絶対時刻と対応付けられ
る。映像データは時間的に連続する一定のフレーム列に
よって構成されるので、映像記録開始時刻と映像継続時
間を記憶すれば途中のフレームにおける位置は計算によ
り求めることができる。音声データの場合も同様であ
る。時刻情報を記録したデータは実施の形態１における
図２と同様にメディアファイルとは別の管理ファイルに
記憶する。もちろん同一ファイルとすることも可能であ
る。管理ファイル１１Ａは、図７のような構造になって
おり、メディアデータ実体への参照が記憶されているの
で、管理ファイル１１Ａを見ればメディアデータを呼び
出すことができる。映像継続時間はメディアデータ入力
手段２１へのデータ入力が終了した時点で記録すること
ができる。Next, the operation will be described. The video input by the media data input unit 21 is associated with an absolute time obtained from a system clock in the computer. Since the video data is composed of a temporally continuous fixed frame sequence, if the video recording start time and the video continuation time are stored, the position in the middle frame can be obtained by calculation. The same applies to audio data. The data in which the time information is recorded is stored in a management file different from the media file as in FIG. 2 in the first embodiment. Of course, the same file can be used. The management file 11A has a structure as shown in FIG. 7 and stores a reference to the media data entity. Therefore, the media file can be called by looking at the management file 11A. The video duration can be recorded when data input to the media data input means 21 is completed.

【００４３】機器状態入力手段２２では操作・信号情報
はいつ入力されるかは法則性がないので、図８に示すよ
うに、各入力（機器の操作・信号出力）が行われた際に
対応付けて時刻情報を記録する。計測データ入力手段２
３でも同様とする。この２者に関しては時刻情報と取得
データを組にした形で各データファイル（機器状態デー
タファイル（図９参照）、計測データファイル（図１０
参照））に記憶する。Since there is no rule as to when the operation / signal information is input in the equipment state input means 22, as shown in FIG. 8, each operation (equipment operation / signal output) is performed. And record the time information. Measurement data input means 2
The same applies to No. 3. Regarding the two persons, each data file (equipment status data file (see FIG. 9), measurement data file (FIG. 10)
See)).

【００４４】それぞれ記録終了後に属性設定したい場合
はデータに対する属性を設定する。属性としては作業名
称、作業者名、コメントなどを用いることができる。も
ちろんこれ以外の情報を属性として設定することも可能
である。設定された属性は映像データの場合は、管理フ
ァイル１１Ａ内に機器状態、計測データの場合は、図９
及び図１０に示すような形式で機器状態データファイル
１３・計測データファイル１４に記憶される。If it is desired to set the attributes after each recording, the attributes for the data are set. As the attribute, a work name, a worker name, a comment, and the like can be used. Of course, other information can also be set as attributes. When the set attribute is video data, the device status is stored in the management file 11A.
And stored in the device status data file 13 and the measurement data file 14 in a format as shown in FIG.

【００４５】作成された各データは時刻に従ってデータ
統合手段２４によって統合データとされる。統合データ
１２Ａは、図１１に示すような構造をもつ。統合対象フ
ァイルはそれぞれ１ファイルに限定されないので複数の
対象ファイルを扱うことができる構造になっている。各
データの入力開始時刻は同時とは限らないので統合デー
タ１２Ａにおいてはそれぞれの基準時刻からのオフセッ
トが記憶される。本実施の形態では機器状態データファ
イル、計測データファイルに関しては直接データ部にデ
ータを配置するので、オフセット値は必要ない。Each created data is converted into integrated data by the data integrating means 24 according to the time. The integrated data 12A has a structure as shown in FIG. Since each integration target file is not limited to one file, it has a structure that can handle a plurality of target files. Since the input start time of each data is not always the same, the offset from each reference time is stored in the integrated data 12A. In the present embodiment, since the data is directly arranged in the data section for the device state data file and the measurement data file, no offset value is required.

【００４６】図１２に統合データ作成の例を示す。この
統合データ１２Ａは、２つのメディアデータ管理ファイ
ル１１Ａ、１つの機器状態データファイル１３、及び、
２つの計測データファイル１４を統合したものである。
２つのメディアデータに関しては基準時刻に対するオフ
セットを記録する。メディアファイルは統合データの外
だしにしているが、統合データ１２Ａの情報からメディ
アデータを特定することができ、オフセットの情報によ
って再生タイミングを見ることが可能である。FIG. 12 shows an example of creating integrated data. The integrated data 12A includes two media data management files 11A, one device status data file 13, and
The two measurement data files 14 are integrated.
For two media data, an offset from the reference time is recorded. Although the media file is outside of the integrated data, the media data can be specified from the information of the integrated data 12A, and the reproduction timing can be seen from the offset information.

【００４７】このように統合されたデータは、表示手段
２５により図１３に示すように表示される。機器状態表
示領域２５ａでは、時系列で縦に並べた機器状態を表示
する。たとえば該当時刻の機器状態を強調表示するなど
して利用者にどの操作を行っているかをわかりやすくす
ることも可能である。符号２５ｂ，２５ｃで示される映
像表示領域Ａ，Ｂでは統合された２つの映像を表示す
る。表示手段２５では統合データからパスを読み取って
この領域に表示するよう制御を行う。符号２５ｅ，２５
ｆで示される計測データ表示領域１，２は統合データ内
の２系統の計測データを表示するものである。図１３で
は、映像、計測データ表示領域はそれぞれ２つとなって
いるが、２つに限ったものではない。また、扱う映像フ
ァイル・計測データが２つ以上となる場合は表示したい
映像やデータを切り替えることが可能である。計測デー
タ表示領域１，２にはデータ部のデータを用いてグラフ
表示を行ったり、時刻に対応する数値を表示したりする
ことが可能である。時刻制御ボタン２５ｄは、データ再
生手段２８のインターフェースである。データ再生手段
２８は、実施の形態１で示したような方法で各データの
同期再生を行う。機器状態データ、計測データに関して
は統合データ内のデータ部よりデータ再生手段２８が直
接マスタータイマー２６がカウントしている時刻のもの
を読み出して表示する。The integrated data is displayed by the display means 25 as shown in FIG. The device status display area 25a displays device statuses arranged vertically in chronological order. For example, it is possible to make it easy for the user to understand which operation is being performed by highlighting the device state at the corresponding time. In the image display areas A and B indicated by reference numerals 25b and 25c, two integrated images are displayed. The display means 25 controls to read the path from the integrated data and display the path in this area. Symbols 25e, 25
The measurement data display areas 1 and 2 indicated by f display two sets of measurement data in the integrated data. In FIG. 13, the image and the measurement data display area are each two, but are not limited to two. When two or more video files and measurement data are handled, it is possible to switch the video and data to be displayed. In the measurement data display areas 1 and 2, it is possible to display a graph using the data of the data part or to display a numerical value corresponding to the time. The time control button 25d is an interface of the data reproducing unit 28. The data reproduction unit 28 performs synchronous reproduction of each data by the method described in the first embodiment. As for the device status data and the measurement data, the data reproducing unit 28 directly reads out the data at the time counted by the master timer 26 from the data portion in the integrated data and displays the data.

【００４８】なお、この例ではメディアデータとして映
像のみをとりあげたが、映像のほかに音声データを利用
してもよい。音声データは映像と同じように利用可能で
ある。また、計測データ入力手段２３が存在しない場
合、機器状態入力手段２２が存在しない場合でも適用可
能である。さらに、メディアデータ入力手段２１，計測
データ入力手段２３、機器状態入力手段２２は、いずれ
も、単数とは限らず、複数個設けるようにしてもよい。In this example, only video data is taken as media data, but audio data may be used in addition to video data. Audio data is available in the same way as video. Further, the present invention can be applied even when the measurement data input unit 23 does not exist or when the device state input unit 22 does not exist. Further, each of the media data input unit 21, the measurement data input unit 23, and the device state input unit 22 is not limited to a single unit, and may be provided in a plurality.

【００４９】以上のように、本実施の形態における行動
計測システムでは、作業対象となる機器の状態を入力と
し、絶対時刻と共に記憶する機器状態入力手段２２と、
作業者の状態を計測して、当該計測データを入力とし、
絶対時刻と共に記憶する計測データ入力手段２３とをさ
らに備え、メディアデータ入力手段２１に入力された映
像と機器の状態と計測データを統合して管理し、その同
期再生を可能としたので、行動の分析・評価を行う手間
が従来に比べて削減でき、効率的に行動の評価・分析作
業を行うことができる。As described above, in the behavior measuring system according to the present embodiment, the device status input means 22 which inputs the status of the device to be worked and stores it together with the absolute time,
Measure the state of the worker, input the measured data,
It further comprises a measurement data input means 23 for storing the data together with the absolute time, and integrates and manages the video, the state of the device and the measurement data inputted to the media data input means 21 and enables synchronized reproduction thereof. The labor of performing analysis and evaluation can be reduced as compared with the related art, and the action evaluation and analysis work can be performed efficiently.

【００５０】実施の形態３．本実施の形態においては、
実施の形態２で述べた行動計測システムにおいて、図１
４に示すように、データ統合手段２４内に、各データに
おいて所定の区間を定義する区間定義手段２９を設け
る。区間定義手段２９では、統合データ内に設定した区
間を記憶させることができる。たとえば映像上における
一連の作業を区間として定義してもよいし、計測データ
上で特徴的な変化を示している部分を区間として定義し
てもよいし、機器状態において、機器からの操作履歴を
入力とし、操作履歴に従って区間を自動的に分割するこ
とにより、一連の操作を区間として定義してもよい。ま
た、機器状態における一つ一つの操作を区間の開始位置
とし、次の操作の開始位置直前を区間の終了地点として
規定された区間を映像上における区間として自動的に定
義することも可能である。この場合、機器状態入力手段
２２は機器からの操作履歴を入力とし、区間定義手段２
９は、当該操作履歴情報に従って区間を自動的に分割す
る自動区間設定手段を備えるようにする。Embodiment 3 In the present embodiment,
In the behavior measurement system described in the second embodiment, FIG.
As shown in FIG. 4, in the data integration means 24, a section definition means 29 for defining a predetermined section in each data is provided. The section definition means 29 can store the section set in the integrated data. For example, a series of operations on a video may be defined as a section, a portion showing a characteristic change on the measurement data may be defined as a section, and in a device state, an operation history from the device may be defined. A series of operations may be defined as a section by automatically dividing the section according to an operation history as an input. It is also possible to automatically define each section in the device state as a section start position, and a section defined immediately before the start of the next operation as the section end point as a section on the video. . In this case, the device state input means 22 receives the operation history from the device as input, and
9 is provided with an automatic section setting means for automatically dividing the section according to the operation history information.

【００５１】図１５に示すように、機器状態表示領域２
５ａに自動的に定義した区間を表示することも可能であ
る。これによってデータにおける意味的な区切りがわか
りやすくなる。さらに、区間定義手段２９において、区
間に対して属性を設定する機構を付加することで、区間
の意味をより判りやすいものとすることができる。As shown in FIG. 15, the device status display area 2
It is also possible to display the automatically defined section in 5a. This makes it easier to understand semantic breaks in the data. Furthermore, by adding a mechanism for setting an attribute to a section in the section definition means 29, the meaning of the section can be made more understandable.

【００５２】また、このようにして規定した区間を入れ
子構造とすることも可能である。これによって作業の階
層的な構造を規定することが可能となる。たとえば、図
１６に示すような大工程、中工程、小工程のような工程
から成る作業を観察して評価する際に、工程ごとの対応
付けが可能であるのでわかりやすいものとなる。It is also possible for the section defined in this way to have a nested structure. This makes it possible to define the hierarchical structure of the work. For example, when observing and evaluating an operation including processes such as a large process, a middle process, and a small process as shown in FIG. 16, it is easy to understand because the process can be associated with each process.

【００５３】以上のように、本実施の形態においては、
データ統合手段２４に、統合データ内に設定した区間を
記憶するための区間定義手段２９を設けて、各メディア
データに区間を設けて記憶することができるので、区間
ごとの同期再生が可能となり、行動の評価・分析を効率
的に行うことができる。As described above, in the present embodiment,
The data integration means 24 is provided with the section definition means 29 for storing the section set in the integrated data, and the section can be provided and stored in each media data, so that the synchronous reproduction for each section becomes possible. Evaluation and analysis of behavior can be performed efficiently.

【００５４】実施の形態４．実施の形態１〜３では単一
の統合データを扱うものであったが、本実施の形態にお
いては、同時に複数の統合データを扱い、それらの複数
の統合データを同時に表示手段に表示して比較するよう
に拡張する。図１７に比較表示画面例を示す。機器状態
表示領域Ａ（符号２５ａ−１）・映像表示領域Ａ（２５
ｂ）・計測データ表示領域Ａ（２５ｅ−１）が被験者Ａ
のもの、機器状態表示領域Ｂ（２５ａ−２）・映像表示
領域Ｂ（２５ｃ）・計測データ表示領域Ｂ（２５ｅ−
２）が被験者Ｂのものというように２者分のデータを同
時に表示することが可能となっている。これ以外に図１
８に示すように、１つの制御装置３０及び２つの表示装
置１，２を用いて、図１３に示したような画面例を二つ
の表示装置１，２に同時に表示する方法なども考えられ
る。この場合は被験者Ａのデータを表示装置１へ、被験
者Ｂのデータを表示装置２へ表示する。Embodiment 4 In the first to third embodiments, a single integrated data is handled. However, in the present embodiment, a plurality of integrated data are handled at the same time, and the plurality of integrated data are simultaneously displayed on the display means for comparison. To be extended. FIG. 17 shows an example of the comparison display screen. Device status display area A (reference numeral 25a-1) / video display area A (25
b) The measurement data display area A (25e-1) is the subject A
, Device status display area B (25a-2), video display area B (25c), measurement data display area B (25e-
It is possible to simultaneously display data for two persons such as 2) for the subject B. Figure 1
As shown in FIG. 8, a method of simultaneously displaying a screen example as shown in FIG. 13 on the two display devices 1 and 2 using one control device 30 and two display devices 1 and 2 is also conceivable. In this case, the data of the subject A is displayed on the display device 1 and the data of the subject B is displayed on the display device 2.

【００５５】上記のいずれかの表示方法によって比較表
示を行う。ここで仮に被験者Ａにあたるデータを教師デ
ータ、被験者Ｂにあたるデータを生徒データと呼ぶこと
にする。教師データは手本となる手順にて操作を行って
いるものとする。生徒データにおいて問題となっている
点がどこであるかを把握するために、映像などを再生し
て比較表示を行う。このときに同一工程であればどのよ
うな手順の差異があるかを簡単に対応付けて把握できる
と分析・評価作業が効率化される。Comparison display is performed by any of the display methods described above. Here, the data corresponding to the subject A will be referred to as teacher data, and the data corresponding to the subject B will be referred to as student data. The teacher data is assumed to be operated according to a model procedure. In order to ascertain where the problem points are in the student data, a video or the like is reproduced and compared and displayed. At this time, the analysis and evaluation work can be made more efficient if it is possible to easily associate and grasp what kind of procedure is different in the same process.

【００５６】そこで、図１９に示すように、システム
に、表示されている統合データにおいて対応付けの対象
とする区間を選択する区間選択手段３２と、選択された
複数の区間同士の対応付けを行う区間対応付け手段３１
と、区間対応付け手段３１によって得られた再生順序を
自動的に入れ替えて同時再生を行う区間同期再生手段３
３を設ける。たとえば図２０に示すように工程が区間に
分割されていたとする。この例では区間選択手段３２に
より、同一区間の対応付け対象となる範囲を利用者の指
示によって限定するものとする。図２０に示す表示手段
１上で教師データの工程１−１を選択し、生徒データに
おいても工程１−１を選択する。区間選択手段３２はこ
のような入れ子構造になっている場合は親ノードが選択
された場合はその子ノードすべてが対象となるように判
定することができる。もちろん一つ一つの区間を選択し
ていくことも可能である。この場合は工程１−１以下に
属する区間だけが対応付けの対象となる。区間対応付け
手段はたとえば利用者からの命令によって、教師データ
における工程１−１内の工程１−１−１から１−１−４
までと同一名称を持つ生徒データを生徒データの工程1
に属するノードから文字列一致によってみつける。する
と、工程１−１−１、工程１−１−２、工程１−１−
３、工程１−１−４がみつかり、これと教師データにお
ける同一名称のノードと対応づける。この例では区間名
による対応付けを用いたが、区間に設定した属性によっ
て対応付けを行うこともできる。たとえば区間の長さが
属性として定義されている場合に、区間の長さが一致も
しくは近いものを対応付けることや、計測データにおけ
る値の変化率が同じもしくは近いものを対応付けること
もできる。また、図２０に示しているように教師側の再
生順に従って生徒側の再生順を区間名の対応付けによっ
て再生順を変更する。これによって自動的に対応付けが
行われるので、生徒に対する理想的な作業手順の指示を
行うための分析・評価作業が効率化される。Therefore, as shown in FIG. 19, the system associates a plurality of selected sections with the section selecting means 32 for selecting a section to be associated in the displayed integrated data. Section associating means 31
And the section synchronous playback means 3 for automatically changing the playback order obtained by the section association means 31 and performing simultaneous playback.
3 is provided. For example, assume that the process is divided into sections as shown in FIG. In this example, the range to be associated with the same section is limited by the user's instruction by the section selecting means 32. Step 1-1 of the teacher data is selected on the display means 1 shown in FIG. 20, and step 1-1 is selected also for the student data. In such a nested structure, the section selecting means 32 can determine that when a parent node is selected, all of the child nodes are targeted. Of course, it is also possible to select individual sections. In this case, only the sections belonging to the steps 1-1 and below are targets for association. The section associating means, for example, according to a command from the user, processes 1-1-1 to 1-1-4 in process 1-1 in the teacher data.
Student data with the same name as before
Is found from the nodes belonging to by string matching. Then, Step 1-1-1, Step 1-1-2, Step 1-1
3. Step 1-1-4 is found, and is associated with a node having the same name in the teacher data. In this example, the association by the section name is used, but the association can also be performed by the attribute set for the section. For example, when the length of a section is defined as an attribute, it is possible to associate a section whose length is equal or close to each other, or to associate a section having the same or close change rate of measured data. Also, as shown in FIG. 20, the playback order on the student side is changed by associating the section name with the playback order on the teacher side according to the playback order on the teacher side. As a result, the association is automatically performed, and the efficiency of the analysis / evaluation work for instructing the student on the ideal work procedure is improved.

【００５７】分析・評価を行う際に並べ替えによってそ
のまま再生しても、各工程の差異がどこにあるのかを判
定するのは難しい。たとえば教師の各工程の再生時間と
生徒の各工程の再生時間が異なっていると、そこでずれ
が生じるので比較判定を行うにはわざわざ片方を止める
などして再生制御する必要がある。そこで区間同期再生
手段３３内に、各対応付けられた工程の再生が先に終了
したものが最後に再生が終わるものを待機して、追いつ
いた段階で再生を開始する待機再生手段（図示せず）を
設ける。図２１に示すように工程１−１−１の再生時間
が教師のものが長く、生徒の方が教師よりも短い場合、
生徒側の工程１−１−１の再生が終了した段階で生徒側
の再生を一時停止する。教師側の工程１−１−１の再生
が完了したら、工程１−１−２の再生を教師と生徒で同
時開始する。これによって作業に要する時間の差異が理
解しやすいので、分析・評価作業が効率的になる。It is difficult to determine where the differences between the steps are, even if they are reproduced as they are by rearrangement during analysis and evaluation. For example, if the playback time of each process of the teacher is different from the playback time of each process of the student, there will be a difference between them. Therefore, it is necessary to perform playback control by stopping one of them to make a comparison judgment. Therefore, in the section synchronous reproduction means 33, standby reproduction means (not shown) which starts reproduction at the stage where the reproduction of each associated step has been completed first, waits for the reproduction completed last, and catches up. ) Is provided. As shown in FIG. 21, when the playback time of step 1-1-1 is longer for the teacher and the student is shorter than the teacher,
At the stage where the playback in the step 1-1-1 on the student side is completed, the playback on the student side is temporarily stopped. When the reproduction of the step 1-1-1 on the teacher side is completed, the reproduction of the step 1-1-2 is simultaneously started by the teacher and the student. This makes it easy to understand the difference in the time required for the work, so that the analysis and evaluation work is efficient.

【００５８】さらに区間同期再生手段３３においてマス
ターとなる統合データを選択するマスター選択手段と、
マスターの再生時間に同期させるようにマスター以外の
データの再生速度を自動的に変更する再生速度同期手段
（図示せず）とを設ける。図２２に示すように、教師側
と生徒側の再生時間の差異があるとする。教師側をマス
ターとすると、生徒側の再生速度を工程ごとに変更して
対応付けて再生を行うようにする。この場合は工程１−
１−１，１−１−３、１−１−４において高速再生とな
り、１−１−２で低速再生となる。これによって理想的
な速度に自動調整されて再生されるので、分析・評価の
際に動作速度の差異がわかりやすくなる。Further, a master selecting means for selecting integrated data to be a master in the section synchronous reproducing means 33;
A reproduction speed synchronization means (not shown) for automatically changing the reproduction speed of data other than the master so as to synchronize with the reproduction time of the master is provided. As shown in FIG. 22, it is assumed that there is a difference in the reproduction time between the teacher side and the student side. Assuming that the teacher side is the master, the playback speed on the student side is changed for each process and playback is performed in association with each other. In this case, step 1-
1-1, 1-1-3, and 1-1-4 perform high-speed reproduction, and 1-1-1-2 perform low-speed reproduction. As a result, the playback speed is automatically adjusted to the ideal speed, so that the difference in the operation speed can be easily understood at the time of analysis and evaluation.

【００５９】以上のように、本実施の形態においては、
表示手段に２つの統合データを同時に表示できるように
して、２つの統合データの対応付けの対象とする区間を
選択する区間選択手段と、選択された複数の区間同士の
対応付けを行う区間対応付け手段、および、区間対応付
け手段によって対応付けられたデータを利用して再生を
行う区間同期再生手段を設けて、２つの統合データを表
示装置に同時に表示するようにしたので、さらに、行動
の評価・分析作業を効率的に行うことができる。As described above, in the present embodiment,
A section selecting means for selecting two sections to be associated with each other so that the two integrated data can be simultaneously displayed on the display means, and a section association for associating the selected plurality of sections with each other Means and a section synchronous playback means for performing playback using the data associated by the section associating means, so that the two integrated data are simultaneously displayed on the display device.・ The analysis work can be performed efficiently.

【００６０】実施の形態５．実施の形態４では、比較表
示と自動対応付けによる効率的な分析を行うことができ
る行動計測システムをのべたが、評価対象のデータと類
似するデータを用いて比較を行う場合、その比較対象と
なるデータを取り出すことが要求される。そこで、図２
３に示すように、実施の形態４にて説明した行動計測シ
ステムに、さらに区間による検索を行うことができる区
間検索手段３４を設ける。Embodiment 5 FIG. In the fourth embodiment, the behavior measurement system capable of performing efficient analysis by comparison display and automatic association has been described. However, when comparison is performed using data similar to data to be evaluated, It is required to retrieve some data. Therefore, FIG.
As shown in FIG. 3, the behavior measurement system described in the fourth embodiment further includes a section search unit 34 capable of performing a search by section.

【００６１】図２４に示すように統合データ内に区間が
定義されているものとする。これに属性をもたせること
が可能であり、これによる検索を行うことができる。区
間に対する属性としては「コメント」、「区間名」など
の属性の他に計測値を利用することができる。たとえば
「区間の最小値」、「区間の最大値」を区間に対する属
性情報として保持しておくことも可能である。It is assumed that a section is defined in the integrated data as shown in FIG. An attribute can be added to this, and a search based on the attribute can be performed. As an attribute for a section, a measurement value can be used in addition to attributes such as “comment” and “section name”. For example, “minimum value of section” and “maximum value of section” can be stored as attribute information for the section.

【００６２】また、図２４の区間設定された統合データ
イメージにおいて現在選択されているものが工程１−１
−３であり、これの心拍数（図２４の符号４０）と心拍
数の遷移が類似する部分をもつデータを検索することを
考える。このような場合、従来はすべてのデータに対し
て検索条件と同じ時間幅を持つ部分を微小時間分ずらし
ていって類似する部分を見つけるということを行う必要
があった（図２４の符号４２参照）。しかし、このよう
にすると検索結果を得るには多大な時間を要する上に、
作業をまたがったようなさほど意味をなさない区間を検
出することが考えられる。The currently selected integrated data image in the section set in FIG.
It is considered that data having a portion whose heart rate (the reference numeral 40 in FIG. 24) and the transition of the heart rate are similar is searched. In such a case, it has conventionally been necessary to shift a portion having the same time width as the search condition for all data by a minute time to find a similar portion (see reference numeral 42 in FIG. 24). ). However, doing so takes a lot of time to get search results,
It is conceivable to detect a section that does not make much sense as it straddles the work.

【００６３】本実施の形態では、区間に分割されている
データを対象として、その区間の中から類似している区
間を検索するものとする（図２４の符号４３）。検索条
件にあたるデータ（図２４の符号４０）と他のデータと
の類似性を求めるのは同じであるが、検索対象となるデ
ータがあらかじめ区間に分割されているので、図２４の
符号４３で示すように、検索のための評価は分割された
区間単位でだけ行えばよい（図２４の例では区間は４
つ）。こうすることで意味のある区間に対してのみ検索
を行うことができ、その検索実行時間も少なくすること
が可能となる。また、区間に対して検索を行うことで、
他者が評価したデータであっても検索結果の区間に対す
る意味を属性情報などから知ることができる。さらに語
句検索との組み合わせによってデータの絞込みなどを行
うこともできる。このような区間検索はひとつの統合デ
ータを読み込んだ後に、該当統合データ内に関してのみ
行うこともできるし、蓄積されている統合データすべて
の中から該当する区間を持つ統合データを検索すること
もできる。これによって大量のデータの中から必要とす
るデータを簡単に検索することができ、比較による分析
・評価の作業が効率化される。In this embodiment, it is assumed that a similar section is searched for in the section divided into data (reference numeral 43 in FIG. 24). The similarity between the data corresponding to the search condition (reference numeral 40 in FIG. 24) and the other data is the same, but since the data to be searched is divided into sections in advance, this is indicated by reference numeral 43 in FIG. As described above, the evaluation for the search may be performed only for each divided section (in the example of FIG.
One). By doing so, a search can be performed only for a meaningful section, and the search execution time can be reduced. Also, by searching for sections,
Even for data evaluated by others, the meaning of the section of the search result can be known from the attribute information or the like. Further, data can be narrowed down in combination with a phrase search. Such a section search can be performed only in the integrated data after reading one integrated data, or the integrated data having the corresponding section can be searched from all the stored integrated data. . As a result, necessary data can be easily searched from a large amount of data, and the work of analysis and evaluation by comparison is made more efficient.

【００６４】また、類似する区間を検索したい場合、評
価の基準が類似度合いの意味によって変更される場合が
ある。たとえば単純にデータの類似性を評価する場合
と、心拍数・血圧などから推定されるストレス値を評価
する場合とでは、前者では該当する指標間の類似度を判
定するだけであるが、後者では心拍数、血圧などからス
トレス値を計算した上でその類似性を評価する必要があ
る。この例のように複数のデータの相関関係から新たな
指標を算出する場合などは、あらかじめ指標がわかって
いるわけではなく、分析作業中や評価時にその関連性が
発見される事が多い。したがって後に検索基準を追加で
きるような機構が必要となる。このような場合に対応す
るために、区間検索手段内に、何をもって類似している
と判断するかの規準（すなわち、区間同士の関連性を評
価する関数）を与える評価関数を定義する評価関数定義
手段を設ける。評価関数はたとえば外部関数のような形
で自由に定義したり、スプレッドシートソフトウェアの
ようにマクロ数式によって定義したりすることが可能で
ある。マイクロソフト（Microsoft）社のウインドウズ
（Windows）オペレーティングシステムを例に取ると、
本システムの本体をウインドウズ（Windows）上のソフ
トウェアプログラムとして実現し、外部関数をプラグイ
ンとして定義できるようにすることで実現できる。プラ
グインはダイナミックリンクライブラリの形で関数の呼
び出し実行時に動的にロードされるような形で提供され
る。ダイナミックリンクライブラリ内の関数はプロトタ
イプを規定しておくことで、プロトタイプにのっとって
作成されていれば種々の評価関数を用意し、場合によっ
て切り替えて利用することが可能である。評価関数の例
としてはたとえば「区間名に工程１−１−１がはいって
いる」「心拍数ｙがｙ＝１/ｔ（ｔは単位時間）で減少
しているときに呼吸数ｘがｘ＝ｌｏｇ（ｔ）で増加して
いる」という条件を組み合わせて評価するものなどであ
る。これによって複雑な相関関係を持つ指標同士の関連
性によって検索を行うことができる。When searching for a similar section, the evaluation criterion may be changed depending on the meaning of the degree of similarity. For example, in the case of simply evaluating the similarity of data and the case of evaluating the stress value estimated from the heart rate and blood pressure, the former only determines the similarity between the corresponding indices, while the latter evaluates the similarity between the corresponding indices. It is necessary to calculate the stress value from the heart rate, blood pressure, and the like, and then evaluate the similarity. In the case of calculating a new index from a correlation between a plurality of data as in this example, the index is not known in advance, and the association is often found during analysis work or evaluation. Therefore, a mechanism is needed to add search criteria later. To cope with such a case, an evaluation function defining an evaluation function for providing a criterion of what is determined to be similar (that is, a function for evaluating the relevance between sections) in the section search means. A definition means is provided. The evaluation function can be freely defined in the form of, for example, an external function, or can be defined by a macro formula like spreadsheet software. Taking Microsoft's Windows operating system as an example,
It can be realized by implementing the main body of this system as a software program on Windows (Windows) and defining external functions as plug-ins. Plug-ins are provided in the form of dynamic link libraries that can be dynamically loaded when executing a function call. By defining a prototype for a function in the dynamic link library, various evaluation functions can be prepared if they are created according to the prototype, and can be switched and used depending on the case. As an example of the evaluation function, for example, “the step 1-1-1 is included in the section name”, “when the heart rate y decreases at y = 1 / t (t is unit time), the respiration rate x becomes x. = Increase in log (t) ". As a result, a search can be performed based on the relevance between indices having a complicated correlation.

【００６５】さらに、評価関数によって各区間の属性情
報を用いて検索を行った結果をその評価値と共に提示す
る評価結果提示手段を設ける。評価結果提示手段では評
価値、統合データファイル名、区間名、区間のオフセッ
ト位置などの情報を表示することが可能である。Further, there is provided an evaluation result presenting means for presenting the result of the search using the attribute information of each section by the evaluation function together with its evaluation value. The evaluation result presenting means can display information such as an evaluation value, an integrated data file name, a section name, and a section offset position.

【００６６】以上のように、本実施の形態においては、
与えられた検索条件によって、自身もしくは他の統合デ
ータにて設定されている区間を検索する区間検索手段を
備えて、あらかじめ区間に分割されている検索対象の中
から類似区間を検索するようにしたので、検索のための
評価は分割された区間単位でだけ行えばよいので、検索
実行時間を大幅に削減することができる。また、区間検
索手段内に、何をもって類似していると判断するかの規
準を与える評価関数を定義する評価関数定義手段を設け
るようにすることにより、区間同士の関連性を評価する
関数を簡単に置き換えることができるので、類似する区
間の検索を多角的に行うことができる。As described above, in the present embodiment,
In accordance with a given search condition, a section search means for searching for a section set by itself or other integrated data is provided, and a similar section is searched from search targets which have been divided into sections in advance. Therefore, since the evaluation for the search needs to be performed only for each divided section, the search execution time can be greatly reduced. In addition, by providing an evaluation function definition unit that defines an evaluation function that gives a criterion of what is judged to be similar in the section search unit, a function for evaluating the relevance between sections can be simplified. , So that a search for similar sections can be performed from multiple angles.

【００６７】実施の形態６．実施の形態１〜５で述べた
行動計測システムにおいて、図２５に示すように、撮影
対象の作業者を取り囲むように複数のビデオカメラを配
置して、それに対応する複数のメディアデータ入力手段
に入力する。図２５の場合は、４台のカメラ（符号５
１，５２，５３，５４）を利用しているので、メディア
データ入力手段は４系統あるものと考える。ここでデー
タ表示手段内に、任意の視点を指定可能な視点指定手段
（図示せず）を設ける。任意視点のことをここでは、仮
想カメラ５５と呼ぶことにする。仮想カメラ５５は、カ
メラ１〜４を結ぶ円周上の任意の地点に配置することが
可能である。また、仮想カメラ位置に該当する実カメラ
映像が存在しない場合には、隣接する２台の実カメラ映
像から３次元情報を抽出して仮想カメラにおける映像を
計算により合成表示する視点映像合成手段（図示せず）
を設ける。これによって、たとえば、図２５におけるカ
メラ３とカメラ４の中間位置からの映像を見たい場合
は、カメラ３からの映像（図２５の符号５３ａ）とカメ
ラ４からの映像（図２５の符号５４ａ）から３次元的な
情報を抽出して仮想カメラにおける映像（図２５の符号
５５ａ）として用いることが可能となる。カメラからの
３次元情報の抽出方法や複数映像からの映像合成方法は
いくつかの手法が提案されているのでそれを利用する。
また、配置するカメラは単眼カメラに限らず、ステレオ
カメラなどを用いてステレオ視映像を利用することも可
能である。この場合より正確に３次元情報を取得でき
る。これによって行動計測を行う場合に多数のカメラを
配置しなくても、さまざまな角度で動作を評価すること
が可能となる。Embodiment 6 FIG. In the behavior measurement system described in the first to fifth embodiments, as shown in FIG. 25, a plurality of video cameras are arranged so as to surround a worker to be photographed, and input to a plurality of media data input means corresponding thereto. I do. In the case of FIG. 25, four cameras (reference numeral 5)
1, 52, 53, 54), it is assumed that there are four media data input means. Here, a viewpoint designating unit (not shown) capable of designating an arbitrary viewpoint is provided in the data display unit. Here, the arbitrary viewpoint is referred to as a virtual camera 55. The virtual camera 55 can be arranged at any point on the circumference connecting the cameras 1 to 4. Further, when there is no real camera image corresponding to the virtual camera position, viewpoint image synthesizing means (FIG. 1) extracts three-dimensional information from two adjacent real camera images, and synthesizes and displays an image of the virtual camera by calculation. Not shown)
Is provided. Thus, for example, when the user wants to view an image from an intermediate position between the camera 3 and the camera 4 in FIG. 25, the image from the camera 3 (reference numeral 53a in FIG. 25) and the image from the camera 4 (reference numeral 54a in FIG. 25). It is possible to extract three-dimensional information from the virtual camera and use it as a video (reference numeral 55a in FIG. 25) in the virtual camera. Several methods have been proposed for a method of extracting three-dimensional information from a camera and a method of synthesizing an image from a plurality of images.
Further, the camera to be arranged is not limited to a monocular camera, and it is also possible to use a stereoscopic image by using a stereo camera or the like. In this case, three-dimensional information can be obtained more accurately. This makes it possible to evaluate the motion at various angles without arranging a large number of cameras when measuring the behavior.

【００６８】また、別の方法として、データ表示手段に
おいて、球面上の一部に映像を表示して、視点指定手段
はこの球面を回転させることによって視点を指定するよ
うにすることができる。図２６に示すように球体に映像
を張り付ける。表示上は円に見えるが、扱いとしては球
体であり、マウスなどでドラッグすると一周して元の映
像が表示されるようになっている。カメラ３の映像が正
面に表示されている状態で、左へ４５度回転させると、
視点指定手段はカメラ２とカメラ３の中間地点に仮想カ
メラが設置されたと判定し、視点映像合成手段は該当位
置の映像表示を行う。ここでは図２５のようにカメラは
同一円周上に４台配置しているものと考えているが、上
・下方向などのカメラをさらに追加設置することで縦方
向の視点指定を行うことも可能となる。これらのことは
計算機の能力が十分早ければ視点合成をリアルタイムで
行うことができ、動画として合成結果を表示することも
可能である。これによって、任意の視点を簡単に指定で
きるので、評価分析時の作業効率がよくなる。As another method, an image can be displayed on a part of the spherical surface by the data display means, and the viewpoint specifying means can specify the viewpoint by rotating the spherical surface. An image is attached to a sphere as shown in FIG. Although it looks like a circle on the display, it is a sphere as a treatment, and when dragging with a mouse or the like, the original image is displayed around the circle. When the image of the camera 3 is rotated 45 degrees to the left while being displayed on the front,
The viewpoint designating unit determines that the virtual camera is installed at the intermediate point between the cameras 2 and 3, and the viewpoint video synthesizing unit performs video display at the corresponding position. Here, as shown in FIG. 25, it is assumed that four cameras are arranged on the same circumference, but it is also possible to specify a vertical viewpoint by additionally installing cameras such as upward and downward. It becomes possible. As for these things, if the capability of the computer is sufficiently fast, the viewpoint synthesis can be performed in real time, and the synthesis result can be displayed as a moving image. As a result, an arbitrary viewpoint can be easily specified, so that the work efficiency at the time of evaluation analysis is improved.

【００６９】以上のように、本実施の形態においては、
メディアデータ入力手段は、撮影対象を取り囲むように
配置した複数のビデオカメラからの映像を入力とし、デ
ータ表示手段は、任意の視点を指定できる視点指定手段
と、視点指定手段によって指定された視点に該当するカ
メラ映像が存在しない場合には、近傍の２台以上のカメ
ラ映像から指定視点における映像を合成して表示する視
点映像合成手段を備えるようにしたので、任意の視点を
簡単に指定できるので、評価分析時の作業効率をさらに
よくすることができる。As described above, in the present embodiment,
The media data input means receives images from a plurality of video cameras arranged so as to surround the shooting target, and the data display means includes a viewpoint designating means capable of designating an arbitrary viewpoint and a viewpoint designated by the viewpoint designating means. When there is no corresponding camera image, a viewpoint image synthesizing means for synthesizing and displaying an image at a specified viewpoint from two or more camera images in the vicinity is provided, so that an arbitrary viewpoint can be easily specified. In addition, the work efficiency at the time of evaluation analysis can be further improved.

【００７０】実施の形態７．実施の形態２〜５では、表
示手段の表示画面において、映像表示領域と計測データ
表示領域とを別々に設け、それぞれを表示していた。本
実施の形態ではこれを統合して表示する方法を述べる。
図２７に示すように映像を立方体（図２７の符号６０）
として表現する。図２７の手前側を向いている面が、映
像における解像度を縦横Ｎ倍（Ｎは浮動小数点であらわ
せる正の数）したものである。たとえば０．５倍、２倍
などとすることが可能である。これで、奥行き方向を時
間軸として扱うことで立方体表現可能となる。時間軸方
向（立方体の側面）に同じ時間軸で表現される計測デー
タをグラフ化して表示する。これによって映像上の時刻
と計測データの時刻がわかりやすいものとなる。映像の
再生は図２７における手前側の面によって行われる。こ
のときに再生中のフレームとグラフの対応付けをわかり
やすくするために計測データ上の該当位置がハイライト
表示されたり（符号６１）、再生対象となっているフレ
ームの側面にあたる部分が太線表示される（符号６２）
などする。また、マウスなどのポインティングデバイス
によって計測データのグラフの一部分を指示すると（符
号６３）、該当する時刻の映像フレームが上方向にポッ
プアップして表示するようにする（符号６４）。これに
よって映像と計測データの対応付けがよりわかりやすく
なり、分析作業を効率化することが可能である。なお、
上記説明においては計測データを表示する場合を例に挙
げたが、この場合に限らず、音声データを表示するよう
にしてもよい。Embodiment 7 FIG. In the second to fifth embodiments, the image display area and the measurement data display area are separately provided on the display screen of the display means, and each is displayed. In the present embodiment, a method of integrating and displaying these will be described.
As shown in FIG. 27, the image is cubic (reference numeral 60 in FIG. 27).
Expressed as The surface facing the near side in FIG. 27 is obtained by multiplying the resolution of the video by N in the vertical and horizontal directions (N is a positive number represented by a floating point). For example, it can be 0.5 times, 2 times, or the like. Thus, a cube can be expressed by treating the depth direction as a time axis. The measurement data expressed on the same time axis in the time axis direction (the side of the cube) is displayed as a graph. This makes it easy to understand the time on the video and the time of the measurement data. The reproduction of the video is performed by the front surface in FIG. At this time, in order to make the association between the frame being reproduced and the graph easy to understand, the corresponding position on the measurement data is highlighted (reference numeral 61), or a portion corresponding to the side of the frame to be reproduced is displayed in bold line. (Reference numeral 62)
And so on. Further, when a part of the graph of the measurement data is designated by a pointing device such as a mouse (reference numeral 63), the video frame at the corresponding time is displayed by popping up in the upward direction (reference numeral 64). As a result, the correspondence between the video and the measurement data can be more easily understood, and the analysis work can be made more efficient. In addition,
In the above description, the case where the measurement data is displayed has been described as an example, but the present invention is not limited to this case, and audio data may be displayed.

【００７１】以上のように、本実施の形態においては、
映像データを映像の解像度×Ｎを一面とし、時間を長さ
として変換したものを奥行きとして表した直方体とし、
その時間軸方向に、指定された計測データまたは音声デ
ータの時間的な変化をグラフ化したものを表示し、グラ
フ上で指定された位置に該当する映像中のフレームデー
タを縦方向にポップアップ表示するようにしたので、映
像と計測データまたは音声データとの対応付けがよりわ
かりやすくなり、分析作業を効率化することが可能であ
る。As described above, in the present embodiment,
The image data is defined as a rectangular parallelepiped that represents the resolution x N of the image as one side, and converts the time as the length to represent the depth.
In the time axis direction, a graph showing the temporal change of the specified measurement data or audio data is displayed, and the frame data in the video corresponding to the specified position on the graph is displayed in a vertical pop-up display As a result, the correspondence between the video and the measurement data or the audio data can be more easily understood, and the analysis work can be made more efficient.

【００７２】[0072]

【発明の効果】この発明は、１以上のメディアデータを
入力とし、各メディアデータの入力時刻と共に記憶する
メディアデータ入力手段と、所定の基準時刻を設定し、
各メディアデータについて入力時刻と基準時刻との時間
差であるオフセット時刻を算出し、各メディアデータに
ついてのオフセット時刻を統合した統合データを記録す
るデータ統合手段と、メディアデータのうちの１以上の
再生対象のメディアデータについて再生経過時刻を基準
時刻からカウントするマスタータイマーと、マスタータ
イマーにおけるカウント時刻を、統合データ内のオフセ
ット時刻を用いて、各メディアデータにおける時刻に変
換することにより、再生対象の各メディアデータの実際
の再生位置を求める時刻変換手段と、時刻変換手段によ
って得られたメディアデータの実際の再生位置を用い
て、１以上の再生対象のメディアデータの同期再生を指
示するデータ再生手段と、データ再生手段からの指示に
基づいて、１以上の前記再生対象のメディアデータの一
部もしくは全部を表示する表示手段とを備えた行動計測
システムであるので、１以上のメディアデータを自動的
に同期して再生することができるので、行動の分析評価
の作業を効率化することができる。According to the present invention, media data input means for inputting one or more media data and storing the media data together with the input time of each media data, and setting a predetermined reference time,
A data integration unit that calculates an offset time that is a time difference between the input time and the reference time for each piece of media data, and records integrated data obtained by integrating the offset times for each piece of media data; A master timer that counts the elapsed playback time of the media data from the reference time, and converting the count time in the master timer to the time in each piece of media data by using the offset time in the integrated data to obtain each media to be played back. Time conversion means for determining an actual reproduction position of data; data reproduction means for instructing synchronous reproduction of one or more media data to be reproduced using the actual reproduction position of the media data obtained by the time conversion means; Based on an instruction from the data reproducing means, one or more Since the behavior measurement system includes a display unit for displaying a part or all of the media data to be recorded and reproduced, one or more pieces of media data can be automatically reproduced in synchronization with each other. Work can be made more efficient.

【００７３】また、作業対象となる機器の状態を入力と
し、入力時刻と共に記憶する機器状態入力手段をさらに
備え、データ統合手段は、機器状態入力手段に入力され
た機器状態データを統合データの統合対象として取り扱
うので、メディアデータと機器状態データとを統合して
管理し、その同期再生が可能であるため、行動の分析評
価を行う労力を削減することができる。Further, the apparatus further comprises device status input means for inputting the status of the device to be worked and storing the status together with the input time, and the data integration means integrates the device status data input to the device status input device into integrated data. Since it is handled as an object, media data and device status data can be integrated and managed, and synchronized playback can be performed. Therefore, labor for analyzing and evaluating behavior can be reduced.

【００７４】また、作業者の状態を入力とし、入力時刻
と共に記憶する計測データ入力手段をさらに備え、デー
タ統合手段は、計測データ入力手段に入力された作業者
状態データを統合データの統合対象として取り扱うの
で、メディアデータと計測データとを統合して管理し、
その同期再生が可能であるため、行動の分析評価を行う
労力を削減することができる。Further, there is further provided a measurement data input means for inputting the state of the worker and storing the data together with the input time, and the data integration means sets the worker state data input to the measurement data input means as an integration target of the integrated data. Because it handles, integrate and manage media data and measurement data,
Since the synchronous reproduction is possible, the labor for analyzing and evaluating the behavior can be reduced.

【００７５】また、計測データ入力手段は、作業者状態
データとして、作業者の生理的なデータを入力とするよ
うにしたので、作業者の状態を精確に分析することがで
きる。Further, the measurement data input means inputs the physiological data of the worker as the worker state data, so that the state of the worker can be accurately analyzed.

【００７６】また、データ統合手段は、各メディアデー
タを分割する所定の区間を定義する区間定義手段を備え
ているので、データにおける意味的な区切りがわかりや
すくなり、さらに効率よく分析評価を行うことができ
る。Further, since the data integration means is provided with the section definition means for defining a predetermined section into which each piece of media data is divided, it is easy to understand the meaningful delimitation in the data, and the analysis and evaluation can be performed more efficiently. Can be.

【００７７】また、区間定義手段は、区間を入れ子構造
にするようにしたので、作業の階層的な構造を規定する
ことが可能になる。Further, since the section defining means has a nested section, it is possible to define a hierarchical structure of work.

【００７８】また、統合データが複数個あって、表示手
段は、１以上の統合データを同時に表示するようにした
ので、統合データを比較した分析評価作業を効率よく行
うことができる。Further, since there are a plurality of integrated data and the display means displays one or more integrated data at the same time, the analysis and evaluation work comparing the integrated data can be performed efficiently.

【００７９】また、統合データが複数個あって、表示手
段は、１以上の前記統合データを同時に表示し、データ
統合手段は、表示されている統合データにおいて対応付
けの対象とする区間を選択する区間選択手段と、選択さ
れた複数の区間同士の対応付けを行う区間対応付け手段
とを備えているので、対応付けによって自動的に再生順
を変更することもでき、理想的な作業手順の指示をおこ
なうため等の分析評価作業が効率化される。Further, when there are a plurality of integrated data, the display means simultaneously displays one or more of the integrated data, and the data integrating means selects a section to be associated in the displayed integrated data. Since the apparatus includes the section selecting means and the section associating means for associating a plurality of selected sections with each other, it is possible to automatically change the reproduction order by associating, and to specify an ideal work procedure. The efficiency of analysis and evaluation work, such as for performing

【００８０】また、データ再生手段は、区間対応付け手
段によって対応付けられたデータを利用して再生を行う
区間同期再生手段を備えているので、再生順序を自動的
に入れ替えて同期再生を行うことができるので、分析評
価作業を効率化できる。Further, since the data reproducing means has the section synchronous reproducing means for reproducing using the data associated by the section associating means, the reproducing order is automatically changed to perform the synchronous reproducing. Can improve the efficiency of analysis and evaluation work.

【００８１】また、区間同期再生手段は、再生中の区間
の終了点に到達したデータを待機状態として、すべての
統合データに関する再生が該当区間の終了点に達したと
きに再度すべての再生を開始する待機再生手段を備えて
いるので、比較対象の作業に要する時間の差異が理解し
やすいので、分析評価作業が効率的になる。Further, the section synchronous playback means sets the data which has reached the end point of the section being played back to a standby state, and starts all the playback again when the playback of all the integrated data reaches the end point of the section. Since the standby reproduction means is provided, it is easy to understand the difference in the time required for the work to be compared, and the analysis and evaluation work becomes efficient.

【００８２】また、区間同期再生手段は、マスターとな
る統合データを選択するマスター選択手段と、各メディ
アデータにおける対応区間ごとの再生時間をもとめ、マ
スターとなったデータの該当区間の再生時間に合わせて
自動的に再生速度を増減する再生速度同期手段とを備え
ているので、理想的な速度に自動調整されて再生される
ので、分析評価の際に動作速度の差異がわかりやすくな
る。Further, the section synchronous reproducing means includes a master selecting means for selecting integrated data serving as a master and a reproducing time for each corresponding section in each media data, and adjusts the reproducing time of the corresponding section of the master data. Since the playback speed is automatically adjusted to an ideal speed by the playback speed synchronizing means for automatically increasing / decreasing the playback speed, the playback speed is automatically adjusted to an ideal speed.

【００８３】また、与えられた検索条件によって、自身
もしくは他の統合データにて設定されている区間を検索
する区間検索手段をさらに備えているので、区間による
検索を行うことができるので、検索時間を大幅に短縮す
ることができる。Further, since the apparatus further includes a section search means for searching for a section set by itself or other integrated data according to given search conditions, a search by section can be performed. Can be greatly reduced.

【００８４】また、区間検索手段は、定義された区間に
おけるデータ間の関係を評価する評価関数を定義する評
価関数定義手段と、与えられた評価関数によって得られ
た評価値を検索結果とする評価結果提示手段とを備えて
いるので、評価関数を簡単に置き換えて検索を行うこと
ができるので、検索を多角的に行うことができる。The section searching means includes an evaluation function defining means for defining an evaluation function for evaluating a relation between data in a defined section, and an evaluation function for obtaining a search result using an evaluation value obtained by a given evaluation function. Since the search function is provided with the result presenting means, the search can be performed by easily replacing the evaluation function.

【００８５】また、メディアデータ入力手段が複数個設
けられているので、入力の作業性を向上させることがで
きる。Further, since a plurality of media data input means are provided, the workability of input can be improved.

【００８６】また、計測データ入力手段が複数個設けら
れているので、入力の作業性を向上させることができ
る。Also, since a plurality of measurement data input means are provided, the workability of input can be improved.

【００８７】また、メディアデータ入力手段は、対象と
なる作業者を取り囲むように配置した複数のビデオカメ
ラからの出力を入力とし、データ表示手段は、任意の視
点を指定できる視点指定手段と、視点指定手段によって
指定された視点に一致するカメラ映像が存在しない場合
には近傍の２台以上のカメラ映像から指定視点における
映像を合成して表示する視点映像合成手段とを備えてい
るので、行動計測を行う場合に、さまざまな角度で動作
を評価することが可能となる。The media data input means receives outputs from a plurality of video cameras arranged so as to surround a target worker, and the data display means includes a viewpoint designating means capable of designating an arbitrary viewpoint, and a viewpoint designating means. When there is no camera image that matches the viewpoint specified by the specifying means, the viewpoint measurement means includes a viewpoint image synthesizing means for synthesizing and displaying an image at the specified viewpoint from two or more nearby camera images. Is performed, the operation can be evaluated at various angles.

【００８８】また、データ表示手段は、球面上の一部に
映像を表示し、視点指定手段は、球面を転がすことによ
り視点を選択するようにしたので、任意の視点を簡単に
指定できるので、評価分析時の作業効率がよくなる。Further, the data display means displays an image on a part of the spherical surface, and the viewpoint designating means selects a viewpoint by rolling the spherical surface, so that an arbitrary viewpoint can be easily designated. Work efficiency during evaluation analysis is improved.

【００８９】また、データ表示手段は、映像データを映
像の解像度×Ｎ（Ｎは浮動小数点であらわせる正の数）
を一面とし、時間を長さとして変換したものを奥行きと
して表した直方体とし、その時間軸方向に指定された計
測データまたは音声データの時間的な変化をグラフ化し
たものを表示し、グラフ上で指定された位置に該当する
映像中のフレームデータを縦方向にポップアップ表示す
るようにしたので、メディアデータと計測データの対応
付けがよりわかりやすくなり、分析作業を効率化するこ
とが可能である。The data display means converts the video data to the resolution of video × N (N is a positive number representing a floating point).
Is a rectangular parallelepiped that converted the time as the length and expressed as the depth, and displayed a graph of the temporal change of the measurement data or audio data specified in the time axis direction, and displayed on the graph Since the frame data in the video corresponding to the designated position is displayed in a pop-up display in the vertical direction, the correspondence between the media data and the measurement data can be more easily understood, and the analysis work can be made more efficient.

【００９０】また、機器状態入力手段は、機器からの操
作履歴を入力とし、区間設定手段は、操作履歴情報に従
って区間を自動的に分割する自動区間設定手段を備えて
いるので、一連の操作を自動的に区間として定義するこ
とも可能となり、分析評価を効率的に行うことができ
る。The device state input means receives an operation history from the device and the section setting means includes automatic section setting means for automatically dividing a section in accordance with the operation history information. It is also possible to automatically define a section, and analysis and evaluation can be performed efficiently.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 本発明の実施の形態１に係る行動計測システ
ムの構成を示したブロック図である。FIG. 1 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 1 of the present invention.

【図２】 本発明の実施の形態１に係る行動計測システ
ムにおいて、メディアデータ入力手段が出力するファイ
ルを示した説明図である。FIG. 2 is an explanatory diagram showing files output by media data input means in the behavior measurement system according to Embodiment 1 of the present invention.

【図３】 本発明の実施の形態１に係る行動計測システ
ムにおけるメディアデータ管理ファイルの構造を示した
説明図である。FIG. 3 is an explanatory diagram showing a structure of a media data management file in the behavior measurement system according to the first embodiment of the present invention.

【図４】 本発明の実施の形態１に係る行動計測システ
ムにおける統合データの作成について説明した説明図で
ある。FIG. 4 is an explanatory diagram illustrating creation of integrated data in the behavior measurement system according to the first embodiment of the present invention.

【図５】 本発明の実施の形態１に係る行動計測システ
ムにおける表示手段のインターフェースの一例を示した
説明図である。FIG. 5 is an explanatory diagram showing an example of an interface of a display unit in the behavior measurement system according to the first embodiment of the present invention.

【図６】 本発明の実施の形態２に係る行動計測システ
ムの構成を示したブロック図である。FIG. 6 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 2 of the present invention.

【図７】 本発明の実施の形態２に係る行動計測システ
ムにおけるメディアデータ管理ファイルの構造を示した
説明図である。FIG. 7 is an explanatory diagram showing a structure of a media data management file in the behavior measurement system according to the second embodiment of the present invention.

【図８】 本発明の実施の形態２に係る行動計測システ
ムにおける機器状態入力手段におけるデータと時刻との
対応付けを示した説明図である。FIG. 8 is an explanatory diagram showing correspondence between data and time in a device state input unit in a behavior measurement system according to Embodiment 2 of the present invention.

【図９】 本発明の実施の形態２に係る行動計測システ
ムにおける機器状態データファイルの構造を示した説明
図である。FIG. 9 is an explanatory diagram showing a structure of a device status data file in the behavior measurement system according to the second embodiment of the present invention.

【図１０】 本発明の実施の形態２に係る行動計測シス
テムにおける計測データファイルの構造を示した説明図
である。FIG. 10 is an explanatory diagram showing a structure of a measurement data file in the behavior measurement system according to the second embodiment of the present invention.

【図１１】 本発明の実施の形態２に係る行動計測シス
テムにおける統合データの構造を示した説明図である。FIG. 11 is an explanatory diagram showing a structure of integrated data in the behavior measurement system according to the second embodiment of the present invention.

【図１２】 本発明の実施の形態２に係る行動計測シス
テムにおける統合データ作成の一例を示した説明図であ
る。FIG. 12 is an explanatory diagram showing an example of integrated data creation in the behavior measurement system according to the second embodiment of the present invention.

【図１３】 本発明の実施の形態２に係る行動計測シス
テムにおける表示手段のインターフェースの一例を示し
た説明図である。FIG. 13 is an explanatory diagram showing an example of an interface of a display unit in the behavior measurement system according to the second embodiment of the present invention.

【図１４】 本発明の実施の形態３に係る行動計測シス
テムの構成を示したブロック図である。FIG. 14 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 3 of the present invention.

【図１５】 本発明の実施の形態３に係る行動計測シス
テムにおける表示手段の機器状態表示領域における区間
定義表示の一例を示した説明図である。FIG. 15 is an explanatory diagram showing an example of a section definition display in a device state display area of a display unit in a behavior measurement system according to Embodiment 3 of the present invention.

【図１６】 本発明の実施の形態３に係る行動計測シス
テムにおける表示手段の機器状態表示領域における階層
的な構造の表示例を示した説明図である。FIG. 16 is an explanatory diagram showing a display example of a hierarchical structure in a device state display area of a display means in a behavior measurement system according to a third embodiment of the present invention.

【図１７】 本発明の実施の形態４に係る行動計測シス
テムにおける表示手段の比較表示画面例を示した説明図
である。FIG. 17 is an explanatory diagram showing an example of a comparison display screen of a display unit in the behavior measurement system according to Embodiment 4 of the present invention.

【図１８】 本発明の実施の形態４に係る行動計測シス
テムにおけるマルチディスプレイを用いた表示手段の比
較表示画面例を示した説明図である。FIG. 18 is an explanatory diagram showing an example of a comparative display screen of a display unit using a multi-display in the behavior measurement system according to Embodiment 4 of the present invention.

【図１９】 本発明の実施の形態４に係る行動計測シス
テムの構成を示したブロック図である。FIG. 19 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 4 of the present invention.

【図２０】 本発明の実施の形態４に係る行動計測シス
テムにおける区間名対応付け方法を示した説明図であ
る。FIG. 20 is an explanatory diagram showing a section name associating method in the behavior measurement system according to Embodiment 4 of the present invention.

【図２１】 本発明の実施の形態４に係る行動計測シス
テムにおける待機再生を示した説明図である。FIG. 21 is an explanatory diagram showing standby reproduction in the behavior measurement system according to Embodiment 4 of the present invention.

【図２２】 本発明の実施の形態４に係る行動計測シス
テムにおける自動可変速再生を示した説明図である。FIG. 22 is an explanatory diagram showing automatic variable speed playback in the behavior measurement system according to Embodiment 4 of the present invention.

【図２３】 本発明の実施の形態５に係る行動計測シス
テムの構成を示したブロック図である。FIG. 23 is a block diagram showing a configuration of a behavior measurement system according to Embodiment 5 of the present invention.

【図２４】 本発明の実施の形態５に係る行動計測シス
テムにおける区間検索を示した説明図である。FIG. 24 is an explanatory diagram showing a section search in the behavior measurement system according to the fifth embodiment of the present invention.

【図２５】 本発明の実施の形態６に係る行動計測シス
テムにおける仮想カメラ映像の合成表示を示した説明図
である。FIG. 25 is an explanatory diagram showing combined display of virtual camera images in the behavior measurement system according to Embodiment 6 of the present invention.

【図２６】 本発明の実施の形態６に係る行動計測シス
テムにおける球面インターフェースによる視点指定と表
示を示した説明図である。FIG. 26 is an explanatory diagram showing viewpoint designation and display by a spherical interface in the behavior measurement system according to Embodiment 6 of the present invention.

【図２７】 本発明の実施の形態７に係る行動計測シス
テムにおける立方体インターフェースによる動画・計測
データ重畳表示を示した説明図である。FIG. 27 is an explanatory diagram showing superimposed display of moving image / measurement data by a cubic interface in the behavior measurement system according to the seventh embodiment of the present invention.

【符号の説明】[Explanation of symbols]

１，２１ メディアデータ入力手段、２ データ統合手
段、３ 表示手段、４マスタータイマー、５ 時刻変換
手段、６ データ再生手段、１０ 映像ファイル、１１
管理ファイル、１２ 統合データ、２２ 機器状態入
力手段、２３計測データ入力手段、２４ データ統合手
段、２５ 表示手段、２６ マスタータイマー、２７
時刻変換手段、２８ データ再生手段、２９ 区間定義
手段、３０ 制御装置、３１ 区間対応付け手段、３２
区間選択手段、３３ 区間同期再生手段、３４ 区間
検索手段、５１，５２，５３，５４ カメラ、５５仮想
カメラ。1, 21 media data input means, 2 data integration means, 3 display means, 4 master timer, 5 time conversion means, 6 data reproduction means, 10 video files, 11
Management file, 12 integrated data, 22 device status input means, 23 measurement data input means, 24 data integration means, 25 display means, 26 master timer, 27
Time conversion means, 28 data reproduction means, 29 section definition means, 30 control device, 31 section association means, 32
Section selection means, 33 section synchronization playback means, 34 section search means, 51, 52, 53, 54 cameras, 55 virtual cameras.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 聡 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C052 AC01 AC08 DD04 5C053 HA21 HA29 JA22 5C054 AA01 FE16 FE17 GB01 GB05 HA03 HA05  ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Satoshi Tanaka 2-3-2 Marunouchi, Chiyoda-ku, Tokyo Mitsubishi Electric Corporation F-term (reference) 5C052 AC01 AC08 DD04 5C053 HA21 HA29 JA22 5C054 AA01 FE16 FE17 GB01 GB05 HA03 HA05

Claims (19)

【特許請求の範囲】[Claims] 【請求項１】 １以上のメディアデータを入力とし、各
前記メディアデータの入力時刻と共に記憶するメディア
データ入力手段と、 所定の基準時刻を設定し、各前記メディアデータについ
て前記入力時刻と前記基準時刻との時間差であるオフセ
ット時刻を算出し、各前記メディアデータについての前
記オフセット時刻を統合した統合データを記録するデー
タ統合手段と、 前記メディアデータのうちの１以上の再生対象の前記メ
ディアデータについて再生経過時刻を前記基準時刻から
カウントするマスタータイマーと、 前記マスタータイマーにおけるカウント時刻を、前記統
合データ内の前記オフセット時刻を用いて、各前記メデ
ィアデータにおける時刻に変換することにより、再生対
象の各前記メディアデータの実際の再生位置を求める時
刻変換手段と、 前記時刻変換手段によって得られた前記メディアデータ
の実際の再生位置を用いて、１以上の前記再生対象のメ
ディアデータの同期再生を指示するデータ再生手段と、 前記データ再生手段からの指示に基づいて、１以上の前
記再生対象のメディアデータの一部もしくは全部を表示
する表示手段とを備えたことを特徴とする行動計測シス
テム。1. Media data input means for inputting at least one piece of media data and storing the input time of each piece of media data, a predetermined reference time, and setting the input time and the reference time for each piece of media data. Data integration means for calculating an offset time, which is a time difference from the media data, and recording integrated data obtained by integrating the offset times for each of the media data; A master timer that counts the elapsed time from the reference time, and the count time in the master timer is converted into a time in each of the media data by using the offset time in the integrated data, whereby each of the reproduction targets is Time to find actual playback position of media data Conversion means; data reproduction means for instructing synchronous reproduction of one or more of the media data to be reproduced using an actual reproduction position of the media data obtained by the time conversion means; Display means for displaying a part or all of the one or more media data to be reproduced, based on an instruction. 【請求項２】 作業対象となる機器の状態を入力とし、
入力時刻と共に記憶する機器状態入力手段をさらに備
え、 前記データ統合手段は、前記機器状態入力手段に入力さ
れた機器状態データを前記統合データの統合対象として
取り扱うことを特徴とする請求項１に記載の行動計測シ
ステム。2. The state of a device to be worked is input, and
2. The apparatus according to claim 1, further comprising a device status input unit that stores the device status data together with the input time, wherein the data integration unit handles the device status data input to the device status input unit as an integration target of the integrated data. 3. Behavior measurement system. 【請求項３】 作業者の状態を入力とし、入力時刻と共
に記憶する計測データ入力手段をさらに備え、 前記データ統合手段は、前記計測データ入力手段に入力
された作業者状態データを前記統合データの統合対象と
して取り扱うことを特徴とする請求項１または２に記載
の行動計測システム。3. The system according to claim 1, further comprising: measurement data input means for inputting a state of the worker and storing the data together with the input time, wherein the data integration means converts the worker state data input to the measurement data input means into the integrated data. The behavior measurement system according to claim 1, wherein the behavior measurement system is handled as an integration target. 【請求項４】 前記計測データ入力手段は、前記作業者
状態データとして、前記作業者の生理的なデータを入力
とすることを特徴とする請求項３に記載の行動計測シス
テム。4. The behavior measurement system according to claim 3, wherein the measurement data input unit inputs physiological data of the worker as the worker state data. 【請求項５】 前記データ統合手段は、 各前記メディアデータを分割する所定の区間を定義する
区間定義手段を備えていることを特徴とした請求項１な
いし４のいずれかに記載の行動計測システム。5. The behavior measurement system according to claim 1, wherein said data integration means includes a section definition means for defining a predetermined section into which each of said media data is divided. . 【請求項６】 前記区間定義手段は、前記区間を入れ子
構造にすることを特徴とした請求項５に記載の行動計測
システム。6. The behavior measurement system according to claim 5, wherein said section definition means has a nested structure of said sections. 【請求項７】 前記統合データが複数個あって、 前記表示手段は、１以上の前記統合データを同時に表示
することを特徴とする請求項１ないし６のいずれかに記
載の行動計測システム。7. The behavior measurement system according to claim 1, wherein there are a plurality of the integrated data, and the display unit displays one or more of the integrated data at the same time. 【請求項８】 前記統合データが複数個あって、 前記表示手段は、１以上の前記統合データを同時に表示
し、 前記データ統合手段は、 表示されている前記統合データにおいて対応付けの対象
とする区間を選択する区間選択手段と、 選択された複数の区間同士の対応付けを行う区間対応付
け手段とを備えていることを特徴とした請求項６に記載
の行動計測システム。8. There is a plurality of said integrated data, said display means simultaneously displays one or more of said integrated data, and said data integration means makes a target of association in said displayed integrated data. The behavior measurement system according to claim 6, further comprising: a section selecting unit that selects a section; and a section associating unit that associates a plurality of selected sections with each other. 【請求項９】 前記データ再生手段は、 前記区間対応付け手段によって対応付けられたデータを
利用して再生を行う区間同期再生手段を備えていること
を特徴とした請求項８に記載の行動計測システム。9. The behavior measurement according to claim 8, wherein said data reproducing means includes a section synchronous reproducing means for reproducing using data associated by said section associating means. system. 【請求項１０】 前記区間同期再生手段は、 再生中の区間の終了点に到達したデータを待機状態とし
て、すべての統合データに関する再生が該当区間の終了
点に達したときに再度すべての再生を開始する待機再生
手段を備えていることを特徴とする請求項９に記載の行
動計測システム。10. The section-synchronous playback means sets the data that has reached the end point of the section being played back to a standby state, and performs all playback again when the playback of all integrated data reaches the end point of the section. 10. The behavior measuring system according to claim 9, further comprising a standby reproducing unit for starting. 【請求項１１】 前記区間同期再生手段は、 マスターとなる統合データを選択するマスター選択手段
と、 各前記メディアデータにおける対応区間ごとの再生時間
をもとめ、マスターとなったデータの該当区間の再生時
間に合わせて自動的に再生速度を増減する再生速度同期
手段とを備えていることを特徴とした請求項９に記載の
行動計測システム。11. The section-synchronous playback means includes: master selection means for selecting integrated data serving as a master; determining playback time of each corresponding section in each of the media data; 10. The behavior measuring system according to claim 9, further comprising: a reproducing speed synchronizing means for automatically increasing or decreasing the reproducing speed in accordance with the time. 【請求項１２】 与えられた検索条件によって、自身も
しくは他の統合データにて設定されている区間を検索す
る区間検索手段をさらに備えたことを特徴とする請求項
５ないし１１のいずれかに記載の行動計測システム。12. The apparatus according to claim 5, further comprising a section search means for searching a section set by itself or other integrated data according to a given search condition. Behavior measurement system. 【請求項１３】 前記区間検索手段は、 定義された区間におけるデータ間の関係を評価する評価
関数を定義する評価関数定義手段と、 与えられた評価関数によって得られた評価値を検索結果
とする評価結果提示手段とを備えていることを特徴とし
た請求項１２に記載の行動計測システム。13. The section search means, comprising: an evaluation function defining means for defining an evaluation function for evaluating a relationship between data in a defined section; and an evaluation value obtained by a given evaluation function as a search result. The behavior measurement system according to claim 12, further comprising an evaluation result presentation unit. 【請求項１４】 上記メディアデータ入力手段が複数個
設けられていることを特徴とする請求項１ないし１３の
いずれかに記載の行動計測システム。14. The behavior measurement system according to claim 1, wherein a plurality of the media data input means are provided. 【請求項１５】 前記計測データ入力手段が複数個設け
られていることを特徴とする請求項１ないし１４のいず
れかに記載の行動計測システム。15. The behavior measurement system according to claim 1, wherein a plurality of the measurement data input units are provided. 【請求項１６】 前記メディアデータ入力手段は、対象
となる作業者を取り囲むように配置した複数のビデオカ
メラからの出力を入力とし、 データ表示手段は、 任意の視点を指定できる視点指定手段と、 前記視点指定手段によって指定された視点に一致するカ
メラ映像が存在しない場合には近傍の２台以上のカメラ
映像から指定視点における映像を合成して表示する視点
映像合成手段とを備えたことを特徴とする請求項１４に
記載の行動計測システム。16. The media data input unit receives outputs from a plurality of video cameras arranged so as to surround a target worker, and the data display unit includes: a viewpoint designating unit that can designate an arbitrary viewpoint; A viewpoint video synthesizing unit for synthesizing and displaying an image at a specified viewpoint from two or more nearby camera images when there is no camera image matching the viewpoint specified by the viewpoint specifying unit. The behavior measurement system according to claim 14, wherein: 【請求項１７】 前記データ表示手段は、球面上の一部
に映像を表示し、 前記視点指定手段は、球面を転がすことにより視点を選
択することを特徴とした請求項１６に記載の行動計測シ
ステム。17. The behavior measurement according to claim 16, wherein the data display unit displays an image on a part of the spherical surface, and the viewpoint designating unit selects a viewpoint by rolling the spherical surface. system. 【請求項１８】 前記データ表示手段は、映像データを
映像の解像度×Ｎ（Ｎは浮動小数点であらわせる正の
数）を一面とし、時間を長さとして変換したものを奥行
きとして表した直方体とし、その時間軸方向に指定され
た計測データまたは音声データの時間的な変化をグラフ
化したものを表示し、グラフ上で指定された位置に該当
する映像中のフレームデータを縦方向にポップアップ表
示することを特徴とした請求項１ないし１５のいずれか
に記載の行動計測システム。18. The data display means according to claim 1, wherein the image data is a rectangular parallelepiped in which the resolution of the image × N (N is a positive number represented by a floating point) is defined as one surface, and the data converted as time is represented as depth. , Displays a graph of the temporal change of the measurement data or audio data specified in the time axis direction, and displays the frame data in the video corresponding to the specified position on the graph in a vertical pop-up display The behavior measurement system according to any one of claims 1 to 15, wherein: 【請求項１９】 前記機器状態入力手段は、機器からの
操作履歴を入力とし、 前記区間設定手段は、前記操作履歴情報に従って区間を
自動的に分割する自動区間設定手段を備えていることを
特徴とした請求項５ないし１８のいずれかに記載の行動
計測システム。19. The apparatus state input means receives an operation history from a device as input, and the section setting means includes an automatic section setting means for automatically dividing a section according to the operation history information. The behavior measuring system according to any one of claims 5 to 18, wherein