JP3965580B2 - Monitoring system and method, information processing apparatus and method, recording medium, and program - Google Patents
Monitoring system and method, information processing apparatus and method, recording medium, and program Download PDFInfo
- Publication number
- JP3965580B2 JP3965580B2 JP2003275457A JP2003275457A JP3965580B2 JP 3965580 B2 JP3965580 B2 JP 3965580B2 JP 2003275457 A JP2003275457 A JP 2003275457A JP 2003275457 A JP2003275457 A JP 2003275457A JP 3965580 B2 JP3965580 B2 JP 3965580B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensor
- state
- event
- reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、人の行動を区別し、通知することができるようにした監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to a monitoring system and method, an information processing device and method, a recording medium, and a program, and in particular, a monitoring system and method, an information processing device and method that can distinguish and notify a human action, The present invention relates to a recording medium and a program.
従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。 Conventionally, as a home security system, a method of knowing sensor information by viewing a monitor TV (Television) that displays a monitoring image transmitted from an imaging device has been proposed (see, for example, Patent Document 1).
また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。 In addition, a method has been proposed in which a monitoring device in which an infrared sensor and an image sensor are combined detects a human body that has entered a monitoring area by determining the presence or absence of a human body and the presence or absence of a plan (for example, Patent Document 2). reference).
さらに、複数台のインテリジェントカメラを有する監視カメラシステムが、監視領域の異常を検知し、検知した映像や音声を記録または再生する手法が提案されている（例えば、特許文献３参照）。 Furthermore, a technique has been proposed in which a surveillance camera system having a plurality of intelligent cameras detects an abnormality in a surveillance area and records or reproduces the detected video and audio (for example, see Patent Document 3).
これらの特許文献１乃至特許文献３に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
In the inventions described in these
しかしながら、これらの特許文献１乃至特許文献３に記載されている発明では、監視領域内に進入した人体を検出することはできるものの、その人の行動（例えば、接近しているのか、あるいは、遠ざかっているのかなど）を区別することができない課題があった。
However, in the inventions described in these
勿論、例えば、ビデオカメラで常に監視するようにすれば、行動の識別が可能であるが、そのようにすると電力消費が大きくなり、バッテリを使ったシステムに適用することが困難になる課題があった。 Of course, for example, if the video camera is constantly monitored, it is possible to identify the behavior. However, if this is done, there is a problem that power consumption increases, making it difficult to apply to a system using a battery. It was.
本発明はこのような状況に鑑みてなされたものであり、監視領域内に進入した人の行動を区別し、通知することができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to distinguish and notify a behavior of a person who has entered a monitoring area.
本発明の監視システムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、判定手段おいて、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件を満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段と、構築手段により構築された呈示データに基づく呈示を行う呈示手段とを備えることを特徴とする。 The monitoring system according to the present invention acquires first sensor data from a first sensor that detects the presence of an object, and second from a second sensor that detects whether the object is approaching or moving away . Acquisition means for acquiring sensor data of two, state data description means for describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the acquisition means, The state data described by the state data description means is compared with the determination table, and the first condition based on the data in which the first determination data based on the reaction state of the first sensor among the state data is held in the determination table When the first determination data satisfies the first condition, the second determination based on the reaction state of the second sensor in the state data is further performed. By the data to determine whether the second condition is satisfied or not based on the data held in the decision table, determining means for determining whether or not to notify the event determination means fraud and mitigating risk first condition A construction means for constructing presentation data including event data that is data related to an event when it is determined that the first condition is not satisfied, or the first condition is satisfied and the second condition is satisfied; And presenting means for presenting based on the presentation data constructed by the means.
前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
前記構築手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを構築するようにすることができる。 The construction means can construct presentation data by inserting event data into a signal based on television broadcasting.
前記構築手段は、判定手段において、第１の条件を満たし、第２の条件は満たさないと判定された場合、予め定められた信号に基づくデータを呈示データとするようにすることができる。 The construction unit is Oite to the determining means, satisfies the first condition, when was determined not to satisfy the second condition, can be made to the data based on a predetermined signal and presenting data .
本発明の監視方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含むことを特徴とする。 The monitoring method of the present invention obtains first sensor data from a first sensor that detects the presence of an object, and second from a second sensor that detects whether the object is approaching or moving away . An acquisition step for acquiring sensor data of two, and a state data description describing state data relating to a reaction state of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step The step and the state data described by the processing of the state data description step are compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is based on the data held in the determination table It is determined whether or not the first condition is satisfied, and if the first determination data satisfies the first condition, the second sensor of the state data is further included. By the second judgment data based on the refractory state to determine whether the second condition is satisfied or not based on the data held in the judgment table, and determining whether or not to notify the event, decision step Oite the process, or it is determined not to satisfy the first condition, or, if met first condition was determined to further satisfy even the second condition, the event data is data about events The present invention includes a construction step for constructing the presentation data to be included, and a presentation step for performing presentation based on the presentation data constructed by the processing of the construction step.
本発明の第１の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。 The program recorded on the first recording medium of the present invention acquires the first sensor data from the first sensor that detects the presence of the object, and whether the object is approaching or moving away. An acquisition step of acquiring the second sensor data from the second sensor for detecting the first and second sensor data based on the first and second sensor data acquired by the processing of the acquisition step The state data description step describing the state data relating to the state data described in the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is When it is determined whether or not the first condition based on the data held in the determination table satisfies the first condition, and the first determination data satisfies the first condition, By a second decision data based on the reaction state of the second sensor of the status data to determine whether the second condition is satisfied or not based on the data held in the judgment table, whether to notify an event a determining step of determining, Oite the processing determining step, whether it is determined not to satisfy the first condition, or satisfy the first condition, when it is determined that further satisfy also the second condition , Causing a computer to perform a process including a construction step of constructing presentation data including event data that is data related to an event, and a presentation step of performing presentation based on the presentation data constructed by the processing of the construction step .
本発明の第１のプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。 The first program of the present invention acquires the first sensor data from the first sensor that detects the presence of the object, and the second sensor that detects whether the object is approaching or moving away. A state for describing state data relating to the reaction state of the first and second sensors based on the acquisition step for acquiring the second sensor data from the first and second sensor data acquired by the processing of the acquisition step The data description step and the state data described by the processing of the state data description step are compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is held in the determination table If the first determination data satisfies the first condition, the second of the state data is further determined. By a second decision data based on the reaction condition of the capacitors it is determined whether the second condition is satisfied or not based on the data held in the judgment table, and determining whether or not to notify the event, Oite the processing determining step, whether it is determined not to satisfy the first condition, or satisfy the first condition, when it is determined that also meets further second condition, which is data about events Events It is characterized by causing a computer to perform processing including a construction step for constructing presentation data including data and a presentation step for performing presentation based on the presentation data constructed by the processing of the construction step.
本発明の第１の情報処理装置は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信手段とを備えることを特徴とする。 The first information processing apparatus according to the present invention acquires first sensor data from a first sensor that detects the presence of an object, and detects whether the object is approaching or moving away . A state for describing state data relating to the reaction state of the first and second sensors based on the first sensor data and the second sensor data acquired by the acquisition unit; The data description unit and the state data described by the state data description unit are compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is based on the data held in the determination table. When it is determined whether or not the first condition is satisfied and the first determination data satisfies the first condition, the first data based on the reaction state of the second sensor is further included in the state data. By the decision data to determine the second condition is satisfied or not based on the data held in the decision table, determining means for determining whether or not to notify the event, Oite to the determining means, first If it is determined that the above condition is not satisfied, or if it is determined that the first condition is satisfied and the second condition is also satisfied, transmission means for transmitting event data that is data relating to the event to another device It is characterized by providing.
前記他の装置から供給された判定テーブルを取得し、蓄積する判定テーブル蓄積手段をさらに設けるようにすることができる。 A determination table storage means for acquiring and storing the determination table supplied from the other apparatus may be further provided.
前記イベントの通知が終了された場合、送信手段は、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信するようにすることができる。 When the notification of the event is terminated, the transmission unit can stop transmission of the event data and transmit the state data described by the state data description unit to another device.
前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
本発明の第１の情報処理方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含むことを特徴とする。 A first information processing method according to the present invention acquires first sensor data from a first sensor that detects the presence of an object, and detects whether the object is approaching or moving away . The acquisition step of acquiring the second sensor data from the sensor of the sensor, and the state data relating to the reaction state of the first and second sensors are described based on the first and second sensor data acquired by the processing of the acquisition step The state data description step to be performed and the state data described by the processing of the state data description step are compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is held in the determination table. If the first determination data satisfies the first condition, the second of the state data is further determined. By a second decision data based on the reaction state of the sensor to determine whether the second condition is satisfied or not based on the data held in the judgment table, and determining whether or not to notify the event, Oite the processing determining step, whether it is determined not to satisfy the first condition, or satisfy the first condition, when it is determined that also meets further second condition, which is data about events Events And a transmission step of transmitting data to another device.
本発明の第２の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。 The program recorded on the second recording medium of the present invention acquires the first sensor data from the first sensor that detects the presence of the object, and whether the object is approaching or moving away. An acquisition step of acquiring the second sensor data from the second sensor for detecting the first and second sensor data based on the first and second sensor data acquired by the processing of the acquisition step The state data description step describing the state data relating to the state data described in the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is When it is determined whether or not the first condition based on the data held in the determination table satisfies the first condition, and the first determination data satisfies the first condition, By a second decision data based on the reaction state of the second sensor of the status data to determine whether the second condition is satisfied or not based on the data held in the judgment table, whether to notify an event a determining step of determining, Oite the processing determining step, whether it is determined not to satisfy the first condition, or satisfy the first condition, when it is determined that further satisfy also the second condition And causing the computer to perform processing including a transmission step of transmitting event data, which is data related to the event, to another device.
本発明の第２のプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。 The second program of the present invention acquires the first sensor data from the first sensor that detects the presence of the object, and the second sensor that detects whether the object is approaching or moving away. A state for describing state data relating to the reaction state of the first and second sensors based on the acquisition step for acquiring the second sensor data from the first and second sensor data acquired by the processing of the acquisition step The data description step and the state data described by the processing of the state data description step are compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is held in the determination table If the first determination data satisfies the first condition, the second of the state data is further determined. By a second decision data based on the reaction condition of the capacitors it is determined whether the second condition is satisfied or not based on the data held in the judgment table, and determining whether or not to notify the event, Oite the processing determining step, whether it is determined not to satisfy the first condition, or satisfy the first condition, when it is determined that also meets further second condition, which is data about events Events It is characterized by causing a computer to perform processing including a transmission step of transmitting data to another device.
本発明の第２の情報処理装置は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信手段と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信手段により受信された状態データを判定テーブルとして蓄積する蓄積手段と、受信手段においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段とを備えることを特徴とする。 The second information processing apparatus according to the present invention determines the state data regarding the reaction state of the first sensor that detects the presence of the object and the second sensor that detects whether the object is approaching or moving away. Event data that is data related to events, status data, and receiving means for receiving event notifications transmitted from other devices that notify events based on the table, and an external that indicates whether status data is to be accumulated Based on the data from the storage means for accumulating the state data received by the receiving means as a determination table, and when the event notification is received by the receiving means, the event data received together with the event notification is determined in advance. and construction means for inserting the data based on the signal to build a presentation data, determines te stored in the storage means And a sending means for transmitting the table to the other devices.
前記構築手段により構築された呈示データに基づく呈示を行う呈示手段をさらに設けるようにすることができる。 Presenting means for presenting based on the presentation data constructed by the constructing means may be further provided.
前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段をさらに設け、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付けるようにすることができる。 An acquisition means for acquiring a judgment input from the user based on the presentation by the presentation means is further provided, and the storage means associates the judgment input from the user acquired by the acquisition means with the state data. it can.
前記蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段をさらに設けるようにすることができる。 Transmission means for transmitting the determination table stored in the storage means to another device may be further provided.
前記受信手段においてイベントの通知を受信していない場合、構築手段は、予め定められた信号に基づくデータを呈示データとするようにすることができる。 If you do not receive the notification of an event in said receiving means, constructing means can be made to the data based on a predetermined signal and presenting data.
前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。 The first sensor may be a photo sensor, and the second sensor may be a microwave sensor.
前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。 The state data may include a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount regarding the reaction state of the second sensor in the reaction state.
本発明の第２の情報処理方法は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含むことを特徴とする。 According to the second information processing method of the present invention, the first sensor that detects the presence of the object and the state data related to the reaction state of the second sensor that detects whether the object is approaching or moving away are determined. Event data that is data related to events, status data, and a reception step for receiving event notifications, which are transmitted from other devices that notify events based on the table, and an external that indicates whether status data is stored Based on the data from the storage step of accumulating the received state data as a determination table, and when event notification is received in the processing of the reception step, the event data received together with the event notification is predetermined. a construction step for constructing the presentation data is inserted into data based on the signal, determining tape accumulated Characterized in that it comprises a transmission step of transmitting the Le to another device.
本発明の第３の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。 The program recorded on the third recording medium of the present invention includes a first sensor that detects the presence of an object and a reaction state of a second sensor that detects whether the object is approaching or moving away. storing transmitted from another apparatus for notifying an event, a receiving step of receiving event data, status data, and event notification is data relating to the event, the state data based on the status data and the determination table of the Based on the data from the outside indicating whether or not the event data received together with the event notification when the event notification is received in the accumulation step of accumulating the received state data as a determination table and the processing of the reception step a construction step for constructing the presentation data is inserted into data based on a predetermined signal, Characterized in that to perform the processing including a transmission step of transmitting a determination table that is the product to another device on the computer.
本発明の第３のプログラムは、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。 The third program of the present invention includes a first sensor that detects the presence of an object, a state data relating to a reaction state of a second sensor that detects whether the object is approaching or moving away, a determination table, Event data, event data, which is data related to the event, received from the other device that notifies the event based on the event, status data, and a reception step for receiving the event notification, and from the outside indicating whether or not the status data is accumulated Based on the data, when the event notification is received in the accumulation step of accumulating the received state data as a determination table and the processing of the reception step, the event data received together with the event notification is converted into a predetermined signal. a construction step for constructing the presentation data is inserted into data based determination table that is stored And characterized in that the carried out processing including a transmission step of transmitting to another device on the computer.
第１の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサからそれぞれ第１および第２のセンサデータが取得され、それらのデータに基づいて、第１および第２のセンサの反応状態に関する状態データが記述され、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かが判定され、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データが構築されて呈示される。 In the first aspect of the present invention, first and second sensor data are respectively obtained from a first sensor that detects the presence of an object and a second sensor that detects whether the object is approaching or moving away. Based on the acquired data, state data related to the reaction state of the first and second sensors is described, and the first determination data based on the reaction state of the first sensor among the state data is held in the determination table. If the first determination data satisfies the first condition based on whether or not the first condition based on the data to be satisfied is satisfied, and the first determination data further satisfies the first condition based on the reaction state of the second sensor in the state data. by the second decision data to determine the second condition is satisfied or not based on the data held in the judgment table, whether to notify the event is determined, not satisfy the first condition Or intending to be determined, or, satisfies the first condition, when it is determined that further satisfy also the second condition, presentation data including the event data is data relating to the event is presented is built.
第２の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサからそれぞれ第１および第２のセンサデータが取得され、それらのデータに基づいて、第１および第２のセンサの反応状態に関する状態データが記述され、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かが判定され、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータが他の装置に送信される。 In the second aspect of the present invention, first and second sensor data are respectively obtained from a first sensor that detects the presence of an object and a second sensor that detects whether the object is approaching or moving away. Based on the acquired data, state data related to the reaction state of the first and second sensors is described, and the first determination data based on the reaction state of the first sensor among the state data is held in the determination table. If the first determination data satisfies the first condition based on whether or not the first condition based on the data to be satisfied is satisfied, and the first determination data further satisfies the first condition based on the reaction state of the second sensor in the state data. by the second decision data to determine the second condition is satisfied or not based on the data held in the judgment table, whether to notify the event is determined, not satisfy the first condition Or intending to be determined, or, satisfies the first condition, when it is determined that further satisfy also the second condition, the event data is data about the event is transmitted to the other device.
第３の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知が受信され、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データが判定テーブルとして蓄積され、イベントの通知が受信された場合、イベントの通知とともに受信されたイベントデータが、予め定められた信号に基づくデータに挿入されて呈示データが構築される。また、蓄積されている判定テーブルが他の装置に送信される。 In the third aspect of the present invention, the first sensor for detecting the presence of the object and the second sensor for detecting whether the object is approaching or moving away from the state data and the determination table Based on external data indicating whether or not event data, status data, and event notification, which are data related to an event, transmitted from another device that notifies an event based on the event, are received and the status data is accumulated When the received state data is accumulated as a determination table and an event notification is received, the event data received together with the event notification is inserted into data based on a predetermined signal to construct the presentation data. The Also, the stored determination table is transmitted to another device.
第１の本発明によれば、検知したイベントを呈示することができる。特に、監視領域内に進入した人の行動を区別し、イベントとして呈示することが可能となる。 According to the first aspect of the present invention, the detected event can be presented. In particular, the behavior of a person who has entered the monitoring area can be distinguished and presented as an event.
第２の本発明によれば、検知したイベントを通知することができる。特に、監視領域内に進入した人の行動を区別し、他の装置に通知することが可能となる。 According to the second aspect of the present invention, a detected event can be notified. In particular, it is possible to distinguish the behavior of a person who has entered the monitoring area and notify other devices.
第３の本発明によれば、検知したイベントを呈示することができる。特に、他の装置で発生したイベントを呈示するとともに、発生したイベント時の状態を、イベント通知の判定処理に用いるテーブルとして蓄積することが可能となる。 According to the third aspect of the present invention, the detected event can be presented. In particular, it is possible to present an event that has occurred in another device and to store the state at the time of the event as a table that is used in the event notification determination process.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
請求項１に記載の監視システム（例えば、図１の監視システム１０）は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段（例えば、図２６のステップＳ２の処理を実行する図４の状態記述部４１）と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段（例えば、図２７のステップＳ２１乃至Ｓ２９の処理を実行する図４の状態記述部４１）と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段（例えば、図２８のステップＳ４１乃至Ｓ４８の処理を実行する図４のイベント通知判定部４２）と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示画像構築部５２）と、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示部３、または図３１のステップＳ１１２の処理を実行する図４の呈示部６２）とを備えることを特徴とする。
The monitoring system according to claim 1 (for example, the
請求項２に記載の監視システムの第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。
The first sensor of the monitoring system according to claim 2 is a photo sensor (for example, photo sensor 22 in FIG. 2), and the second sensor is a microwave sensor (for example,
請求項３に記載の監視システムの状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。 The status data of the monitoring system according to claim 3 (for example, status description data 111-1 to 111-n shown in FIG. 22) includes reaction symbols and reaction states classified according to the reaction state of the first sensor. It includes a feature amount relating to the duration and the reaction state of the second sensor in the reaction state.
請求項４に記載の監視システムの構築手段は、テレビジョン放送に基づく信号（例えば、図４に示す一般視聴信号）にイベントデータを挿入して呈示データを構築することを特徴とする。 According to a fourth aspect of the present invention, there is provided a monitoring system constructing unit which constructs presentation data by inserting event data into a signal based on a television broadcast (for example, a general viewing signal shown in FIG. 4).
請求項５に記載の監視システムの構築手段は、判定手段において、第１の条件を満たし、第２の条件は満たさないと判定された場合、予め定められた信号（例えば、図４に示す一般視聴信号）に基づくデータを呈示データとすることを特徴とする。
Constructing means of the monitoring system according to
請求項６に記載の監視方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップ（例えば、図２６のステップＳ２）と、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップ（例えば、図２７のステップＳ２１乃至Ｓ２９）と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップ（例えば、図２８のステップＳ４１乃至Ｓ４８）と、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップ（例えば、図２９のステップＳ６３）と、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップ（例えば、図２９のステップＳ６３または図３１のステップＳ１１２）とを含むことを特徴とする。 The monitoring method according to claim 6 is configured to acquire first sensor data from a first sensor that detects the presence of an object, and to detect whether the object is approaching or moving away . Based on the acquisition step (for example, step S2 of FIG. 26) for acquiring the second sensor data from the sensor and the first and second sensor data acquired by the processing of the acquisition step, the first and second sensors The state data description step (for example, steps S21 to S29 in FIG. 27) describing the state data related to the reaction state of the state and the state data described by the processing of the state data description step are compared with the determination table . Determining whether the first determination data based on the reaction state of one sensor satisfies the first condition based on the data held in the determination table; When the first determination data satisfies the first condition, the second condition based on the data in which the second determination data based on the reaction state of the second sensor among the state data is held in the determination table is further set. by determining whether they meet, determining determines whether to notify the event step (e.g., steps S41 to S48 in FIG. 28) and, Oite the processing determining step, not satisfy the first condition If it is determined that there is not, or it is determined that the first condition is satisfied and the second condition is also satisfied, a construction step of constructing presentation data including event data that is data related to the event (for example, FIG. 29 Step S63) and a presentation step (for example, step S63 in FIG. 29 or step S63) for performing presentation based on the presentation data constructed by the construction step processing. Characterized in that it comprises a step S112) and Figure 31.
なお、請求項７に記載の記録媒体に記録されているプログラム、および請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項６に記載の監視方法と同様である。
In the program recorded on the recording medium according to claim 7 and the program according to
請求項９に記載の情報処理装置（例えば、図１のマルチセンサカメラ１）は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段（例えば、図２６のステップＳ２の処理を実行する図４の状態記述部４１）と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段（例えば、図２７のステップＳ２１乃至Ｓ２９の処理を実行する図４の状態記述部４１）と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段（例えば、図２８のステップＳ４１乃至Ｓ４８の処理を実行する図４のイベント通知判定部４２）と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信手段（例えば、図２６のステップＳ１１の処理を実行する図４のイベント通知判定部４２）とを備えることを特徴とする。
The information processing apparatus according to claim 9 (for example, the
請求項１０に記載の情報処理装置は、他の装置（例えば、図１の処理ボックス２）から供給された判定テーブル（例えば、図２５に示すパターン１４１−１乃至１４１−ｋからなる通知判定テーブル）を取得し、蓄積する判定テーブル蓄積手段（例えば、図２６のステップＳ１３の処理を実行する図２３の通知判定テーブル蓄積部１２２）をさらに備えることを特徴とする。
The information processing apparatus according to
請求項１１に記載の情報処理装置は、前記イベントの通知が終了された場合（例えば、図２６のステップＳ５）、送信手段が、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信する（図２６のステップＳ７）ことを特徴とする。
In the information processing apparatus according to
請求項１２に記載の情報処理装置の第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。
The first sensor of the information processing apparatus according to claim 12 is a photosensor (for example, the photosensor 22 in FIG. 2), and the second sensor is a microwave sensor (for example, the
請求項１３に記載の情報処理装置の状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。 The state data (for example, state description data 111-1 to 111-n shown in FIG. 22) of the information processing apparatus according to claim 13 includes reaction symbols and reaction states classified according to the reaction state of the first sensor. And a feature amount relating to the reaction state of the second sensor in the reaction state.
請求項１４に記載の情報処理方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップ（例えば、図２６のステップＳ２）と、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップ（例えば、図２７のステップＳ２１乃至Ｓ２９）と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップ（例えば、図２８のステップＳ４１乃至Ｓ４８）と、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップ（例えば、図２６のステップＳ１１）とを含むことを特徴とする。 The information processing method according to claim 14 is a second method for acquiring first sensor data from a first sensor for detecting the presence of an object and detecting whether the object is approaching or moving away . Based on the acquisition step (for example, step S2 of FIG. 26) for acquiring the second sensor data from the sensor of the first sensor and the first and second sensor data acquired by the processing of the acquisition step, state data describing the steps describing the status data for the reaction state of the sensor (e.g., steps S21 to S29 in FIG. 27) and to compare the status data with the determination table is described by the process of the state data description step, among the state data It is determined whether or not the first determination data based on the reaction state of the first sensor satisfies the first condition based on the data held in the determination table. If the first determination data satisfies the first condition, the second determination data based on the reaction state of the second sensor among the state data is further based on the data held in the determination table. condition by determining whether or not the condition, and determining determines whether to notify the event step (e.g., steps S41 to S48 in FIG. 28), Oite the processing determining step, the first If it is determined that the condition is not satisfied, or if it is determined that the first condition is satisfied and the second condition is also satisfied, a transmission step (for example, transmitting event data that is data related to the event to another device) , And step S11) of FIG.
なお、請求項１５に記載の記録媒体に記録されているプログラム、および請求項１６に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１４に記載の情報処理方法と同様である。 In the program recorded on the recording medium according to claim 15 and the program according to claim 16, an embodiment (however, an example) corresponding to each step is the information processing according to claim 14. It is the same as the method.
請求項１７に記載の情報処理装置（例えば、図１の処理ボックス２）は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信手段（例えば、図２９のステップＳ６６の処理を実行する図４の受信部５１）と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信手段により受信された状態データを判定テーブルとして蓄積する蓄積手段（例えば、図２９のステップＳ６８の処理を実行する図４の状態記述データ蓄積部５３）と、受信手段においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示画像構築部５２）と、蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段（例えば、図２９のステップＳ７４の処理を実行する図４の送信部５５）とを備えることを特徴とする。
The information processing apparatus according to claim 17 (for example, the processing box 2 in FIG. 1) includes a first sensor that detects the presence of an object and a second that detects whether the object is approaching or moving away. Receiving means for receiving event data, status data, and event notification, which is data related to an event, transmitted from another device that notifies the event based on the status data related to the reaction state of the sensor and the determination table (for example, 29, which executes the processing of step S66 of FIG. 29, and stores the state data received by the receiving means as a determination table based on the external data indicating whether or not to store the state data. and storing means for (e.g., state description
請求項１８に記載の情報処理装置は、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示部３、または図３１のステップＳ１１２の処理を実行する図４の呈示部６２）をさらに備えることを特徴とする。
The information processing apparatus according to claim 18 is a presentation unit that performs a presentation based on the presentation data constructed by the construction unit (for example, the
請求項１９に記載の情報処理装置は、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段（例えば、図２９のステップＳ６９の処理を実行する図４の通知判定テーブル更新部５４）をさらに備え、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付ける（例えば、図２９のステップＳ７１）ことを特徴とする。 The information processing apparatus according to claim 19 is an acquisition unit that acquires a determination input from a user based on the presentation by the presentation unit (for example, the notification determination table update in FIG. 4 that executes the process of step S69 in FIG. 29). Unit 54), and the storage means associates the judgment input from the user acquired by the acquisition means with the state data (for example, step S71 in FIG. 29).
請求項２０に記載の情報処理装置は、受信手段においてイベントの通知を受信していない場合、構築手段が、予め定められた信号（例えば、図４に示す一般視聴信号）に基づくデータを呈示データとすることを特徴とする。
In the information processing device according to
請求項２１に記載の情報処理装置の第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。
The first sensor of the information processing apparatus according to
請求項２２に記載の情報処理装置の状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。 The state data (for example, the state description data 111-1 to 111-n shown in FIG. 22) of the information processing apparatus according to claim 22 includes reaction symbols and reaction states classified according to the reaction state of the first sensor. And a feature amount relating to the reaction state of the second sensor in the reaction state.
請求項２３に記載の情報処理方法は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップ（例えば、図２９のステップＳ６６）と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップ（例えば、図２９のステップＳ６８）と、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップ（例えば、図２９のステップＳ６３）と、蓄積されている判定テーブルを他の装置に送信する送信ステップ（例えば、図２９のステップＳ７４）とを含むことを特徴とする。
The information processing method according to
なお、請求項２４に記載の記録媒体に記録されているプログラム、および請求項２５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項２３に記載の情報処理方法と同様である。
In the program recorded on the recording medium according to claim 24 and the program according to claim 25 , the embodiment (however, an example) corresponding to each step is the information processing according to
以下に、本発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線アンテナ１Ａと無線アンテナ２Ａを介して、相互に無線通信を行なう。処理ボックス２とリモートコントローラ４は、相互に無線通信あるいは赤外線通信を行う。処理ボックス２と呈示部３は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ１と処理ボックス２は、無線通信に限られるものではなく、有線による通信であってもよい。
FIG. 1 shows a configuration example of a
マルチセンサカメラ１は、イベントを監視したい領域（必要な場所）に設置されている。マルチセンサカメラ１には、例えば、図２に示されるように、CCD（Charge Coupled Device）カメラ２１、フォトセンサ２２、およびマイクロ波センサ２３が設けられており、各センサは、図示せぬバッテリにより駆動される。
The
CCDカメラ２１は、監視領域（視野角）内の状況を随時撮影する。その詳細は後述するが、マルチセンサカメラ１は、フォトセンサ２２およびマイクロ波センサ２３で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、CCDカメラ２１で撮影された画像データ（イベントデータ）を処理ボックス２に送信する。
The
フォトセンサ２２は、図３に示されるように、自己が監視することが可能な領域３１内の平均輝度を検知信号として出力しており、人物が領域３１内に進入または退出したことに応じて、その出力が変化する。
As shown in FIG. 3, the photosensor 22 outputs the average luminance in the
マイクロ波センサ２３は、マイクロ波を発生し、図３に示されるように、自己が監視することが可能な領域３２内に照射しており、そのマイクロ波が人物（監視対象）に当たって反射されたときの反射波を検知し、反射波が基準の位相より進んでいるか、または遅れているかを表わす検知信号を生成する。この位相の進みと遅れは、ドップラ効果によるものであり、物体の接近または離反に対応している。以下、フォトセンサ２２およびマイクロ波センサ２３が監視することが可能な領域３１，３２を、単に、監視領域３１，３２と記載する。なお、図３の例では、フォトセンサ２２の監視領域３１は、マイクロ波センサ２３の監視領域３２に較べ、その領域（視野角）が狭くなっている。
The
図１の説明に戻る。マルチセンサカメラ１は、イベントを通知すると判定した場合、無線アンテナ１Ａを介して、イベント呈示に必要なデータを処理ボックス２に送信する。
Returning to the description of FIG. When the
処理ボックス２は、マルチセンサカメラ１から送信されてきたイベント呈示に必要なデータを、無線アンテナ２Ａを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に供給または送信して、イベントを呈示させる。
The processing box 2 receives data necessary for event presentation transmitted from the
呈示部３は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
The
ユーザは、呈示部３に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ４から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン（図示せず）を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン（図示せず）を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス２で作成される、イベントを通知するか否かを判定する際に用いられる通知判定テーブル（後述）が時間とともに変化するため、ユーザが監視システム１０を使用する度にユーザが意図するイベントのみが検知され、通知されるようになる。
The user can make a determination on the event presented on the
またマルチセンサカメラ１に搭載されるCCDカメラ２１は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。
In addition, the
図４は、図１に示した監視システム１０の機能的構成例を示すブロック図である。
FIG. 4 is a block diagram illustrating a functional configuration example of the
マルチセンサカメラ１のCCDカメラ２１は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ４４を介して送信部４５に供給する。
The
フォトセンサ２２は、監視領域３１（図３）内の平均輝度をフォトセンサデータとして状態記述部４１に供給する。
The photosensor 22 supplies the average luminance in the monitoring area 31 (FIG. 3) to the
ここで、図５乃至図７を参照して、フォトセンサ２２の原理について説明する。 Here, the principle of the photosensor 22 will be described with reference to FIGS.
図５は、フォトセンサ２２が出力する検知信号の例を説明する図である。 FIG. 5 is a diagram illustrating an example of a detection signal output from the photosensor 22.
図５Ａは、人物７１が、図中矢印で示される方向からフォトセンサ２２の監視領域３１内に進入し、退出する様子を模式的に示している。フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、図５Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図５Ｂに示されるような変化を示す。同図において、縦軸はフォトセンサ２２が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。また、基準値Ｌは、人物７１が監視領域３１内に侵入していない場合のセンサ出力値であり、背景の平均輝度に対応している。この例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に進入していくに従って、その出力レベルが徐々に大きくなり、退出するに従って、その出力レベルが徐々に小さくなる。
FIG. 5A schematically shows a
なお、図５Ｂに示す検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値（背景に対する平均輝度）Ｌより高い場合の特性を表わしており、人物７１に対する平均輝度の出力レベルが基準値Ｌより低い場合には、検知信号８１の出力変化は、負の方向に変化する。
The
図６は、フォトセンサ２２が出力する検知信号の他の例を説明する図である。 FIG. 6 is a diagram illustrating another example of the detection signal output from the photosensor 22.
図６Ａは、フォトセンサ２２の監視領域３１内において、人物７１が、図中矢印で示されるように、フォトセンサ２２に接近し、離反する（遠ざかる）様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、図６Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図６Ｂに示されるような変化を示す。この例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１がフォトセンサ２２に接近していくに従って、その出力レベルが徐々に大きくなり、離反するに従って、その出力レベルが徐々に小さくなる。また、人物７１が監視領域３１内に侵入している状態で、フォトセンサ２２に接近し、離反しているため、図６Ｂに示す検知信号８１の出力レベルは、図５Ｂに示した値より高い特性を示している。
FIG. 6A schematically shows a state in which a
なお、上述したように、図６Ｂに示す検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値Ｌより高い場合の特性を表わしており、人物７１に対する平均輝度の出力レベルが基準値Ｌより低い場合には、検知信号８１の出力変化は、やはり負の方向に変化する。
As described above, the
図５および図６に示したように、人物７１の行動に応じて、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向（すなわち、徐々に大きくなる方向、または徐々に小さくなる方向）には決まった特性が表れる。従って、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向に着目することにより、人物７１が、監視領域３１内でどのような行動を取っているかをおおよそ推定することができる。
As shown in FIGS. 5 and 6, the change in the output level of the
図７は、フォトセンサ２２が出力する検知信号８１の出力レベルの変化と人物７１の行動との関係を示す図である。
FIG. 7 is a diagram illustrating the relationship between the change in the output level of the
反応区間Ｘは、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから変化している区間（時間）であり、人物７１が監視領域３１内に存在していることを表わしている。この反応区間Ｘにおいて、検知信号８１の出力レベルが基準値Ｌから離れる方向（図７の例の場合、正の方向に離れているが、負の方向に離れる場合も含む）に変化する区間Ａは、人物７１が監視領域３１内に進入しているか、または監視領域３１内でフォトセンサ２２に接近していることを表わし、検知信号８１の出力レベルが変化しない区間Ｂは、人物７１が監視領域３１内で行動していない（静止している）ことを表わし、検知信号８１の出力レベルが基準値Ｌに近づく方向（図７の例の場合、負の方向に近づいているが、正の方向に近づく場合も含む）に変化する区間Ｃは、人物７１が監視領域３１から退出しているか、または監視領域３１内でフォトセンサ２２から離反していることを表わしている。
The reaction section X is a section (time) in which the output level of the
このように、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向に応じて、監視領域３１内における人物７１の行動をおおよそ推定することができる。
Thus, the behavior of the
図４の説明に戻る。マイクロ波センサ２３は、監視領域３２（図３）内にマイクロ波を照射しており、接近の反応を表わす検知信号および離反の反応を表わす検知信号をマイクロ波センサデータとして状態記述部４１に供給する。
Returning to the description of FIG. The
ここで、図８乃至図１１を参照して、マイクロ波センサ２３の原理について説明する。
Here, the principle of the
図８と図９は、マイクロ波センサ２３が出力する検知信号の例を説明する図である。
8 and 9 are diagrams illustrating examples of detection signals output from the
図８は、マイクロ波センサ２３の監視領域３２内において、人物７１−１，７１−２が、それぞれ、図中矢印で示されるように、マイクロ波センサ２３に接近または離反している様子を模式的に示している。マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図８に示されるように、センサを中心とした円周に対し人物７１−１がほぼ垂直に接近するように行動した場合、それに対応して、例えば、図９Ａに示されるような接近の反応を表わす検知信号９１を出力する。またマイクロ波センサ２３は、センサを中心とした円周に対し人物７１−２がほぼ垂直に離反するように行動した場合、それに対応して、例えば、図９Ｂに示されるような離反の反応を表わす検知信号９２を出力する。同図において、縦軸はマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。なお、検知信号９１，９２は、いずれも２値出力とされる。
FIG. 8 is a schematic view of the person 71-1 and 71-2 approaching or moving away from the
図１０は、マイクロ波センサ２３が出力する検知信号の他の例を説明する図である。
FIG. 10 is a diagram illustrating another example of the detection signal output from the
図１０Ａは、マイクロ波センサ２３の監視領域３２内において、人物７１が、センサを中心とした円周上を、図中矢印で示される方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１０Ａに示されるように、センサを中心とした円周上を人物７１が行動した場合、それに対応して、例えば、図１０Ｂに示されるような検知信号を出力する。この例の場合、接近の反応を表わす検知信号９１および離反の反応を表わす検知信号９２が不規則に出力されている（不安定な反応の検知信号が出力されている）。
FIG. 10A schematically shows a state in which a
図１１は、マイクロ波センサ２３が出力する検知信号の他の例を説明する図である。
FIG. 11 is a diagram for explaining another example of the detection signal output from the
図１１Ａは、マイクロ波センサ２３の監視領域３２内において、人物７１が、センサを中心とした円周上付近を、図中矢印で示されるように、円の接線に平行な方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１１Ａに示されるように、センサを中心とした円の接線付近を人物７１が行動した場合、それに対応して、例えば、図１１Ｂに示されるような検知信号を出力する。この例の場合、円周の接点Ｓより手前では接近の反応を表わす検知信号９１が出力され、円周の接点Ｓ付近では接近の反応を表わす検知信号９１および離反の反応を表わす検知信号９２の両方が出力され（不安定な反応の検知信号が出力され）、円周の接点Ｓより先では離反の反応を表わす検知信号９２が出力されている。
FIG. 11A shows that in the
また図示は省略するが、人物７１が円周の接点Ｓより離れていくに従って、マイクロ波センサ２３が出力する検知信号は不安定な反応となり、最終的には無反応となる。
Moreover, although illustration is abbreviate | omitted, as the
ところで、マイクロ波センサ２３から出力される検知信号を短時間で観測した場合、その信頼度が低い。例えば、検知信号が接近反応であったとしても、それが安定的に接近している行動の一部に応じて出力されたものであるのか、あるいは、不安定な反応の一部であるのかを区別することができず、人物７１の行動を推定することが困難である。そこで、マイクロ波センサ２３から出力される検知信号を充分な長さの時間で観測する（例えば、時間方向で接近または離反の反応数を積算する）必要がある。ただし、時間方向で長く観測しすぎた場合、反応数が増えることによりセンサの信頼度は向上するが、人物７１の行動を推定するまでに時間がかかり、処理能力は低下してしまう。
By the way, when the detection signal output from the
以上のことから、本実施の形態では、フォトセンサ２２とマイクロ波センサ２３を統合利用して、短時間で、かつ、高精度に、さらに、電力消費を増大させることなく、人物７１の行動を推定するようにする。
From the above, in the present embodiment, the photo sensor 22 and the
すなわち、図７に示したように、フォトセンサ２２が反応している区間（反応区間Ｘ）における、検知信号８１の出力レベルの変化の方向により区分されたそれぞれの区間（区間Ａ乃至区間Ｃ）において、マイクロ波センサ２３から出力される接近または離反を表わす検知信号９１，９２をそれぞれ積算し、その割合（正規化）を特徴量として記述する。
That is, as shown in FIG. 7, each section (section A to section C) divided according to the direction of change in the output level of the
具体的には、フォトセンサ２２が反応している所定の区間において、図１２Ａに示されるように、マイクロ波センサ２３から出力される接近、離反、または無反応を表わす検知信号をそれぞれ積算し、接近反応数、離反反応数、および無反応数と規定する。そして、各反応数を、積算に利用した全データ数で正規化したもの（割合）を特徴量として記述（プロット）する。なお、各割合は、０．０乃至１．０の値で表わすこととする。
Specifically, in a predetermined section in which the photosensor 22 is reacting, as shown in FIG. 12A, the detection signals representing approach, separation, or no reaction output from the
図１２Ｂは、離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。同図に示されるように、領域１０１にプロットされる特徴量は、接近反応数が多いことを表わし、領域１０２にプロットされる特徴量は、離反反応数が多いことを表わし、領域１０３にプロットされる特徴量は、接近反応数と離反反応数が混在していることを表わし、領域１０４にプロットされる特徴量は、反応が少ない（無反応数が多い）ことを表わしている。
FIG. 12B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis). As shown in the figure, the feature amount plotted in the
例えば、接近反応数が１５、離反反応数が７０、無反応数が１５に積算された場合、全データ数は１００（＝１５＋７０＋１５）となり、接近反応数の割合は０．１５（＝１５／１００）、離反反応数の割合は０．７（＝７０／１００）、無反応数の割合は０．１５（＝１５／１００）に正規化される。図中、この特徴量Ｑがプロットされている。 For example, when the number of approaching reactions is 15, the number of separation reactions is 70, and the number of no reactions is integrated into 15, the total number of data is 100 (= 15 + 70 + 15), and the ratio of approaching reactions is 0.15 (= 15/100 ), The ratio of the number of separation reactions is normalized to 0.7 (= 70/100), and the ratio of the number of no reactions is normalized to 0.15 (= 15/100). In the figure, this feature quantity Q is plotted.
このように、図７に示した区間Ａ乃至区間Ｃにおける、マイクロ波センサ２３の出力反応に基づいて、人物７１の行動を分類することができる。
Thus, the action of the
次に、図１３乃至図２１を参照して、フォトセンサ２２およびマイクロ波センサ２３を統合利用した場合の原理について説明する。
Next, the principle when the photosensor 22 and the
図１３と図１４は、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。
13 and 14 are diagrams illustrating examples of detection signals output from the photosensor 22 and the
図１３は、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１−１乃至７１−３が、それぞれ、図中矢印で示される方向（図中、左上から右下方向、左から右方向、または左下から右上方向）に行動している様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１３に示されるように人物７１−１乃至７１−３が行動した場合、それらに対応して、例えば、図１４Ａ乃至図１４Ｃに示されるような検知信号をそれぞれ出力する。同図において、縦軸はフォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ２３が出力する検知信号９１−１乃至９１−３，９２−１乃至９２−３は、いずれも２値出力とされる。
FIG. 13 shows that the persons 71-1 to 71-3 move in the directions indicated by the arrows in the figure (from the upper left to the right in the figure) in the
図１４Ａの例の場合、フォトセンサ２２が出力する検知信号８１−１は、人物７１−１が監視領域３１内に、遠い位置から近づきつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号８１−１は、人物７１−１に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している（後述する図１４Ｂの検知信号８１−２および図１４Ｃの検知信号８１−３も同様である）。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−１が出力されている。なお、離反の反応を表わす検知信号９２−１の出力レベルは０である。
In the case of the example of FIG. 14A, the detection signal 81-1 output from the photosensor 22 gradually increases in output level as the person 71-1 enters the
図１４Ｂの例の場合、フォトセンサ２２が出力する検知信号８１−２は、人物７１−２が監視領域３１内を横切るように侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−２、および離反の反応を表わす検知信号９２−２が不規則に出力されている（不安定な反応の検知信号が出力されている）。
In the case of the example of FIG. 14B, the detection signal 81-2 output from the photosensor 22 gradually decreases as the person 71-2 enters the
図１４Ｃの例の場合、フォトセンサ２２が出力する検知信号８１−３は、人物７１−３が監視領域３１内に、近い位置から遠ざかりつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−３、および離反の反応を表わす検知信号９２−３が出力されている。
In the case of the example in FIG. 14C, the detection signal 81-3 output from the photosensor 22 gradually increases in output level as the person 71-3 enters the
次に、図１４Ａ乃至図１４Ｃに示したフォトセンサ２２の反応区間Ｘにおいて、マイクロ波センサ２３から出力される検知信号９１−１乃至９１−３，９２−１乃至９２−３をそれぞれ積算し、正規化したものを特徴量として記述する場合の具体例について、図１５乃至図１７を参照して説明する。
Next, in the reaction zone X of the photosensor 22 shown in FIGS. 14A to 14C, the detection signals 91-1 to 91-3 and 92-1 to 92-3 output from the
図１５は、フォトセンサ２２の反応区間Ｘにおけるマイクロ波センサ２３の特徴量の例を説明する図である。
FIG. 15 is a diagram illustrating an example of the feature amount of the
図１５Ｂは、反応区間Ｘにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、反応区間Ｘとは、図１５Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから離れている区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、反応区間Ｘにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。
FIG. 15B shows the relationship between the ratio of the separation reaction in the reaction zone X (vertical axis) and the ratio of the approaching reaction number (horizontal axis). Here, the reaction section X represents a section where the output level of the
図１５Ｂにおいて、プロット群Ｐ１は、図１５Ａの反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２は、反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−２，９２−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ３は、反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−３，９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。
In FIG. 15B, a plot group P1 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
このように、フォトセンサ２２が出力する検知信号の出力レベルの変化および変化する方向（図１４Ａ乃至図１４Ｃ）には、顕著な違いが現れないが、マイクロ波センサ２３の特徴量（図１５Ｂ）には、明らかに違いがあり、人物７１−１乃至７１−３の行動を区別することが可能となる。 As described above, the change in the output level of the detection signal output from the photosensor 22 and the direction of change (FIGS. 14A to 14C) do not show a significant difference, but the feature amount of the microwave sensor 23 (FIG. 15B). Is clearly different, and it becomes possible to distinguish the actions of the persons 71-1 to 71-3.
次に、上述した反応区間Ｘを細分類し、分類された所定の区間におけるマイクロ波センサ２３の特徴量の例について説明する。
Next, an example of the feature amount of the
図１６は、反応区間Ｘのうち、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の特徴量の例を説明する図である。
FIG. 16 is a diagram for explaining an example of the feature amount of the
図１６Ｂは、図１６Ａの反応区間Ｘのうち、基準値Ｌから離れる区間Ａにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、基準値Ｌから離れる区間Ａとは、図１６Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから離れる方向（図１６Ａの例の場合、負の方向に離れているが、正の方向に離れる場合も含む）に変化する反応区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。
FIG. 16B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis) in the section A away from the reference value L in the reaction section X of FIG. 16A. Here, the section A away from the reference value L is a direction in which the output level of the
図１６Ｂにおいて、プロット群Ｐ１１は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ１２は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ１３は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−３，９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。
In FIG. 16B, a plot group P11 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
図１７は、反応区間Ｘのうち、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の特徴量の例を説明する図である。
FIG. 17 is a diagram illustrating an example of the feature amount of the
図１７Ｂは、図１７Ａの反応区間Ｘのうち、基準値Ｌに近づく区間Ｃにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、基準値Ｌに近づく区間Ｃとは、図１７Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌに近づく方向（図１７Ａの例の場合、正の方向に近づいているが、負の方向に近づく場合も含む）に変化する反応区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。
FIG. 17B shows the relationship between the ratio of the separation reaction number (vertical axis) and the ratio of the approaching reaction number (horizontal axis) in the section C approaching the reference value L in the reaction section X of FIG. 17A. Here, the section C approaching the reference value L is a direction in which the output level of the
図１７Ｂにおいて、プロット群Ｐ２１は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２２は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９２−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２３は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。
In FIG. 17B, the plot group P21 represents a collection of feature amounts calculated based on the detection signal 91-1 (FIG. 14A) of the
このように、フォトセンサ２２が出力する検知信号８１の出力レベルの変化からは、進入し、退出している行動か、あるいは、接近し、離反している行動かを推定することしかできなかったが、マイクロ波センサ２３が出力する検知信号９１，９２に基づいて算出された特徴量から、人物が、どの方向から進入してきたか、あるいは、どの方向に退出したかなどを区別することができる。
Thus, from the change in the output level of the
以上においては、反応区間Ｘのうち、フォトセンサ２２の検知信号８１の出力レベルが変化する区間Ａおよび区間Ｃにおけるマイクロ波センサ２３の特徴量から、人物の行動を推定する場合の具体例について説明した。次に、反応区間Ｘのうち、フォトセンサ２２の検知信号８１の出力レベルが変化しない区間Ｂ（図７）におけるマイクロ波センサ２３の特徴量から、人物の行動を推定する場合の具体例について、図１８乃至図２１を参照して説明する。
In the above, a specific example in the case where a person's action is estimated from the feature amount of the
図１８は、監視領域内で人物７１が完全停止した場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。
FIG. 18 is a diagram for explaining an example of detection signals output from the photosensor 22 and the
図１８Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示される方向に平行に横切るように行動し、途中、完全停止した様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１８Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図１８Ｂに示されるよう検知信号を出力する。同図において、縦軸はフォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ２３が出力する検知信号９１，９２は、いずれも２値出力とされる。
FIG. 18A shows a state in which a
図１８Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、完全停止している区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している（後述する図１９Ｂおよび図２０Ｂの検知信号８１も同様である）。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。
In the case of the example in FIG. 18B, the
図１９は、監視領域内で人物が軽く足踏みした場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。
FIG. 19 is a diagram illustrating an example of detection signals output from the photosensor 22 and the
図１９Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示されるように平行に横切る方向に行動し、途中、軽く足踏みした様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１９Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図１９Ｂに示されるような検知信号を出力する。
FIG. 19A shows a state in which a
図１９Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で軽く足踏みしている区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。
In the case of the example in FIG. 19B, the
図２０は、監視領域内で人物が激しく足踏みした場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。
FIG. 20 is a diagram for explaining an example of detection signals output from the photosensor 22 and the
図２０Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示されるように平行に横切る方向に行動し、途中、激しく足踏みした様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図２０Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図２０Ｂに示されるような検知信号を出力する。
FIG. 20A shows a state in which a
図２０Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で激しく足踏みしている区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。
In the case of the example in FIG. 20B, the
次に、図１８Ｂ、図１９Ｂ、および図２０Ｂに示したフォトセンサ２２の反応区間Ｘのうち、何も変化しない区間Ｂにおいて、マイクロ波センサ２３から出力される検知信号９１，９２をそれぞれ積算し、正規化したものを特徴量として記述する場合の例について、図２１を参照して説明する。
Next, the detection signals 91 and 92 output from the
図２１の例では、図１８Ａ、図１９Ａ、および図２０Ａにそれぞれ示した人物７１の行動に対応し、何も変化しない区間Ｂにおけるマイクロ波センサ２３の特徴量が１回算出され、プロットされている。同図において、特徴量Ｑ１１は、何も変化しない区間Ｂにおける、図１８Ｂに示したマイクロ波センサ２３の出力（すなわち、出力レベル０）に基づいて算出された特徴量を表わしている。特徴量Ｑ１２は、何も変化しない区間Ｂにおける、図１９Ｂに示したマイクロ波センサ２３の検知信号９１，９２に基づいて算出された特徴量を表わしている。特徴量Ｑ１３は、何も変化しない区間Ｂにおける、図２０Ｂに示したマイクロ波センサ２３の検知信号９１，９２に基づいて算出された特徴量を表わしている。
In the example of FIG. 21, the feature quantity of the
このように、フォトセンサ２２の反応区間Ｘのうち、何も変化しない区間Ｂ（図１８Ｂ乃至図２０Ｂ）については、反応が似ているため、監視領域３１内の行動を区別することが困難であるが、マイクロ波センサ２３の特徴量（図２１）には、明らかに違いがあり、監視領域３１内での人物７１の行動を区別することが可能となる。
As described above, in the reaction section X of the photosensor 22, the section B (FIG. 18B to FIG. 20B) where nothing changes is similar in reaction, so it is difficult to distinguish the behavior in the
以上のように、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動をより高精度に区別することができる。また、この場合、CCDカメラ２１は動作していないので、電力消費を抑えることができる。
As described above, by combining the reaction of the photosensor 22 and the feature amount of the
図４の説明に戻る。状態記述部４１は、フォトセンサ２２から供給されたフォトセンサデータ、およびマイクロ波センサ２３から供給されたマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動（センサ反応）の状態に関するデータ（以下、状態記述データと称する）を記述し、それをイベント通知判定部４２に供給するとともに、スイッチ４３を介して送信部４５に供給する。
Returning to the description of FIG. Based on the photosensor data supplied from the photosensor 22 and the microwave sensor data supplied from the
ここで、図２２を参照して、状態記述データの例について説明する。 Here, an example of state description data will be described with reference to FIG.
状態記述部４１は、フォトセンサ２２から供給されたフォトセンサデータ（検知信号８１）から、図７を用いて上述したように、検知信号８１の出力レベルが基準値Ｌから離れる方向に変化する区間Ａ、何も変化しない区間Ｂ、および、検知信号８１の出力レベルが基準値Ｌに近づく方向に変化する区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号Ａ乃至Ｃをフォトセンサ２２の状態として記述する。その際、反応区間毎の反応継続時間も記述する。
The
また状態記述部４１は、マイクロ波センサ２３から供給されたマイクロ波センサデータから、図１２を用いて上述したように、フォトセンサ２２の反応区間Ａ乃至Ｃにおける、接近反応数の割合（０．０乃至１．０）、および離反反応数の割合（０．０乃至１．０）をマイクロ波センサ２３の状態（特徴量）として記述する。
Further, the
すなわち、状態記述部４１は、フォトセンサ２２に関する状態を表わす反応記号およびその継続時間、並びに、マイクロ波センサ２３に関する状態を表わす接近反応数の割合および離反反応数の割合を１単位とし、それを時間軸方向に連続的に並べたものを状態記述データ１１１−１乃至１１１−ｎ（以下、状態記述データ１１１−１乃至１１１−ｎを個々に区別する必要がない場合、単に状態記述データ１１１と称する）として記述する。
That is, the
再び、図４の説明に戻る。イベント通知判定部４２は、状態記述部４１から供給された状態記述データ１１１（図２２）と、受信部４６を介して処理ボックス２から受信した通知判定テーブル（後述）を比較し、比較の結果、イベントを通知すると判定した場合、処理ボックス２に通知するイベントを送信部４５に供給するとともに、CCDカメラ２１に電源制御信号を供給してその電源をオンさせ、スイッチ４３に状態記述データ送信制御信号を供給してオンさせ、スイッチ４４に通知画像送信制御信号を供給してオンさせる。これにより、CCDカメラ２１から出力された通知画像データが、スイッチ４４を介して送信部４５に供給され、状態記述部４１から出力された状態記述データ１１１がスイッチ４３を介して送信部４５に供給される。
Returning to the description of FIG. The event
なお、マルチセンサカメラ１の初期状態においては、処理ボックス２から通知判定テーブルが送信されておらず、イベント通知判定部４２は、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ９１が供給されると、直ちに通知イベントと判定する。すなわち、初期状態においては、全てのイベントが通知されることになる。これにより、必要なイベントがユーザに通知されないことが防止される。
In the initial state of the
送信部４５は、処理ボックス２に対し、イベント通知判定部４２から供給された通知イベントを送信するとともに、CCDカメラ２１から供給された通知画像データおよび状態記述部４１から供給された状態記述データ１１１を送信する。
The
受信部４６は、処理ボックス２から送信されてきた通知判定テーブルを受信し、それをイベント通知判定部４２に供給する。
The receiving
処理ボックス２の受信部５１は、マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給する。また受信部５１は、マルチセンサカメラ１から送信されてきた状態記述データ１１１を状態記述データ蓄積部５３に供給し、そこに蓄積させる。
The
呈示画像構築部５２は、受信部５１を介してマルチセンサカメラ１からイベントが通知された場合、一般視聴信号（テレビジョン放送信号）の一部に通知画像データを挿入した通知データを構築（作成）し、それを呈示部３に供給して呈示させる。また、呈示画像構築部５２は、通知画像データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の通知データを構築し、送信部５６に供給する。なお、呈示画像構築部５２は、イベントが通知されていない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を呈示部３に供給して呈示させる。
The presentation
呈示部３用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ４用の通知データは、通知画像データから構成されているため、リモートコントローラ４の呈示部６２には、イベントを表わす表示（例えば、監視している場所の画像）のみが呈示される。
Since the notification data for the presenting
通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４からユーザフィードバック（FB）に関する信号（以下、適宜、ユーザFB信号と称する）を受信した場合、そのユーザフィードバックを状態記述データ蓄積部５３に供給し、そこに蓄積させる。また通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１とそれに対応するユーザフィードバックを読み込み、それらと通知判定テーブルを比較し、比較の結果に基づいてテーブルを更新する。そして、通知判定テーブル更新部５４は、以前にマルチセンサカメラ１に送信した通知判定テーブルと異なる場合、新しい通知判定テーブルを送信部５５に供給する。
When the notification determination table update unit 54 receives a signal related to user feedback (FB) (hereinafter, referred to as a user FB signal as appropriate) from the remote controller 4 via the receiving unit 57, the notification determination table update unit 54 stores the user feedback in the state description
ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ４の入力部６３を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部６３のOKボタン（図示せず）を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン（図示せず）を操作することで、ユーザフィードバックとして入力することができる。あるいは、イベントとして検出しなくてもよい場合だけ、フォードバックさせるようにしてもよい。
Here, the user feedback means a user's determination input that is input using the
状態記述データ蓄積部５３は、受信部５１から状態記述データ１１１が供給されたときに、通知判定テーブル更新部５４からユーザフィードバックが供給された場合、状態記述データ１１１とユーザフィードバックを対応付けて蓄積し、状態記述データ１１１またはユーザフィードバックのいずれか一方のみが供給された場合、新規の状態記述データまたは新規のユーザフィードバックとして蓄積する。
When the state description data 111 is supplied from the
送信部５５は、通知判定テーブル更新部５４から供給された通知判定テーブルをマルチセンサカメラ１に送信する。送信部５６は、呈示画像構築部５２から供給された通知データをリモートコントローラ４に送信する。受信部５７は、リモートコントローラ４から送信されてきたユーザFB信号を受信し、それを通知判定テーブル更新部５４に供給する。
The
リモートコントローラ４の受信部６１は、処理ボックス２から送信されてきた通知データを受信し、それを呈示部６２に呈示させる。入力部６３は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力（ユーザフィードバック）に関する信号を送信部６４に供給する。送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。
The receiving unit 61 of the remote controller 4 receives the notification data transmitted from the processing box 2 and causes the presenting
ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断の入力を示す。マルチセンサカメラ１と処理ボックス２は、このユーザフィードバックに基づいて、処理を変化させる。
Here, as described above, the user feedback indicates, for example, a determination input by the user such as “an event that I want to be notified in the future” or “an event that should not be notified in the future”. The
図２３は、図４のマルチセンサカメラ１のイベント通知判定部４２の詳細な構成例を示すブロック図である。
FIG. 23 is a block diagram illustrating a detailed configuration example of the event
パターン一致判定部１２１は、状態記述部４１から供給された状態記述データ１１１（図２２）と、通知判定テーブル蓄積部１２２に蓄積されている通知判定テーブルを比較し、一致するパターンがあれば、その全ての状態記述データ１１１および通知判定テーブル中のパターンをマイクロ波センサ状態距離判定部１２３に供給する。ここで、パターンとは、状態記述データ１１１に含まれる反応記号の分類を表わす。
The pattern
マイクロ波センサ状態距離判定部１２３は、パターン一致判定部１２１から供給された状態記述データ１１１および通知判定テーブル中のパターンに関し、マイクロ波センサ２３の状態の距離判定を行う。マイクロ波センサ状態距離判定部１２３は、距離判定の結果、イベントを通知すると判定した場合、処理ボックス２に通知するイベントを送信部４５に供給し、電源制御信号をCCDカメラ２１に供給し、状態記述データ送信制御信号をスイッチ４３に供給し、通知画像送信制御信号をスイッチ４４に供給する。これにより、CCDカメラ２１の電源がオンされ、スイッチ４３，４４がオンされ、CCDカメラ２１から出力された通知画像データおよび状態記述部４１から出力された状態記述データ１１１が送信部４５を介して処理ボックス２に送信される。
The microwave sensor state
通知判定テーブル蓄積部１２２は、処理ボックス２から送信されてきた通知判定テーブルを蓄積する。なお、通知判定テーブルの詳細は、図２５を参照して、後述する。 The notification determination table storage unit 122 stores the notification determination table transmitted from the processing box 2. Details of the notification determination table will be described later with reference to FIG.
図２４は、図４の処理ボックス２の通知判定テーブル更新部５４の詳細な構成例を示すブロック図である。 FIG. 24 is a block diagram illustrating a detailed configuration example of the notification determination table update unit 54 of the processing box 2 of FIG.
ユーザフィードバック（FB）判定部１３１は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１（図２２）とそれに対応するユーザフィードバックを読み込み、ユーザフィードバックが「OK」を示すデータであるか、または「NG」を示すデータであるかを判定し、判定結果を状態記述データ１１１とともに状態記述パターン比較部１３２に供給する。
The user feedback (FB) determination unit 131 reads the state description data 111 (FIG. 22) stored in the state description
状態記述パターン比較部１３２は、ユーザフィードバック判定部１３１から「NG（今後はイベントとして検出しなくてもよい）」を示す判定結果が供給された場合、その判定結果とともに供給される状態記述データ１１１と、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブル中のパターンとを比較する。状態記述パターン比較部１３２は、比較の結果、状態記述データ１１１と仮の通知判定テーブル中のパターンが一致するものがあれば、その状態記述データ１１１とそれに一致するパターンを既存パターン更新部１３４に供給し、一致するものがなければ、状態記述データ１１１を新規パターン作成部１３３に供給する。
When the determination result indicating “NG (it may not be detected as an event in the future)” is supplied from the user feedback determination unit 131, the state description
新規パターン作成部１３３は、状態記述パターン比較部１３２から供給された状態記述データ１１１に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１３５に追加し、そこに蓄積させるとともに、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。
The new
既存パターン更新部１３４は、状態記述パターン比較部１３２から供給された、現在の状態記述データ１１１に含まれる継続時間と、状態記述データ１１１に一致するパターンに対応する継続時間の最小値および最大値を比較する。既存パターン更新部１３４は、比較の結果、一致するパターンに対応する継続時間の最小値より現在の状態記述データ１１１の継続時間の方が短いと判定した場合、一致するパターンの継続時間の最小値を現在のデータの継続時間に置き換え（更新し）、一致するパターンに対応する継続時間の最大値より現在の状態記述データ１１１の継続時間の方が長いと判定した場合、一致するパターンの継続時間の最大値を現在のデータの継続時間に置き換える（更新する）。そして、既存パターン更新部１３４は、置き換えたデータを、更新通知判定テーブルとして仮通知判定テーブル蓄積部１３５に蓄積させるとともに、現在のデータに含まれるマイクロ波センサ２３の接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。
The existing
仮通知判定テーブル蓄積部１３５は、新規パターン作成部１３３により追加された仮の通知判定テーブルであって、必要に応じて既存パターン更新部１３４により更新された通知判定テーブルを蓄積する。
The temporary notification determination
テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルと、過去通知判定テーブル蓄積部１３７に蓄積されている過去の通知判定テーブルを比較し、同じであると判定した場合、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを過去の通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして蓄積させる。これに対し、仮の通知判定テーブルと過去の通知判定テーブルが同じではないと判定した場合、テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信した後、その通知判定テーブルを過去通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして蓄積させる。
The table comparison unit 136 compares the temporary notification determination table stored in the temporary notification determination
過去通知判定テーブル蓄積部１３７は、テーブル比較部１３６により更新された通知判定テーブルを過去の通知判定テーブルとして蓄積する。 The past notification determination table storage unit 137 stores the notification determination table updated by the table comparison unit 136 as a past notification determination table.
図２５は、過去通知判定テーブル蓄積部１３７に蓄積される通知判定テーブルの例を示す図である。 FIG. 25 is a diagram illustrating an example of a notification determination table stored in the past notification determination table storage unit 137.
同図に示されるように、フォトセンサ２２に関する状態を表わす反応記号、その反応記号（すなわち反応区間）における継続時間の最小値および最大値、並びに、その反応記号におけるマイクロ波センサ２３に関する状態を表わす、複数の接近反応数の割合および離反反応数が１つの状態記述データに規定される。この状態記述データ１５１−１乃至１５１−ｍからなる人物の行動が１つのパターンに規定される。そして、パターン１４１−１乃至１４１−ｋからなる通知判定テーブルが過去通知判定テーブル蓄積部１３７に蓄積される。
As shown in the figure, a reaction symbol representing a state relating to the photosensor 22, a minimum value and a maximum value of the duration in the reaction symbol (that is, a reaction interval), and a state relating to the
以下、状態記述データ１５１−１乃至１５１−ｍを個々に区別する必要がない場合、単に状態記述データ１５１と称し、パターン１４１−１乃至１４１−ｋを個々に区別する必要がない場合、単にパターン１４１と称する。
Hereinafter, when it is not necessary to individually distinguish the state description data 151-1 to 151-m, they are simply referred to as
次に、図２６のフローチャートを参照して、マルチセンサカメラ１における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
Next, processing in the
ステップＳ１において、イベント通知判定部４２は、CCDカメラ２１に電源制御信号を供給してその電源をオフさせ、イベント通知フラグをオフし、通知判定テーブル蓄積部１２２に蓄積されている通知判定テーブルをクリアする。
In step S <b> 1, the event
ステップＳ２において、状態記述部４１は、オンされているフォトセンサ２２からフォトセンサデータを取得するとともに、オンされているマイクロ波センサ２３からマイクロ波センサデータを取得する。ステップＳ３において、状態記述部４１は、ステップＳ２の処理で取得したフォトセンサデータとマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動に関し、状態データ記述処理を行う。この状態データ記述処理の詳細については、図２７のフローチャートを参照して後述するが、この処理により、状態記述部４１から状態記述データ１１１（図２２）がイベント通知判定部４２に出力される。
In step S <b> 2, the
ステップＳ４において、イベント通知判定部４２は、イベント通知フラグがオンである（通知イベント発生中である）か否かを判定し、イベント通知フラグがオンではなくオフである（通知イベント発生中ではない）と判定した場合、ステップＳ８に進み、イベント通知判定処理を行う。このイベント通知判定処理の詳細については、図２８のフローチャートを参照して後述するが、この処理により、イベント通知判定部４２から通知イベントが発生されるか、または非通知イベントが発生される（イベントは通知されない）。
In step S4, the event
ステップＳ９において、イベント通知判定部４２は、ステップＳ８の処理結果に基づいて、通知イベントであるか否かを判定し、通知イベントであると判定した場合、ステップＳ１０に進み、CCDカメラ２１に電源制御信号を供給して電源をオンさせるとともに、イベント通知フラグをオンする。すなわち、通知イベントであると判定された場合にのみCCDカメラ２１の電源がオンされ、通知イベントでない場合には、CCDカメラ２１の電源はオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。
In step S9, the event
ステップＳ１１において、イベント通知判定部４２は、送信部４５を介して処理ボックス２にイベントを通知するとともに、通知画像送信制御信号をスイッチ４４に供給してオンさせる。これにより、CCDカメラ２１から処理ボックス２に対し、通知画像データ（イベント画像）の送信が開始される。処理ボックス２は、この通知画像データを受信し、呈示部３に呈示させる（後述する図２９のステップＳ６３）。
In step S11, the event
ステップＳ９において、通知イベントではない、すなわち非通知イベントであると判定された場合、ステップＳ１０，Ｓ１１の処理はスキップされ、ステップＳ１２に進む。 If it is determined in step S9 that the event is not a notification event, that is, a non-notification event, the processing in steps S10 and S11 is skipped and the process proceeds to step S12.
ステップＳ４において、イベント通知フラグがオンである（通知イベント発生中である）と判定された場合、ステップＳ５に進み、イベント通知判定部４２は、イベント終了であるか否かを判定し、イベント終了であると判定した場合、ステップＳ６に進み、CCDカメラ２１に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。
If it is determined in step S4 that the event notification flag is on (notification event is occurring), the process proceeds to step S5, where the event
ステップＳ７において、イベント通知判定部４２は、状態記述データ送信制御信号をスイッチ４３に供給してオンさせ、通知画像送信制御信号をスイッチ４４に供給してオフさせる。これにより、ステップＳ３の処理で状態記述部４１から出力された状態記述データ１１１がスイッチ４３および送信部４５を介して処理ボックス２に送信され、CCDカメラ２１からスイッチ４４および送信部４５を介して処理ボックス２に送信されていた通知画像データ（イベント画像）の送信が停止される。処理ボックス２は、この状態記述データ１１１を受信し、通知判定テーブルとして状態記述データ蓄積部５３に蓄積するとともに（後述する図２９のステップＳ６８）、この通知判定テーブルを必要に応じて更新し（後述する図２９のステップＳ７３）、更新した通知判定テーブルを送信してくる（後述する図２９のステップＳ７４）。
In step S7, the event
ステップＳ５において、イベント終了ではないと判定された場合、ステップＳ６，Ｓ７の処理はスキップされ、ステップＳ１２に進む。 If it is determined in step S5 that the event has not ended, the processes in steps S6 and S7 are skipped and the process proceeds to step S12.
ステップＳ１２において、イベント通知判定部４２は、受信部４６を介して処理ボックス２より通知判定テーブルを受信したか否かを判定し、通知判定テーブルを受信したと判定した場合、ステップＳ１３に進み、通知判定テーブル蓄積部１２２に受信した通知判定テーブルを供給して更新させる。
In step S12, the event
ステップＳ１２において、処理ボックス２より通知判定テーブルを受信していないと判定された場合、または、ステップＳ１３の処理の後、処理はステップＳ２に戻り、上述した処理が繰り返し実行される。 In step S12, when it is determined that the notification determination table has not been received from the processing box 2, or after the process of step S13, the process returns to step S2, and the above-described process is repeatedly executed.
次に、図２７のフローチャートを参照して、図２６のステップＳ３における状態データ記述処理の詳細について説明する。 Next, details of the state data description process in step S3 of FIG. 26 will be described with reference to the flowchart of FIG.
状態記述部４１は、ステップＳ２１において、フォトセンサ２２から取得したフォトセンサデータを読み込み、ステップＳ２２において、マイクロ波センサ２３から取得したマイクロ波センサデータを読み込む。
The
ステップＳ２３において、状態記述部４１は、ステップＳ２１の処理で読み込んだフォトセンサデータから、フォトセンサ２２が反応している区間であるか否か、すなわち、図７に示したように、フォトセンサデータ（検知信号８１）の出力レベルが基準値Ｌから離れている反応区間Ｘであるか否かを判定し、フォトセンサ２２が反応している区間であると判定した場合、ステップＳ２４に進む。
In step S23, the
ステップＳ２４において、状態記述部４１は、フォトセンサ２２の反応を、基準値Ｌから離れる区間Ａ、何も変化しない区間Ｂ、または基準値Ｌに近づく区間Ｃに細分類する。ステップＳ２５において、状態記述部４１は、ステップＳ２４の処理で反応区間を分類した結果、フォトセンサ２２が今までの反応と同じであるか否かを判定し、フォトセンサ２２が今までの反応と同じであると判定した場合、ステップＳ２６に進む。
In step S <b> 24, the
ステップＳ２６において、状態記述部４１は、ステップＳ２２の処理で読み込んだマイクロ波センサデータから、接近反応、離反反応、または無反応の数を積算し、それを蓄積した後、ステップＳ２１に戻り、上述した処理を繰り返し実行する。
In step S26, the
ステップＳ２３において、フォトセンサ２２が反応している区間ではないと判定された場合、ステップＳ２７に進み、状態記述部４１は、さらに、フォトセンサ２２が今まで反応していたか否かを判定し、今まで反応していないと判定した場合、ステップＳ２１に戻り、上述した処理を繰り返し実行する。
If it is determined in step S23 that the photosensor 22 is not responding, the process proceeds to step S27, in which the
ステップＳ２７において、フォトセンサ２２が今まで反応していたと判定された場合、または、ステップＳ２５において、フォトセンサ２２が今までの反応と同じではないと判定された場合、ステップＳ２８に進み、状態記述部４１は、ステップＳ２６の処理で蓄積された、接近反応数、離反反応数、および無反応数を全体のデータ数で正規化する。これにより、マイクロ波センサ２３の特徴量が算出される。
If it is determined in step S27 that the photosensor 22 has responded until now, or if it is determined in step S25 that the photosensor 22 is not the same as the response so far, the process proceeds to step S28 to describe the state description. The
ステップＳ２９において、状態記述部４１は、フォトセンサ２２の反応記号（Ａ，ＢまたはＣ）とその継続時間、ステップＳ２８の処理で算出されたマイクロ波センサの特徴量（接近反応数の割合および離反反応数の割合）から、状態記述データ１１１（図２２）を記述し、イベント通知判定部４２に出力するとともに、スイッチ４３に出力する。
In step S29, the
以上の処理により、状態記述部４１から出力された状態記述データ１１１は、図２６のステップＳ８において、イベント通知判定処理に用いられ、ステップＳ１１において、処理ボックス２に送信される。
Through the above process, the state description data 111 output from the
次に、図２８のフローチャートを参照して、図２６のステップＳ８におけるイベント通知判定処理の詳細について説明する。 Next, details of the event notification determination process in step S8 of FIG. 26 will be described with reference to the flowchart of FIG.
イベント通知判定部４２のパターン一致判定部１２１は、ステップＳ４１において、状態記述部４１から出力された（図２７のステップＳ２９の処理により出力された）状態記述データ１１１を読み込み、ステップＳ４２において、通知判定テーブル蓄積部１２２から通知判定テーブル（図２５）を読み込む。
The pattern
ステップＳ４３において、パターン一致判定部１２１は、ステップＳ４１の処理で読み込んだ状態記述データ１１１に含まれるフォトセンサ２２の状態に関する反応記号およびその継続時間と、ステップＳ４２の処理で読み込んだ通知判定テーブル（図２５）のパターン１４１内の状態記述データ１５１に含まれる反応記号、継続時間最小値、および継続時間最大値を比較する。
In step S43, the pattern
ステップＳ４４において、パターン一致判定部１２１は、ステップＳ４３の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じで、かつ、状態記述データ１１１に含まれる継続時間が、継続時間最小値と継続時間最大値の範囲に存在する状態記述データ１５１があるか否かを判定する。
In step S44, the pattern
ステップＳ４４において、パターンが一致するものがあると判定された場合、ステップＳ４５に進み、パターン一致判定部１２１は、状態記述データ１１１に一致する全ての通知判定テーブル中の状態記述データ１５１を抽出し、マイクロ波センサ状態距離判定部１２３に出力する。
If it is determined in step S44 that there is a pattern that matches, the process proceeds to step S45, and the pattern
ステップＳ４６において、マイクロ波センサ状態距離判定部１２３は、ステップＳ４５の処理でパターン一致判定部１２１から出力された状態記述データ１１１および通知判定テーブル中の状態記述データ１５１に基づいて、マイクロ波センサ２３の状態の距離判定を行う。ここでは、通知判定テーブル中の状態記述データ１５１の各反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の組のそれぞれと、現在の状態記述データ１１１の反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の距離が算出される。
In step S46, the microwave sensor state
ステップＳ４７において、マイクロ波センサ状態距離判定部１２３は、ステップＳ４６の処理で算出した全ての距離が所定の閾値以上であるか否かを判定し、全ての距離が所定の閾値以上であると判定した場合、ステップＳ４８に進む。また、ステップＳ４４の処理において、パターンが一致するものがないと判定された場合もステップＳ４８に進む。
In step S47, the microwave sensor state
ステップＳ４８において、マイクロ波センサ状態距離判定部１２３は、処理ボックス２に通知するイベントを発生する。またステップＳ４７において、ステップＳ４６の処理で算出した距離のうち、所定の閾値以上でないものがあると判定された場合、ステップＳ４８の処理はスキップされる。この場合、通知イベントは発生されない（非通知イベントである）。
In step S <b> 48, the microwave sensor state
以上の処理により、イベント通知判定部４２から通知イベントが発生された場合、図２６のステップＳ９において、CCDカメラ２１の電源がオンされ、イベント通知フラグがオンされ、ステップＳ１０において、処理ボックス２に対し、イベントが通知されるとともに通知画像データ（イベント画像）の送信が開始される。
When a notification event is generated from the event
なお、マルチセンサカメラ１の初期状態においては、未だ通知判定テーブルが処理ボックス２から送信されておらず、イベント通知判定部４２が、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ１１１が供給されると、直ちに通知イベントと発生する。
In the initial state of the
次に、図２９のフローチャートを参照して、図２６のマルチセンサカメラ１の処理に対応して実行される処理ボックス２における処理について説明する。なお、この処理は、ユーザにより、呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視を開始するよう指令されたとき、開始される。
Next, with reference to the flowchart of FIG. 29, the process in the process box 2 performed corresponding to the process of the
ステップＳ６１において、通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ、および仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルをクリアするとともに、ユーザフィードバック受信フラグをオフする。受信部５１は、イベント受信フラグ、および状態記述データ受信フラグをオフする。
In step S61, the notification determination table update unit 54 clears the state description data stored in the state description
ステップＳ６２において、受信部５１は、イベント受信フラグがオンである（通知イベント受信中である）か否かを判定し、イベント受信フラグがオンであると判定した場合、（上述した図２６のステップＳ１１の処理により）マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給し、ステップＳ６３に進む。
In step S62, the receiving
ステップＳ６３において、呈示画像構築部５２は、受信部５１から供給された通知画像データを一般視聴信号の一部に通知画像データを挿入した通知データ（ピクチャインピクチャで呈示するための画像データ）を構築し、それを呈示部３に呈示させる。また呈示画像構築部５２は、一般視聴信号を含まないリモートコントローラ４用の通知データ（通知画像データにより構成されるデータ）を構築し、送信部５６を介してリモートコントローラ４に送信する。リモートコントローラ４は、この通知データを受信し、呈示部６２に呈示させる（後述する図３１のステップＳ１１２）。
In step S63, the presented
ステップＳ６２において、イベント受信フラグがオンではなくオフであると判定された場合、ステップＳ６４に進み、受信部５１は、マルチセンサカメラ１から通知イベントを受信したか否かを判定し、通知イベントを受信したと判定した場合、ステップＳ６５に進み、イベント受信フラグをオンする。
If it is determined in step S62 that the event reception flag is not on but off, the process proceeds to step S64, in which the
ステップＳ６３の処理の後、ステップＳ６５の処理の後、またはステップＳ６４において、通知イベントを受信していないと判定された場合、ステップＳ６６に進み、受信部５１は、マルチセンサカメラ１から状態記述データ１１１を受信したか否かを判定する。
After the process of step S63, after the process of step S65, or when it is determined in step S64 that the notification event has not been received, the process proceeds to step S66, where the receiving
ステップＳ６６において、状態記述データを受信したと判定された場合、ステップＳ６７に進み、受信部５１は、状態記述データ受信フラグをオンし、ステップＳ６８において、（上述した図２６のステップＳ７の処理により）マルチセンサカメラ１から送信されてきた状態記述データ１１１を受信し、状態記述データ蓄積部５３に蓄積させる。ただし、このときに、既にユーザフィードバック受信フラグがオンである場合、そのユーザフィードバックに対応付けて状態記述データ１１１が蓄積される。
If it is determined in step S66 that the state description data has been received, the process proceeds to step S67, where the receiving
ステップＳ６８の処理の後、または、ステップＳ６６において、状態記述データを受信していないと判定された場合、ステップＳ６９に進み、通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４から（後述する図３１のステップＳ１１４の処理により）送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップＳ７０に進む。 After the process of step S68 or when it is determined in step S66 that the state description data has not been received, the process proceeds to step S69, where the notification determination table update unit 54 receives from the remote controller 4 via the reception unit 57. It is determined whether or not the transmitted user FB signal has been received (by the process of step S114 in FIG. 31 described later). If it is determined that the user FB signal has been received, the process proceeds to step S70.
ステップＳ７０において、通知判定テーブル更新部５４は、ユーザフィードバック受信フラグをオンし、受信部５１は、イベント受信フラグをオフする。ステップＳ７１において、通知判定テーブル更新部５４は、このとき、状態記述データ受信フラグがオンであれば、ユーザフィードバック（「OK（今後も通知して欲しい）」または「NG（今後は通知しなくても良い）」）を状態記述データ蓄積部５３に蓄積されている状態記述データ１１１に対応付け、状態記述データ受信フラグがオフであれば新規のユーザフィードバックとして蓄積させる。また、イベント受信フラグがオフであればそのユーザフィードバックは無視する。
In step S70, the notification determination table update unit 54 turns on the user feedback reception flag, and the
すなわち、ユーザフィードバックを状態記述データ１１１に対応付けて通知判定テーブルとして蓄積することにより、ユーザが意図するイベントのみを検知し、通知することが可能になる。 That is, by storing user feedback in association with the state description data 111 as a notification determination table, it is possible to detect and notify only an event intended by the user.
ステップＳ７２において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであるか否かを判定し、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであると判定した場合、ステップＳ７３に進み、通知判定テーブル更新処理を行う。この通知判定テーブル更新処理の詳細については、図３０のフローチャートを参照して後述するが、この処理により、過去通知判定テーブル蓄積部１３７に蓄積される通知判定テーブルが更新される。 In step S72, the notification determination table update unit 54 determines whether or not both the state description data reception flag and the user feedback reception flag are on, and if both the state description data reception flag and the user feedback reception flag are on. When it determines, it progresses to step S73 and a notification determination table update process is performed. Details of the notification determination table update processing will be described later with reference to the flowchart of FIG. 30, but the notification determination table stored in the past notification determination table storage unit 137 is updated by this processing.
ステップＳ７４において、通知判定テーブル更新部５４は、ステップＳ７３の処理により、過去の通知判定テーブルと異なる通知判定テーブルが作成され、過去通知判定テーブル蓄積部１３７に蓄積された場合には、その新しい通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信する。マルチセンサカメラ１は、この新しい通知判定テーブルを受信し、通知判定テーブル蓄積部１２２を更新する（上述した図２６のステップＳ１３）。
In step S74, when the notification determination table update unit 54 creates a notification determination table different from the past notification determination table by the processing in step S73 and stores it in the past notification determination table storage unit 137, the new notification is updated. The determination table is transmitted to the
ステップＳ７５において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグをオフする。 In step S75, the notification determination table update unit 54 turns off the state description data reception flag and the user feedback reception flag.
ステップＳ７５の処理の後、または、ステップＳ７２において、状態記述データ受信フラグまたはユーザフィードバック受信フラグのうち、少なくともいずれか一方がオンではないと判定された場合、ステップＳ６２に戻り、上述した処理が繰り返し実行される。 After the process of step S75, or when it is determined in step S72 that at least one of the state description data reception flag and the user feedback reception flag is not on, the process returns to step S62 and the above-described process is repeated. Executed.
次に、図３０のフローチャートを参照して、図２９のステップＳ７３における通知判定テーブル更新処理の詳細について説明する。 Next, details of the notification determination table update process in step S73 of FIG. 29 will be described with reference to the flowchart of FIG.
ステップＳ９１において、通知判定テーブル更新部５４の状態記述パターン比較部１３２は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルをクリアする。ステップＳ９２において、ユーザフィードバック判定部１３１は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１とそれに対応するユーザフィードバックを読み込む。
In step S91, the state description
ステップＳ９３において、ユーザフィードバック判定部１３１は、ステップＳ９２の処理で読み込んだユーザフィードバックが「NG（今後はイベントとして検出しなくてもよい）」を示すデータであるか否かを判定し、ユーザフィードバックが「NG」を示すデータであると判定した場合、その判定結果を状態記述データ１１１（図２２）とともに状態記述パターン比較部１３２に供給し、ステップＳ９４に進む。
In step S93, the user feedback determination unit 131 determines whether or not the user feedback read in the process of step S92 is data indicating “NG (it may not be detected as an event in the future)”. Is determined to be data indicating “NG”, the determination result is supplied to the state description
ステップＳ９４において、状態記述パターン比較部１３２は、ユーザフィードバック判定部１３１から供給された状態記述データ１１１に含まれるフォトセンサの状態に関する反応記号（Ａ，ＢまたはＣ）と、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブル（図２５）のパターン１４１内の状態記述データ１５１に含まれる反応記号を比較する。
In step S94, the state description
ステップＳ９５において、状態記述パターン比較部１３２は、ステップＳ９４の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じパターン１４１があるか否かを判定し、パターンが一致するものがあると判定した場合、状態記述データ１１１とそれに一致するパターン１４１を既存パターン更新部１３４に供給し、ステップＳ９６に進む。
In step S95, the state description
ステップＳ９６において、既存パターン更新部１３４は、状態記述パターン比較部１３２から供給された、現在の状態記述データ１１１に含まれる継続時間と、状態記述データ１１１に一致するパターン１４１に対応する継続時間の最小値および最大値を比較する。
In step S <b> 96, the existing
そして既存パターン更新部１３４は、比較の結果、一致するパターン１４１に対応する継続時間の最小値より現在の状態記述データ１１１の継続時間の方が短いと判断した場合、一致するパターン１４１の継続時間の最小値を現在の状態記述データ１１１の継続時間に置き換え（更新し）、また、一致するパターン１４１に対応する継続時間の最大値より現在の状態記述データ１１１の継続時間の方が長いと判断した場合、一致するパターン１４１の継続時間の最大値を現在の状態記述データ１１１の継続時間に置き換え（更新し）、仮通知判定テーブル蓄積部１３５に更新通知判定テーブルとして蓄積させる。さらに、既存パターン更新部１３４は、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。
If the existing
ステップＳ９５において、ステップＳ９４の処理による比較の結果、パターンが一致するものがないと判定された場合、状態記述データ１１１を新規パターン作成部１３３に供給し、ステップＳ９７に進む。
If it is determined in step S95 that the patterns do not match as a result of the comparison in step S94, the state description data 111 is supplied to the new
ステップＳ９７において、新規パターン作成部１３３は、状態記述パターン比較部１３２から供給された状態記述データ１１１に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１３５に追加し、そこに蓄積させる。さらに、新規パターン作成部１３３は、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。
In step S97, the new
ステップＳ９６の処理の後、またはステップＳ９７の処理の後、ステップＳ９８において、ユーザフィードバック判定部１３１は、状態記述データ蓄積部５３に蓄積されている全ての状態記述データ１１１とそれに対応するユーザフィードバックを読み込んだか否かを判定し、未だ読み込んでいないデータがあると判定した場合、ステップＳ９２に戻り、上述した処理を繰り返し実行する。
After the process of step S96 or after the process of step S97, in step S98, the user feedback determination unit 131 displays all the state description data 111 stored in the state description
ステップＳ９８において、全ての状態記述データ１１１とそれに対応するユーザフィードバックを読み込んだと判定された場合、ステップＳ９９に進み、テーブル比較部１３６は、過去通知判定テーブル蓄積部１３７に蓄積されている過去の通知判定テーブルと、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを比較する。
If it is determined in step S98 that all the state description data 111 and the corresponding user feedback have been read, the process proceeds to step S99, where the table comparison unit 136 stores the past data stored in the past notification determination table storage unit 137. The notification determination table is compared with the temporary notification determination table stored in the temporary notification determination
ステップＳ１００において、テーブル比較部１３６は、ステップＳ９９の処理による比較の結果、過去の通知判定テーブルと仮の通知判定テーブルが同じであるか否かを判定し、同じではないと判定した場合、ステップＳ１０１に進み、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを、送信部５５に送信し、ステップＳ１０２に進む。これにより、図２９のステップＳ７４において、マルチセンサカメラ１に仮の通知判定テーブルが送信される。
In step S100, the table comparison unit 136 determines whether or not the past notification determination table is the same as the provisional notification determination table as a result of the comparison in the process of step S99. Proceeding to S101, the provisional notification determination table stored in the provisional notification determination
ステップＳ１００において、過去の通知判定テーブルと仮の通知判定テーブルが同じであると判定された場合、またはステップＳ１０１の処理の後、ステップＳ１０２において、テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを過去通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして更新させる。
If it is determined in step S100 that the past notification determination table is the same as the provisional notification determination table, or after the process of step S101, the table comparison unit 136 in step S102, the temporary notification determination
以上の処理により、図２５に示したようなパターン１４１−１乃至１４１−ｋからなる通知判定テーブルが過去通知判定テーブル蓄積部１３７に蓄積される。いわば、この通知判定テーブルには、イベントとして通知しなくてよい場合のパターンが記憶されることになる。 Through the above processing, the notification determination table including the patterns 141-1 to 141-k as illustrated in FIG. 25 is accumulated in the past notification determination table accumulation unit 137. In other words, this notification determination table stores a pattern in the case where it is not necessary to notify as an event.
次に、図３１のフローチャートを参照して、図２９の処理ボックス２の処理に対応して実行されるリモートコントローラ４における処理について説明する。なお、この処理は、処理ボックス２の送信部５６により、図２９のステップＳ６３の処理が実行されたとき、開始される。 Next, with reference to the flowchart of FIG. 31, the process in the remote controller 4 performed corresponding to the process of the process box 2 of FIG. 29 is demonstrated. This process is started when the process of step S63 in FIG. 29 is executed by the transmission unit 56 of the process box 2.
ステップＳ１１１において、受信部６１は、処理ボックス２より通知イベントを受信したか否かを判定し、通知イベントを受信するまで待機する。そして、通知イベントを受信したと判定した場合、ステップＳ１１２に進み、受信部６１は、（上述した図２９のステップＳ６３の処理により）処理ボックス２から通知イベントとともに送信されてきた通知データに基づくイベント画像（通知画像データ）を呈示部６２に呈示させる。
In step S111, the receiving unit 61 determines whether a notification event is received from the processing box 2, and waits until a notification event is received. If it is determined that a notification event has been received, the process proceeds to step S112, and the reception unit 61 performs an event based on the notification data transmitted together with the notification event from the processing box 2 (by the process of step S63 in FIG. 29 described above). An image (notification image data) is presented to the
ユーザは、呈示部６２に呈示されたイベント画像を見て、入力部６３を操作し、判断（例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるか、あるいは、今後は知らせなくてよいイベントであるのか）を入力する。
The user looks at the event image presented on the presenting
ステップＳ１１３において、入力部６３は、呈示されたイベントに対するユーザからの判断（ユーザフィードバック）が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部６４に供給し、ステップＳ１１４に進む。
In step S113, the
ステップＳ１１４において、送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。処理ボックス２は、これを受信し、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１に対応付ける（図２９のステップＳ７１）。
In step S <b> 114, the transmission unit 64 transmits the user FB signal supplied from the
ステップＳ１１４の処理の後、または、ステップＳ１１３において、ユーザフィードバックが入力されていないと判定された場合、処理はステップＳ１１１に戻り、上述した処理が繰り返し実行される。 After the process of step S114 or when it is determined in step S113 that no user feedback has been input, the process returns to step S111, and the above-described process is repeatedly executed.
以上のように、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動を、短時間で、かつ、高精度に区別することができる。
As described above, by combining the reaction of the photo sensor 22 and the feature amount of the
またマルチセンサカメラ１の状態記述部４１が、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量に基づいて状態記述データ１１１（図２２）を記述し、それを通知イベントに用いるようにしたので、より効果的なイベント通知システムを構築することが可能となる。
Further, the
さらに、ユーザからのフィードバックに基づいて、イベント通知の判定に用いる通知判定テーブルを変化（更新）させるようにしたので、ユーザが意図するイベントのみを検出することができ、かつ、イベントを通知する場合にのみ、CCDカメラ２１の電源をオンするようにしたので、無駄なバッテリ消費を抑えることができる。
Furthermore, since the notification determination table used for determining event notification is changed (updated) based on feedback from the user, only the event intended by the user can be detected and the event is notified. In addition, since the power of the
なお、図４に示したマルチセンサカメラ１には、１つのフォトセンサ２２を設けるようにしたが、本発明はこれに限らず、例えば、図３２に示されるように、３つのフォトセンサ２２−１乃至２２−３を設けるようにすることも可能である。
The
図３２に示す監視システム１０には、３つのフォトセンサ２２−１乃至２２−３が設けられているが、その他の構成は、図４に示した監視システム１０と同様であり、その説明は適宜省略する。
The
図３３は、図３２に示すフォトセンサ２２−１乃至２２−３の監視領域を示す図である。同図に示されるように、フォトセンサ２２−１乃至２２−３は、空間方向アレイ状に配置されている。フォトセンサ２２−１乃至２２−３は、それぞれ、監視領域３１−１乃至３１−３内の平均輝度を検知信号として出力しており、人物が領域３１−１乃至３１−３内に進入または退出したことに応じて、その出力が変化する。 FIG. 33 is a diagram illustrating a monitoring area of the photosensors 22-1 to 22-3 illustrated in FIG. As shown in the figure, the photosensors 22-1 to 22-3 are arranged in an array in the spatial direction. The photosensors 22-1 to 22-3 output the average luminance in the monitoring areas 31-1 to 31-3 as detection signals, respectively, and a person enters or exits the areas 31-1 to 31-3. The output changes depending on what is done.
状態記述部４１は、フォトセンサ２２−１乃至２２−３から供給されたフォトセンサデータ、およびマイクロ波センサ２３から供給されたマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動（センサ反応）の状態記述データ１１１（図２２）を記述する。
Based on the photosensor data supplied from the photosensors 22-1 to 22-3 and the microwave sensor data supplied from the
図３４は、状態記述部４１が記述するフォトセンサ２２−１乃至２２−３の反応記号の例を示す図である。
FIG. 34 is a diagram illustrating examples of reaction symbols of the photosensors 22-1 to 22-3 described by the
状態記述部４１は、フォトセンサ２２−１から供給されたフォトセンサデータ（検知信号８１）から、図７を用いて上述したように、検知信号８１の出力レベルが基準値Ｌから離れる方向に変化する区間Ａ、何も変化しない区間Ｂ、および、検知信号８１の出力レベルが基準値Ｌに近づく方向に変化する区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号ＬＡ、ＬＢ、ＬＣをフォトセンサ２２−１の状態として記述する。同様に、状態記述部４１は、フォトセンサ２２−２，２２−３から供給されたフォトセンサデータから、上述したようにして区間Ａ乃至区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号ＣＡ、ＣＢ、ＣＣをフォトセンサ２２−２の状態として記述し、反応記号ＲＡ、ＲＢ、ＲＣをフォトセンサ２２−３の状態として記述する。その際、反応区間毎の反応継続時間も記述する。
The
また状態記述部４１は、マイクロ波センサ２３から供給されたマイクロ波センサデータ（特徴量）から、図１２を用いて上述したように、フォトセンサ２２−１の反応区間ＬＡ乃至ＬＣ、フォトセンサ２２−２の反応区間ＣＡ乃至ＣＣ、およびフォトセンサ２２−３の反応区間ＲＡ乃至ＲＣにおける、接近反応数の割合（０．０乃至１．０）、および離反反応数の割合（０．０乃至１．０）をマイクロ波センサ２３の状態として記述する。
In addition, the
すなわち、状態記述部４１は、フォトセンサ２２−１乃至２２−３に関する状態を表わす反応記号および継続時間、並びに、マイクロ波センサ２３に関する状態を表わす接近反応数の割合および離反反応数の割合を１単位とし、それを時間軸方向に連続的に並べたものを状態記述データ１１１として記述する。
That is, the
なお、この場合のマルチセンサカメラ１における処理は、基本的に、図２６のフローチャートを参照して説明した処理と同様であり、処理ボックス２における処理は、基本的に、図２９のフローチャートを参照して説明した処理と同様であり、またリモートコントローラ４における処理は、基本的に、図３１を参照して説明した処理と同様であるため、それらの説明は省略するが、異なる点は、フォトセンサ２２−１乃至２２−３により取得したフォトセンサデータに基づいて処理が行われること、および、処理に用いられる状態記述データ１１１および通知判定テーブルが、反応記号ＬＡ，ＬＢ，ＬＣ，ＣＡ，ＣＢ，ＣＣ，ＲＡ，ＲＢまたはＲＣを含んでいることである。
Note that the processing in the
以上のように、フォトセンサ２２−１乃至２２−３の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、１つのフォトセンサ２２では区別することができなかった人物の行動をより詳細に区別することが可能となる。
As described above, by combining the reactions of the photosensors 22-1 to 22-3 and the feature amount of the
以上においては、フォトセンサ２２およびマイクロ波センサ２３を統合利用する場合の例について説明したが、これに限らず、例えば、マイクロホン、赤外線センサ、あるいは、他のセンサを搭載し、統合利用することも勿論可能である。
In the above, an example in which the photo sensor 22 and the
また、マルチセンサカメラ１や呈示部３は、１台ではなく、複数台設けるようにしたり、処理ボックス２は、呈示部３と別の筐体とせず、一体型とするようにしたり、リモートコントローラ４に呈示部６２を設けずに、呈示部３のみの呈示とするようにしたり、あるいは、処理ボックス２にユーザフィードバックを入力するための入力部を設けるようにすることができる。
Further, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
図３５は、汎用のパーソナルコンピュータ２００の内部の構成例を示す図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記憶されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
FIG. 35 is a diagram illustrating an internal configuration example of a general-purpose
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。
The
入出力インターフェース２０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部２０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部２０７、ハードディスクなどで構成される記憶部２０８、およびモデムやターミナルアダプタなどで構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して通信処理を行う。
The input /
入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部２０８にインストールされる。
A
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０３または記憶部２０８に含まれるハードディスクなどで構成される。
As shown in FIG. 35, a recording medium that records a program that is installed in a computer and can be executed by the computer is distributed to provide a program to a user separately from the apparatus main body. Recording magnetic disk (including flexible disk), optical disk (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disk (MD (Mini-Disc) (registered trademark) ), Or included in the
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program storage medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. Or the process performed separately is also included.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。 Further, in this specification, the system represents the entire apparatus composed of a plurality of apparatuses.
１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ２２ フォトセンサ， ２３ マイクロ波センサ， ４１ 状態記述部， ４２ イベント通知判定部， ５２ 呈示画像構築部， ５３ 状態記述データ蓄積部， ５４ 通知判定テーブル更新部， ６２ 呈示部， ６３ 入力部， １２１ パターン一致判定部， １２２ 通知判定テーブル蓄積部， １２３ マイクロ波センサ状態距離判定部， １３１ ユーザフィードバック判定部， １３２ 状態記述パターン比較部， １３３ 新規パターン作成部， １３４ 既存パターン更新部， １３５ 仮通知判定テーブル蓄積部， １３６ テーブル比較部， １３７ 過去通知判定テーブル蓄積部
DESCRIPTION OF
Claims (25)
前記取得手段により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
前記状態データ記述手段により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、
前記判定手段において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段と、
前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と
を備えることを特徴とする監視システム。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away Acquisition means to
State data description means for describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the acquisition means;
The state data described by the state data description means is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is based on the data held in the determination table. If the first determination data satisfies the first condition, a second based on the reaction state of the second sensor in the state data is further determined. Determination means for determining whether or not to notify an event by determining whether or not the determination data satisfies a second condition based on data held in the determination table ;
Oite said determining means, or it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, the data relating to the event and construction means for constructing a presentation data including the event data is,
And a presenting means for presenting based on the presenting data constructed by the constructing means.
前記第２のセンサは、マイクロ波センサである
ことを特徴とする請求項１に記載の監視システム。 The first sensor is a photosensor;
The monitoring system according to claim 1, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項１に記載の監視システム。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The monitoring system according to claim 1, wherein:
ことを特徴とする請求項１に記載の監視システム。 The monitoring system according to claim 1, wherein the construction unit constructs the presentation data by inserting the event data into a signal based on television broadcasting.
ことを特徴とする請求項１に記載の監視システム。 The construction unit is Oite said determining means, said filled first condition, when said was determined not to satisfy the second condition, characterized in that data based on a predetermined signal and presenting data The monitoring system according to claim 1.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
を含むことを特徴とする監視方法。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A construction step of constructing presentation data including event data that is data on
A presenting step for presenting based on the presenting data constructed by the processing of the constructing step.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A construction step of constructing presentation data including event data that is data on
And a presenting step for presenting based on the presenting data constructed by the processing of the constructing step. A recording medium on which a computer-readable program is recorded.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
をコンピュータに実行させることを特徴とするプログラム。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A construction step of constructing presentation data including event data that is data on
A program that causes a computer to execute a presentation step of presenting based on the presentation data constructed by the processing of the construction step.
前記取得手段により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
前記状態データ記述手段により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、
前記判定手段において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away Acquisition means to
State data description means for describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the acquisition means;
The state data described by the state data description means is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is based on the data held in the determination table. If the first determination data satisfies the first condition, a second based on the reaction state of the second sensor in the state data is further determined. Determination means for determining whether or not to notify an event by determining whether or not the determination data satisfies a second condition based on data held in the determination table ;
Oite said determining means, or it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, the data relating to the event the information processing apparatus characterized by the event data and transmitting means for transmitting to another device is.
ことを特徴とする請求項９に記載の情報処理装置。 The information processing apparatus according to claim 9, further comprising a determination table storage unit that acquires and stores the determination table supplied from the other apparatus.
ことを特徴とする請求項９に記載の情報処理装置。 When the notification of the event is ended, the transmission unit stops transmission of the event data, and transmits the state data described by the state data description unit to the other device. Item 10. The information processing device according to Item 9.
前記第２のセンサは、マイクロ波センサである
ことを特徴とする請求項９に記載の情報処理装置。 The first sensor is a photosensor;
The information processing apparatus according to claim 9, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項９に記載の情報処理装置。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The information processing apparatus according to claim 9.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A transmission step of transmitting event data, which is data related to the other device, to another device.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A recording medium on which a computer-readable program is recorded, comprising: a transmission step of transmitting event data, which is data related to the device, to another device.
前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
をコンピュータに実行させることを特徴とするプログラム。 First sensor data is acquired from a first sensor that detects the presence of an object, and second sensor data is acquired from a second sensor that detects whether the object is approaching or moving away An acquisition step to
A state data description step describing state data relating to reaction states of the first and second sensors based on the first and second sensor data acquired by the processing of the acquisition step;
The state data described by the processing of the state data description step is compared with the determination table, and the first determination data based on the reaction state of the first sensor among the state data is stored in the determination table. A first condition based on the reaction state of the second sensor is further included in the state data when the first determination data satisfies the first condition. A determination step of determining whether or not to notify an event by determining whether or not the second determination data satisfies a second condition based on data held in the determination table ;
Oite processing of the determining step, whether it is determined not to satisfy the first condition, or, satisfies the first condition, when it is determined that further satisfy also the second condition, said event A program for causing a computer to execute a transmission step of transmitting event data, which is data related to the system, to another device.
前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、前記受信手段により受信された前記状態データを判定テーブルとして蓄積する蓄積手段と、
前記受信手段において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、
前記蓄積手段に蓄積されている前記判定テーブルを前記他の装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 In addition to notifying the event based on the state data and the determination table regarding the reaction state of the first sensor for detecting the presence of the object and the second sensor for detecting whether the object is approaching or moving away Receiving means for receiving event data that is data related to the event, status data, and notification of the event transmitted from the device;
Based on the data from the outside indicating whether to accumulate the state data, means for storing the state data received by the receiving means as a determination table,
When receiving the event notification in the receiving means , construction means for inserting the event data received together with the event notification into data based on a predetermined signal to construct the presentation data ;
An information processing apparatus comprising: a transmission unit configured to transmit the determination table stored in the storage unit to the other device.
ことを特徴とする請求項１７に記載の情報処理装置。 The information processing apparatus according to claim 17, further comprising a presentation unit that performs presentation based on the presentation data constructed by the construction unit.
前記蓄積手段は、前記取得手段により取得された前記ユーザからの判断の入力を前記状態データに対応付ける
ことを特徴とする請求項１８に記載の情報処理装置。 Further comprising an acquisition means for acquiring a judgment input from the user based on the presentation by the presenting means;
The information processing apparatus according to claim 18, wherein the storage unit associates the determination input from the user acquired by the acquisition unit with the state data.
ことを特徴とする請求項１７に記載の情報処理装置。 The information processing apparatus according to claim 17, wherein when the notification of the event is not received by the reception unit, the construction unit uses data based on the predetermined signal as presentation data.
前記第２のセンサは、マイクロ波センサである
ことを特徴とする請求項１７に記載の情報処理装置。 The first sensor is a photosensor;
The information processing apparatus according to claim 17, wherein the second sensor is a microwave sensor.
ことを特徴とする請求項１７に記載の情報処理装置。 The state data includes a reaction symbol classified according to a reaction state of the first sensor, a duration of the reaction state, and a feature amount related to a reaction state of the second sensor in the reaction state. The information processing apparatus according to claim 17, characterized in that:
前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 In addition to notifying the event based on the state data and the determination table regarding the reaction state of the first sensor for detecting the presence of the object and the second sensor for detecting whether the object is approaching or moving away A reception step of receiving event data that is data related to the event, status data, and notification of the event transmitted from the device;
Based on the data from the outside indicating whether to accumulate the state data, a storage step of storing the received the status data as judgment table,
When the event notification is received in the process of the receiving step, the construction step of constructing the presentation data by inserting the event data received together with the event notification into data based on a predetermined signal ;
And a transmission step of transmitting the stored determination table to the other device .
前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 In addition to notifying the event based on the state data and the determination table regarding the reaction state of the first sensor for detecting the presence of the object and the second sensor for detecting whether the object is approaching or moving away A reception step of receiving event data that is data related to the event, status data, and notification of the event transmitted from the device;
Based on the data from the outside indicating whether to accumulate the state data, a storage step of storing the received the status data as judgment table,
When the event notification is received in the process of the receiving step, the construction step of constructing the presentation data by inserting the event data received together with the event notification into data based on a predetermined signal ;
And a transmission step of transmitting the stored determination table to the other device . A recording medium on which a computer-readable program is recorded.
前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
をコンピュータに実行させることを特徴とするプログラム。 In addition to notifying the event based on the state data and the determination table regarding the reaction state of the first sensor for detecting the presence of the object and the second sensor for detecting whether the object is approaching or moving away A reception step of receiving event data that is data related to the event, status data, and notification of the event transmitted from the device;
Based on the data from the outside indicating whether to accumulate the state data, a storage step of storing the received the status data as judgment table,
When the event notification is received in the process of the receiving step, the construction step of constructing the presentation data by inserting the event data received together with the event notification into data based on a predetermined signal ;
A program for causing a computer to execute a transmission step of transmitting the stored determination table to the other device .
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003275457A JP3965580B2 (en) | 2003-07-16 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
| US10/885,637 US7626608B2 (en) | 2003-07-10 | 2004-07-08 | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith |
| US12/115,623 US7944471B2 (en) | 2003-07-10 | 2008-05-06 | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003275457A JP3965580B2 (en) | 2003-07-16 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005039612A JP2005039612A (en) | 2005-02-10 |
| JP3965580B2 true JP3965580B2 (en) | 2007-08-29 |
Family
ID=34212095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003275457A Expired - Fee Related JP3965580B2 (en) | 2003-07-10 | 2003-07-16 | Monitoring system and method, information processing apparatus and method, recording medium, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965580B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5142959B2 (en) * | 2008-11-25 | 2013-02-13 | 株式会社Ｉｈｉエアロスペース | Fault system, program used for fault system, information recording medium |
| US10606868B2 (en) | 2015-05-19 | 2020-03-31 | Sony Corporation | Information processing device, information processing method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3001452A1 (en) * | 1980-01-16 | 1981-07-23 | Hans-Günther 8100 Garmisch-Partenkirchen Stadelmayr | ALARM, SECURING AND MONITORING SYSTEM |
| JP3850894B2 (en) * | 1994-10-24 | 2006-11-29 | 株式会社三洋物産 | Video signal synthesizer |
| JPH09297057A (en) * | 1996-03-07 | 1997-11-18 | Matsushita Electric Ind Co Ltd | Pyroelectric type infrared-ray sensor and pyroelectric type infrared-ray sensor system |
| JP2001014561A (en) * | 1999-06-30 | 2001-01-19 | Tau Giken:Kk | System for detecting dubious person |
| JP2001052277A (en) * | 1999-08-05 | 2001-02-23 | Yoshio Masuda | Behavior remote monitor system and h system |
-
2003
- 2003-07-16 JP JP2003275457A patent/JP3965580B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005039612A (en) | 2005-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7944471B2 (en) | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith | |
| CN108600663B (en) | Communication method between electronic devices and television receiver | |
| US8544054B2 (en) | System and method for remote device pairing | |
| EP3493533B1 (en) | Information processing device, information processing method, and program | |
| EP3595270B1 (en) | Method and apparatus for generating or using interaction activity information | |
| US20160260317A1 (en) | Systems and methods for operating remote presence security | |
| KR101221437B1 (en) | Monitoring system using simplified establishment and utilization based cctv camera | |
| WO2015019546A1 (en) | Wireless camera system, central device, image display method, and image display program | |
| JP7414108B2 (en) | Surveillance camera, surveillance system, surveillance camera control method and program | |
| KR101691284B1 (en) | Proximity detection of candidate companion display device in same room as primary display using infrared signaling | |
| JP2005092740A (en) | Monitoring system, information processor and method for the same, recording medium, and program | |
| JP3965580B2 (en) | Monitoring system and method, information processing apparatus and method, recording medium, and program | |
| US10965899B1 (en) | System and method for integration of a television into a connected-home monitoring system | |
| CN103839400B (en) | Control device, controlled plant and the information processing method applied to it | |
| JP4406821B2 (en) | Monitoring system and method, information processing apparatus, recording medium, and program | |
| JP4605429B2 (en) | Monitoring system, information processing apparatus and method, recording medium, and program | |
| JP7246913B2 (en) | Information processing system, information processing device, and information processing method | |
| JP6742739B2 (en) | Control device, control method, and program | |
| US20240077870A1 (en) | Robot device, method for controlling same, and recording medium having program recorded thereon | |
| WO2021192039A1 (en) | Equipment management device, equipment management method, and program | |
| JP4540462B2 (en) | Power supply control device with monitoring function, electric device including the device, and electric device system | |
| US20230394951A1 (en) | Mobile terminal and display device for searching for location of remote control device by using bluetooth pairing | |
| JP2016171484A (en) | Radio terminal device, control device and control system | |
| KR101583412B1 (en) | Security event image monitoring method using of an internet tv and system of the same | |
| CN115834271A (en) | Server, intelligent device and intelligent device control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |