JP7458813B2 - Monitoring device, monitoring method, monitoring program - Google Patents
Monitoring device, monitoring method, monitoring program Download PDFInfo
- Publication number
- JP7458813B2 JP7458813B2 JP2020023491A JP2020023491A JP7458813B2 JP 7458813 B2 JP7458813 B2 JP 7458813B2 JP 2020023491 A JP2020023491 A JP 2020023491A JP 2020023491 A JP2020023491 A JP 2020023491A JP 7458813 B2 JP7458813 B2 JP 7458813B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- unit
- bed
- marker
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 32
- 238000012806 monitoring device Methods 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 claims description 59
- 239000003550 marker Substances 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 33
- 239000000463 material Substances 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 19
- 238000013461 design Methods 0.000 description 8
- 239000000975 dye Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000004744 fabric Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Description
本発明は、監視対象の動作を判別し、監視可能とする監視装置、監視方法、監視プログラムに関する。 The present invention relates to a monitoring device, a monitoring method, and a monitoring program that determine the operation of a monitored object and enable monitoring.
長寿高齢化社会において、健康寿命の延伸への貢献が求められている中、医療事故の内、療養中の転倒による負傷が多くなっている。 In an aging society with longevity, there is a demand to contribute to extending healthy lifespans, but among medical accidents, injuries caused by falls during treatment are on the rise.
転倒事故防止のために、転倒リスクの高い患者等の離床を把握し対応するための見守り機能として、圧力センサや赤外線センサが利用されることがある。 To prevent falls, pressure and infrared sensors are sometimes used as a monitoring function to detect and respond to patients at high risk of falling as they get out of bed.
圧力センサは、床やベッド柵に設置して、荷重がかかると通知する構成となっている。また、赤外線センサは、ベッド柵やベッド外に設置して、検出範囲に患者が入ると通知する構成となっている。 The pressure sensor is installed on the floor or bed rails and is configured to notify when weight is applied. The infrared sensor is installed on the bed rails or outside the bed and is configured to notify when a patient enters the detection range.
ところで、上記見守り機能は、床に足が付いてから、或いは付く直前での通知となるため、看護師等のスタッフが到着した時点では、既に離床して歩き出し、転倒する可能性がある状態となっている。 However, the monitoring function above notifies the patient after their feet touch the floor or just before they do, so by the time a nurse or other staff member arrives, the patient may already be out of bed and walking, putting them at risk of falling.
特許文献１には、カメラに映るシルエット長の差から転倒状態を判別することが記載されている。特許文献１によれば、ベッドに寝ている状態から立位になる状態遷移も判別することができる。 Patent Document 1 describes that a fall state is determined based on a difference in silhouette lengths reflected on a camera. According to Patent Document 1, a state transition from a state of lying on a bed to a state of standing can also be determined.
特許文献２には、カメラに映る画像をニューラルネットワークによる演算をかけ、起き上がり状態を判別することが記載されている。特許文献２によれば、カメラの設置後、複数回起き上がり動作を行い、学習を実施する（教師データ作成）。 Patent Document 2 describes that an image captured by a camera is subjected to calculations using a neural network to determine whether a person is sitting up. According to Patent Document 2, after the camera is installed, the camera performs a rising motion multiple times to perform learning (teaching data creation).
特許文献３には、ベッドの横方向から撮影し、範囲を設定し、設定範囲に占めるシルエットの面積が所定未満である場合に起床の挙動であると判定することが記載されている。 Patent document 3 describes how the bed is photographed from the side, a range is set, and if the area of the silhouette within the set range is less than a specified amount, it is determined that the behavior is a wake-up behavior.
特許文献４には、ベッド上の監視するべき対象者の背後から撮像し、シルエットの範囲、位置から状態を判別することが記載されている。 Patent document 4 describes how an image is captured from behind of a person to be monitored while lying in bed, and the condition is determined from the range and position of the silhouette.
なお、参考として、特許文献５には、ＩＲ（赤外線）反射テープで領域の境界を設定することが記載されている。 For reference, Patent Document 5 describes setting the boundaries of areas using IR (infrared) reflective tape.
また、参考として、特許文献６には、布団や枕を赤外線反射繊維で作り、画像処理で人の頭部を認識させることが記載されている。 For reference, Patent Document 6 describes how comforters and pillows are made from infrared-reflective fibers and a person's head is recognized using image processing.
さらに、参考として、特許文献７には、作業帽や作業服の肩部に赤外光高感度のマーカーを付け、個人の好みに合わせて空調機の風量を制御することが記載されている。 For reference, Patent Document 7 describes attaching infrared-sensitive markers to the shoulders of work hats or work clothes, allowing the air volume of air conditioners to be controlled according to individual preferences.
特許文献１では、ベッド上の動作（布団をめくる、起き上がる、寝返り等）は判別することができず、端座位（端坐位とも言う、以下、「端座位」に統一）になる予兆を検出できない。 In Patent Document 1, movements on the bed (turning over the futon, getting up, turning over, etc.) cannot be determined, and signs of becoming in the edge sitting position (also referred to as edge sitting position, hereinafter referred to as ``edge sitting position'') cannot be detected. .
特許文献２では、カメラの設置、又は監視対象者の変わるたびに、ニューラルネットワークによる学習が必要であり、マシンリソースに課題がある。また、光の加減により結果が変わる可能性が高い。 In Patent Document 2, learning by a neural network is required each time a camera is installed or a person to be monitored changes, which poses a problem with machine resources. Also, the results are likely to change depending on the lighting.
特許文献３では、画像情報をそのまま処理することになり、面積を演算するために必要な画素数が多く、制御負担に課題を生じる。 In Patent Document 3, the image information is processed as is, and the number of pixels required to calculate the area is large, creating a problem with the control burden.
また、布団等、監視するべき対象者の周囲のシルエットが考慮されず、正確な認識ができない可能性がある。 Furthermore, the silhouette of the surroundings of the person to be monitored, such as a futon, is not taken into account, and accurate recognition may not be possible.
特許文献４では、カメラの位置が対象者に近く、対象者が取り外したり、光軸をずらしてしまう可能性がある。 In Patent Document 4, the camera is positioned close to the subject, so there is a risk that the subject may remove it or shift the optical axis.
また、布団等、監視するべき対象者の周囲のシルエットが考慮されず、正確な認識ができない可能性がある。 Furthermore, the silhouette of the surroundings of the person to be monitored, such as a futon, is not taken into account, and accurate recognition may not be possible.
本発明は、一人で移動することが制限されている監視対象の動作を遠隔で監視することができる監視装置、監視方法、監視プログラムを得ることが目的である。 An object of the present invention is to obtain a monitoring device, a monitoring method, and a monitoring program that can remotely monitor the operation of a monitoring target whose movement by one person is restricted.
また、上記目的に加え、一人で歩くことが制限されている監視対象が、就床中から離床するまでの動作パターンの変化が、一定条件を満たした場合に、離床までに通知することができる監視装置、監視方法、監視プログラムを得ることが目的である。 In addition to the above purpose, if a monitored subject who is restricted from walking alone satisfies certain conditions in the movement pattern from when he or she goes to bed until he leaves the bed, a notification can be sent to him before he leaves the bed. The purpose is to obtain monitoring equipment, monitoring methods, and monitoring programs.
本発明に係る撮像装置は、非可視光を反射或いは吸収する材質、又は蓄光性を有する材質で生成され、監視対象の動作に応じて変形する注目対象物に取り付けられ、当該注目対象物の変形に応じて変位する標識部と、前記注目対象物を含む画角の画像を撮像して画像信号を出力する撮像部と、前記撮像部から出力した画像信号から、前記標識部を識別することで、前記監視対象の動作を監視する監視部と、を有している。 The imaging device according to the present invention is made of a material that reflects or absorbs invisible light, or a material that has luminous properties, and is attached to an object of interest that deforms according to the movement of a monitored object, and is attached to an object of interest that deforms according to the movement of the object to be monitored. a marker part that is displaced according to the object of interest; an imaging part that captures an image with an angle of view that includes the object of interest and outputs an image signal; and a marker part that is identified from the image signal output from the imaging part. , and a monitoring unit that monitors the operation of the monitored object.
本発明によれば、監視対象を、撮像部で撮像する標識部の変位によって監視する。 According to the present invention, the target to be monitored is monitored by the displacement of the marker part that is imaged by the imaging part.
このとき、標識部は、少なくとも明所において人間の目で認識しづらく、かつ、暗所において撮像部の出力信号として、標識部を識別して撮像可能である。 At this time, the marker is difficult to recognize with the human eye at least in a bright place, and can be identified and imaged as an output signal of the imaging unit in a dark place.
このため、標識部が注目対象物の意匠性を損なうことなく、かつ、標識部の識別性が維持され、監視対象の監視を継続することができる。 As a result, the sign does not impair the design of the target object, and the distinctiveness of the sign is maintained, allowing monitoring of the target object to continue.
例えば、標識部を取り付ける対象が例えば布材の場合、非可視光（赤外線光が代表的）を反射或いは吸収する、又は、蓄光性を有する塗料を直接塗布したり、シール等の貼付材に塗布して貼り付けたり、或いは、布材の原料（糸等）を直接染めたり等、特に取り付け手段に限定はない。 For example, if the object to which the sign is attached is cloth, paint that reflects or absorbs non-visible light (typically infrared light) or has luminous properties may be applied directly or applied to adhesive materials such as stickers. There is no particular limitation on the attachment method, such as attaching the cloth material or directly dyeing the raw material (thread, etc.) of the cloth material.
本発明に係る撮像装置は、監視対象の動作に応じて変形する注目対象物に取り付けられ、当該注目対象物の変形に応じて変位する標識部と、前記注目対象物を含む画角の画像を撮像して画像信号を出力する撮像部と、前記撮像部から出力した画像信号から、前記標識部を識別することで、前記監視対象の動作を監視する監視部とを有し、前記監視部が、前記撮像部で撮像された画像の時系列の前記標識部の位置の変位を解析する解析部と、前記解析部による解析結果に基づき、現状からの前記監視対象の動きを予測する予測部と、前記予測部で予測した動きの変化が、一定の条件を満たしたときに、少なくとも予測結果を監視者に通知する通知部と、を備え、前記標識部を取り付ける注目対象物が複数存在し、前記注目対象物の種類、及び表裏毎に異なる形状の前記標識部が取り付けられている。 The imaging device according to the present invention includes a marker section that is attached to an object of interest that deforms according to the movement of the object of interest, and that is displaceable in accordance with the deformation of the object of interest, and that captures an image of an angle of view that includes the object of interest. an imaging unit that captures an image and outputs an image signal; and a monitoring unit that monitors the operation of the monitoring target by identifying the marker from the image signal output from the imaging unit, the monitoring unit , an analysis unit that analyzes the displacement of the position of the marker unit in a time series of images captured by the imaging unit; and a prediction unit that predicts the movement of the monitoring target from the current state based on the analysis result by the analysis unit. , a notification unit that notifies at least a prediction result to an observer when a change in movement predicted by the prediction unit satisfies a certain condition, and there are a plurality of objects of interest to which the sign unit is attached; The marking portions are attached with different shapes depending on the type of the object of interest and on the front and back sides .
本発明によれば、撮像部で標識部を撮像する。 According to the present invention, the imaging unit images the marker.
撮像した画像は、監視部の解析部において、画像の時系列の標識部の位置の変位を解析する。 The captured image is analyzed by the analysis section of the monitoring section to determine the displacement of the position of the marker over time in the image.
予測部では、解析結果に基づき、現状からの監視対象の動きを予測する。 The prediction unit predicts the movement of the monitored object from the current state based on the analysis results.
通知部では、予測した動きの変化が、一定の条件を満たしたときに、少なくとも予測結果を監視者に通知する。 The notification unit notifies at least the observer of the prediction result when the predicted change in movement meets certain conditions.
これにより、監視対象の動き、及び現状以後の動きの予測を含めて監視することができる。 Thereby, it is possible to monitor the movement of the object to be monitored and the prediction of the movement after the current state.
本発明において、前記標識部が、少なくとも非可視光を反射或いは吸収する、又は蓄光性を有する材質で生成されている。 In the present invention, the label portion is made of a material that reflects or absorbs at least invisible light or has luminous properties.
標識部は、少なくとも明所において人間の目で認識しずらく、かつ、暗所において撮像部で識別して撮像可能である。 The marker portion is difficult to recognize with the human eye at least in a bright place, and can be identified and imaged by an imaging unit in a dark place.
このため、標識部が注目対象物の意匠性を損なうことなく、かつ、標識部の識別性を維持することができる。 Therefore, the marking part can maintain the distinctiveness of the marking part without impairing the design of the object of interest.
例えば、標識部を取り付ける注目対象物が例えば布材の場合、非可視光（赤外線光が代表的）や蓄光性の塗料を直接塗布したり、シール等の貼付材に塗布して貼り付けたり、或いは、布材の原料（糸等）を直接染めたり等、特に取り付け手段に限定はない。 For example, if the object of interest to which the sign is attached is a cloth material, invisible light (typically infrared light) or phosphorescent paint may be applied directly, or it may be applied to an adhesive material such as a sticker and pasted. Alternatively, there is no particular limitation on the attachment method, such as directly dyeing the raw material (thread, etc.) of the cloth material.
本発明において、前記標識部が、予め既知のパターンで取り付けられている。 In the present invention, the marking portion is attached in a known pattern in advance.
標識部のパターン変化で、注目対象物の変位を監視することができる。 The pattern change in the sign makes it possible to monitor the displacement of the object of interest.
標識部の形状によって、注目対象物の種類を識別できる。また、注目対象物に表裏がある場合に、その表裏に異なる形状の標識部を取り付けることで、注目対象物の表裏も識別することができる。 The type of object of interest can be identified by the shape of the marker. Furthermore, when an object of interest has front and back sides, by attaching markings of different shapes to the front and back sides, it is possible to identify the front and back sides of the object of interest.
本発明において、前記監視対象が、就床中の人間であり、就床した状態から、一人で離床して歩行して移動することが制限された移動制限者である。 In the present invention, the monitoring target is a person who is sleeping in bed, and is a person with limited mobility who is restricted from leaving the bed and walking alone from the bed.
標識部の変位によって、例えば、移動制限者が就床状態から離床するまで動作を監視することができる。 By displacing the marker, it is possible to monitor the movement of the person with restricted mobility, for example, from the state of being in bed until the person leaves the bed.
本発明に係る監視方法は、非可視光を反射する材質、又は吸収する又は蓄光性を有する材質で生成され、就床時に必要な寝具に設けられた標識部と、前記寝具を含む画角の画像を撮像する撮像部とを備え、就床中の監視対象の動作から、離床を検知する監視方法であって、前記撮像部で撮像して出力した出力信号を解析して、前記標識部の変位を識別し、前記標識部の変位状態から、就床中の監視対象の状態を判別し、前記監視対象の状態の変化が、一定の条件を満たしたときに、監視者に通知することを特徴としている。 The monitoring method according to the present invention is a monitoring method that includes a marker unit made of a material that reflects invisible light or a material that absorbs or has phosphorescence, and that is attached to bedding required when going to bed, and an imaging unit that captures an image with an angle of view that includes the bedding, and detects getting out of bed from the movements of the monitored subject while in bed, and is characterized in that the method analyzes the output signal captured and output by the imaging unit to identify the displacement of the marker unit, determines the state of the monitored subject while in bed from the displacement state of the marker unit, and notifies the monitor when the change in the state of the monitored subject satisfies certain conditions.
本発明によれば、例えば、入院中の患者が監視対象であり、監視者が２４時間監視できず、一時的に拘束する場合がある。 According to the present invention, for example, a hospitalized patient may be monitored, but the monitor may not be able to monitor the patient 24 hours a day and may need to temporarily restrain the patient.
本発明の監視装置を用いることで、監視対象の動きの変化が、一定の条件を満たしたときに、監視者に通知する。 By using the monitoring device of the present invention, a monitor is notified when a change in the movement of a monitored object satisfies a certain condition.
これにより、監視対象が離床して歩き出す前に、監視者は駆けつけることができるため、患者の拘束を緩和することができる。 As a result, the supervisor can rush in before the subject to be monitored leaves the bed and starts walking, making it possible to relieve restraint on the patient.
本発明において、前記寝具として、少なくとも、パジャマ、掛け布団の表裏、及び枕の少なくとも２箇所以上のそれぞれに、異なる形状の前記標識部を取り付け、異なる形状の標識部毎の変位状態によって、前記監視対象の状態を判別する。 In the present invention, as the bedding, the marking portions of different shapes are attached to at least two or more places of the pajamas, the front and back of the comforter, and the pillow, and the monitoring target is determined according to the displacement state of each marking portion of the different shape. Determine the state of.
標識部の形状により、寝具を識別することができる。 The bedding can be identified by the shape of the marker.
本発明に係る監視プログラムは、コンピュータを、上記監視装置の前記監視部として動作させることを特徴としている。 The monitoring program according to the present invention is characterized in that a computer operates as the monitoring unit of the monitoring device.
以上説明した如く本発明では、一人で移動することが制限されている監視対象の動作を遠隔で監視することができる。 As described above, according to the present invention, it is possible to remotely monitor the operation of a monitoring target whose movement is restricted by one person.
また、上記効果に加え、一人で歩くことが制限されている監視対象が、就床中から離床するまでの動作パターンの変化が、一定条件を満たした場合に、離床までに通知することができる。 In addition to the above effects, if a monitored subject who is restricted from walking alone satisfies certain conditions in their movement pattern from when they are in bed until they leave the bed, it is possible to notify them before they leave the bed. .
（標識部「マーカー」の構成） (Configuration of the sign part “marker”)
図１は、本実施の形態に係る監視システム１００（図３参照）により監視する監視対象に代わって監視する注目対象物としての寝具１２（パジャマ１２Ａ、布団１２Ｂ、枕１２Ｃ）が示されている。 FIG. 1 shows bedding 12 (pajamas 12A, futon 12B, pillow 12C) as objects of interest to be monitored in place of the objects to be monitored by the monitoring system 100 (see FIG. 3) according to the present embodiment. .
注目対象物である寝具１２は、動作を監視する対象である監視対象が、就寝の際に着衣する、又は直接触れる部材である。 The bedding 12, which is the object of interest, is a member that the monitoring object whose motion is to be monitored wears or directly touches when sleeping.
監視対象は、主として、一人で歩行すると転倒する恐れのある者が該当する。監視対象として、一人で歩行すると転倒する恐れのある者以外にも、徘徊されては困る者、逃げ出しては困る者等が考えられるが、以下においては、監視対象を、一人で歩行すると転倒する恐れのある者として説明する。 The subjects to be monitored are mainly those who are at risk of falling when walking alone. In addition to people who are at risk of falling when walking alone, there are other people to be monitored who may be at risk of falling when walking alone, such as people who would be in trouble if they wandered around or running away. Explain as someone who is afraid.
パジャマ１２Ａ、布団１２Ｂ、枕１２Ｃには、それぞれに異なる形状の標識部としての複数のマーカー１４Ａ、１４Ｂ、１４Ｃが取り付けられている。なお、図面では区別するが、詳細な説明において、マーカー１４Ａ、１４Ｂ、１４Ｃの共通の機能を説明するとき、総称してマーカー１４という場合がある。 A plurality of markers 14A, 14B, and 14C are attached to each of the pajamas 12A, the futon 12B, and the pillow 12C as marking portions having different shapes. Although they are distinguished in the drawings, in the detailed description, when explaining the common functions of the markers 14A, 14B, and 14C, they may be collectively referred to as markers 14.
マーカー１４は、非可視光を反射或いは吸収する、又は蓄光性を有する材質によって、直接寝具１２に付与されている。なお、以下では、ＩＲ反射染料を例にとって説明するが、ＵＶ（紫外線）領域を対象とした非可視材料、蓄光部材等であってもよい。 The markers 14 are attached directly to the bedding 12 using a material that reflects or absorbs invisible light, or has phosphorescent properties. In the following, an IR reflective dye is used as an example, but the markers may also be invisible materials that target the UV (ultraviolet) range, phosphorescent materials, etc.
図１（Ａ）に示される如く、寝具１２（パジャマ１２Ａ、布団１２Ｂ、枕１２Ｃ）は可視状態（図１（Ａ）の実線参照）であるが、マーカー１４は非可視状態（図１（Ａ）の点線参照）となる。 As shown in FIG. 1(A), the bedding 12 (pajamas 12A, futon 12B, pillow 12C) is in a visible state (see the solid line in FIG. 1(A)), but the marker 14 is in an invisible state (see the solid line in FIG. 1(A)). ).
このため、マーカー１４は、もともとの寝具１２の意匠性を変化させることがない。 As a result, the marker 14 does not alter the original design of the bedding 12.
また、マーカー１４は、寝具１２に直接、タッチペンや筆等でＩＲ反射染料を塗布してもよいし、台紙（粘着シール等）を介して貼り付けてもよい。また、寝具１２を作製するときの糸材の原料に予めＩＲ反射染料を付与してもよい。 Furthermore, the marker 14 may be applied directly to the bedding 12 with an IR reflective dye using a touch pen, brush, etc., or may be attached via a mount (adhesive sticker, etc.). Moreover, an IR reflective dye may be applied in advance to the raw material of the thread material when producing the bedding 12.
一方、図１（Ｂ）は、例えば、赤外線カメラにより、寝具１２を上方から撮影すると、ＩＲ反射染料であるマーカー１４が撮影され（図１（Ｂ）の実線参照）、寝具１２は撮影されない（図１（Ｂ）の点線参照）。 On the other hand, in FIG. 1(B), for example, when the bedding 12 is photographed from above with an infrared camera, the marker 14, which is an IR reflective dye, is photographed (see the solid line in FIG. 1(B)), but the bedding 12 is not photographed (see the solid line in FIG. 1(B)). (See dotted line in Figure 1(B)).
パジャマ１２Ａに取り付けられたマーカー１４Ａは丸形状であり、当該パジャマ１２Ａの上衣の腹部、背部（図示省略）、袖部、及び肩部と、パジャマ１２Ａの下衣の股関節部、足首部とに付与されている。 The markers 14A attached to the pajamas 12A have a round shape and are attached to the abdomen, back (not shown), sleeves, and shoulders of the upper garment of the pajamas 12A, and to the hip and ankle regions of the lower garment of the pajamas 12A. has been done.
布団１２Ｂに取り付けられたマーカー１４Ｂは、当該布団１２Ｂの表裏の各々にマトリクス状（例えば、３×５の配列）に付与されている(図２（Ｂ)及び（Ｃ）参照）。本実施の形態では、布団１２Ｂの表側のマーカー１４Ｂ（ＦＲ）が星形状とされ、図２（Ｂ)及び（Ｃ）に示される如く、裏側のマーカー１４Ｂ（ＢＫ）が三角形状である。 The markers 14B attached to the futon 12B are provided in a matrix (for example, a 3×5 array) on each of the front and back sides of the futon 12B (see FIGS. 2(B) and (C)). In this embodiment, the marker 14B (FR) on the front side of the futon 12B has a star shape, and the marker 14B (BK) on the back side has a triangular shape, as shown in FIGS. 2(B) and (C).
枕１２Ｃに取り付けられたマーカー１４Ｃは四角形状であり、枕の上に横一列の３箇所に付与されている。 The markers 14C attached to the pillow 12C have a rectangular shape, and are placed in three horizontal rows on the pillow.
なお、各寝具１２のマーカー１４Ａ、１４Ｂ、１４Ｃの付与配列は、特に限定はなく、監視対象が就寝するときの通常状態の配列を、初期配列状態（ホームポジション）として認識すれば、その後の各マーカー１４Ａ、１４Ｂ、１４Ｃの変位を個々に監視すればよい。但し、図１のように、幾何学的な配列パターンとしておけば、監視者の赤外線画像の目視判断によっても、監視対象に動きがあったことを、迅速に認識することができる。 Note that the arrangement of the markers 14A, 14B, and 14C on each bedding 12 is not particularly limited, and if the arrangement in the normal state when the monitored subject sleeps is recognized as the initial arrangement state (home position), each subsequent The displacement of markers 14A, 14B, and 14C may be individually monitored. However, if a geometric arrangement pattern is used as shown in FIG. 1, it is possible to quickly recognize that there is movement in the monitored object by the observer's visual judgment of the infrared image.
ここで、本実施の形態のマーカー１４Ａ、１４Ｂ、１４Ｃを寝具１２に取り付けることで、監視対象は、自身が直接マーカー１４Ａ、１４Ｂ、１４Ｃ等を身につける必要がない状態で、監視対象の動きを、赤外線センサの撮影画像で監視することができる。 Here, by attaching the markers 14A, 14B, and 14C of this embodiment to the bedding 12, the subject of monitoring can monitor the movements of the subject using images captured by the infrared sensor, without the subject having to wear the markers 14A, 14B, and 14C, etc., directly.
図２は、監視対象の動き（（Ａ）～（Ｃ））に応じた赤外線撮影画像の状況を示したものである。 Figure 2 shows the infrared image conditions according to the movement of the monitored object ((A) to (C)).
図２（Ａ）は、一人で歩行すると転倒する恐れのある者（ここでは、入院している患者１６とする）が、ベッド２０で就寝した直後の状態であり、患者１６は、枕１２Ｃの中心に頭部を置き、布団１２Ｂを肩まで掛けた状態である。 Figure 2 (A) shows a person who may fall if walking alone (here, a hospitalized patient 16) immediately after going to sleep in bed 20, with the patient 16's head placed in the center of pillow 12C and the duvet 12B draped over his or her shoulders.
図２（Ａ）の状態を推定し得る要件を以下に示す。 The requirements for estimating the state in FIG. 2(A) are shown below.
（要件１） 枕１２Ｃの中央のマーカー１４Ｃが隠蔽されていることによって、患者１６の頭部の位置を推定することができる。 (Requirement 1) The position of the patient's 16 head can be estimated because the marker 14C at the center of the pillow 12C is hidden.
（要件２） パジャマ１２Ａのマーカー１４Ａが一切見えず、かつ、布団１２Ｂの表側の星形のマーカー１４Ｂ（ＦＲ）が初期配列状態であることによって、患者１６が布団１２Ｂを肩まで掛けていることを推定することができる。 (Requirement 2) The markers 14A on the pajamas 12A are completely invisible, and the star-shaped markers 14B (FR) on the front side of the futon 12B are in the initial arrangement, so it can be inferred that the patient 16 is wearing the futon 12B up to his shoulders.
図２（Ｂ）は、患者１６が、ベッド２０の上で上半身を起こした状態であり、目が覚めている状態である。 In FIG. 2(B), the patient 16 is in an awake state with the upper body raised on the bed 20.
図２（Ｂ）の状態を推定し得る要件を以下に示す。 The conditions that allow the state of Figure 2 (B) to be inferred are as follows:
（要件３） 枕１２Ｃのマーカー１４Ｃが全て見えることによって、患者１６の頭部が枕１２Ｃから離れている位置にあると推定することができる。 (Requirement 3) By being able to see all of the markers 14C on the pillow 12C, it can be estimated that the patient's 16 head is in a position away from the pillow 12C.
（要件４） パジャマ１２Ａの複数のマーカー１４Ａのパターン認識で、上半身を起こし、一方の腕を布団１２Ｂの上に乗せていると推定することができる。一例として、マーカー１４Ａの一部が斜視画像（楕円形）となっていることも、推定要素の１つとなる。 (Requirement 4) By recognizing the pattern of the plural markers 14A of the pajamas 12A, it can be estimated that the upper body is raised and one arm is placed on the futon 12B. As an example, the fact that a portion of the marker 14A is a perspective image (elliptical) is also one of the estimation factors.
（要件５） 布団１２Ｂの表側の星形のマーカー１４Ｂ（ＦＲ）と裏側の三角形のマーカー１４Ｂ（ＢＫ）とが両方見えており、その数の比率等から、布団１２Ｂの一部がめくれていることを推定することができる。 (Requirement 5) Both the star-shaped marker 14B (FR) on the front side of the futon 12B and the triangular marker 14B (BK) on the back side are visible, and from the ratio of their numbers, etc., a part of the futon 12B is turned over. It can be estimated that
図２（Ｃ）は、患者１６が、ベッド２０から離脱し、歩行しようとしている状態である。 FIG. 2C shows a state in which the patient 16 has left the bed 20 and is about to walk.
図２（Ｃ）の状態を推定し得る要件を以下に示す。 The requirements for estimating the state in FIG. 2(C) are shown below.
（要件６） 枕１２Ｃのマーカー１４Ｃが全て見えることによって、患者１６の頭部が枕１２Ｃから離れている位置にあると推定することができる。 (Requirement 6) By seeing all the markers 14C on the pillow 12C, it can be estimated that the head of the patient 16 is located away from the pillow 12C.
（要件７） パジャマ１２Ａの複数のマーカー１４Ａのパターン認識で、上半身を起こし、一方の腕を布団１２Ｂの上に乗せていると推定することができる。一例として、マーカー１４Ａの一部が斜視画像（楕円形）となっていることも、推定要素の１つとなる。 (Requirement 7) By pattern recognition of multiple markers 14A on the pajamas 12A, it can be estimated that the person is sitting up with one arm resting on the futon 12B. As an example, the fact that some of the markers 14A are oblique images (oval shapes) is also one of the estimation factors.
（要件８） 布団１２Ｂの表側の星形のマーカー１４Ｂ（ＦＲ）と裏側の三角形のマーカー１４Ｂ（ＢＫ）とが両方見えており、その数の比率等から、布団１２Ｂが大きくめくれていることを推定することができる。 (Requirement 8) Both the star-shaped marker 14B (FR) on the front side of the duvet 12B and the triangular marker 14B (BK) on the back side are visible, and based on the ratio of their numbers, etc., it can be inferred that the duvet 12B has been turned over significantly.
（要件９） パジャマ１２Ａのマーカー１４Ａの一部が布団１２Ｂのマーカー１４Ｂの初期配列パターンよりも外に位置していることから、患者１６がベッド２０から足を出そうしていることを推定することができる。 (Requirement 9) Since some of the markers 14A of the pajamas 12A are located outside the initial arrangement pattern of the markers 14B of the futon 12B, it is estimated that the patient 16 is about to take his feet out of the bed 20. be able to.
以上のように、本実施の形態のマーカー１４Ａ、１４Ｂ、１４Ｃを用いていることで、監視対象の直接マーカーを付与する必要がなく、監視対象の動きを赤外線カメラ等で撮影した画像に基づき監視することができる。 As described above, by using the markers 14A, 14B, and 14C of this embodiment, there is no need to directly attach markers to the monitoring target, and the movement of the monitoring target is monitored based on images taken with an infrared camera or the like. can do.
また、マーカー１４Ａ、１４Ｂ、１４ＣはＩＲ反射染料を用いているため、寝具１２（パジャマ１２Ａ、布団１２Ｂ、枕１２Ｃ）の意匠性を変化させることがなく、マーカー１４Ａ、１４Ｂ、１４Ｃを、必要十分な位置に付与することができる。 In addition, since the markers 14A, 14B, and 14C use IR reflective dye, the design of the bedding 12 (pajamas 12A, futon 12B, and pillow 12C) is not changed, and the markers 14A, 14B, and 14C can be used as necessary. It can be attached at a certain position.
なお、本実施の形態では、マーカー１４Ａ、１４Ｂ、１４Ｃにより、意匠性を変化させない手段として、ＩＲ反射染料等、赤外線等を反射する非可視部材を用いたが、撮像側で、特定の色のみを抽出可能な機能を持たせることで、当該特定の色と、周囲の異なる色とを違和感なく混在させて、特定の色で定めたパターン（意匠性のあるパターン）を形成すれば、非可視である必要はない。 In this embodiment, an invisible member that reflects infrared rays, such as an IR reflective dye, is used as a means of not changing the design of the markers 14A, 14B, and 14C. By providing a function that can extract the color, the specific color can be mixed with different surrounding colors without any discomfort, and if a pattern defined by the specific color (pattern with design) is formed, it can be invisible. It doesn't have to be.
また、一人で歩くことが制限されている監視対象の中には、病院に入院している患者１６に限らず、自宅での介護者、乳幼児、ペットであってもよく、見守りは、離床の予兆に限らず、歩行時の姿勢や室内の位置等を把握することにも利用可能である。 In addition, the subjects to be monitored who are restricted from walking alone are not limited to patients in hospitals16, but may also include caregivers at home, infants, and pets. It can be used not only for predicting signs, but also for understanding posture when walking, position in a room, etc.
（マーカーを用いた監視システム） (Monitoring system using markers)
図３には、マーカー１４Ａ、１４Ｂ、１４Ｃを用いて、監視対象である患者１６を監視するための監視システム１００が示されている。 Figure 3 shows a monitoring system 100 for monitoring a patient 16 using markers 14A, 14B, and 14C.
本実施の形態に係る監視システム１００は、病院における患者１６の監視のために適用されている。 The monitoring system 100 according to this embodiment is used to monitor a patient 16 in a hospital.
監視対象である患者１６は、一人で歩くことが制限されており、病室１８のベッド２０で横たわっている。 A patient 16 to be monitored is restricted from walking alone and is lying on a bed 20 in a hospital room 18.
病室１８の天井面１８Ａには、撮像システム１０２の一部を構成する撮像デバイス１０４が設置されており、少なくともベッド２０を含む領域を撮影している。撮像デバイス１０４は、使用されるマーカー１４の種類に合わせて選択されるものである。本実施の形態では、マーカー１４がＩＲ反射染料を塗布されたものであるため、赤外線を検出可能なカメラが適用される。 An imaging device 104 configuring a part of the imaging system 102 is installed on the ceiling surface 18A of the hospital room 18, and images an area including at least the bed 20. The imaging device 104 is selected according to the type of marker 14 used. In this embodiment, since the marker 14 is coated with an IR reflective dye, a camera capable of detecting infrared rays is used.
撮像デバイス１０４は、当該撮像デバイスと共に撮像システム１０２を構成する制御部１０６に接続されている。制御部１０６の詳細については後述する。 The imaging device 104 is connected to a control unit 106 that together with the imaging device constitutes the imaging system 102. Details of the control unit 106 will be described later.
制御部１０６は、ＬＡＮ（ローカルエリアネットワーク）やＷＡＮ（ワイドエリアネットワーク）等のネットワーク１０８を介してサーバーシステム１１０と通信可能に接続さ サーバーシステム１１０は、病院に設置されたナースステーション２１等に設置されており、複数の病室１８に設置された撮像デバイス１０４からの映像を集約するようになっている。サーバーシステム１１０の詳細については後述する。 The control unit 106 is communicably connected to a server system 110 via a network 108 such as a LAN (local area network) or a WAN (wide area network). The server system 110 is installed at a nurse station 21 or the like installed in a hospital. Images from imaging devices 104 installed in a plurality of hospital rooms 18 are aggregated. Details of the server system 110 will be described later.
ネットワーク１０８には、通信端末装置１１４が接続されており、サーバーシステム１１０と、クライアントシステムとしての通信端末装置１１４との間で通信可能とされている。例えば、通信端末装置１１４は、看護師２２が携帯可能であり、ナースステーション２１に設置される場合もある。すなわち、通信端末装置１１４は、サーバーシステム１１０から通知を受けた看護師２２が迅速に患者１６のもとへ向かうための支援のためのツールとして利用される。 A communication terminal device 114 is connected to the network 108, and communication is possible between the server system 110 and the communication terminal device 114 as a client system. For example, the communication terminal device 114 may be portable by the nurse 22, and may be installed at the nurse station 21. That is, the communication terminal device 114 is used as a tool for supporting the nurse 22 who has received a notification from the server system 110 to quickly go to the patient 16.
ここで、本実施の形態の監視システム１００では、病室１８のベッド２０に横たわっている患者１６（一人では歩くことが制限されている者が、ベッド２０から離床しようとすると、撮像デバイス１０４で撮像した映像の解析結果に基づき、患者１６の離床を予測して、通信端末装置１１４へ通知するようになっている。 Here, in the monitoring system 100 of the present embodiment, when the patient 16 lying on the bed 20 in the hospital room 18 (who is restricted from walking alone) tries to get out of the bed 20, the imaging device 104 captures an image. Based on the analysis result of the image, it is predicted that the patient 16 will leave the bed, and the communication terminal device 114 will be notified.
図４は、上記監視システム１００の撮像システム１０２、サーバーシステム１１０及びクライアントシステムである通信端末装置１１４による、患者１６の監視を実現するための各部の詳細を示す機能ブロック図である。 FIG. 4 is a functional block diagram showing details of each part for realizing monitoring of the patient 16 by the imaging system 102, the server system 110, and the communication terminal device 114, which is a client system, of the monitoring system 100.
（撮像システム１０２） (Imaging system 102)
撮像デバイス１０４は、撮像システム１０２の撮像制御部１１６によって制御され、設置場所（病室１８）の状況に適した仕様（感度、露出等）に制御され、かつ設定された撮影時間帯（本実施の形態では、２４時間が好ましいが、人を感知して動作（撮影開始）させるようにしてもよい。）が制御される。また、撮像制御部１１６は、撮像デバイス１０４で撮像した画像データを取り込み、演算部１１８へ送出する。 The imaging device 104 is controlled by the imaging control unit 116 of the imaging system 102, and is controlled to specifications (sensitivity, exposure, etc.) appropriate for the conditions of the installation location (hospital room 18), and the set imaging time period (24 hours is preferable in this embodiment, but it may also be set to detect a person and start operation (start imaging)). The imaging control unit 116 also takes in image data captured by the imaging device 104 and sends it to the calculation unit 118.
演算部１１８では、画像データに基づいて、マーカー１４の配列パターンを解析（演算）し、患者１６の状態を判別する。 The calculation unit 118 analyzes (calculates) the arrangement pattern of the markers 14 based on the image data, and determines the condition of the patient 16.
演算部１１８は保持・比較部１２０に接続されており、判別情報（患者１６の状態）を保持・比較部１２０へ送出する。 The calculation unit 118 is connected to the holding/comparing unit 120 and sends the discrimination information (the condition of the patient 16) to the holding/comparing unit 120.
保持・比較部１２０では、受け付けた判別情報を蓄積して保持すると共に、時系列に保持していく判別情報を前回保持した判別情報と比較して、変化の有無を判断する。 The storage and comparison unit 120 accumulates and stores the received discrimination information, and compares the discrimination information stored in chronological order with the previously stored discrimination information to determine whether there has been a change.
保持・比較部１２０において、判別情報に変化があった場合に、第１送受信部１２２へ通知する。第１送受信部１２２は、時間軸に沿った変化の前後の画像データをサーバーシステム１１０の第２送受信部１２４へ送出する。すなわち、撮像システム１０２では、就寝中の患者１６に動きがあったときのみ、患者１６の識別情報、及び動きがあった前後の画像データ（ログデータ）をサーバーシステム１１０へ通知するようになっている。 The holding/comparing unit 120 notifies the first transmitting/receiving unit 122 when there is a change in the discrimination information. The first transmitting/receiving unit 122 sends the image data before and after the change along the time axis to the second transmitting/receiving unit 124 of the server system 110. That is, the imaging system 102 notifies the server system 110 of the identification information of the patient 16 and the image data (log data) before and after the movement occurs only when there is movement of the sleeping patient 16. There is.
（サーバーシステム１１０） (Server system 110)
サーバーシステム１１０は、画像記録部１２６を備えており、第２送受信部１２４で受信した、患者１６の識別情報及び変化前後の画像データ（ログデータ）を時系列に記録する。 The server system 110 includes an image recording unit 126, and records in chronological order the identification information of the patient 16 and the image data before and after the change (log data) received by the second transmitting/receiving unit 124.
画像記録部１２６は、変化量比較部１２８に接続されている。変化量比較部１２８では、画像記録部１２６に時系列に記録されているログデータの内、患者１６の変化前後の画像データを解析し、特徴的な変化が発生しているか否かを判断する。 The image recording section 126 is connected to a change amount comparison section 128. The change amount comparison unit 128 analyzes the image data before and after the change in the patient 16, out of the log data recorded in chronological order in the image recording unit 126, and determines whether or not a characteristic change has occurred. .
特徴的な変化とは、患者１６が離床して、歩き出そうとするときの動作の変化を言う。 The characteristic change refers to a change in movement when the patient 16 gets out of bed and tries to walk.
変化量比較部１２８は、第３送受信部１３０に接続されており、特徴的な変化が有りと判断された場合は、画像記録部１２６に緊急通知を出力すると共に、第３送受信部１３０に、離床予兆情報を出力する。 The change amount comparison unit 128 is connected to the third transmission/reception unit 130, and if it is determined that a characteristic change has occurred, it outputs an emergency notification to the image recording unit 126 and outputs bed exit indication information to the third transmission/reception unit 130.
緊急通知を受けた画像記録部１２６は、特徴的な変化有りと判断されるに至ったログデータを第３送受信部１３０へ送出する。 The image recording unit 126 that has received the emergency notification sends the log data that has been determined to have a characteristic change to the third transmitting/receiving unit 130.
第３送受信部１３０では、変化量比較部１２８から受信した離床予兆情報と、ログデータとをセットとして、通信端末装置１１４の第４送受信部１３２へ送信する。 The third transmitting/receiving section 130 transmits the bed leaving sign information received from the change amount comparing section 128 and the log data as a set to the fourth transmitting/receiving section 132 of the communication terminal device 114 .
（通信端末装置１１４「クライアントシステム」） (Communication terminal device 114 “client system”)
クライアントシステムとしての通信端末装置１１４は、ユーザインターフェイス１３４を有している。ユーザインターフェイス１３４は、タッチパネルで構成されており、第４送受信部１３２で受信した離床予兆情報及びログデータを受信すると、必要に応じてアラーム音を出力すると共に、離床予兆情報及びログデータがタッチパネルに表示される。 The communication terminal device 114 as a client system has a user interface 134. The user interface 134 is configured with a touch panel, and upon receiving the bed leaving sign information and log data received by the fourth transmitting/receiving unit 132, it outputs an alarm sound as necessary, and displays the bed leaving sign information and log data on the touch panel. Is displayed.
ユーザインターフェイス１３４（タッチパネル）への表示及びアラーム音の出力を契機として、通信端末装置１１４を所持する看護師２２は、ログデータから患者１６を識別し、病室１８に急行する。これにより、患者１６が歩き出す前に病室１８に到着する確率を極めて高くすることができる。 Triggered by the display on the user interface 134 (touch panel) and the output of the alarm sound, the nurse 22 in possession of the communication terminal device 114 identifies the patient 16 from the log data and rushes to the hospital room 18. This makes it possible to extremely increase the probability that the patient 16 will arrive at the hospital room 18 before walking out.
以下に本実施の形態の作用を図５～図７のフローチャートに従い説明する。 The operation of this embodiment will be explained below with reference to the flowcharts in Figures 5 to 7.
図５～図７は、本実施の形態の監視システム１００を用いて実行し得る複数の監視モードの内、メインモードとなる通常監視モードの処理の流れについて説明したものである。 5 to 7 explain the processing flow of the normal monitoring mode, which is the main mode, among the plurality of monitoring modes that can be executed using the monitoring system 100 of this embodiment.
（撮像システム１０２の動作制御） (Operation control of imaging system 102)
図５は、撮像システム１０２における撮像制御ルーチンを示すフローチャートである。 FIG. 5 is a flowchart showing an imaging control routine in the imaging system 102.
ステップ１５０では、撮像デバイス１０４から画像データを取り込み、次いで、ステップ１５２へ移行して画像データに基づき、マーカー１４の配列パターン等を解析（演算）し、患者１６の状態を判別する。 In step 150, image data is captured from the imaging device 104, and then the process proceeds to step 152, where the arrangement pattern of the markers 14, etc., is analyzed (calculated) based on the image data to determine the condition of the patient 16.
次のステップ１５４では、判別情報を保持し、次いで、ステップ１５６へ移行して、前回保持した患者１６の状態から、現在の状態が変化しているか否かを判断する。 In the next step 154, the discrimination information is stored, and then the process proceeds to step 156 to determine whether the current condition of the patient 16 has changed from the previously stored condition.
このステップ１５６で肯定判定されると、ステップ１５８へ移行して、サーバーシステム１１０へログデータを出力し、ステップ１６０へ移行する。 If an affirmative determination is made in step 156, the process proceeds to step 158, where the log data is output to the server system 110, and the process proceeds to step 160.
また、ステップ１５６で否定判定された場合は、ステップ１６０へ移行する。 Further, if a negative determination is made in step 156, the process moves to step 160.
ステップ１６０では、監視を継続するか否かを判断する。ステップ１６０で否定判定されると、ステップ１５０へ戻り、上記工程を繰り返す。また、ステップ１６０で肯定判定された場合は、このルーチンは終了し、監視システム１００の機能が停止する。 In step 160, it is determined whether or not to continue monitoring. If the determination in step 160 is negative, the process returns to step 150 and the above process is repeated. If the determination in step 160 is positive, the routine ends and the function of the monitoring system 100 is stopped.
なお、監視システム１００において、２４時間監視する場合は、ステップ１６０の判定は常に「Ｎｏ」であるが、予め監視時間帯を設定した場合、或いは、一定時間毎に監視する場合等では、肯定判定される場合がある。 Note that in the case of 24-hour monitoring in the monitoring system 100, the determination in step 160 is always "No," but in the case where a monitoring time period is set in advance or when monitoring is performed at regular intervals, an affirmative determination is made. may be done.
（サーバーシステム１１０の動作制御） (Operation control of server system 110)
図６は、サーバーシステム１１０における監視制御ルーチンを示すフローチャートである。 FIG. 6 is a flowchart showing a monitoring control routine in the server system 110.
ステップ１７０では、撮像システム１０２からログデータを受信したか否かを判断し、肯定判定されると、ステップ１７２へ移行して、ログデータを時系列に記録し、ステップ１７４へ移行する。 In step 170, it is determined whether or not log data has been received from the imaging system 102. If an affirmative determination is made, the process proceeds to step 172, where the log data is recorded in chronological order, and the process proceeds to step 174.
ステップ１７４では、変化量比較部１２８において、患者１６の変化前後の画像データを解析する。 In step 174, the change comparison unit 128 analyzes the image data of the patient 16 before and after the change.
次のステップ１７６では、ステップ１７４での解析の結果、特徴的な変化（一人で歩き出そうとする予兆等）があった否かを判断する。 In the next step 176, it is determined whether the analysis in step 174 has revealed any characteristic changes (such as signs that the person is about to start walking on their own).
このステップ１７６で否定判定された場合は、患者１６はベッド２０から離床することはないと判断し、ステップ１７０へ戻る。また、ステップ１７６で肯定判定された場合は、患者１６がベッド２０から離床する予兆の動作をしていると判断し、ステップ１７８へ移行する。 If a negative determination is made in step 176, it is determined that the patient 16 will not leave the bed 20, and the process returns to step 170. Further, if an affirmative determination is made in step 176, it is determined that the patient 16 is making a movement that indicates that the patient 16 will leave the bed 20, and the process proceeds to step 178.
ステップ１７８では、変化量比較部１２８から画像記録部１２６へ緊急通知し、次いで、ステップ１８０へ移行して、画像記録部１２６から関連するログデータを読み出し、ステップ１８２へ移行する。 In step 178, the change comparison unit 128 issues an emergency notification to the image recording unit 126, and then the process proceeds to step 180, where related log data is read from the image recording unit 126, and the process proceeds to step 182.
ステップ１８２では、通信端末装置１１４へ、ログデータと離床予兆情報を出力し、ステップ１７０へ戻り、上記工程を繰り返す。 In step 182, log data and bed leaving sign information are output to the communication terminal device 114, and the process returns to step 170 to repeat the above steps.
（通信端末装置１１４（クライアントシステム）の動作制御） (Operation control of communication terminal device 114 (client system))
図７は、通信端末装置１１４における、通知制御ルーチンを示すフローチャートである。 FIG. 7 is a flowchart showing a notification control routine in the communication terminal device 114.
ステップ１９０では、ログデータ及び離床予兆情報を受信したか否かを判断する。このステップ１９０で肯定判定された場合は、ステップ１９２へ移行して、通信端末装置１１４の出力デバイス（スピーカ等）からアラームを出力する。なお、出力デバイスは、スピーカ等による聴覚信号に限らず、例えば、バイブレータ等の振動による触感信号であってもよいし、ＬＥＤ光源等の点灯又は点滅による視覚信号であってもよい。必要に応じて、その他の五感（嗅覚、味覚）を利用してもよい。また、アラームは特定の通信端末装置１１４（患者１６を担当している看護師２２が所持する通信端末装置１１４）に限定せず、複数の通信端末装置１１４に通知したり、ナースステーション２１の管理ＰＣ等に通知してもよい。 In step 190, it is determined whether log data and bed leaving sign information have been received. If an affirmative determination is made in step 190, the process moves to step 192, and an alarm is output from the output device (speaker, etc.) of the communication terminal device 114. Note that the output device is not limited to an auditory signal from a speaker or the like, but may also be a tactile signal from a vibrator or the like, or a visual signal from a lighting or blinking LED light source. Other five senses (smell, taste) may be used as needed. Furthermore, the alarm is not limited to a specific communication terminal device 114 (the communication terminal device 114 owned by the nurse 22 in charge of the patient 16), but can be sent to a plurality of communication terminal devices 114 or to the management of the nurse station 21. It may also be notified to a PC or the like.
次のステップ１９４では、通信端末装置１１４にログデータ及び離床予兆情報を表示し、次いで、ステップ１９６へ移行して患者１６を識別し、ステップ１９８へ移行する。 In the next step 194, the log data and bed exit indicator information are displayed on the communication terminal device 114, and then the process proceeds to step 196 to identify the patient 16, and then to step 198.
ステップ１９８では、情報確認リセット等の操作があったか否かを判断し、否定判定された場合は、ステップ１９２のアラーム出力及びステップ１９４の情報表示を継続する。 In step 198, it is determined whether an operation such as an information confirmation reset has been performed, and if the determination is negative, the alarm output in step 192 and the information display in step 194 are continued.
また、ステップ１９８で肯定判定された場合は、ステップ１９９へ移行して、アラーム出力及び情報表示をリセットし、ステップ１９０へ戻る。 Further, if an affirmative determination is made in step 198, the process proceeds to step 199, where the alarm output and information display are reset, and the process returns to step 190.
以上説明したように本実施の形態では、ＩＲ反射染料等、非可視のマーカー１４を寝具１２に取り付け、撮像デバイス（赤外線カメラ等）１０４によって、ベッド２０に横たわっている患者１６を撮像することで、消灯状態となっている病室１８において、マーカー１４の位置を確実に撮像することができ、このマーカー１４の配列パターンの変化に基づいて、患者１６がベッド２０から離床し、歩き出そうとしている予兆動作を判別して、看護師２２へ通知するようにした。これにより、一人で歩くことが制限されている患者１６が離床する前に、看護師２２を向かわせることが可能となる。 As described above, in this embodiment, invisible markers 14, such as IR reflective dyes, are attached to the bedding 12, and an image of the patient 16 lying in bed 20 is captured by an imaging device (infrared camera, etc.) 104, so that the position of the markers 14 can be reliably captured in an unlit hospital room 18. Based on changes in the arrangement pattern of the markers 14, the system is able to determine the signs that the patient 16 is about to get out of bed 20 and start walking, and notify the nurse 22. This makes it possible to send a nurse 22 to the bed before the patient 16, who has restrictions on walking alone, gets out of bed.
（変形例） (Modified example)
本実施の形態では、監視システム１００を用いて実行し得る監視モードの内、通常監視モードの処理の流れを説明した。これは、監視システム１００の全体の流れとして、以下の（ａ）に示すように、図５～図７のａ１～ａ１１に示した順序で処理が実行されることになる。 In this embodiment, the flow of processing in the normal monitoring mode among the monitoring modes that can be executed using the monitoring system 100 has been described. As the overall flow of the monitoring system 100, the processes are executed in the order shown in a1 to a11 in FIGS. 5 to 7, as shown in (a) below.
（ａ）通常監視モード (a) Normal monitoring mode
撮像デバイス１０４で撮像した画像を解析するための撮像制御部１１６を介して演算部１１８へ送り（ａ１）、保持・比較部１２０で演算結果を保持し（ａ２）、第１送受信部１２２へ送出することで（ａ３）、サーバーシステム１１０の第２送受信部１２４へ送信する（ａ４）。 The image captured by the imaging device 104 is sent to the calculation unit 118 via the imaging control unit 116 for analysis (a1), the calculation result is stored in the storage/comparison unit 120 (a2), and sent to the first transmission/reception unit 122 (a3), which then transmits it to the second transmission/reception unit 124 of the server system 110 (a4).
第２送受信部１２４は、受信した解析画像を画像記録部１２６へ送り（ａ５）、変化量比較部１２８と連携して、離床の予測を行う（ａ６）。 The second transmitting/receiving unit 124 sends the received analysis image to the image recording unit 126 (a5), and predicts bed leaving in cooperation with the change amount comparing unit 128 (a6).
離床の可能性がある場合は、変化量比較部１２８から画像記録部１２６と第３送受信部１３０へ通知し（ａ７）、及び、変化量比較部１２８から画像記録部１２６への返信で、画像記録部１２６からログデータを第３送受信部１３０へ出力し（ａ８、ａ９）、通信端末装置１１４の第４送受信部１３２へ送信する（ａ１０）。 If there is a possibility of getting out of bed, the change amount comparison unit 128 notifies the image recording unit 126 and the third transmitting/receiving unit 130 (a7), and the change amount comparison unit 128 sends a reply to the image recording unit 126 to record the image. The log data is output from the recording unit 126 to the third transmitting/receiving unit 130 (a8, a9), and is transmitted to the fourth transmitting/receiving unit 132 of the communication terminal device 114 (a10).
第４送受信部１３２では受信した解析画像と通知をユーザインターフェイス１３４へ送り、通信端末装置１１４を所持する看護師２２等へ、離床の可能性があることを通知する。 The fourth transmitting/receiving unit 132 sends the received analysis image and notification to the user interface 134, and notifies the nurse 22 or the like who has the communication terminal device 114 that there is a possibility of leaving the bed.
これに対して、変形例では、当該通常監視モードとの並行処理として、又は通常監視モードに代えて、画像監視モード及び任意監視モードを実行することができる。 On the other hand, in a modified example, the image monitoring mode and the arbitrary monitoring mode can be executed as parallel processing with the normal monitoring mode or in place of the normal monitoring mode.
以下に各モードを変形例として示す。 Each mode is shown below as a modified example.
「変形例１：画像監視モード」 “Modification 1: Image monitoring mode”
画像監視モードは、通常監視モードに加え、離床の可能性があるときに、撮像デバイスで撮像している画像を、看護師が所持する通信端末装置へ送信するモードである。 In addition to the normal monitoring mode, the image monitoring mode is a mode in which images captured by an imaging device are transmitted to a communication terminal device owned by the nurse when there is a possibility of the nurse leaving the bed.
変形例１に係る画像監視モードでは、サーバーシステム１１０の変化量比較部１２８において、特徴的な変化が有りと判断された場合に、第２送受信部１２４へ離床予兆情報を出力する（図４の点線ｂ１参照）。 In the image monitoring mode according to the first modification, when the change amount comparing unit 128 of the server system 110 determines that there is a characteristic change, the bed leaving sign information is output to the second transmitting/receiving unit 124 (see FIG. 4). (See dotted line b1).
第２送受信部１２４は、撮像システム１０２の第１送受信部１２２へ離床予兆情報を出力する（図４の点線ｂ２参照）。 The second transmitter/receiver 124 outputs the bed leaving sign information to the first transmitter/receiver 122 of the imaging system 102 (see dotted line b2 in FIG. 4).
第１送受信部１２４は、この離床予兆情報を受けて、撮像制御部１１６からリアルタイムに撮像している画像データを取得し（図４のｂ３、ｂ４参照）、サーバーシステム１１０の第２送受信部１２４へ返信する（図４のｂ５参照）。 Upon receiving this bed exit indication information, the first transceiver 124 acquires image data captured in real time from the imaging control unit 116 (see b3 and b4 in FIG. 4) and returns the data to the second transceiver 124 of the server system 110 (see b5 in FIG. 4).
第２送受信部１２４は、第３送受信部１３０を介して（図４のｂ６参照）、通信端末装置１１４の第４送受信部１３２へ画像データを出力し（図４のｂ７参照）、ユーザインターフェイス１３４に患者１６の状態をリアルタイムに表示する（図４のｂ８参照）。 The second transmitting/receiving section 124 outputs the image data to the fourth transmitting/receiving section 132 of the communication terminal device 114 (see b7 in FIG. 4) via the third transmitting/receiving section 130 (see b6 in FIG. 4), and outputs the image data to the user interface 134. The condition of the patient 16 is displayed in real time (see b8 in FIG. 4).
「変形例２：任意監視モード」 "Variation 2: Optional monitoring mode"
任意監視モードは、単純に撮像デバイスで撮像した画像を、看護師２２の判断により、通信端末装置１１４で閲覧するモードである。 The optional monitoring mode is a mode in which images captured by an imaging device are simply viewed on the communication terminal device 114 based on the judgment of the nurse 22.
看護師２２が、通信端末装置１１４のユーザインターフェイス１３４を操作して、画像データの要求を指示すると、当該要求が第４送受信部１３２を介して、サーバーシステム１１０の第３送受信部１３０へ通知される（図４のｃ１、ｃ２参照）。 When the nurse 22 operates the user interface 134 of the communication terminal device 114 to instruct a request for image data, the request is notified to the third transmitting/receiving section 130 of the server system 110 via the fourth transmitting/receiving section 132. (See c1 and c2 in Figure 4).
第３送受信部１３０では、第２送受信部１２４を介して、撮像システム１０２の第１送受信部１２２へ要求通知を伝達する（図４のｃ３、ｃ４参照）。 The third transmitter/receiver 130 transmits the request notification to the first transmitter/receiver 122 of the imaging system 102 via the second transmitter/receiver 124 (see c3 and c4 in FIG. 4).
第１送受信部１２４は、この画像データの要求指示を受けて、撮像制御部１１６からリアルタイムに撮像している画像データを取得し（図４のｃ５、ｃ６参照）、サーバーシステム１１０の第２送受信部１２４へ返信する（図４のｃ７参照）。 In response to this image data request instruction, the first transmitting/receiving unit 124 acquires the image data being captured in real time from the imaging control unit 116 (see c5 and c6 in FIG. 4), and the second transmitting/receiving unit 124 of the server system 110 124 (see c7 in FIG. 4).
第２送受信部１２４は、第３送受信部１３０を介して（図４のｃ８参照）、通信端末装置１１４の第４送受信部１３２へ画像データを出力し（図４のｃ９参照）、ユーザインターフェイス１３４に患者１６の状態をリアルタイムに表示する（図４のｃ１０参照）。 The second transmitter/receiver 124 outputs the image data to the fourth transmitter/receiver 132 of the communication terminal device 114 (see c9 in FIG. 4) via the third transmitter/receiver 130 (see c8 in FIG. 4), and outputs the image data to the user interface 134. The condition of the patient 16 is displayed in real time (see c10 in FIG. 4).
なお、本発明の監視システムは、実施の形態（変形例を含む）で説明した以外にも様々な状況等に応じて、適用することが可能である。また、適用する状況によっては、主たる目的及び効果以外の効果を得ることができる。以下に、その適用例及び作用効果を列挙する。 Note that the monitoring system of the present invention can be applied to various situations other than those described in the embodiment (including modifications). Further, depending on the application situation, effects other than the main purpose and effect can be obtained. Below, examples of its application and effects are listed.
（１） 患者１６の離床を予兆し、看護師２２に通知することを前提としているが、例えば、泥酔等、意識がもうろうとして離床しようとしている自分に対して通知するようにしてもよい。意識がはっきりすれば、転倒することなく歩行が可能となる。 (1) It is assumed that the system will notify the nurse 22 when it detects when the patient 16 is about to leave the bed. However, it may also be possible to notify the patient himself/herself when he/she is about to leave the bed while in a state of drowsiness, such as when he/she is completely drunk. Once he/she regains consciousness, he/she will be able to walk without falling.
（２） 一人で歩くことが制限されている監視対象は、病院に入院している患者１６に限らず、自宅での介護を受けている者、乳幼児、ペットであってもよく、見守りは、離床の予兆に限らず、歩行時の姿勢や室内の位置等を把握することにも利用可能である。 (2) Monitored subjects who are restricted from walking alone are not limited to patients 16 admitted to hospitals, but may also be people receiving care at home, infants, and pets. It can be used not only to predict signs of getting out of bed, but also to understand posture when walking, position in the room, etc.
（３） 「パターンの変化が一定の条件を満たしたとき・・・」の定義として、一連の動きの順序、変化量を基準パターンと比較すること以外に、呼吸による寝具の変位、寝返りの回数等を、過去のビッグデータ等と比較して、個人の離床までのパターンを学習し、離床を予兆するようにしてもよい。 (3) In addition to comparing the order of a series of movements and the amount of change with a reference pattern, the definition of "when a change in pattern satisfies certain conditions..." includes the displacement of bedding due to breathing and the number of tossing and turning. etc., may be compared with past big data, etc., to learn the pattern up to when an individual leaves the bed, and to predict the individual's time to leave the bed.
（４） 付加的効果として、例えば、介護施設では、離床を未然に回避するための苦肉の策として、患者の動きを制限する場合があり、本発明の監視システムにより離床を予兆できれば、患者への負担を緩和することができる。 (4) As an additional effect, for example, in nursing care facilities, the movement of patients may be restricted as a last-ditch measure to prevent them from leaving the bed, and if the monitoring system of the present invention can predict the patient's departure from the bed, it will reduce the burden on the patient. can be alleviated.
（５） マーカー１４によって、寝具１２のデザイン性を損なわないための手段として、赤外線等を反射する非可視部材を用いたが、撮像側で、特定の色のみを抽出可能な機能を持たせることで、当該特定の色と、周囲の異なる色とを違和感なく混在させて、特定の色で定めたパターン（デザイン性のあるパターン）を形成すれば、非可視である必要はない。 (5) In order to prevent the marker 14 from impairing the design of the bedding 12, an invisible member that reflects infrared rays is used, but the imaging side should have a function that allows extraction of only a specific color. However, if a pattern (a pattern with good design) defined by the specific color is formed by mixing the specific color with different surrounding colors without any discomfort, it does not need to be invisible.
１２ 寝具
１２Ａ パジャマ
１２Ｂ 布団
１２Ｃ 枕
１４（１４Ａ、１４Ｂ、１４Ｃ） マーカー（標識部）
１６ 患者
１８ 病室
１８Ａ 天井面
２０ ベッド
２１ ナースステーション
２２ 看護師
１００ 監視システム(監視部)
１０２ 撮像システム（撮像部)
１０４ 撮像デバイス
１０６ 制御部
１０８ ネットワーク
１１０ サーバーシステム
１１４ 通信端末装置
１１６ 撮像制御部
１１８ 演算部
１２０ 保持・比較部（解析部）
１２２ 第１送受信部
１２４ 第２送受信部
１２６ 画像記録部
１２８ 変化量比較部（予測部）
１３０ 第３送受信部
１３２ 第４送受信部
１３４ ユーザインターフェイス（通知部）
12 Bedding 12A Pajamas 12B Futon 12C Pillow 14 (14A, 14B, 14C) Marker (marker)
16 Patient 18 Hospital room 18A Ceiling surface 20 Bed 21 Nurse station 22 Nurse 100 Monitoring system (monitoring department)
102 Imaging system (imaging unit)
104 Imaging device 106 Control unit 108 Network 110 Server system 114 Communication terminal device 116 Imaging control unit 118 Arithmetic unit 120 Holding/comparison unit (analysis unit)
122 First transmitting/receiving section 124 Second transmitting/receiving section 126 Image recording section 128 Change amount comparison section (prediction section)
130 Third transmitting/receiving section 132 Fourth transmitting/receiving section 134 User interface (notification section)
Claims (7)
前記注目対象物を含む画角の画像を撮像して画像信号を出力する撮像部と、
前記撮像部から出力した画像信号から、前記標識部を識別することで、前記監視対象の動作を監視する監視部とを有し、
前記監視部が、
前記撮像部で撮像された画像の時系列の前記標識部の位置の変位を解析する解析部と、
前記解析部による解析結果に基づき、現状からの前記監視対象の動きを予測する予測部と、
前記予測部で予測した動きの変化が、一定の条件を満たしたときに、少なくとも予測結果を監視者に通知する通知部とを備え、
前記標識部を取り付ける注目対象物が複数存在し、
前記注目対象物の種類、及び表裏毎に異なる形状の前記標識部が取り付けられている、
監視装置。 a marker unit that is attached to an object of interest that deforms in accordance with the movement of the object to be monitored, and that is displaced in accordance with the deformation of the object of interest;
an imaging unit that captures an image with an angle of view that includes the object of interest and outputs an image signal;
a monitoring unit that monitors the operation of the monitoring target by identifying the marker unit from the image signal output from the imaging unit;
The monitoring unit,
an analysis unit that analyzes displacement of the position of the marker unit in time series of images captured by the imaging unit;
a prediction unit that predicts the movement of the monitoring target from the current state based on the analysis result by the analysis unit;
and a notification unit that notifies at least a prediction result to a monitor when the change in movement predicted by the prediction unit satisfies a certain condition,
There are multiple objects of interest to which the sign portion is attached,
The marking portions are attached with different shapes depending on the type of the object of interest and on the front and back sides,
monitoring equipment.
就床中の監視対象の動作から、離床を検知する監視方法であって、 A monitoring method for detecting leaving bed from the behavior of a monitored object while sleeping, the method comprising:
前記撮像部で撮像して出力した出力信号を解析して、前記標識部の変位を識別し、 Analyzing the output signal captured and output by the imaging unit to identify the displacement of the marking unit,
前記標識部の変位状態から、就床中の監視対象の状態を判別し、 Determining the state of the monitoring target while sleeping from the displacement state of the indicator part,
前記監視対象の状態の変化が、一定の条件を満たしたときに、監視者に通知する、 Notifying a monitor when a change in the state of the monitored object satisfies a certain condition;
監視方法。Monitoring methods.
請求項１～請求項４の何れか１項記載の監視装置の前記監視部として動作させる、 operating as the monitoring unit of the monitoring device according to any one of claims 1 to 4;
監視プログラム。 monitoring program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020023491A JP7458813B2 (en) | 2020-02-14 | 2020-02-14 | Monitoring device, monitoring method, monitoring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020023491A JP7458813B2 (en) | 2020-02-14 | 2020-02-14 | Monitoring device, monitoring method, monitoring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021128602A JP2021128602A (en) | 2021-09-02 |
| JP7458813B2 true JP7458813B2 (en) | 2024-04-01 |
Family
ID=77488674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020023491A Active JP7458813B2 (en) | 2020-02-14 | 2020-02-14 | Monitoring device, monitoring method, monitoring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7458813B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014130438A (en) | 2012-12-28 | 2014-07-10 | Fujitsu Ltd | Image processing program, image processing method, and image processing apparatus |
| JP2018010366A (en) | 2016-07-11 | 2018-01-18 | 株式会社ディスコ | Management system |
-
2020
- 2020-02-14 JP JP2020023491A patent/JP7458813B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014130438A (en) | 2012-12-28 | 2014-07-10 | Fujitsu Ltd | Image processing program, image processing method, and image processing apparatus |
| JP2018010366A (en) | 2016-07-11 | 2018-01-18 | 株式会社ディスコ | Management system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021128602A (en) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10904492B2 (en) | Video monitoring system | |
| US20230222887A1 (en) | Machine learning based monitoring system | |
| US10004447B2 (en) | Systems and methods for collecting and displaying user orientation information on a user-worn sensor device | |
| KR101999934B1 (en) | Display control device, display control system, display control method, display control program, recording medium | |
| CA2926709C (en) | Pressure ulcer detection methods, devices and techniques | |
| JP6915421B2 (en) | Watching support system and its control method | |
| EP2747651B1 (en) | Device and method for monitoring movement and orientation of the device | |
| JP7061861B2 (en) | Monitoring system to prevent SIDS | |
| JP6822328B2 (en) | Watching support system and its control method | |
| KR101712191B1 (en) | Patient Fall Prevention Monitoring Device | |
| WO2020145380A1 (en) | Care recording device, care recording system, care recording program, and care recording method | |
| WO2017183602A1 (en) | Monitoring-subject monitoring system and method for monitoring subject | |
| WO2017108547A1 (en) | Device, method and computer program product for continuous monitoring of vital signs | |
| Adolf et al. | Deep neural network based body posture recognitions and fall detection from low resolution infrared array sensor | |
| JP2020113016A (en) | Watching system, watching method, and program | |
| JP7458813B2 (en) | Monitoring device, monitoring method, monitoring program | |
| WO2020145130A1 (en) | Monitoring system, monitoring method, and program | |
| JP6908028B2 (en) | Observer monitoring device, method, system and program | |
| JP7026740B2 (en) | Systems and methods for monitoring position safety | |
| JPH11316820A (en) | Behavior measuring method, behavior measuring instrument, controller, electronic device and recording medium | |
| JP2005004787A (en) | Action measuring instrument, electronic apparatus and recording medium | |
| JP2020113243A (en) | Watching system, watching method, program, and method for generating learned model | |
| MOSHNYAGA et al. | Low-cost assistive technologies for in-home caregivers of people with dementia | |
| CN116709183A (en) | Behavior recognition system based on IOT positioning and wearing device | |
| KR20210123046A (en) | An Elderly Care Device Using Thermal Image Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7458813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |