JP2017205531A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2017205531A
JP2017205531A JP2017121640A JP2017121640A JP2017205531A JP 2017205531 A JP2017205531 A JP 2017205531A JP 2017121640 A JP2017121640 A JP 2017121640A JP 2017121640 A JP2017121640 A JP 2017121640A JP 2017205531 A JP2017205531 A JP 2017205531A
Authority
JP
Japan
Prior art keywords
space
evaluation
user
sensor
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017121640A
Other languages
English (en)
Inventor
淳史 田中
Junji Tanaka
淳史 田中
久美子 石田
Kumiko Ishida
久美子 石田
徹 宮越
Toru Miyakoshi
徹 宮越
チオリ 齋藤
Chiori Saito
チオリ 齋藤
倫代 小川
Michiyo Ogawa
倫代 小川
政一 関口
Masaichi Sekiguchi
政一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2017205531A publication Critical patent/JP2017205531A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61DBODY DETAILS OR KINDS OF RAILWAY VEHICLES
    • B61D37/00Other furniture or furnishings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015By temperature mapping of body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • A61B5/4266Evaluating exocrine secretion production sweat secretion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843Monitoring or controlling sensor contact pressure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Mechanical Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】使い勝手のよい電子機器を提供する。
【解決手段】複数のユーザが存在できる空間内において、ユーザの生体情報の変化を生体センサ(30)から取得する取得装置(43)と、前記空間に関する検出及び前記空間を形成する物体(200)に関する検出の少なくとも一方を行う検出装置(10,20)と、前記取得装置の取得結果と、前記検出装置の検出結果とに基づいて、前記空間内に関する評価及び前記空間を形成する物体に関する評価の少なくとも一方を行う評価装置(43)と、を備えた使い勝手のよい電子機器を提供する。
【選択図】図2

Description

本発明は、電子機器に関する。
ユーザの生理指標とユーザの申告情報とから心理状態を判定して、機器の制御を行う装置が提案されている(例えば、特許文献1)。
特開2008−497号公報
しかしながら、従来の装置では、ユーザが申告操作をしなければならず、使い勝手がよい装置とはいえなかった。
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。
本発明の電子機器は、複数のユーザが存在できる空間内において、ユーザの生体情報の変化を生体センサから取得する取得装置と、前記空間に関する検出及び前記空間を形成する物体に関する検出の少なくとも一方を行う検出装置と、前記取得装置の取得結果と、前記検出装置の検出結果とに基づいて、前記空間内に関する評価及び前記空間を形成する物体に関する評価の少なくとも一方を行う評価装置と、を備えた電子機器である。
この場合において、前記空間を形成する物体は、移動可能な移動装置であってもよい。この場合、前記評価装置は、前記移動装置全体と、前記移動装置の一部の少なくとも一方の評価を行うこととしてもよい。また、前記評価装置は、前記移動装置の移動区間に応じて前記移動装置の評価を行うこととしてもよい。更に、電子機器は、前記評価装置の評価結果に基づいて、前記移動装置を制御する制御装置を備えていてもよい。この場合、前記制御装置は、前記移動装置の一部の制御を行うこととしてもよい。また、前記検出装置は、前記移動装置の速度を検出する速度センサを含むこととしてもよい。また、前記検出装置は、前記移動装置の振動を検出する振動センサを含むこととしてもよい。
本発明の電子機器では、前記検出装置は、前記空間内の環境を検出する環境センサを含むこととしてもよい。また、前記検出装置は、前記空間内の音の大きさを検出する音量計を含むこととしてもよい。
また、本発明の電子機器では、前記生体センサは、前記ユーザと接触する接触部を有し、前記取得装置は、前記接触部の出力を取得し、前記評価装置は、前記接触部の出力から得られる前記ユーザの有無に関する情報に基づいて前記評価を行うこととしてもよい。また、前記生体センサは、第1の姿勢のユーザを検出する第1接触部と、前記第1の姿勢とは異なる第2の姿勢のユーザを検出する第2接触部とを有し、前記取得装置は、前記第1、第2接触部の出力を取得し、前記評価装置は、前記第1、第2接触部の出力から得られるユーザの姿勢に基づいて前記評価を行うこととしてもよい。
また、本発明の電子機器では、前記空間内の混雑具合を検出する混雑検出装置を備えていてもよい。この場合、前記混雑検出装置は、前記空間内を上方から撮像する撮像部を有していてもよい。また、前記混雑検出装置は、前記ユーザに付随する物体の画像データを記憶する記憶部と、前記空間内を撮像する撮像部と、を有し、前記撮像部が撮像した結果と、前記画像データとに基づいて前記空間内の混雑具合を検出することとしてもよい。この場合、前記撮像部は、前記空間内を上方から撮像し、前記ユーザに付随する物体の画像データは、前記物体を上方から見た状態の画像データであることとしてもよい。
また、本発明の電子機器は、ユーザの生体情報を生体センサから取得する取得装置と、前記取得装置とは異なり、前記ユーザを特定する特定装置と、前記特定装置の特定結果に基づいて、前記取得装置の取得結果を端末機器に送信する送信装置と、を備えている。
本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。
一実施形態に係るユーザ評価システムが搭載された車両内の一部の状態を示す図である。 ユーザ評価システムの構成を示すブロック図である。 LED、フォトダイオード、発汗センサが設けられたつり革を示す図である。 ユーザ評価システムのCPUによる処理を示すフローチャートである。 車両内ログを示す図である。 センサログを示す図である。 不快理由判定テーブルを示す図である。 車両センサログを示す図である。 不満原因判定テーブルを示す図である。 評価ログを示す図である。 評価表を示す図である。
以下、一実施形態に係るユーザ評価システム100について、図1〜図11に基づいて、詳細に説明する。本実施形態のユーザ評価システム100は、電車、バスや飛行機などの乗り物での乗客の満足度・不満度(不快度)などの評価に適用することができる。以下、ユーザ評価システム100を電車において適用した場合について、詳細に説明する。
図1には、ユーザ評価システム100が搭載された車両200内の一部の状態が示されている。また、図2には、ユーザ評価システム100の構成がブロック図にて示されている。
ユーザ評価システム100は、図2に示すように、情報入出力部10、ジェスチャー検出部20、生体センサ部30、制御部40を有している。以下、各部について詳細に説明する。
(情報入出力部10)
情報入出力部10は、図1に示すように、車両200内の天井部に設けられている。この情報入出力部10は、図2に示すように、撮像部11と、スピーカ12と、マイク13と、車両センサ14と、を有する。
撮像部11は、撮影レンズ、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、及び撮像素子を制御する制御回路などを有しており、車両200内の天井からの撮像により、例えば乗客の頭部を撮像する。撮像部11により撮像された画像は、CPU43に送信され、CPU43では当該画像を用いて車両内の混雑具合を算出したりする。
スピーカ12は、車内アナウンスを行うためのスピーカであり、CPU43の指示に応じた音声を出力する。
マイク13は、車内の音声や騒音を集音して、集音した音声や騒音の大きさ(dB)をCPU43に対して出力するものである。なお、制御部40に、音声認識辞書を用いた音声認識を行う音声認識部を設け、当該音声認識部により、マイク13が集音した音声を認識するようにしてもよい。
車両センサ14は、温度計、湿度計、振動センサ、速度計、加速度計、及びGPSモジュールなどを有する。温度計及び湿度計は、車両200内の温度や湿度を検出する。なお、温度計と湿度計とを配置する位置や数は任意に設定することができる。また、温度計と湿度計は別体であってもよいが、温度計と湿度計とを一体とした温湿度計を用いることとしてもよい。振動センサは、電車が走行、停止等することで生じる車両の振動を検出するものであり、振動加速度を測定する場合には加速度センサが用いられ、振動角度を測定する場合にはジャイロセンサが用いられる。速度計及び加速度計は、電車の速度及び加速度を検出する。GPSモジュールは、電車の位置(緯度、経度)を検出するものである。なお、GPSモジュールは、電車1台に対して、1つのみ設けることとしてもよい。
なお、情報入出力部10は、車内の広さ、撮像部11の撮像範囲(撮影レンズの画角)、マイク13の集音範囲に応じて複数設けることができる。また、撮像部11、スピーカ12、マイク13は必ずしも一体とする必要はない。また、撮像部11、スピーカ12、マイク13の数についても、各装置の性能に応じて決定することができる。なお、撮像部11を複数設ける場合には、その撮像範囲の一部が重複するようにそれぞれの撮像部11を配置することが好ましい。撮像範囲を重複させることにより、移動する乗客の頭を追跡することができるからである。撮像範囲を重複して頭を追跡することは、本願出願人が先に出願した特願2010−259529号明細書(特開2012−113369号公報)に記載されている。
なお、情報入出力部10には、撮像部11、スピーカ12、マイク13のそれぞれの位置や方向(撮像方向、音声出力方向、集音方向)を調節するための駆動装置(例えばボイスコイルモータ)を設けるようにしてもよい。
(ジェスチャー検出部20)
ジェスチャー検出部20は、乗客が行った行動(つり革を強く握る、貧乏揺すりをするなど)を検出するものであり、圧電センサ21と、圧力センサ22と、を有する。本実施形態のジェスチャー検出部20は、乗客に特定のジェスチャーをしてもらい、そのジェスチャーを検出するというのではなく、車両200内の状況に応じて乗客が行ってしまった行動をジェスチャーとして検出する。すなわち、乗客は意思表示をするために特定のジェスチャーを覚えるなどする必要がない。
圧電センサ21は、図1に示すように、車両200内の床220に設けられている。圧電センサ21は、ピエゾ素子を有し、外部から与えられた力を圧電効果により電圧に変換することで、振動を電気的に検出するものである。圧電センサ21の検出結果は、CPU43に対して出力される。なお、圧電センサ21を分割して床220に複数配置することで、車両200内のどの位置において振動が検出されたかを認識することができる。
圧力センサ22は、歪センサを用いたものや、静電容量の変化から圧力を検出するものなどを採用することができ、図1に示すように、つり革50や手すり230などに設けられている。圧力センサ22の検出結果は、CPU43に対して出力される。
CPU43では、圧力センサ22の出力の有無からつり革50や手すり230に掴まっている人の人数を推定することができ、また、当該推定結果を利用することで車内の混雑具合(乗車率)を推定することができる。また、CPU43は、圧力センサ22の出力から、乗客がつり革や手すりを強く握るなどの通常と異なる握り方(ジェスチャー)をしているかどうかを判別することができ、当該判別結果を利用することで、乗客がストレスを感じているかどうかを推定することができる。
なお、本実施形態では、乗客のプライバシーを保護する観点から撮像部11を車両200の天井部に設けることとしたが、これに限らず、乗客の顔を撮像できる位置に撮像部11を設けることとしてもよい。この場合、CPU43は、撮像部11により撮像された画像中の乗客の表情(苦しい表情、眉間に皺を寄せた表情など)をジェスチャーとして認識するようにしてもよい。かかる場合には、表情に関する画像を予めフラッシュメモリ41に格納しておき、CPU43は、当該表情に関する画像を用いたパターンマッチング等により、乗客の表情を認識するようにすればよい。
(生体センサ部30)
生体センサ部30は、乗客の生体情報を検出するセンサ群であり、つり革50、手すり230、椅子210などに設けられている。生体センサ部30は、乗客の心拍数、血中酸素濃度、血圧などの生体情報を検出するものであり、LED31、フォトダイオード32、発汗センサ33、圧力センサ35を有する。
図3には、LED31、フォトダイオード32、発汗センサ33が設けられたつり革50が示されている。この図3に示すように、LED31、フォトダイオード32、発汗センサ33は、つり革50の手すり部分50aに設けられている。LED31とフォトダイオード32は、手すり部分50aに交互に複数配置され、発汗センサ33は、LED31とフォトダイオード32とを挟むように2つ(1対)設けられている。
LED31とフォトダイオード32は、LED31の照射する光を指に当てたときに反射する光をフォトダイオード32で受光することにより心拍数や血中酸素濃度を検出する。発汗センサ33は、複数の電極により手のインピーダンスを測定して、発汗量を検出する。なお、LED31、フォトダイオード32、発汗センサ33の数や配置は適宜設定することができる。なお、つり革50の手すり部分50aには、前述した圧力センサ22も設けられている。CPU43は、圧力センサ22により乗客がつり革につかまっていることを検出している間だけLED31を発光するようにしてもよい。このようにすることで、LED31による無駄な発光を抑制することができる。
なお、本実施形態においては、図3に示すように生体センサ30の一部と、圧力センサ22を近接配置したが、別々に設けてもよく、また、これらを一つのユニットとしてもよい。
なお、上記においては、つり革50に設けられたLED31、フォトダイオード32、発汗センサ33、及び圧力センサ22について説明したが、手すり230にも、LED31、フォトダイオード32、発汗センサ33、及び圧力センサ22は設けられる。これら手すり230に設けられる各センサの配置や数は、適宜設定することが可能である。
圧力センサ35は、半導体センサや、圧電素子を用いた振動型の圧力センサなどであり、車両200内の椅子(座席)210内部に設けられた流体袋34の内圧を検出するセンサである。流体袋34は、一例として、空気が充填された気体袋であり、尾てい骨あるいは坐骨に接するように椅子210内部に設けられている。椅子210に乗客が座ると、乗客の尾てい骨あるいは坐骨により流体袋34が圧迫された状態となる。この場合、動脈の脈拍が流体袋34に伝わることで、流体袋34の内圧が変化するため、圧力センサ35において当該内圧を検出することで、呼吸や心拍等の生体情報を取得することができる。なお、流体袋34を用いた生体情報の検出については、例えば特許第3906649号(特開2002−345768号公報)に記載されている。
なお、CPU43は、圧力センサ35の出力から、椅子210に乗客が座っているかどうかを検出することもできる。
(制御部40)
制御部40は、フラッシュメモリ41、インタフェース部42、CPU43を有している。
フラッシュメモリ41は、不揮発性のメモリであり、各種プログラムや、後述する不快理由判定テーブル(図7)、不快原因判定テーブル(図9)、などが記憶されている。また、フラッシュメモリ41には、後述する車両内ログ(図5)、センサログ(図6)、車両センサログ(図8)、評価ログ(図10)、評価表(図11)などが記録される。
インタフェース部42は、無線、有線、近距離通信などを用いて、被制御機器60に対する制御信号を送信するものである。ここで、被制御機器60には、車両200に設置された表示部や空調機器、スピーカなどの機器が含まれる。
CPU43は、ユーザ評価システム100全体を制御するものであり、情報入出力部10、ジェスチャー検出部20、生体センサ部30からの出力に基づき、被制御機器60の制御を行ったり、乗客の満足度・不満度(不快度)に関する評価を行ったりするものである。
次に、上記のように構成されるユーザ評価システム100のCPU43の処理について、図4のフローチャートに沿って、詳細に説明する。なお、図4のフローチャートは、ある駅において電車の扉が閉まったことをトリガーとして開始されるものとする。
図4のフローチャートでは、まず、ステップS10において、CPU43が電車の混雑具合を検出する。ここで、CPU43は、図5の車両内ログに示すように、車両毎、所定時間毎に、立っている人の数や、座っている人の数、ベビーカーや車椅子の数、つり革50や手すり230に設けられた圧力センサ22の出力のログをとっているものとする。例えば、立っている人の数は、撮像部11が撮像した画像中に含まれる乗客の頭の数から検出することができる。また、座っている人の数は、圧力センサ35の出力から検出することができる。なお、撮像部11が撮像した画像中に座っている乗客の頭の数が含まれてしまう場合もある。このような場合には、撮像部11が撮像した画像中に含まれる乗客の頭の数から座っている人の数を差し引いた値を、立っている人の数とすればよい。ベビーカーや車椅子の数は、例えば、フラッシュメモリ41にベビーカーや車椅子の参照画像のデータを記憶しておき、当該参照画像と撮像部11が撮像した画像とを比較することで、検出する。
CPU43は、上述した図5に示す車両内ログに基づいて、各車両における混雑具合を検出する。この混雑具合の検出においては、CPU43は、車両内ログの各値を用いた所定の演算(重み付け演算など)を行うことで、混雑具合を検出する。なお、図5では、混雑具合を「非常に混雑」、「混雑」、「非常に空いている」などのランクにて表現している。ただし、これに限られるものではなく、混雑具合を混雑率(輸送人員÷輸送力×100(%))などの数値で表現してもよい。
なお、CPU43は、ステップS10において車両毎に混雑具合を求めた結果、比較的空いている車両がある場合には、混んでいる車両に設置されたスピーカ12や被制御機器60に含まれる表示部を介して、その旨を報知することとしてもよい。
次いで、ステップS12では、CPU43が、生体センサ部30により乗客の生体情報を取得するとともに、ジェスチャー検出部20により乗客の行動情報を取得する。
この場合、CPU43は、立っている人の生体情報を、所定時間毎に、つり革50や手すり230に設けられたLED31、フォトダイオード32、発汗センサ33を用いて検出するとともに、座っている人の生体情報を椅子210に設けられた圧力センサ35を用いて検出する。
また、CPU43は、立っている人の行動情報(ジェスチャー)を、所定時間毎に圧電センサ21、圧力センサ22により検出するとともに、座っている人の行動情報(ジェスチャー)を、所定時間毎に圧電センサ21により検出する。なお、CPU43は、電車の位置についても、所定時間毎にGPSモジュールから取得する。
図6には、ステップS12で検出された値を纏めたセンサログが示されている。この図6のセンサログには、「時刻」、「車両NO.」、「圧電センサ21(の検出結果)」、「圧力センサ22(の検出結果)」、「生体センサ30(の検出結果)」、「車両位置」、「評価」が記録されている。なお、「生体センサ30(の検出結果)」には、心拍数や血中酸素濃度など種々の値が含まれる。
次いで、ステップS14では、CPU43は、ステップS12で検出した情報に基づいて、乗客の様子を分析する。
ここでは、CPU43は、図6のセンサログの圧電センサ21、圧力センサ22、生体センサ30の各値を用いて、立っている人の評価(不快かどうか)と座っている人の評価(不快かどうか)を判断し、図6のセンサログの「評価」の欄に記録する。なお、乗客が不快かどうかは、実験やシミュレーションにより、不快に感じているときに各センサからどのような値が出力されるか、各センサの値がどのように変化するかを予め予測しておき、これに基づいて、評価する。
そして、CPU43は、図7に示す不快理由判定テーブルを用いて、不快理由を分析する。具体的には、CPU43は、立っている人と座っている人の評価、温度・湿度、及び評価が一部の車両のものか全車両共通かどうか(評価範囲)、に基づいて、不快理由を分析する。
例えば、立っている人も座っている人も不快と感じているとする。この場合に、車両内の温度・湿度がともに規定よりも高い場合には、CPU43は、図7に基づいて、乗客は温度・湿度が高いために不快に感じていると分析する。
また、立っている人のみが不快と感じている場合には、車両内の混雑が原因である可能性があるとして、CPU43は、図5の車両内ログの混雑具合を参照する。そして、CPU43は、図5の車両内ログの同時刻における混雑具合が「混雑」や「非常に混雑」であった場合には、図7に基づいて、乗客は混雑のために不快に感じていると分析する。
また、立っている人も座っている人も不快であるが、温度・湿度は適度であった場合には、CPU43は、図6のセンサログに基づいて、全車両で同様の傾向にあるのか、他の車両には同様の傾向が無いのかを判断する。そして、CPU43は、図7に基づいて、全車両で同様の傾向があった場合には、乗客は運転に対する不満のため、不快に感じていると分析する。なお、運転に対する不満のため、乗客が不快に感じていると分析された場合には、この時点における車両のデータについても分析する。具体的には、CPU43は、図8に示すように、車両センサ14の振動センサ、速度計、加速度計の計測値のログを所定時間毎にとっているので、これらの値に基づいて、運転士が、急ブレーキをしたのか、急発進をしたのか、カーブにおける速度超過であるのか、など、運転における問題点を分析する。この場合、一例として、図9に示す不満原因判定テーブルに基づいて、車両センサ14の値に応じた分析を行う。なお、例えば、カーブにおいて各車両に揺れが生じるタイミングには、ずれがある。したがって、CPU43は、当該ずれを考慮して、不満原因の分析をするようにしてもよい。なお、不快の原因が湿度・温度に起因する場合は、数分以上継続して不快な状態が続くが、運転に起因するものは数秒程度であるので、乗客が数秒程度急激に不快に感じている場合は運転に起因すると分析してもよい。
一方、立っている人も座っている人も不快な車両が、他には無いような場合には、CPU43は、乗客の出す騒音や喧嘩などのために乗客が不快に感じている可能性があると分析する。そして、CPU43は、車両内に設置されたマイク13が集音した音の大きさが何dBかを確認し、当該音の大きさが、過去の騒音データと比較して大きな音であった場合(例えば90dB程度以上の場合)には、騒音によって乗客が不快に感じていると分析する。なお、CPU43は、他の車両と比較して、特定の車両のマイク13の出力が大きい場合に、当該特定の車両の乗客が騒音を不快に感じていると分析してもよい。
なお、電車が緊急停止信号などにより停車している間に、生体センサ30の出力などから乗客がイライラしていることが検出された場合には、新たな情報がないとしてもそのタイミングでスピーカ12や不図示の表示装置により乗客に対して情報提供するようにしてもよい。
なお、CPU43は、ステップS14の分析結果を、図10の評価ログの不快原因の欄に記録する。なお、図10の評価ログは、図6のセンサログに「不快原因」の欄を追加したものである。
図4に戻り、CPU43は、次のステップS16において、ステップS14の分析の結果、被制御機器60の制御が必要であるか否かを判断する。ここでの判断が肯定された場合には、ステップS18に移行する。ステップS18に移行した場合には、CPU43は、分析結果に基づいて、被制御機器60の制御を実施する。例えば、乗客が温度・湿度に対して不快と感じている場合には、CPU43は、被制御機器60である空調機器を制御して、温度・湿度の少なくとも一方の制御を行う。
また、ある車両の乗客が騒音を不快に感じているような場合には、当該車両に設けられた被制御機器60である表示部に“お静かに願います”と表示する。なお、CPU43は、スピーカ12により“お静かに願います”とアナウンスしてもよい。この場合、フラッシュメモリ41に記憶されている音声データによりアナウンスすることが好ましい。これは、車掌等が口頭で注意すると、乗客の感情を逆なでしてしまうおそれがあるからである。
また、運転士の技量に対して乗客が不快と感じているような場合には、被制御機器60である表示部やスピーカ12を用いて、大きな揺れや、急発進、急停車があったことに対するお詫びをしてもよい。
また、分析の結果、乗客が不快に感じているにもかかわらず、原因が特定できなかった場合には、CPU43は、車両に設けられた被制御機器60である表示部やスピーカ12から、“何かありましたら、お近くのマイクに向かってお知らせください”などのメッセージを表示又はアナウンスしてもよい。
上記のようにしてステップS18の処理が終了すると、ステップS20に移行する。また、ステップS16の判断が否定された場合にも、ステップS20に移行する。
ステップS20では、CPU43は、次の駅に到着したかどうかの判断を行う。ここでは、図6のセンサログに常時記録されている車両位置(車両センサ14に含まれるGPSモジュールで検出)に基づいて、CPU43は、次の駅に到着したかどうかの判断を行う。ここでの判断が否定された場合、すなわち、次の駅に到着していなければステップS12に戻り、次の駅に到着するまでの車内の様子のモニターを継続する(ステップS12〜S20の処理・判断を繰り返す)。一方、ステップS20の判断が肯定された場合、すなわち、次の駅に到着した場合には、ステップS22に移行する。
ステップS22では、CPU43は、ステップS12からステップS20の繰り返しにより得られた不快原因(図10参照)に基づいて、一つの区間における運転士の運転に対する乗客の評価を求める。この場合、図11に示すような評価結果を得ることができる。本実施形態によれば、乗客の生体情報や、乗客の行動(ジェスチャー)に基づいて運転や車内の環境に関する評価を行っているので、多くの乗客の評価をほぼリアルタイムで入手することができる。このため、後から過度な評価やクレイムを受けたりすることを低減することができる。
次いで、ステップS24では、CPU43は、到着した駅が終着駅かどうかの判断を行う。ここでの判断が否定された場合には、ステップS10に戻り、上述した処理を繰返し行う。一方、ステップS24の判断が肯定された場合、すなわち、終着駅に到着した場合には、図4の全処理を終了する。
なお、上記においては、駅に到着するたびにステップS22の評価の処理を行うこととしたが、これに限らず、評価の処理を、1日の終わりなどに纏めて実行することとしてもよい。
なお、上記実施形態では、車両内ログ(図5)、センサログ(図6)、車両センサログ(図8)、評価ログ(図10)を記録するとともに、当該各ログと、不快理由判定テーブル(図7)及び不快原因判定テーブル(図9)を用いて、車両200に関する評価を行うこととした。しかしながら、これに限られるものではなく、センサの種別等に応じて、各ログや各テーブルを適宜変更することとしてもよい。
以上、詳細に説明したように、本実施形態によると、CPU43が、複数のユーザが存在できる車両200内においてユーザの生体情報の変化を生体センサ部30、ジェスチャー検出部20から取得した結果と、車両200に関する検出を行う情報入出力部10の検出結果とに基づいて、車両200に関する評価を行うので、ユーザの生体情報やジェスチャー、車両内の状況などに応じて車両200に関する評価を適切に行うことができる。これにより、使い勝手のよいユーザ評価システム100を提供することができる。
また、本実施形態では、車両200の一部のユーザが不快に感じている場合や車両200全体のユーザが不快に感じている場合など、を検出することができるので、これに基づいて、車両200の適切な評価を行うことができる。また、本実施形態では、車両200を駅間毎に評価しているので、駅間毎の車両200の運転状態(車両内の環境や、運転士の運転技量等)を評価することができる。また、本実施形態では、CPU43は、評価結果に基づいて、被制御機器60を制御することとしているので、ユーザの評価を改善するように車両200内の環境等を制御することができる。
また、本実施形態では、車両200内に圧電センサ21、圧力センサ22、圧力センサ35が設けられており、CPU43は、これらの出力から得られるユーザの有無に関する情報(混雑情報など)に基づいて車両200の評価を行う。したがって、ユーザの有無に関する情報(混雑情報など)を考慮した適切な車両200の評価を行うことができる。また、本実施形態では、圧電センサ21及び圧力センサ22が立っているユーザを検出し、圧力センサ35が椅子210に座っているユーザを検出するので、CPU43は、これらの検出結果に基づいて、適切に車両内の評価を行うことができる。
また、本実施形態のユーザ評価システム100は、車両200内を上方から撮像する撮像部11を有している。これにより、CPU43は、ユーザのプライバシーを保護しつつ、撮像部11により撮像された画像に基づいて、車両200内の混雑具合を把握することができる。また、本実施形態では、ユーザに付随する物体(ベビーカーや車椅子など)の参照画像のデータをフラッシュメモリ41に記憶しており、CPU43は、参照画像のデータと撮像部11により撮像された画像とに基づいて車両200内の混雑具合を検出する。これにより、車両200内の混雑状況を適切に把握することができる。
なお、上記実施形態の生体センサ部30には、赤外線カメラが含まれていてもよい。赤外線カメラは、情報入出力部10と一体的に、車両200の天井部などに設けることができる。赤外線カメラは、乗客から出ている赤外線放出エネルギー量を検出して、当該エネルギー量から温度を算出するものであり、広い範囲の表面温度の分布を検出することができる。この場合、CPU43は、赤外線カメラから得られる人の表面温度の情報に基づいて、混雑具合や、乗客が快適かどうかなどを判断・分析してもよい。
なお、上記実施形態では、乗り物内においてユーザ評価システム100を適用した場合について説明したが、これに限られるものではない。例えば、病院や映画館・劇場などにおいてユーザ評価システム100を適用することとしてもよい。例えば、病院においては、待合室(第1空間もしくは第1室)にユーザ評価システム100を設置するものとする。この場合、待合室の椅子や手すりなどに生体センサ部30や圧力センサ22を設け、床に圧電センサ31を設け、天井に情報入出力部10を設けることとする。このようにすることで、CPU43は、患者の感情(長時間待たされて不満に思っている、室内の温度が高いなど)や、患者の体調(気分が悪くなり苦しんでいるなど)を推測することが可能となる。特開2004−49389号に記載されているように、喘息の症状と心拍数には相関関係がある。このため、フラッシュメモリ41にこの相関関係のテーブルを記憶し、椅子に流体袋34を設け、圧力センサ35により心拍数を検出することにより、喘息の発作具合(重度、軽度)を検出することができる。なお、生体センサ部30には上述の赤外線カメラを含ませて、患者の発熱状態を検出するようにしてもよい。また、CPU43が、推測結果に基づいて、不満、不快な患者の位置等を表示装置に表示すれば、病院スタッフは、当該患者に話を聞いたり、診察の順番を変更したりすることができるようになる。この場合も、先に挙げた特願2010−259529号明細書(特開2012−113369号公報)の記載に基づき、例えば病院の受付で患者の頭を撮像して、その後、撮像部11により患者を追尾するようにすれば、体調が特にすぐれない患者や不満を持っている患者を特定することができる。この場合、生体センサ部30により検出した患者の症状をインターフェース部42により診察室(第2空間もしくは第2室)にある医師の端末機器(パーソナルコンピュータ、タブレット端末など)に送信しておけば、診療時間の短縮や、症状の説明を簡略にすることができる。更に、ユーザ評価システム100にタイマー機能を持たせて、受付後からの各患者の待ち時間や、診察時間を計時して、この計時結果をフラッシュメモリ41に記憶させることにより、患者の待ち時間を数値化したり、予想待ち時間を報知したりすることができる。
また、車両の実施例で記載したように、混雑のため患者が立っておりその時間が長い場合や、体調が特にすぐれない患者が立っている場合には、その患者に優先して座ってもらうようにしてもよい。更に、車両の実施例で記載したように、ある患者が騒々しいときには、スピーカ12により注意を促すようにしてもよい。
また、映画館・劇場においては、映画観賞用の椅子や椅子の肘掛部分などに生体センサ部30や圧力センサ22を設け、床に圧電センサ31を設け、天井に情報入出力部10を設けることとする。このようにすることで、CPU43は、映画や芝居の進行に関連して、客がどのような感情を抱いたのかを把握することができ、作り手が意図した場面で意図したとおりの客の反応(ドキドキして心拍数が上がる)があったかどうかを知ることができる。また、映画館・劇場の場所(席)による反応の違い(前の席の客は反応したが、後ろの席の客はあまり反応しなかったなど)を知ることができる。このように、把握結果を利用することで、映画・劇場の客観的な評価を行うことが可能となる。
なお、これまでの説明で引用した全ての公報の開示を援用して本明細書の記載の一部とする。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 情報入出力部
11 撮像部
13 マイク
14 車両センサ
20 ジェスチャー検出部
21 圧電センサ
22 圧力センサ
30 生体センサ部
34 流体袋
35 圧力センサ
41 フラッシュメモリ
43 CPU
100 ユーザ評価システム
200 車両

Claims (18)

  1. 複数のユーザが存在できる空間内において、ユーザの生体情報の変化を生体センサから取得する取得装置と、
    前記空間に関する検出及び前記空間を形成する物体に関する検出の少なくとも一方を行う検出装置と、
    前記取得装置の取得結果と、前記検出装置の検出結果とに基づいて、前記空間内に関する評価及び前記空間を形成する物体に関する評価の少なくとも一方を行う評価装置と、を備えたことを特徴とする電子機器。
  2. 前記空間を形成する物体は、移動可能な移動装置であることを特徴とする請求項1記載の電子機器。
  3. 前記評価装置は、前記移動装置全体と、前記移動装置の一部の少なくとも一方の評価を行うことを特徴とする請求項2記載の電子機器。
  4. 前記評価装置は、前記移動装置の移動区間に応じて前記移動装置の評価を行うことを特徴とする請求項2又は3記載の電子機器。
  5. 前記評価装置の評価結果に基づいて、前記移動装置を制御する制御装置を備えたことを特徴とする請求項2〜4のいずれか一項に記載の電子機器。
  6. 前記制御装置は、前記移動装置の一部の制御を行うことを特徴とする請求項5記載の電子機器。
  7. 前記検出装置は、前記移動装置の速度を検出する速度センサを含むことを特徴とする請求項2〜6のいずれか一項に記載の電子機器。
  8. 前記検出装置は、前記移動装置の振動を検出する振動センサを含むことを特徴とする請求項2〜7のいずれか一項に記載の電子機器。
  9. 前記検出装置は、前記空間内の環境を検出する環境センサを含むことを特徴とする請求項1〜8のいずれか一項に記載の電子機器。
  10. 前記検出装置は、前記空間内の音の大きさを検出する音量計を含むことを特徴とする請求項1〜9のいずれか一項に記載の電子機器。
  11. 前記生体センサは、前記ユーザと接触する接触部を有し、
    前記取得装置は、前記接触部の出力を取得し、
    前記評価装置は、前記接触部の出力から得られる前記ユーザの有無に関する情報に基づいて前記評価を行うことを特徴とする請求項1〜10のいずれか一項に記載の電子機器。
  12. 前記生体センサは、第1の姿勢のユーザを検出する第1接触部と、前記第1の姿勢とは異なる第2の姿勢のユーザを検出する第2接触部とを有し、
    前記取得装置は、前記第1、第2接触部の出力を取得し、
    前記評価装置は、前記第1、第2接触部の出力から得られるユーザの姿勢に基づいて前記評価を行うことを特徴とする請求項1〜10のいずれか一項に記載の電子機器。
  13. 前記空間内の混雑具合を検出する混雑検出装置を備えたことを特徴とする請求項1〜12のいずれか一項に記載の電子機器。
  14. 前記混雑検出装置は、前記空間内を上方から撮像する撮像部を有することを特徴とする請求項13記載の電子機器。
  15. 前記混雑検出装置は、前記ユーザに付随する物体の画像データを記憶する記憶部と、前記空間内を撮像する撮像部と、を有し、
    前記撮像部が撮像した結果と、前記画像データとに基づいて前記空間内の混雑具合を検出することを特徴とする請求項13記載の電子機器。
  16. 前記撮像部は、前記空間内を上方から撮像し、
    前記ユーザに付随する物体の画像データは、前記物体を上方から見た状態の画像データであることを特徴とする請求項15記載の電子機器。
  17. ユーザの生体情報を生体センサから取得する取得装置と、
    前記取得装置とは異なり、前記ユーザを特定する特定装置と、
    前記特定装置の特定結果に基づいて、前記取得装置の取得結果を端末機器に送信する送信装置と、を備えたことを特徴とする電子機器。
  18. 前記ユーザが前記生体センサの設けられた第1空間にいる時間と、前記ユーザが前記第1空間とは異なる第2空間にいる時間とを計時する計時装置を備えたことを特徴とする請求項17記載の電子機器。
JP2017121640A 2012-01-23 2017-06-21 電子機器 Pending JP2017205531A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012011245 2012-01-23
JP2012011245 2012-01-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013555124A Division JPWO2013111409A1 (ja) 2012-01-23 2012-10-31 電子機器

Publications (1)

Publication Number Publication Date
JP2017205531A true JP2017205531A (ja) 2017-11-24

Family

ID=48873151

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013555124A Pending JPWO2013111409A1 (ja) 2012-01-23 2012-10-31 電子機器
JP2017121640A Pending JP2017205531A (ja) 2012-01-23 2017-06-21 電子機器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013555124A Pending JPWO2013111409A1 (ja) 2012-01-23 2012-10-31 電子機器

Country Status (2)

Country Link
JP (2) JPWO2013111409A1 (ja)
WO (1) WO2013111409A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255899A1 (ja) * 2020-06-18 2021-12-23 日本電気株式会社 情報処理装置、制御方法及び記憶媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107249451A (zh) 2014-10-15 2017-10-13 外分泌腺***公司 汗液传感装置通信安全性和依从性
CN105147273A (zh) * 2015-06-15 2015-12-16 北京鹏泰互动广告有限公司 一种电子把手及互动方法
US10646142B2 (en) 2015-06-29 2020-05-12 Eccrine Systems, Inc. Smart sweat stimulation and sensing devices
CN108697322A (zh) 2015-10-23 2018-10-23 外分泌腺***公司 用于汗液分析物的扩展感测的能够进行样本浓缩的装置
US10674946B2 (en) 2015-12-18 2020-06-09 Eccrine Systems, Inc. Sweat sensing devices with sensor abrasion protection
EP3487390A4 (en) 2016-07-19 2020-03-11 Eccrine Systems, Inc. SWEAT CONDUCTIVITY, VOLUMETRIC SUDATION RATE AND GALVANIC SKIN RESPONSE DEVICES AND APPLICATIONS
WO2018025830A1 (ja) * 2016-08-03 2018-02-08 日本電気株式会社 避難誘導システムおよび避難誘導方法
US10736565B2 (en) 2016-10-14 2020-08-11 Eccrine Systems, Inc. Sweat electrolyte loss monitoring devices
JP6686959B2 (ja) * 2017-04-11 2020-04-22 株式会社デンソー 車両用報知装置
JP6696490B2 (ja) * 2017-10-05 2020-05-20 三菱電機株式会社 空気調和装置および鉄道車両用空気調和装置
JP7220915B2 (ja) * 2020-03-03 2023-02-13 株式会社エイビット 車両カメラ監視システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08230672A (ja) * 1995-02-28 1996-09-10 Toshiba Corp 旅客案内装置
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP2009240661A (ja) * 2008-03-31 2009-10-22 Toyota Motor Corp 健康管理ネットワークシステム
JP2009302252A (ja) * 2008-06-12 2009-12-24 Nissan Motor Co Ltd 有機薄膜受光素子、有機薄膜受発光素子、有機薄膜受発光素子アレイ、これらを用いた脈拍センサ、およびこの脈拍センサを設けた車両

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08230672A (ja) * 1995-02-28 1996-09-10 Toshiba Corp 旅客案内装置
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP2009240661A (ja) * 2008-03-31 2009-10-22 Toyota Motor Corp 健康管理ネットワークシステム
JP2009302252A (ja) * 2008-06-12 2009-12-24 Nissan Motor Co Ltd 有機薄膜受光素子、有機薄膜受発光素子、有機薄膜受発光素子アレイ、これらを用いた脈拍センサ、およびこの脈拍センサを設けた車両

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255899A1 (ja) * 2020-06-18 2021-12-23 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
US11986301B2 (en) 2020-06-18 2024-05-21 Nec Corporation Information processing device, control method, and storage medium
JP7501627B2 (ja) 2020-06-18 2024-06-18 日本電気株式会社 情報処理装置、制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2013111409A1 (ja) 2015-05-11
WO2013111409A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
JP2017205531A (ja) 電子機器
US10213147B2 (en) Method and systems for detecting from biometrics that person sitting in seat of vehicle requires medical attention and for providing medical attention to the person
JP6268193B2 (ja) 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
Haouij et al. AffectiveROAD system and database to assess driver's attention
US11638550B2 (en) Systems and methods for stroke detection
US11103144B2 (en) Method of measuring physiological parameter of subject in contactless manner
KR101849955B1 (ko) 스마트 미러를 활용한 요양 케어시스템
WO2017049958A1 (zh) 瘫倒监测和预防装置及其处理方法
JP6803299B2 (ja) システム及び方法
US20140276238A1 (en) Method, system and apparatus for fall detection
CN105007808B (zh) 访问持续时间控制***和方法
JP2008023127A (ja) 生体情報推定装置及びそれを搭載した電子機器
US11800996B2 (en) System and method of detecting falls of a subject using a wearable sensor
US20180194279A1 (en) Electronic apparatus, processing system, and processing program
KR20210062545A (ko) 운전 스케쥴 보조 방법
JP2006034576A (ja) 乗り物酔い対策装置および乗り物酔い対策方法
JP2016154759A (ja) 生体情報収集椅子及びこれを用いた乗り物並びに生体情報診断システム
JP7048709B2 (ja) システム及び方法
CN112089971B (zh) 坐姿检测方法、颈部按摩仪以及计算机可读存储介质
WO2015050088A1 (ja) 健康管理システム、及び健康管理方法
US20200268300A1 (en) Systems and methods for predicting mood, emotion and behavior of non-recumbent subjects
Razak et al. Driver-centered pervasive application for heart rate measurement
JP6078952B2 (ja) 電子機器
WO2023074727A1 (ja) 映像記録システム
KR101118182B1 (ko) 응급 환자 구조요청 방법 및 이를 구현하기 위한 휴대형 단말기용 프로그램

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305