JP7145693B2 - 座席状態センシングシステム、座席状態判定方法、および画像センサ - Google Patents

Description

本発明の実施形態は、座席（椅子またはテーブル、あるいはその双方）の状態をセンシングするシステム、方法、および画像センサに関する。

近年、フリーアドレスのオフィスや商業施設（フードコート等）において、ユーザに空席を案内するサービスが検討されている。例えば、人流解析技術や、既存の画像解析技術によれば、人の位置を計測することができる。しかしながら座席が使用されているか、いないかを判定するには、人だけでなく椅子の位置も取得しなくてはならず、そのような技術は知られていない。まして、椅子やテーブルは移動することもあるので、そのような場合には座席の状態（例えば、使用中／空席）を正しく把握することができない。

特開２０１３－６１８３２号公報 特開２０１６－１２６３７３号公報 特開２０１４－１３７１９０号公報

座席の状態を把握するには、人の位置情報だけでなく、椅子の位置情報を正確に取得し、そのうえで、これらの情報を適切に処理する必要がある。

そこで、目的は、座席の状態を正確に把握できるようにした座席状態センシングシステム、座席状態判定方法、および画像センサを提供することにある。

実施形態によれば、座席状態センシングシステムは、撮像素子を有する画像センサを具備する。前記画像センサは、前記撮像素子で対象空間を撮像して得られた画像データから、前記対象空間における人の位置情報を示す人検出情報を生成し、前記画像データから、前記対象空間における椅子の位置情報を示す椅子検出情報を生成する、検出部と、前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定し、当該座席の状態を示す座席状態情報を生成する判定部と、人検出用の辞書データと、前記椅子の形状情報を格納する椅子検出用の複数の辞書データとが記録された記憶部と、を具備し、前記検出部は、前記人検出用の辞書データを用いて前記人検出情報を生成することと、前記椅子検出用の辞書データを用いて前記椅子検出情報を生成することとを交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用いる。

図１は、室内空間の一例を示す図である。 図２は、実施形態に係わるセンシングシステムの一例を示す図である。 図３は、画像センサ３の一例を示すブロック図である。 図４は、図３に示される機能ブロック間での情報の流れの一例を示す図である。 図５は、人検出情報の一例を示す図である。 図６は、椅子検出情報の一例を示す図である。 図７は、座席状態情報の一例を示す図である。 図８は、第１の実施形態における情報伝達の一例を示す図である。 図９は、画像センサ３の他の例を示すブロック図である。 図１０は、図９に示される機能ブロック間での情報の流れの一例を示す図である。 図１１は、画像センサ３の他の例を示すブロック図である。 図１２は、図１１に示される機能ブロック間での情報の流れの一例を示す図である。 図１３は、画像センサ３の他の例を示すブロック図である。 図１４は、図１３に示される機能ブロック間での情報の流れの一例を示す図である。 図１５は、画像センサ３の他の例を示すブロック図である。 図１６は、図１５に示される機能ブロック間での情報の流れの一例を示す図である。 図１７は、第５の実施形態でのプロセッサ３３の処理手順の一例を示すフローチャートである。 図１８は、画像センサ３の他の例を示すブロック図である。 図１９は、図１８に示される機能ブロック間での情報の流れの一例を示す図である。 図２０は、第6の実施形態における情報伝達の一例を示す図である。 図２１は、第７の実施形態における情報伝達の一例を示す図である。 図２２は、ゲートウェイ２００の一例を示す機能ブロック図である。 図２３は、図２２に示される機能ブロック間での情報の流れの一例を示す図である。 図２４は、画像センサ３の他の例を示すブロック図である。 図２５は、図２４に示される機能ブロック間での情報の流れの一例を示す図である。 図２６は、第９の実施形態における情報伝達の一例を示す図である。 図２７は、クラウド４００に設けられるサーバ６００の一例を示す機能ブロック図である。 図２８は、第１０の実施形態における情報伝達の一例を示す図である。 図２９は、センシングシステムの他の例を示す図である。 図３０は、センシングシステムの他の例を示す図である。 図３１は、センシングシステムの他の例を示す図である。 図３２は、センシングシステムの他の例を示す図である。 図３３は、センシングシステムの他の例を示す図である。

以下に、図面を参照して、この発明の実施の形態について説明する。
図１は、室内空間の一例を示す図である。図１に示されるように、オフィスビルにおける各フロアの例えば天井に、照明機器１、空調機器２の吹き出し口、および画像センサ３が配設される。

図２は、実施形態に係わるセンシングシステムの一例を示す図である。図２において、オフィスビル内に形成されるＬＡＮ（Local Area Network）に、ゲートウェイ（ＧＷ）２００、ルータ３００、およびコントローラ５００が接続される。このうちコントローラ５００は、上位のＢＥＭＳ（Building Energy Management System）サーバ（図示せず）等からの指示に基づき、ビル内の空調機器や照明機器等を制御する。

ルータ３００は、インターネットなどの公衆通信回線や専用線などを経由して、ビル内ＬＡＮとクラウドコンピューティングシステム（クラウド）４００とを通信可能に接続する。これによりセンシングシステムは、各種のデータをクラウド４００と授受することができる。ＬＡＮ上の通信プロトコルとしては、例えば、インテリジェントビル用ネットワークの通信規格であるＢＡＣｎｅｔ（登録商標）やＬＯＮＷＯＲＫＳ（登録商標）、ＫＮＸ（登録商標）、ＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）を適用することができる。

ゲートウェイ２００は、複数の画像センサ３（３－１～３－ｎ）を自らの配下に収容する。画像センサ３－１～３－ｎは、センサネットワーク１００経由でゲートウェイ２００に接続される。センサネットワーク１００は、例えばＥｔｈｅｒＣＡＴ（登録商標）であり、渡り配線によるループ構造を有する回線で、画像センサ３－１～３－ｎおよびゲートウェイ２００を互いに通信可能に接続する。ＢＥＭＳサーバやコントローラ５００、ルータ３００も、ゲートウェイ２００経由で画像センサ３－１～３－ｎと相互通信することが可能である。

画像センサ３は、対象空間を撮影して画像データを取得する。画像センサ３は、取得した画像データを処理し、環境情報および人物情報などのセンシング情報を作成する。環境情報は、制御対象の空間（対象空間）の環境に関する情報であり、例えば、対象空間における照度の分布が挙げられる。人物情報は、対象空間における人間に関する情報であり、例えば、人の存在または不在（在／不在）、滞在時間、人数、人の行動、人の活動量、および、人の着衣に関する着衣情報などを挙げることができる。センシング情報は、ゲートウェイ２００経由で、コントローラ５００やクラウド４００上のサーバ等に伝送される。次に、上記構成を基礎として複数の実施形態を説明する。

［第１の実施形態］
図３は、画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部３１、記憶部３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。

撮像部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、撮像素子３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、対象空間としての室内を、例えば天井から見下ろす形で視野に捕えて撮像素子３１ｃに結像する。撮像素子３１ｃは、ＣＭＯＳ（相補型金属酸化膜半導体）に代表されるイメージセンサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。撮像素子３１ｃへの入射光量は絞り機構３１ｂにより調節される。

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、撮像部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

記憶部３２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic RAM）、ＥＰＲＯＭ（Erasable Programmable ROM）などの半導体メモリであり、撮像部３１により取得された画像データ３２ａ、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂ、画像センサを一意に区別するためのセンサＩＤ（IDentification）３２ｃなどを記憶する。

プロセッサ３３は、記憶部３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。
通信部３４は、センサネットワーク１００に接続可能で、通信相手先（コントローラ５００等）とのデータの授受を仲介する。

ところで、プロセッサ３３は、実施形態に係る処理機能として、人物検出部３３ａ、椅子検出部３３ｂ、および判定部３３ｃを備える。人物検出部３３ａ、椅子検出部３３ｂ、および判定部３３ｃは、例えば、プロセッサ３３のレジスタにロードされたプログラム３２ｂに従い、プロセッサ３３が演算処理を実行する過程で生成される、プロセスである。

人物検出部３３ａは、記憶部３２に蓄積された画像データ３２ａを所定のアルゴリズムで解析して視野内の人物（人）を検出し、人物の位置情報を示す人検出情報を生成する。椅子検出部３３ｂは、画像データ３２ａを所定のアルゴリズムで解析して視野内の椅子を検出し、椅子の位置情報を示す椅子検出情報を生成する。位置情報は、対象空間における絶対座標系の位置座標であっても良いし、画像センサ３－１～３－ｎごとに設定された座標系における位置座標であっても良い。

画像データ３２ａを解析することで、例えば、輝度勾配方向ヒストグラム（histograms of oriented gradients：ＨＯＧ）特徴量、コントラスト、解像度、Ｓ／Ｎ比、および色調などの特徴量を計算することができる。また、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども知られている。このような特徴量に基づいて、視野内の対象（オブジェクト）を識別することが可能である。あるいは、検出対象（人、または椅子）の形状情報を格納する辞書データを用いたパターン認識等の手法によっても、視野内の対象を識別することが可能である。

判定部３３ｃは、人検出情報と椅子検出情報とに基づいて、座席ごとに空席または使用中のいずれかを判定し、座席状態情報を生成する。例えば、人検出情報に示される人の位置座標と、椅子検出情報に示される椅子の位置座標とから算出される人と椅子との距離が既定値以下であれば、判定部３３ｃは、その椅子が使用中であると判定し、その椅子に係わる座席も使用中であると判定する。

図４は、図３に示される機能ブロック間での情報の流れの一例を示す図である。撮像部３１で取得された画像データは人物検出部３３ａ、椅子検出部３３ｂに渡される。人物検出部３３ａは、画像データを解析して人検出情報を生成し、この人検出情報を判定部３３ｃおよび通信部３４に渡す。人検出情報は、図５に示されるように、例えば人検出ＩＤ（IDentification）に、検出位置を対応付けて生成される情報である。人検出ＩＤは、画像データ内に人として検出された対象の識別子であり、概ね、個別の人物に対応付けられる。検出位置は、人検出ＩＤを付与された対象の検出位置座標を示すもので、例えば検出元の画像センサでのＸＹ座標系における数値で表される。

椅子検出部３３ｂは、画像データを解析して椅子検出情報を生成し、この椅子検出情報を判定部３３ｃに渡す。
椅子検出情報は、図６に示されるように、例えば、椅子検出ＩＤに検出位置を対応付けて生成される情報である。椅子検出ＩＤは、画像データ内に椅子として検出された対象の識別子である。検出位置は、椅子検出ＩＤを付与された対象の検出位置座標を示すもので、例えば検出元の画像センサでのＸＹ座標系における数値で表される。

なお、椅子検出ＩＤに、検出された椅子の型、種別、タイプ、特徴などを示す情報（検出タイプ）を対応付けてもよい。図６においては３種類の椅子が検出されたことが示され、それぞれ数値１，２，３で区別されている。

人検出情報と椅子検出情報とを取得した判定部３３ｃは、人の位置座標と、椅子の位置座標とに基づいて、三平方の定理等を用いて人と椅子との距離を算出する。そして、算出された距離が既定の閾値以下であれば、判定部３３ｃは、椅子の近くの人にその椅子が使用されていると判定し、そうでなければ、その椅子は空席と判定する。判定部３３ｃは、椅子（座席）ごとに使用中／空席の判定を行い、その結果に基づいて、座席の状態を示す座席状態情報を生成する。生成された座席状態情報は通信部３４に渡される。

図７は、座席状態情報の一例を示す図である。座席状態情報は、座席を区別するための座席ＩＤに、その位置座標、および、椅子が使用中か空席かを示す情報を対応付けた情報である。なお、座席状態情報に、椅子の検出タイプを含めてもよい。

椅子の状態は、使用中か、空席かの２つの状態（Ｔｒｕｅ／Ｆａｌｓｅ、または０／１など）で区別されるのに限らない。例えば、椅子が使用中である確度を連続的な数値（例えば０～１）で表すようにしても良い。または、椅子が使用中である確率を０％～１００％の間の値で表してもよい。あるいは、椅子が使用中である確度を段階的なランク（整数の値）で表すようにしてもよい。
座席状態情報と人検出情報とを渡された通信部３４（図４）は、これらの情報を、例えば隣接する画像センサに、自らのセンサＩＤとともに送信する。

図８は、第１の実施形態における情報伝達の一例を示す図である。各画像センサ３は、逐次、座席状態情報（および人検出情報）を生成出力し、これらの情報は例えばバケツリレー方式で順次、隣り合う画像センサを経由してゲートウェイ２００に伝送される。ゲートウェイ２００はセンサＩＤ付きの座席状態情報、および人検出情報を、ＬＡＮ経由でコントローラ５００、および／またはルータ３００に送信する。

以上説明したように第１の実施形態では、画像センサ３で取得された画像データを画像処理して、人の位置座標と、椅子の位置座標とを検出し、それぞれの位置座標に基づいて人と椅子との間の距離を算出する。そして、画像センサ３に判定部３３ｃを備え、人と椅子との距離が規定値以下であれば、椅子は使用中であると判定するようにした。このようにしたので、椅子及び座席が使用中か、空席かを、客観的な指標に基づいて、エッジデバイス側で判定することができる。

既存の技術で、人の位置と椅子の位置との対応付けに言及したものはなく、まして、椅子が使用中か空席であるかを判定する技術は知られていない。椅子の位置をある程度固定された値として扱い、位置情報から座席の状況を推定することはできるが、そもそも椅子は移動するので、その場合は座席の状況を正しく把握することができなかった。

また、既存のセンサ技術では数メートル範囲の検出エリアに人が１人以上存在するか／不在かを検出できるのみで、詳細な位置情報を取得することはできない。複数の人を識別することができない。座席に人が座って使用しているか否を計測することも、特に店舗やオフィスなどの広範囲のエリアに適用することは難しい。

これに対し、第１の実施形態では、画像センサからの画像データを処理して椅子を検出し、その位置座標を取得し、人の位置情報と併せて座席の状況（椅子が使用されている／椅子が使用されていない）を判定する。従って、椅子が移動しても正しく状態を把握できるようになる。さらに初期導入時に、椅子の位置を人手で入力せず自動化することができる。これらのことから第１の実施形態によれば、座席の状態を正確に把握できるようにした座席状態センシングシステム、座席状態判定方法、および画像センサを提供することが可能となる。

［第２の実施形態］
第１の実施形態では、椅子の位置が変化することを想定し、画像センサにより椅子の位置情報を取得した。第２の実施形態では、例えばレストランや喫茶店のソファー等のように、椅子が固定されていることを想定する。

図９は、画像センサ３の他の例を示すブロック図である。第２の実施形態において、画像センサ３は、記憶部３２に椅子位置情報３２ｄを記憶する。椅子位置情報３２ｄは、それぞれの椅子にその位置座標を対応付けて記録したデータベースである。

図１０は、図９に示される機能ブロック間での情報の流れの一例を示す図である。撮像部３１で取得された画像データは人物検出部３３ａに渡される。人物検出部３３ａは、画像データを解析して人検出情報を生成し、この人検出情報を判定部３３ｃおよび通信部３４に渡す。

人検出情報を取得した判定部３３ｃは、さらに椅子位置情報３２ｄを記憶部３２から読み出し、人の位置座標と椅子の位置座標とに基づいて、人と椅子との距離を算出する。算出された距離が閾値以下であれば、判定部３３ｃはその椅子が使用されていると判定し、そうでなければ、その椅子は空席と判定する。判定の結果に基づいて生成された座席状態情報は通信部３４に渡され、人検出情報、センサIDとともに通信相手先に伝送される。

第２の実施形態では、固定された椅子を前提として、椅子の位置情報を予め画像センサ３に設定するようにした。そして、画像センサにより人の位置情報を取得し、椅子の位置情報を利用して人と椅子の位置関係を求め、個々の椅子が使用中か、空席かを判定するようにした。従って、第２の実施形態によっても、座席の状態を正確に把握できるようになる。

［第３の実施形態］
図１１は、画像センサ３の他の例を示すブロック図である。第３の実施形態において、画像センサ３は、図３の構成に加えて、さらに、記憶部３２に椅子位置情報３２ｄを記憶する。

図１２は、図１１に示される機能ブロック間での情報の流れの一例を示す図である。第３の実施形態においては、判定部３３ｃは、人検出情報と椅子検出情報とに加えて、椅子位置情報を取得する。そして、これら３種類の情報に基づいて、判定部３３ｃは、椅子の使用状態を判定する。
このようにしたので、第３の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、判定の精度を向上させることができる。

［第４の実施形態］
図１３は、画像センサ３の他の例を示すブロック図である。第４の実施形態において、画像センサ３は、記憶部３２に辞書データ３２ｅを記憶する。

辞書データ３２ｅは、画像センサ３における検出項目（人、物、男性、女性など）に応じて用意される、いわばテンプレートデータに類するデータである。画像センサ３で取得された画像データに対し、例えば『椅子』の検出向けに用意された、椅子の形状情報を有する辞書データ３２ｅを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ（オフィスチェア、ソファー、座椅子など）や色を区別可能とするために、多様な辞書データ３２ｅが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習（Machine-Learning）の枠組みを利用することができる。

図１４は、図１３に示される機能ブロック間での情報の流れの一例を示す図である。椅子には様々な型／形状があり、それぞれに辞書が必要となる。しかし、現存する全ての椅子の型／形状の情報含む辞書を作成しようにも、データのサイズがあまりにも大きくなり、記憶領域や演算処理能力に限りのある組み込み用途（画像センサなど）では取り扱うことが難しい。

そこで、第４の実施形態では、椅子の型ごとの辞書データ（辞書：椅子１～辞書：椅子ｎ）を作成し、画像センサ３に予め記憶させる。そして、各椅子の辞書データを順次切り替えて椅子検出処理を実施する。画像センサ３が設置される対象空間に存在する椅子の種類はある程度限られており、オフィス空間などでは特にその傾向が強い。そこで、存在するであろう椅子の型を予め想定し、複数の辞書を切り替えて使用することで、柔軟に、かつ、椅子を高精度で検出することが可能となる。

図１４に示されるように、例えば椅子に関するｎ個の辞書データを画像センサ３の記憶部３２に格納する。椅子検出部３３ｂは、辞書データを順番に切り替えつ画像データを処理し、椅子を検出する。椅子が検出された際にどの辞書を用いたかを示す情報を付与することで、どの型の椅子が検出されたのかを区別することもできる。このようにしたので、第４の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、判定の精度を向上させることができる。

［第５の実施形態］
図１５は、画像センサ３の他の例を示すブロック図である。第５の実施形態において、画像センサ３は、プロセッサ３３に検出部３３ｄを備え、記憶部３２に辞書データ３２ｅを記憶する。検出部３３ｄは、予め用意された辞書データに基づいて対象空間における対象を検出する機能を備え、辞書データを切り替えることで様々な対象を検出することができる。つまり第５の実施形態では、共通の検出部により、人物および椅子の双方を検出する。図１６に示されるように、椅子検出については（辞書：椅子１～辞書：椅子ｎ）のｎ通りの辞書を用い、人検出については人検出用の辞書（辞書：人）が用いられる。そして、（辞書：椅子１～辞書：椅子ｎ）のいずれかを用いて検出された対象は椅子として認識され、椅子検出情報が生成される。一方、（辞書：人）を用いて検出された対象は人として認識され、人検出情報が生成される。

ところで、椅子とは違って人は自発的に動くことから、人の動きを的確に把握するためには、検出の周期を椅子よりも短くする必要がある。しかし、多数の型の椅子の検出処理に人の検出を組み入れると、人の検出に係る処理時間が長くなってしまう。

つまり、画像センサで椅子の検出処理も行うと、画像処理の処理量が増えるため、画像センサの計算リソースを超えてしまい、センシングの間隔が延びてレスポンスが悪化することが考えられる。これは検出精度の低下などをもたらすので、対処を要する。

逆に、椅子が自発的に動くことはなく、椅子が移動した場合には人の介在があると見做せることから、人検出に対して椅子の検出周期を長くとったとしても検出精度の低下は許容される程度に小さい。検出対象のこのような特性に基づいて、第５の実施形態では、人検出の周期と、椅子検出の周期とを最適化する。

図１７は、第５の実施形態でのプロセッサ３３の処理手順の一例を示すフローチャートである。プロセッサ３３は、先ず、（人）の辞書データを用いて対象を検出する（ステップＳ１）。次に、辞書データを（椅子１）に切り替えて対象を検出し（ステップＳ２）、次に、再度、（人）の辞書データを用いて対象を検出する（ステップＳ３）。次のステップＳ４では（椅子２）の辞書データが使用され、次のステップでは再び（人）の辞書データが用いられる。ステップＳ５で（人）の辞書データが用いられた後（椅子ｎ）の辞書データを用いた検出が終わると、処理手順は再びステップＳ１に戻って繰り替えされる。

このように、複数の型の椅子データ（１～ｎ）が順次切り替えられるたびに、人の辞書データを用いた検出処理が繰り返し実行される。つまり人と椅子を交互に検出し、かつ、椅子の検出処理は切り替えごとに１種類（１つの辞書）とすることで、人の検出処理と多種の椅子の検出処理とを、精度を犠牲にすることなく両立することができる。

以上説明したように第５の実施形態では、検出部３３ｄで辞書データを切り替えることで、人と椅子とを検出する。人の検出には例えば１種類の辞書データを用い、椅子の検出にはｎ通りの辞書データを用いる。そして、動かないと見做せる椅子の検出の頻度を低くし、動く人の検出の頻度を高くする。ただし椅子の検出に際しては、使用する辞書データを順次切り替えるようにした。このようにすることで、人の検出と、複数の型の椅子の検出とにバランスよく処理リソースを配分することができる。もちろん、時間の経過に伴う辞書データの切り替えの手法は図１７の例に限られるものではない。

このようにしたので、第５の実施形態によっても、座席の状態を正確に把握できるようになる。また、人の検出と、多種の椅子の検出とを精度の劣化なく両立することができる。

［第６の実施形態］
図１８は、画像センサ３の他の例を示すブロック図である。第６の実施形態において、画像センサ３のプロセッサ３３は、その処理機能として画像データ処理部３３ｅを備える。画像データ処理部３３ｅは、図１９に示されるように、撮像部３１からの画像データにデータ圧縮、コンテナ処理などの処理を施し、ネットワーク伝送に適した形態の伝送データを生成して通信部３４に渡す。通信部３４は、画像データを含む伝送データを人検出情報、椅子検出情報、センサＩＤとともにゲートウェイ２００経由でクラウド４００向けに送出する。ゲートウェイ２００およびルータ３００は、各画像センサ３から送出されたデータをクラウド４００に向け中継する。

図２０は、第６の実施形態における情報伝達の一例を示す図である。クラウド４００は、例えばデータセンタ、あるいは分散配置されたサーバ装置群などに実装される処理機能として、画像処理部４００ａ、センサ管理部４００ｂ、辞書生成部４００ｃ、および、画像データベース４０１を備える。

画像処理部４００ａは、複数の画像センサ３－１～３－ｎから収集した画像データを処理して、各画像データの特徴量の抽出などを行う。
センサ管理部４００ｂは、複数の画像センサ３－１～３－ｎを個別に管理し、指示メッセージ（電文）の宛先を指定するなどの機能を有する。

辞書生成部４００ｃは、画像処理部４００ａから渡される画像データの特徴量などに基づいて、検出対象（人、椅子など）に係わる辞書データを生成する。

画像データベース４０１は、画像センサ３－１～３－ｎから収集された画像データを蓄積する。

辞書データの作成には、椅子の型ごとに多方向からの撮影画像データが必要となる。また、辞書データの作成には多くの計算機リソースが必要となることから、画像センサ３およびゲートウェイ２００の処理機能では限界がある。そこで第６の実施形態では、画像データをクラウド４００へアップロードし、クラウド４００側でデータ処理を行って辞書データを作成し、画像センサ３へ配布するようにした。

図２０において、例えば以下の手順により辞書データが生成される。
（１） 新たな椅子の辞書データを作成するため、クラウド４００のセンサ管理部４００ｂは、ゲートウェイ２００を介して、画像センサ３に画像取得要求を送る。
（２） 要求を受けた画像センサ３は、画像データを伝送データに格納し、ゲートウェイ２００、ルータ３００経由でクラウド４００に向け送信する。
（３） クラウド４００は、画像センサ３からの画像データを受信し、画像データベース４０１に蓄積する。また、クラウド４００の画像処理部４００ａは、集積した画像データから、辞書作成対象の椅子の領域の画像を切り出す。
（４） 辞書生成部４００ｃは、切り出された領域の画像データを処理し、椅子Aについての辞書データ（例えばＣｏＨＯＧをパラメータとする辞書データ）を生成する。
（５） 画像センサ３－１～３－ｎは、生成された新しい辞書データの取得要求をゲートウェイ２００へ送る。
（６） ゲートウェイ２００は、新たな辞書データをクラウド４００から取得する。
（７） ゲートウェイ２００は、新たな辞書データを全ての画像センサ３、または指定された画像センサ３宛に送信する。
（８） 新たな辞書データを取得した画像センサ３は、記憶部３２に記憶された辞書データを新たな辞書データに更新し、記憶する。

以上説明したように第６の実施形態では、クラウド４００に画像データをアップロードし、クラウド４００側で辞書データを生成し、生成した辞書データを画像センサ３にダウンロードするようにした。このようにしたので、多様かつ、新しく登場する椅子を検出するための辞書データを作成することができる。しかもクラウド４００のリソースを利用しているので、エッジ側のデバイスに過度の負担がかかることもない。

このようにしたので、第６の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、エッジデバイスの負荷を軽減することができる。

［第７の実施形態］
辞書データは、必ずしもシステムベンダー側で作成し、用意する必要はない。例えば椅子を販売する什器メーカから椅子の形状情報を入手し、この情報を元に辞書データを作成することが可能である。さらには、什器メーカから辞書データそのものが配布される形態も可能である。

図２１は、第７の実施形態における情報伝達の一例を示す図である。第７の実施形態においては、例えば以下の手順により辞書データが配布される。以下の手順は、例えば、椅子を配置されたエリアの画像センサに、その椅子の辞書データを配布する際に実施されることができる。
（１０） 例えば什器メーカにより、ローカルの開発環境などで生成された辞書データ（椅子Ａ）が、予めクラウド４００のサーバにアップロードされ、記憶される。
（１１） 画像センサ３－１～３－ｎは、生成された新しい辞書データの取得要求をゲートウェイ２００へ送る。
（１２） ゲートウェイ２００は、新たな辞書データをクラウド４００から取得する。
（１３） ゲートウェイ２００は、新たな辞書データを全ての画像センサ３、または指定された画像センサ３宛に送信する。
（１４） 新たな辞書データを取得した画像センサ３は、記憶部３２に記憶された辞書データを新たな辞書データに更新し、記憶する。

以上説明したように第７の実施形態では、予め別途用意された辞書データを対象の画像センサに配布することができる。このようにしたので、第７の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、システム構築の自由度を高めることができる。

［第８の実施形態］
図２２は、第８の実施形態に係わるゲートウェイ２００の一例を示す図である。座席状態判定装置としてのゲートウェイ２００は、ＣＰＵやＭＰＵ等のプロセッサ２５０と、ＲＯＭ（Read Only Memory）２２０およびＲＡＭ（Random Access Memory）２３０を備えるコンピュータである。ゲートウェイ２００は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部２１０、光学メディアドライブ２６０、および、インタフェース部２７０を備える。

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、記憶部２１０からロードされたプログラムやデータを一時的に記憶する。

光学メディアドライブ２６０は、ＣＤ－ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。ゲートウェイ２００で実行される各種プログラムは、例えばＣＤ－ＲＯＭ２８０に記録されて頒布される。このＣＤ－ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、記憶部２１０にインストールされる。

インタフェース部２７０は、内部通信部２７０ａ、および外部通信部２７０ｂを備える。内部通信部２７０ａは、センサネットワーク１００に接続され、画像センサ３－１～３－ｎとの通信を制御する。外部通信部２７０ｂは、ビル内LANに接続され、ルータ３００、コントローラ５００、およびクラウド４００との通信を制御する。ゲートウェイ２００で実行される各種プログラムを、例えばインタフェース部２７０を介してクラウド４００からダウンロードし、記憶部２１０にインストールすることもできる。インタフェース部２７０を介してクラウドサーバから最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。
記憶部２１０は、人検出情報２１０ａ、および椅子検出情報２１０ｂを記憶する。

プロセッサ２５０は、ＯＳ（Operating System）および各種のプログラムを実行する。また、プロセッサ２５０は、第8の実施形態に係る処理機能として、人物検出部２５０ａ、椅子検出部２５０ｂ、および、判定部２５０ｃを備える。人物検出部２５０ａ、椅子検出部２５０ｂ、および判定部２５０ｃは、例えば、プロセッサ２５０のレジスタにロードされたプログラムに従い、プロセッサ２５０が演算処理を実行する過程で生成される、プロセスである。すなわち第８の実施形態では、画像センサ３に搭載されていた判定部が、ゲートウェイ２００に実装される。

図２３は、図２２に示される機能ブロック間での情報の流れの一例を示す図である。図２３において、ゲートウェイ２００の内部通信部２７０ａは、画像センサ３から送信された椅子検出情報および人検出情報を取得し、判定部２５０ｃに渡す。

判定部２５０ｃは、人検出情報と椅子検出情報とに基づいて、座席ごとに空席または使用中のいずれかを判定し、座席状態情報を生成する。例えば、人検出情報に示される人の位置座標と、椅子検出情報に示される椅子の位置座標とから算出される人と椅子との距離が既定値以下であれば、判定部２５０ｃは、その椅子が使用中であると判定し、その椅子に係わる座席も使用中であると判定する。生成された座席状態情報は、外部通信部２７０ｂを介して例えばクラウド４００宛に送出される。

以上説明したように第８の実施形態では、ゲートウェイ２００に判定部２５０ｃを備え、画像センサからの椅子検出情報および人検出情報に基づいて、ゲートウェイ２００において座席状態情報を生成するようにした。

このようにしたので、第８の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、画像センサ３における処理負荷を軽減することができる。

［第９の実施形態］
図２４は、画像センサ３の他の例を示すブロック図である。第９の実施形態においては、人物検出部３３ａ、および椅子検出部３３ｂを画像センサ３に備え、画像センサ３では人検出情報と椅子検出情報を算出してゲートウェイ２００に送信する。そして、判定部をゲートウェイ２００に実装し、ゲートウェイ２００側で座席状態を判定するようにする。

図２５は、図２４に示される機能ブロック間での情報の流れの一例を示す図である。画像センサ３において、人物検出部３３ａにより生成された人検出情報と、椅子検出部３３ｂにより生成された椅子検出情報は、通信部３４によりセンサIDとともにゲートウェイ２００に向けて送信される。図２６に示されるように、人検出情報および椅子検出情報はゲートウェイ２００により取得され、ゲートウェイ２００において座席状態情報が生成される。座席状態情報は、センサIDとともに例えばコントローラ５００に伝送され、ビル内の照明機器や空調機器の制御に利用される。

以上説明したように第９の実施形態でも、ゲートウェイ２００に判定部を備えるようにしたので、座席の状態を正確に把握できるのに加え、画像センサ３の負荷を軽減することができる。

［第１０の実施形態］
図２７は、例えばクラウド４００に設けられるサーバ６００の一例を示す機能ブロック図である。サーバ６００は、画像センサ３からの人検出情報及び椅子検出情報を取得する通信処理部６００ｂと、取得した人検出情報及び椅子検出情報に基づいて座席状態情報を生成する判定部６００ａとを備える。

判定部６００ａは、人検出情報と椅子検出情報とに基づいて、座席ごとに空席または使用中のいずれかを判定し、座席状態情報を生成する。例えば、人検出情報に示される人の位置座標と、椅子検出情報に示される椅子の位置座標とから算出される人と椅子との距離が既定値以下であれば、判定部２５０ｃは、その椅子が使用中であると判定し、その椅子に係わる座席も使用中であると判定する。生成された座席状態情報は、通信処理部６００ｂを介して例えば外部システムなどに宛てて送出される。

図２８は、第１０の実施形態における情報伝達の一例を示す図である。図２８において、判定部６００ａはクラウド４００の機能として理解されることができる。図２８において、ゲートウェイ２００は、画像センサ３から送信された椅子検出情報および人検出情報を、センサＩＤとともにルータ３００経由でサーバ６００に伝送する。

サーバ６００の判定部４００ｄは、人検出情報と椅子検出情報とに基づいて、座席ごとに空席または使用中のいずれかを判定し、座席状態情報を生成する。生成された座席状態情報は、センサＩＤとともに、例えば外部システム宛に送出される。

以上説明したように第１０の実施形態では、クラウド４００のサーバ６００に判定部６００ａを備え、画像センサからの椅子検出情報および人検出情報に基づいて、クラウド４００において座席状態情報を生成するようにした。このようにしたので、第１０の実施形態によっても、座席の状態を正確に把握できるようになる。加えて、画像センサ３、およびゲートウェイ２００における処理負荷を軽減することができる。

［その他の実施形態］
なお、この発明は上記の実施形態に限られるものではなく、さらに多様な形態を取ることが可能である。

図２９は、センシングシステムの他の例を示す図である。図２９において、通信装置７００により、ゲートウェイ２００がクラウド４００と直接通信する機能を備え、クラウド４００がゲートウェイ２００経由で直接、各画像センサ３と通信可能な形態としてもよい。つまり、ゲートウェイ２００に、広域ネットワーク接続用の通信機能を備えるようにしてもよい。

図３０は、センシングシステムの他の例を示す図である。図３０に示されるように、センサネットワーク１０１として、渡り配線でなくマルチドロップ型のトポロジを採用することも可能である。図３０は、ゲートウェイ２００が広域ネットワーク接続用の通信機能を備える形態を示すが、図３１に示されるように、画像センサ３とクラウド４００との間にビル内ＬＡＮが配設される形態ももちろん可能である。

このほか、図３２に示されるように、複数の画像センサ３－１～３－ｎがビル内ＬＡＮに直接、接続されていてもよい。さらには、図３３に示されるように、画像センサ３に通信装置７００を持たせ、画像センサ３に直接広域ネットワーク接続用の通信機能を具備してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…照明機器、２…空調機器、３…画像センサ、３－１～３－ｎ…画像センサ、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…撮像部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…撮像素子、３２…記憶部、３２ａ…画像データ、３２ｂ…プログラム、３２ｄ…椅子位置情報、３２ｅ…辞書データ、３３…プロセッサ、３３ａ…人物検出部、３３ｂ…椅子検出部、３３ｃ…判定部、３３ｄ…検出部、３３ｅ…画像データ処理部、３４…通信部、３５…内部バス、１００…センサネットワーク、１０１…センサネットワーク、２００…ゲートウェイ、２１０…記憶部、２１０ａ…人検出情報、２１０ｂ…椅子検出情報、２２０…ＲＯＭ、２３０…ＲＡＭ、２５０…プロセッサ、２５０ａ…人物検出部、２５０ｂ…椅子検出部、２５０ｃ…判定部、２６０…光学メディアドライブ、２７０…インタフェース部、２７０ａ…内部通信部、２７０ｂ…外部通信部、３００…ルータ、４００…クラウド（クラウドコンピューティングシステム）、４００ａ…画像処理部、４００ｂ…センサ管理部、４００ｃ…辞書生成部、４００ｄ…判定部、４０１…画像データベース、５００…コントローラ、６００…サーバ、６００ａ…判定部、６００ｂ…通信処理部、７００…通信装置。

Claims (11)

1. 撮像素子を有する画像センサを具備し、
   前記画像センサは、
   前記撮像素子で対象空間を撮像して得られた画像データから、前記対象空間における人の位置情報を示す人検出情報を生成し、前記画像データから、前記対象空間における椅子の位置情報を示す椅子検出情報を生成する、検出部と、
   前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定し、当該座席の状態を示す座席状態情報を生成する判定部と、
   人検出用の辞書データと、前記椅子の形状情報を格納する椅子検出用の複数の辞書データとが記録された記憶部と、を具備し、
   前記検出部は、前記人検出用の辞書データを用いて前記人検出情報を生成することと、前記椅子検出用の辞書データを用いて前記椅子検出情報を生成することとを交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用いる、座席状態センシングシステム。
2. 撮像素子を有する画像センサと、この画像センサと通信可能なサーバとを具備し、
   前記画像センサは、
   前記撮像素子で対象空間を撮像して得られた画像データから、前記対象空間における人の位置情報を示す人検出情報を生成し、前記画像データから、前記対象空間における椅子の位置情報を示す椅子検出情報を生成する検出部と、
   人検出用の辞書データと、前記椅子の形状情報を格納する椅子検出用の複数の辞書データとが記録された記憶部と、を備え、
   前記検出部は、前記人検出用の辞書データを用いて前記人検出情報を生成することと、前記椅子検出用の辞書データを用いて前記椅子検出情報を生成することとを交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用い、
   前記サーバは、
   前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定し、当該座席の状態を示す座席状態情報を生成する判定部を具備する、座席状態センシングシステム。
3. 撮像素子を有する画像センサと、この画像センサをネットワークに通信可能に接続するゲートウェイ装置とを具備し、
   前記画像センサは、
   前記撮像素子で対象空間を撮像して得られた画像データから、前記対象空間における人の位置情報を示す人検出情報を生成し、前記画像データから、前記対象空間における椅子の位置情報を示す椅子検出情報を生成する検出部と、
   人検出用の辞書データと、前記椅子の形状情報を格納する椅子検出用の複数の辞書データとが記録された記憶部と、を備え、
   前記検出部は、前記人検出用の辞書データを用いて前記人検出情報を生成することと、前記椅子検出用の辞書データを用いて前記椅子検出情報を生成することとを交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用い、
   前記ゲートウェイ装置は、
   前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定し、当該座席の状態を示す座席状態情報を生成する判定部を具備する、座席状態センシングシステム。
4. 前記判定部は、
   前記人の位置情報を示す座標と前記椅子の位置情報を示す座標とから算出される距離が既定値以下であれば、当該椅子が使用中であると判定する、請求項１乃至３のいずれか１項に記載の座席状態センシングシステム。
5. 前記判定部は、前記座席状態情報において、前記椅子が使用中であるか否かを使用中／空席の２つの状態で表す、請求項１乃至３のいずれか１項に記載の座席状態センシングシステム。
6. 前記判定部は、前記座席状態情報において、前記椅子が使用中である確度を連続的な数値で表す、請求項１乃至３のいずれか１項に記載の座席状態センシングシステム。
7. 前記判定部は、前記座席状態情報において、前記椅子が使用中である確度を段階的なランクで表す、請求項１乃至３のいずれか１項に記載の座席状態センシングシステム。
8. 撮像素子を有する画像センサを具備するセンシングシステムに適用可能な座席状態判定方法であって、
   前記画像センサが、前記撮像素子で対象空間を撮像して画像データを取得し、
   前記画像センサが、前記画像データから、人検出用の辞書データを用いて前記対象空間における人の位置情報を示す人検出情報を生成することと、前記画像データから、椅子の形状情報を格納する椅子検出用の複数の辞書データのいずれかを用いて前記対象空間における前記椅子の位置情報を示す椅子検出情報を生成することと、を交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用い、
   前記画像センサが、前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定する、座席状態判定方法。
9. 撮像素子を有する画像センサと、この画像センサと通信可能なサーバとを具備するセンシングシステムに適用可能な座席状態判定方法であって、
   前記画像センサが、前記撮像素子で対象空間を撮像して画像データを取得し、
   前記画像センサが、前記画像データから、人検出用の辞書データを用いて前記対象空間における人の位置情報を示す人検出情報を生成することと、前記画像データから、椅子の形状情報を格納する椅子検出用の複数の辞書データのいずれかを用いて前記対象空間における前記椅子の位置情報を示す椅子検出情報を生成することと、を交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用い、
   前記サーバが、
   前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定する、座席状態判定方法。
10. 撮像素子を有する画像センサと、この画像センサをネットワークに通信可能に接続するゲートウェイ装置とを具備するセンシングシステムに適用可能な座席状態判定方法であって、
    前記画像センサが、前記撮像素子で対象空間を撮像して画像データを取得し、
    前記画像センサが、前記画像データから、人検出用の辞書データを用いて前記対象空間における人の位置情報を示す人検出情報を生成することと、前記画像データから、椅子の形状情報を格納する椅子検出用の複数の辞書データのいずれかを用いて前記対象空間における前記椅子の位置情報を示す椅子検出情報を生成することと、を交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用い、
    前記ゲートウェイ装置が、前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定する、座席状態判定方法。
11. 対象空間を撮像して画像データを取得する撮像素子と、
    前記画像データから、前記対象空間における人の位置情報を示す人検出情報を生成し、前記画像データから、前記対象空間における椅子の位置情報を示す椅子検出情報を生成する、検出部と、
    前記人検出情報と前記椅子検出情報とに基づいて座席の状態を判定し、当該座席の状態を示す座席状態情報を生成する判定部と、
    人検出用の辞書データと、前記椅子の形状情報を格納する椅子検出用の複数の辞書データとが記録された記憶部と、を具備し、
    前記検出部は、前記人検出用の辞書データを用いて前記人検出情報を生成することと、前記椅子検出用の辞書データを用いて前記椅子検出情報を生成することとを交互に行い、前記椅子検出情報の生成に際し、前記椅子検出用の複数の辞書データを順次切り替えて用いる、画像センサ。
    

Images