JP2022052193A - 画像処理装置、及び画像処理プログラム - Google Patents
画像処理装置、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2022052193A JP2022052193A JP2020158426A JP2020158426A JP2022052193A JP 2022052193 A JP2022052193 A JP 2022052193A JP 2020158426 A JP2020158426 A JP 2020158426A JP 2020158426 A JP2020158426 A JP 2020158426A JP 2022052193 A JP2022052193 A JP 2022052193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- unit
- touched
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 11
- 241000700605 Viruses Species 0.000 abstract description 6
- 238000004659 sterilization and disinfection Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 206010011224 Cough Diseases 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 241000711573 Coronaviridae Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- OIQPTROHQCGFEF-UHFFFAOYSA-L chembl1371409 Chemical compound [Na+].[Na+].OC1=CC=C2C=C(S([O-])(=O)=O)C=CC2=C1N=NC1=CC=C(S([O-])(=O)=O)C=C1 OIQPTROHQCGFEF-UHFFFAOYSA-L 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像部により撮像された映像を処理する画像処理装置、及び画像処理プログラムに関する。
2020年現在、COVID-19(以下、新型コロナウイルスという)の感染が世界的に拡大している。新型コロナウイルスの感染予防対策として、マスク、手洗い、ソーシャルディスタンスの確保などが挙げられている。また、物を介した感染を予防するために、人が触れた物をこまめに消毒することが求められている。
車の中は狭い密閉空間であるため、換気が悪い状態で使用した場合、車内の備品に付着したウイルスが滞留しやすい。例えば、レンタカーやカーシェアリングなど、前に乗車した人の乗車時の様子が分からない場合、車内を念入りに清掃・消毒する必要がある。
しかしながら、短時間で清掃・消毒する必要がある場合、車内全体を念入りに清掃・消毒することが難しい。車内を清掃・消毒する際、ウイルスが付着している可能性がある場所が分かれば、その場所を優先的に消毒することができ、消毒作業を効率化することができる。
本実施形態はこうした状況に鑑みてなされたものであり、その目的は、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援する技術を提供することにある。
上記課題を解決するために、本実施形態のある態様の画像処理装置は、撮像部により撮像された、人物が存在する空間の映像を取得する映像取得部と、取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する映像解析部と、前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する画像生成部と、を備える。
なお、以上の構成要素の任意の組合せ、本実施形態の表現を、装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。
本実施形態によれば、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援することができる。
本発明の実施の形態1は、車室内に設置されたカメラで乗員を撮影し、乗員が手で触った場所を監視・記録する人物監視システムに関する。
図1は、車両C1内の撮像装置10の設置例を示す図である。図1では撮像装置10は、ルームミラーに取り付けられている。なお撮像装置10は、センタバイザーやセンタコンソール上に設置されてもよい。また撮像装置10は車室内の天井に、車室内を上から俯瞰するように設置されてもよい。例えば円周魚眼レンズを使用すれば、車室内の半球状の全周囲を画角に収めることができる。
撮像装置10として、専用のカメラを設置してもよいし、ドライブレコーダや車室内モニタリングシステムのカメラを使用してもよい。車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムであり、ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。
撮像装置10は、レンズ、固体撮像素子、信号処理回路を備える。固体撮像素子には例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Devices)イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、A/D変換、ノイズ除去などの信号処理を施し、画像処理装置20に出力する。
撮像装置10は、距離画像を生成するための深度センサを備えていてもよい。深度センサとして例えば、3D-LiDAR(Light Detection and Ranging)を使用することができる。LiDARは撮影方向にレーザ光を照射し、その反射光を受光するまでの時間を計測して撮影方向にある物体までの距離を検出する。また撮像装置10は2眼のステレオカメラで構成されていてもよい。この場合、深度センサを設けなくても、2つの画像の視差をもとに距離画像を生成することができる。
図2は、実施の形態1に係る人物監視システム1の構成例を示す図である。人物監視システム1は、画像処理装置20、表示装置30、記録媒体40及び音声出力装置50を備える。画像処理装置20は、映像取得部21、映像解析部22、画像保持部23、画像生成部24、及び警告制御部25を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、ISP(Image Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、その他のLSIを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。
画像処理装置20は、専用のIC基板上に実装されてもよいし、カーナビゲーションシステムやドライブレコーダシステムと統合されて実装されてもよい。また画像処理装置20は、スマートフォン、タブレットなどの汎用の情報端末装置の一機能として構成されてもよい。撮像装置10と画像処理装置20間は有線または無線で接続される。画像処理装置20が専用のIC基板上に実装される場合、画像処理装置20と撮像装置10は、同じ筐体内に設置されてもよいし、別々の筐体内に設置されてもよい。
映像取得部21は、撮像装置10により撮像された映像を取得する。映像解析部22は、映像取得部21により取得された映像を解析する。実施の形態1では映像解析部22は、車室内で乗員が手で触った場所を検出する。
映像解析部22は、対象物認識部22a、対象物追尾部22b及び三次元空間認識部22cを含む。対象物認識部22aは、映像取得部21により取得された映像のフレーム内において対象物を探索する。対象物認識部22aは辞書データとして、特定の対象物が写った多数の画像を学習して生成された特定の対象物の識別器を有する。実施の形態1では人物の手の識別器を用意する。人物の手の識別器は少なくとも、手の甲が開いた状態の識別器を含む。なお手の識別器として、様々な状態の手を様々な角度から見た複数の識別器を用意することが好ましい。
また人物の手の識別器に加えて、車室内に存在する様々な装備品の識別器を用意しておいてもよい。例えば、ステアリング、シートベルト、シフトレバーなどの識別器を用意しておいてもよい。
対象物認識部22aは、映像のフレーム内を各対象物の識別器を用いて探索する。対象物の認識には例えば、HOG(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やLBP(Local Binary Patterns)特徴量などを用いてもよい。フレーム内に対象物が存在する場合、対象物認識部22aは、矩形の検出枠で当該対象物を補足する。
対象物追尾部22bは、対象物認識部22aが認識した対象物を、後続するフレーム内において追尾する。対象物の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。実施の形態1では追尾する対象物は、対象物認識部22aにより認識された人物の手である。
三次元空間認識部22cは、撮像装置10から取得された距離画像により特定される三次元空間内に、対象物認識部22aにより検出された対象物をマッピングする。実施の形態1では三次元空間認識部22cは、三次元空間内で、乗員の手が触れた場所を検出する。車室内に存在する装備品も対象物として認識している場合、乗員の手が触れた装備品も特定することができる。
三次元空間認識部22cは、乗員の手が装備品に触れた状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部23に一時保存する。画像保持部23は、フレーム画像を一時的に格納するための揮発性メモリである。
画像生成部24は、画像保持部23に格納されたフレーム画像をもとに、撮像装置10による撮像開始から、車室内で乗員が触った全ての接触場所をユーザが認識できる接触場所表示用の画像(以下、接触場所画像という)を生成する。画像生成部24は、接触場所画像として、乗員が手で触った可能性が高い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、接触可能性にもとづき3段階に分類されたヒートマップ画像を生成してもよい。例えば、乗員の手が接触した領域を赤色、接触した可能性がある領域を黄色、接触していない領域を緑色で表示したヒートマップ画像を生成してもよい。なお、接触していない領域は無色としてもよい。
画像生成部24は、乗員の手が接触した領域の明るさを最も明るく表示させ、接触した可能性がある領域の明るさを次に明るく表示させ、接触していない領域の明るさを最も暗く表示した接触場所画像を生成してもよい。また乗員の手が接触した領域が点滅している接触場所画像を生成してもよい。
表示態様を目立たせる領域は装備品単位であってもよいし、実際に触った領域単位であってもよい。装備品単位で目立たせる場合、例えばシートベルトの一部しか触っていない場合でも、シートベルト全体を目立たせる。
画像生成部24は、乗員が手で触った回数が多い接触場所ほど目立つ表示態様の接触場所画像を生成してもよい。例えば、接触回数が多い接触場所ほど彩度を高くしてもよい。
画像生成部24は、画像保持部23に格納された、乗員の手がどこかに触れている状態の複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部24は、乗員の手がどこかに触れている状態の複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。
なお画像生成部24は、車室内において乗員が手で触った装備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、乗員の手が装備品に触れた状態のフレーム画像を画像保持部23に蓄積する必要はなく、乗員の手が触れた装備品を特定するための管理情報を保持しておけばよい。
車室内を清掃・消毒しようとしているユーザにより操作部(不図示)に対して、接触場所画像の表示指示操作がなされると、画像生成部24は、接触場所画像を生成し、生成した接触場所画像を表示装置30に表示させる。
表示装置30は、車両C1内に設置されているカーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムのディスプレイ(例えば、液晶ディスプレイ、有機ELディスプレイ)であってもよい。また表示装置30は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのディスプレイであってもよい。また表示装置30は、車両内に設置されているメータパネル内のディスプレイであってもよい。なお表示装置30は、本実施の形態に係る人物監視システム1に専用のディスプレイであってもよい。
なお画像生成部24は、車両C1の走行中にリアルタイムに接触場所画像を生成し、表示装置30に表示させてもよい。この場合、乗員が車室内の何かを触ると、接触場所画像が更新される。画像生成部24は、接触場所画像として、撮像装置10により撮像されている映像上に、接触場所を示す注目マーカが重畳されたAR画像を表示装置30に表示させてもよい。
記録媒体40は、撮像装置10により撮像された映像を記録するための不揮発性の記録媒体である。例えば、半導体メモリカード(例えば、SDカード)や光ディスクを使用することができる。画像生成部24により生成された接触場所画像も記録媒体40に記録することができる。
以上の説明では、映像解析部22が撮像装置10から距離画像を取得できることを前提とした。撮像装置10に深度センサを設けたり、撮像装置10を二眼構成としたりするとコストが上昇する。以下の説明では、映像解析部22が撮像装置10から距離画像を取得できない場合の処理例を説明する。この処理例では、三次元空間認識部22cは設けられず、二次元の映像のみから車室内で乗員が手で触った場所を検出する。
この処理例では、車室内において装備品ごとに、乗員が装備品を様々な格好で触っている多数の画像を学習して、乗員が装備品を触っている状態を認識するための複数の識別器を辞書データとして用意する。乗員が装備品を触っている状態を認識するための識別器のセットは、車種ごとに用意されてもよい。この場合、撮像された映像内において各装備品の位置を高精度に特定できるとともに、乗員が装備品を触っているか否かを高精度に判定することができる。
さらに辞書データとして、マスクをしている人物の顔を認識するための識別器を用意してもよい。また乗員が咳き込んでいる状態を認識するための識別器を用意してもよい。
対象物認識部22aはフレーム画像内において、マスクをしていない乗員を検出した場合、マスク未着用の検出信号を警告制御部25に出力する。対象物認識部22aはフレーム画像内において、咳き込んでいる乗員を検出した場合、咳の検出信号を警告制御部25に出力する。対象物認識部22aはフレーム画像内において、後部座席に座っている二人の乗員間の距離が設定値以下のとき、距離接近の検出信号を警告制御部25に出力する。警告制御部25は、対象物認識部22aからマスク未着用、咳、または距離接近の検出信号を受けると、音声出力装置50に警告音または警告メッセージを出力させる。
音声出力装置50は、車両C1内に設置されているカーナビゲーションシステムまたはディスプレイオーディオシステムのスピーカであってもよい。また音声出力装置50は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのスピーカであってもよい。なお音声出力装置50は、本実施の形態に係る人物監視システム1に専用のスピーカであってもよい。
警告制御部25は、映像解析部22からマスク未着用の検出信号が入力されると、「マスクを着用してください。」といった注意喚起メッセージを音声出力装置50に出力させる。また警告制御部25は、咳の検出信号が入力されると、「換気してください。」、「窓を開けてください。」、「エアコンを外気導入モードにしてください。」、「マイナスイオン発生器を稼働させてください。」といった注意喚起メッセージを音声出力装置50に出力させる。なお本実施の形態に係る人物監視システム1と、車両C1内のエアーコンディショナシステムを連携させてもよい。その場合、警告制御部25は咳の検出信号が入力されると、エアーコンディショナシステムを外気導入モードに自動的に切り替えることができる。
警告制御部25は、映像解析部22から距離接近の検出信号が入力されると、「もう少し席の間隔を明けてください。」といった注意喚起メッセージを音声出力装置50に出力させる。なお映像解析部22が後部座席に三人の乗員を検出し、助手席に乗員を検出しない場合、席移動の指示信号を警告制御部25に出力してよい。警告制御部25は、映像解析部22から席移動の指示信号が入力されると、「一人、助手席に移動してください。」といった注意喚起メッセージを音声出力装置50に出力させる。
特定の人物の画像を登録することにより、手で触った場所の監視処理の対象から特定の人物を除外することができる。具体的には、監視処理の対象から除外したい人物の顔を撮像装置10で撮像し、対象物認識部22aの辞書データとして登録する。なお当該人物の顔が写った静止画を、外部から画像処理装置20に入力してもよい。
対象物認識部22aは、フレーム画像内において人物の顔を認識した場合、当該人物の顔が、除外対象として登録されている人物の顔であるか否か判定する。除外対象の人物の顔である場合、対象物認識部22aまたは三次元空間認識部22cは、当該人物の手を監視対象から除外する。フレーム画像内において認識した人物の顔が、除外対象の人物の顔でない場合、上述した手が触れた場所の検出・記録処理が適用される。
除外対象として登録する人物として、車両C1の所有者、及びその家族が考えられる。また、PCR検査、抗原検査または抗体検査の結果から、感染している可能性が低いと判定された人物を登録してもよい。例えば、車両C1の所有者、及びその家族を除外対象として登録することにより、画像処理装置20の負荷を軽減することができる。
図3は、実施の形態1に係る、車両C1の走行中に撮像されたフレーム画像F1の一例を示す図である。このフレーム画像F1では人物として、運転者P1、助手席の同乗者P2、後部座席の二人の同乗者P3、P4が検出されている。車室内にある装備品として、ステアリングO1、センタコンソールO2上にあるボトルホルダO2aなどが検出されている。また、運転者P1の手Dh1が監視対象として追尾されている。なお図示しないが、同乗者P2、P3、P4の手も監視対象となる。
図4は、実施の形態1に係る接触場所画像Ft1の一例を示す図である。車室内を清掃・消毒しようとしているユーザにより接触場所画像Ft1の表示が指示されると、表示装置30に接触場所画像Ft1が表示される。図4では、運転者P1が運転中に、ステアリングO1とボトルホルダO2aを触った例を示している。図4ではステアリングO1と、ボトルホルダO2aを含むセンタコンソールO2全体の領域が赤色でマークされている。
図5は、実施の形態1に係る接触場所画像Ft2の別の例を示す図である。図5ではステアリングO1とボトルホルダO2aが赤色でマークされ、ボトルホルダO2aが設置されているセンタコンソールO2全体の領域(ボトルホルダO2aの領域を除く)が黄色でマークされている。
なお接触場所画像Ftは、実際に撮像された車室内の画像上に、ウイルスが存在する可能性がある領域を示す注意マーカが重畳されたものであってもよいし、簡略化された車室内の模式図上に注意マーカが重畳されたものであってもよい。なお乗員が必ず手で触れる装備品(例えば、ステアリング、シフトレバー、ウインカレバー、ドアノブなど)に関しては、デフォルトで注意マーカが重畳されていてもよい。なお接触場所画像Ftは、ヒートマップ画像で生成されてもよい。
以上説明したように実施の形態1によれば、乗員が触った可能性がある領域を示す接触場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、レンタカー事業者の清掃担当者やガソリンスタンドの店員など、車両C1に乗車していなかった人で、短時間で効率的に車室内を清掃・消毒する必要がある人にとって有効である。もちろん、車両C1に乗車していた人にとっても、乗員全員分の触った場所を把握して記憶していることは困難であるため、接触場所画像を見ながら清掃・消毒することが有用である。
次に、実施の形態2に係る人物監視システム1を説明する。実施の形態1では、車室内に設置されたカメラで乗員を撮影し、乗員の手を検出して、乗員が手で触った場所を監視・記録する人物監視システム1を説明した。これに対して実施の形態2は、建物内の部屋に設置されたカメラで部屋の中の人物を検出し、人物が滞在した場所を監視・記録する人物監視システム1に関する。
実施の形態2に係る人物監視システム1は、会議室やコンベンションホールなど、広い室内空間の部屋を監視する例を想定している。一般的に屋内の監視カメラは部屋の天井に設置される。一台の監視カメラで広い部屋を監視する場合、広角に撮影する必要があり、フレーム画像内における人物のサイズが小さくなる。またフレーム画像内に大勢の人物が含まれる場合がある。これに対して実施の形態1では、狭い車室空間を撮影しているため、フレーム画像内の人物のサイズが一定サイズ以下になることがない。また普通車の場合、フレーム画像に含まれる人物の数は最大で5人である。
このように、会議室やコンベンションホールなどに設置される撮像装置10で撮像されたフレーム画像から画像認識により各人物の手を検出し、検出した手を追尾することは難しい。そこで実施の形態2では、人物の頭部または全身を検出し、検出した頭部または全身を追尾する。
以下の説明では、撮像装置10が部屋の天井の中央に設置され、部屋全体を俯瞰するように撮影する例を想定する。この場合、監視対象は上から見た人物の頭部となる。なお撮像装置10が天井と壁の角に設置され、部屋全体を斜めに見下ろすように撮影してもよい。その場合、監視対象は斜めから見た人物の頭部または全身となる。
画像処理装置20は、PC、タブレット、スマートフォンなどの汎用の情報端末装置の一機能として構成される。画像処理装置20と撮像装置10は有線(例えば、LANケーブルやUSBケーブル)または無線(例えば、無線LAN)で接続され、映像取得部21は撮像装置10から映像を取得する。
実施の形態2では映像解析部22は、部屋の中で人物が滞在した場所を検出する。対象物認識部22aは辞書データとして、人物の頭部または全身の識別器を有している。また人物の頭部または全身の識別器に加えて、室内に存在する様々な備品の識別器を用意しておいてもよい。例えば、机、椅子などの識別器を用意しておいてもよい。
対象物認識部22aはフレーム画像内において、人物の検出領域の周囲に付随領域を設定してもよい。例えば、人物を中心として半径1m~2m程度の円に相当する、画像内の領域を付随領域に設定してもよい。以下、人物の検出領域と当該人物の周囲に設定される付随領域を合わせた領域を行動領域と呼ぶ。なお、実空間における距離と画像内における距離の換算比率、及び付随領域の設定範囲は、ユーザが変更可能である。
対象物追尾部22bは、対象物認識部22aにより認識された人物の頭部または全身を追尾する。フレーム画像内において複数の人物が認識されている場合、人物ごとに追尾する。
三次元空間認識部22cは、撮像装置10から取得された距離画像により特定される三次元空間内で、人物が滞在した場所を検出する。室内に存在する備品も対象物として認識している場合、人物が触れたと推定される備品も特定することができる。例えば、人物の行動領域と備品の検出領域に重複部分が発生した場合、当該人物が当該備品に触れたと推定する。
三次元空間認識部22cは、人物が備品に触れたと推定される状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部23に一時保存する。なお実施の形態2では、人物が検出されている全てのフレーム画像を、画像保持部23に一時保存するようにしてもよい。
画像生成部24は、画像保持部23に格納されたフレーム画像をもとに、撮像装置10による撮像開始から、室内において人物が滞在した全ての滞在場所をユーザが認識できる滞在場所表示用の画像(以下、滞在場所画像という)を生成する。画像生成部24は、室内における人物の移動軌跡を認識できる滞在場所画像を生成してもよい。また画像生成部24は、室内における人物の移動に伴う、行動領域の軌跡を認識できる滞在場所画像を生成してもよい。
画像生成部24は、滞在場所画像として、人物が滞在した場所に近い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、人物が滞在した領域を赤色で表示し、付随領域を黄色で表示し、それ以外の領域を緑色(または無色)で表示したヒートマップ画像を生成してもよい。また、人物が滞在した領域を赤色で表示し、人物が滞在した領域から遠ざかるにつれ赤色→黄色→緑色(または無色)と徐々に変化していくヒートマップ画像を生成してもよい。
また画像生成部24は、人物が滞在した領域の明るさを最も明るくし、人物が滞在した領域から遠ざかるにつれ明るさを暗くした滞在場所画像を生成してもよい。また人物が滞在した領域が点滅している滞在場所画像を生成してもよい。
人物の行動領域と備品の検出領域に重複部分が発生した場合、画像生成部24は、当該備品全体を目立つ表示態様としてもよいし、当該重複部分のみを目立つ表示態様としてもよい。当該備品の床からの高さが推定できる場合、画像生成部24は当該備品の床からの高さが、人物が座った状態または立った状態の手の高さに近いほど、当該備品を目立つ表示態様としてもよい。
画像生成部24は、複数の人物の検出領域の重複が多い領域ほど、目立つ表示態様としてもよい。例えば、検出領域の重複数が多い領域ほど、彩度を高くしてもよい。なお画像生成部24は、複数の人物の行動領域の重複が多い領域ほど、目立つ表示態様としてもよい。
画像生成部24は、画像保持部23に格納された、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部24は、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。
なお画像生成部24は、室内において人物が触れたと推定される備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、フレーム画像を画像保持部23に蓄積する必要はなく、人物が触れたと推定される備品を特定するための管理情報を保持しておけばよい。
室内を清掃・消毒しようとしているユーザにより操作部(不図示)に対して、滞在場所画像の表示指示操作がなされると、画像生成部24は、滞在場所画像を生成し、生成した滞在場所画像を表示装置30に表示させる。
表示装置30は、PC、タブレット、スマートフォンなどの汎用の情報端末装置のディスプレイであってもよい。また表示装置30は当該情報端末装置に接続されたプロジェクタであってよい。その場合、プロジェクタは滞在場所画像をスクリーンに投影させる。また表示装置30は当該情報端末装置に接続されたヘッドマウントディスプレイであってもよい。その場合、ヘッドマウントディスプレイは、滞在場所画像をVR画像で表示させることができる。なお接触場所用の表示映像が立体映像で生成される場合、ヘッドマウントディスプレイは、立体VR映像を表示させることができる。
なお画像生成部24は、部屋の使用中(例えば、会議中)に、リアルタイムに滞在場所画像を生成し、表示装置30(例えば、プロジェクタ)に表示させてもよい。この場合、人物が入室または退室したり、部屋の中で人物が場所を移動したりすると滞在場所画像が更新される。画像生成部24は、滞在場所画像として、撮像装置10により撮像されている映像上に、人物の滞在場所を示す注目マーカが重畳されたAR画像を表示装置30に表示させてもよい。
実施の形態2においても、対象物認識部22aはフレーム画像内において、人物間の距離が設定値以下のとき、距離接近の検出信号を警告制御部25に出力することができる。警告制御部25は、対象物認識部22aから距離接近の検出信号を受けると、音声出力装置50に警告音または警告メッセージを出力させる。なお、マスク未着用の人物、または咳き込んでいる人物を検出した場合も、音声出力装置50に警告音または警告メッセージを出力させることができる。
また実施の形態2においても、特定の人物の画像を登録することにより、滞在場所の監視処理の対象から、登録した人物を除外することができる。
図6は、実施の形態2に係る滞在場所画像Fs1の第1の例を示す図である。室内を清掃・消毒しようとしているユーザにより滞在場所画像Fs1の表示が指示されると、表示装置30に滞在場所画像Fs1が表示される。図6では、部屋の使用中に、三人の人物P1、P2、P3が左側の第1の机D1を使用していた場合の滞在場所画像Fs1を示している。右側の第2の机D2は使用されていない。図6では、左側の第1の机D1が注意領域として赤色でマークされる。
対象物認識部22aは各フレーム画像内において、各人物P1、P2、P3の検出領域と第1の机D1の検出領域が重複したか否か、及び各人物P1、P2、P3の検出領域と第2の机D2の検出領域が重複したか否かを判定する。対象物認識部22aは、重複がある机を使用された机(図6では第1の机D1)と判定する。
図7は、実施の形態2に係る滞在場所画像Fs2の第2の例を示す図である。図7では、室内における人物P1の移動軌跡を表示した滞在場所画像Fs2を示している。図7に示す画像において、部屋の出入口が右側にあり、人物P1が第2の机D2及び第1の机D1の下側を左に移動し、第1の机D1の左側を上に移動し、第1の机D1の上側を右に移動して、現在の場所に到達したことを示している。なお、人物P1の周囲に付随領域が付加された行動領域の移動軌跡を表示してもよい。
図8(a)-(c)は、実施の形態2に係る滞在場所画像Fs3の第3の例を示す図である。第3の例は、試験会場や大教室など、机と椅子の位置が固定されている部屋の例である。図8(a)に示す滞在場所画像Fs3aでは、左側の第1の椅子S1に第1の人物P1が座っている。右側の第2の椅子S2は空席である。この場合、左側の第1の椅子S1と第1の机D1が注意領域として赤色でマークされる。
図8(b)に示す滞在場所画像Fs3bでは、左側の第1の椅子S1に第1の人物P1が座っており、右側の第2の椅子S2に第2の人物P2が座っている。この場合、左側の第1の椅子S1と第1の机D1、及び右側の第2の椅子S2と第2の机D2の両方が注意領域として赤色でマークされる。
図8(c)に示す滞在場所画像Fs3cは、右側の第2の椅子S2に座っていた第2の人物P2が退席した後の状態を示している。第2の人物P2が右側の第2の椅子S2と第2の机D2の位置に滞在していたため、第2の人物P2が退席した後も、右側の第2の椅子S2と第2の机D2は注意領域として赤色でマークされる。
図9は、実施の形態2に係る滞在場所画像Fs4の第4の例を示す図である。図6-図8(a)-(c)に示した例では、人物が触れたと推定される机全体の領域を赤色でマークした。これに対して図9に示す第4の例では、机全体の領域のうち、人物が触れた可能性が高い領域のみを注意領域として赤色でマークする。図9では、第1の人物P1の位置から所定距離の第1範囲R1、及び第2の人物P2の位置から所定距離の第2範囲R2が注意領域として赤色でマークされる。このマークされる領域は、人物P1、P2の移動に伴い拡大する。
所定距離はソーシャルディスタンスを考慮して、例えば2mに設定される。この所定距離は、マスクの着用の有無により切り替えられてもよい。その場合、マスク未着用の人物の所定距離は、マスク着用の人物の所定距離より長く設定される。
また対象物認識部22aが人物の手の動きを検出できる場合、机全体の領域の中で手が動いた範囲を注意領域として赤色でマークしてもよい。その際、机全体の領域の中でマークされる領域は、実際に手の動きを検出した範囲に所定のバッファ領域を加えた領域であってもよい。また机全体の領域の中でマークされる領域は、人物P1、P2の行動領域と重複する領域であってもよい。
なお、第1範囲R1と第2範囲R2の重複範囲R3を、よりレベルの高い注意領域として相対的に目立つ色でマークしてもよい。例えば、第1範囲R1と第2範囲R2のうち、両者が重複していない範囲を緑色でマークし、両者の重複範囲R3を赤色でマークしてもよい。また、一人の人物の所定距離の範囲を緑色でマークし、二人の人物の所定距離の範囲の重複領域を黄色でマークし、三人以上の人物の所定距離の範囲の重複領域を赤色でマークしてもよい。
図10は、実施の形態2に係る滞在場所画像Fs5の第5の例を示す図である。図10に示す滞在場所画像Fs5では、部屋の中で人物の移動が多い通路の領域R5が注意領域として赤色でマークされている。なお、人物が通路を通った回数に応じて色を変えてもよい。例えば、1~5回は緑色でマークし、6~10回は黄色でマークし、11回以上は赤色でマークしてもよい。なお、図10では通路全体の領域R5を注意領域としてマークしているが、実際に人物が通った移動軌跡、すなわち人物と通路が重複した部分のみをマークしてもよい。
以上説明したように実施の形態2によれば、人物が滞在した領域を示す滞在場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、外部の清掃業者など、部屋を使用していなかった(例えば、会議に参加していなかった)人で、短時間で効率的に部屋の中を清掃・消毒する必要がある人にとって有効である。もちろん、部屋を使用していた人にとっても、部屋の中にいた人全員分の動きを把握し記憶していることは困難であるため、滞在場所画像を見ながら清掃・消毒することが有用である。
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態1において、例えば運転者は運転中、基本的にステアリングを手で握っている。一方で、それ以外の動き(例えば、水を飲むためにボトルホルダを触る動きなど)をしている状態では、ステアリングを握っている通常の状態の画像とは大きく異なる画像となる。対象物認識部22aは、フレーム画像内において運転者がステアリングを手で握っていないフレーム画像を全て画像保持部23に保存してもよい。画像生成部24は、画像保持部23に格納されている複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部24は、画像保持部23に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に接触場所画像を生成することができる。
実施の形態2において、対象物認識部22aは、フレーム画像内で人物が検出されたフレーム画像を全て画像保持部23に保存してもよい。画像生成部24は、画像保持部23に格納されている複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部24は、画像保持部23に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に滞在場所画像を生成することができる。
実施の形態1では、人物の手を監視対象とし、車室内を監視する例を説明した。この点、人物の手を検出しやすい狭い空間の監視であれば、車室内を監視する例に限定されるものではない。建物内の部屋であっても、数人しか入れない狭い部屋の監視であれば、実施の形態1に係る人物監視システム1が有効に機能する。
実施の形態2では、人物自体を監視対象とし、建物内の部屋の中を監視する例を説明した。この点、電車、バス、飛行機、船舶などの移動体の中の室内空間の監視にも、実施の形態2に係る人物監視システム1を適用することができる。また一定範囲の屋外空間の監視にも適用可能である。
また新型コロナウイルスは、付着している物質や環境条件に依存するが、最長で7日程度で死滅する。したがって、車両や部屋の使用終了後、設定時間以上が経過している場合は、画像内に注意領域を表示する必要はない。
C1 車両、 1 人物監視システム、 10 撮像装置、 20 画像処理装置、 21 映像取得部、 22 映像解析部、 22a 対象物認識部、 22b 対象物追尾部、 22c 三次元空間認識部、 23 画像保持部、 24 画像生成部、 25 警告制御部、 30 表示装置、 40 記録媒体、 50 音声出力装置。
Claims (5)
- 撮像部により撮像された、人物が存在する空間の映像を取得する映像取得部と、
取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する映像解析部と、
前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する画像生成部と、
を備える画像処理装置。 - 前記画像生成部は、前記表示用画像として、前記人物が手で触った可能性が高い場所ほど目立つ色で表示されるヒートマップ画像を生成する、
請求項1に記載の画像処理装置。 - 前記画像生成部は、前記人物が手で触った回数が多い接触場所ほど目立つ表示態様で表示させる表示用画像を生成する、
請求項1または2に記載の画像処理装置。 - 前記撮像部は、車両内に設置され、当該車両内の車室空間を撮像するための撮像部である、
請求項1から3のいずれか1項に記載の画像処理装置。 - 撮像部により撮像された、人物が存在する空間の映像を取得する処理と、
取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する処理と、
前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する処理と、
をコンピュータに実行させる画像処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158426A JP2022052193A (ja) | 2020-09-23 | 2020-09-23 | 画像処理装置、及び画像処理プログラム |
EP21871907.8A EP4220548A4 (en) | 2020-09-23 | 2021-06-01 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM |
CN202180061374.2A CN116157833A (zh) | 2020-09-23 | 2021-06-01 | 图像处理装置及图像处理程序 |
PCT/JP2021/020804 WO2022064774A1 (ja) | 2020-09-23 | 2021-06-01 | 画像処理装置、及び画像処理プログラム |
US18/187,739 US20230230294A1 (en) | 2020-09-23 | 2023-03-22 | Picture processing device, picture processing method and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020158426A JP2022052193A (ja) | 2020-09-23 | 2020-09-23 | 画像処理装置、及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022052193A true JP2022052193A (ja) | 2022-04-04 |
Family
ID=80948839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020158426A Pending JP2022052193A (ja) | 2020-09-23 | 2020-09-23 | 画像処理装置、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022052193A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220144200A1 (en) * | 2020-11-12 | 2022-05-12 | Toyoda Gosei Co., Ltd. | Vehicle occupant protection system |
-
2020
- 2020-09-23 JP JP2020158426A patent/JP2022052193A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220144200A1 (en) * | 2020-11-12 | 2022-05-12 | Toyoda Gosei Co., Ltd. | Vehicle occupant protection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200363534A1 (en) | Imaging device and electronic device | |
JP7173196B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6127659B2 (ja) | 運転支援装置及び運転支援方法 | |
US8599266B2 (en) | Digital processing of video images | |
US10281721B2 (en) | System and method for augmented reality head up display for vehicles | |
IT201900011403A1 (it) | Detecting illegal use of phone to prevent the driver from getting a fine | |
WO2011064831A1 (ja) | 診断装置及び診断方法 | |
EP1179958A4 (en) | IMAGE PROCESSING DEVICE AND MONITORING SYSTEM | |
US20210350570A1 (en) | Image processing device, image processing method, and program | |
US20180370461A1 (en) | Vehicle system for reducing motion sickness | |
JP2014093071A (ja) | 周辺車の位置追跡装置及び方法 | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
US20230230294A1 (en) | Picture processing device, picture processing method and non-transitory computer-readable recording medium | |
Martin et al. | Real time driver body pose estimation for novel assistance systems | |
JP2022052193A (ja) | 画像処理装置、及び画像処理プログラム | |
KR102304391B1 (ko) | 차량 및 그 제어 방법 | |
US11348347B2 (en) | In-vehicle device | |
KR20150058881A (ko) | 영상 인식을 기반으로 하는 차량의 공기순환 제어방법 | |
CN108073274A (zh) | 基于深度值的手势操作方法及其*** | |
JP2022052681A (ja) | 画像処理装置、及び画像処理プログラム | |
US20210279486A1 (en) | Collision avoidance and pedestrian detection systems | |
KR20190119291A (ko) | 차량용 모니터링 방법 및 장치 | |
JP2005071041A (ja) | 運転者視対象検出装置及び運転者視対象検出システム | |
Chowdhury et al. | Designing an empirical framework to estimate the driver's attention | |
JP2007148506A (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240422 |