JP7371712B2 - 撮像システム、撮像方法、及びコンピュータプログラム - Google Patents

撮像システム、撮像方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP7371712B2
JP7371712B2 JP2022029796A JP2022029796A JP7371712B2 JP 7371712 B2 JP7371712 B2 JP 7371712B2 JP 2022029796 A JP2022029796 A JP 2022029796A JP 2022029796 A JP2022029796 A JP 2022029796A JP 7371712 B2 JP7371712 B2 JP 7371712B2
Authority
JP
Japan
Prior art keywords
target
camera
periodicity
imaging system
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022029796A
Other languages
English (en)
Other versions
JP2023098545A (ja
Inventor
諒 山下部
航介 吉見
有加 荻野
竜一 赤司
正人 塚田
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022510202A external-priority patent/JP7371762B1/ja
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022029796A priority Critical patent/JP7371712B2/ja
Publication of JP2023098545A publication Critical patent/JP2023098545A/ja
Application granted granted Critical
Publication of JP7371712B2 publication Critical patent/JP7371712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

この開示は、撮像システム、撮像方法、及びコンピュータプログラムの技術分野に関する。
この種のシステムとして、生体認証処理に用いる生体の一部(例えば、顔や虹彩等)を撮像するものが知られている。例えば特許文献1では、ウォークスルー型虹彩認証システムにおいて、被認証者の身長に応じてカメラを選択すること、顔の大きさなどに基づいて被認証者の位置を推定することが開示されている。特許文献2では、複数のカメラから歩容情報(歩幅、手足の振り、姿勢、歩行周期、動きの左右非対称性など)を抽出し、対象人物の歩容情報と比較して歩容認識を行うことが開示されている。特許文献3では、ユーザの加速度、歩行パワー、歩行ペース、歩行バランスの特徴量から、歩容総合評価値を算出することが開示されている。特許文献4では、右目と左目との間の距離から対象までの距離を算出すること、及び被認証者の目の高さを算出してカメラをチルトさせることが開示されている。
国際公開第2020/195215号 特開2020-107145号公報 特開2017-127522号公報 特開2006-163683号公報
この開示は、先行技術文献に開示された技術を改善することを目的とする。
この開示の撮像システムの一の態様は、対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定する周期性推定手段と、前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する画像取得手段と、を備え、前記周期性推定手段は、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、前記画像取得手段は、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する
この開示の撮像装置の一の態様は、対象の少なくとも一部における移動に関する移動情報を取得する情報取得手段と、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定する周期性推定手段と、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する画像取得手段と、を備える。
この開示の撮像方法の一の態様は、少なくとも1つのコンピュータによって、対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定し、前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する、撮像方法であって、前記周期性を推定する際には、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、前記対象の顔画像を取得する際には、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する
この開示のコンピュータプログラムの一の態様は、少なくとも1つのコンピュータに、対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定し、前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する、撮像方法であって、前記周期性を推定する際には、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、前記対象の顔画像を取得する際には、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する、撮像方法を実行させる。
第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。 第1実施形態に係る撮像システムの機能的構成を示すブロック図である。 第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第3実施形態に係る撮像システムの機能的構成を示すブロック図である。 第3実施形態に係る撮像システムによる座標変換動作を示す概念図である。 第4実施形態に係る撮像システムの動作の流れを示すフローチャートである。 歩容モデルから焦点面の目位置を推定する方法の一例を示すグラフである。 第5実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。 第5実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第5実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。 第5実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。 第6実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。 第6実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第6実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。 第6実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。 第7実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。 第7実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第7実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。 第7実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。 単位時間あたりの目位置の変化量の違いを示すグラフである。 第9実施形態に係る撮像システムの動作の流れを示すフローチャートである。 対象が減速するポイントの一例を示す側面図である。 対象の目位置が変化するポイントの一例を示す側面図(その1)である。 対象の目位置が変化するポイントの一例を示す側面図(その2)である。 対象の目位置が変化するポイントの一例を示す側面図(その3)である。 対象の目位置が変化するポイントの一例を示す側面図(その4)である。 第12実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第13実施形態に係る撮像システムの動作の流れを示すフローチャートである。 目の高さの最高値、最低値、中間値の一例を示すグラフである。 第14実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第15実施形態に係る撮像装置の機能的構成を示すブロック図である。
以下、図面を参照しながら、撮像システム、撮像装置、撮像方法、及び記録媒体の実施形態について説明する。
<第1実施形態>
第1実施形態に係る撮像システムについて、図1から図3を参照して説明する。
(ハードウェア構成)
まず、図1を参照しながら、第1実施形態に係る撮像システムのハードウェア構成について説明する。図1は、第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。
図1に示すように、第1実施形態に係る撮像システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。撮像システム10は更に、入力装置15と、出力装置16と、を備えていてもよい。また、撮像システム10は、カメラ18を備えている。上述したプロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16と、カメラ18とは、データバス17を介して接続されている。
プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、撮像システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、対象の画像を撮像するための処理を実行する機能ブロックが実現される。即ち、プロセッサ11は、撮像システム10における各制御を実行するコントローラとして機能してよい。
プロセッサ11は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)として構成されてよい。プロセッサ11は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic Random Access Memory)や、SRAM(Static Random Access Memory)であってよい。また、RAM12に代えて、他の種類の揮発性メモリが用いられてもよい。
ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable Read Only Memory)や、EPROM(Erasable Read Only Memory)であってよい。また、ROM13に代えて、他の種類の不揮発性 メモリが用いられてもよい。
記憶装置14は、撮像システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置15は、撮像システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置15は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。入力装置15は、例えばマイクを含む音声入力が可能な装置であってもよい。
出力装置16は、撮像システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、撮像システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。また、出力装置16は、撮像システム10に関する情報を音声出力可能なスピーカ等であってもよい。出力装置16は、スマートフォンやタブレット等の携帯端末として構成されていてもよい。また、出力装置16は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置16は、認証システム10に関する情報を音声で出力するスピーカであってもよい。
カメラ18は、対象の画像を撮像可能な箇所に設置されたカメラである。なお、ここでの対象は、人間だけに限られず、犬や蛇等の動物、ロボット等を含むものであってよい。カメラ18は、対象全体の画像を撮像するものであってもよいし、対象の一部を撮像するものであってもよい。例えば、カメラ18は、対象の顔の画像(以下、適宜「顔画像」と称する)や、対象の目を含む画像(以下、適宜「目画像」と称する)を撮像するように構成されてよい。カメラ18は、静止画を撮像するカメラであってもよいし、動画を撮像するカメラであってもよい。カメラ18は、可視光カメラとして構成されてもよいし、近赤外線カメラとして構成されてよい。カメラ18は、複数台設けられていてもよい。複数台のカメラ18は、同一種類類であってもよいし、別種類であってもよい。カメラ18は、例えば画像を撮像しない場合には、自動的に電源オフとなる機能を備えていてもよい。この場合、例えば液体レンズやモータ等の寿命が短いものを優先して電源オフにするようにしてもよい。
なお、図1では、複数の装置を含んで構成される撮像システム10の例を挙げたが、これらの全部又は一部の機能を、1つの装置(撮像装置)で実現してもよい。この撮像装置は、例えば、上述したプロセッサ11、RAM12、ROM13のみを備えて構成され、その他の構成要素(即ち、記憶装置14、入力装置15、出力装置16、及びカメラ18)については、例えば撮像装置に接続される外部の装置が備えるようにしてもよい。また、撮像装置は、一部の演算機能を外部の装置(例えば、外部サーバやクラウド等)によって実現するものであってもよい。
(機能的構成)
次に、図2を参照しながら、第1実施形態に係る撮像システム10の機能的構成について説明する。図2は、第1実施形態に係る撮像システムの機能的構成を示すブロック図である。
第1実施形態に係る撮像システム10は、対象の画像を撮像するものとして構成されている。より具体的には、撮像システム10は、移動する対象(例えば、歩行者等)を撮像可能なものとして構成されている。撮像システム10で撮像された画像の用途は特に限定されないが、例えば生体認証に用いられてもよい。例えば、撮像システム10は、歩行する対象を撮像して生体認証を行う、ウォークスルー認証を実行する認証システムの一部として構成されてもよい。
図2に示すように、第1実施形態に係る撮像システム10は、その機能を実現するための構成要素として、すでに説明したカメラ18と、情報取得部110と、周期性推定部120と、画像取得部130と、を備えて構成されている。情報取得部110、周期性推定部120、及び画像取得部130の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
情報取得部110は、対象の少なくとも一部における移動に関する移動情報を取得可能に構成されている。なお、対象の少なくとも一部とは、例えば対象が移動する際に周期的な動きをする部分であり、例えば目、顔全体、鼻、口、耳、腕、胸、足、体全体などが挙げられる。移動情報は、移動に関する様々な情報であってよく、複数種類の情報を含んでいてもよい。移動情報が含む情報の種類は、移動に関するものであれば特に限定されないが、例えば位置の推移(時系列の座標情報等)を示す情報であってよい。或いは、移動情報は、移動する速度、加速度等に関する情報を含んでいてもよい。情報取得部110は、例えば各種センサを用いて移動情報を取得してよい。情報取得部110は、カメラ18を用いて移動情報を取得してもよい。また、情報取得部110は、移動情報以外の情報を取得してもよい。情報取得部110が取得する移動情報以外の情報については、後述する他の実施形態で詳しく説明する。
周期性推定部120は、情報取得部110で取得された移動情報に基づいて、対象の少なくとも一部における移動に関する周期性を推定可能に構成されている。ここでの「周期性」とは、対象の少なくとも一部が繰り返して行う移動の周期を示す情報である。推定される周期性は、周期そのものを示す値であってもよいし、周期性を示すグラフやその他の情報であってもよい。周期性推定部120は、予め設定されたルールを用いて周期性を推定してよい。或いは、周期性推定部120は、学習済みの推定モデルを用いて周期性を推定してよい。周期性推定部120が推定する周期性の具体例については、後述する他の実施形態において詳しく説明する。
画像取得部130は、周期性推定部120で推定された周期性に基づいてカメラ18を制御し、対象の画像を取得可能に構成されている。画像取得部130は、例えば、より適切な画像を取得するために、カメラの向きや位置、カメラパラメータ、撮像タイミング等を制御する。また、画像取得部130は、カメラ18の制御に加えて、撮像に影響を与え得る要素の制御(例えば、照明の制御等)を行ってもよい。また、画像取得部130は、対象の移動を促すガイド情報を出力するための制御を行ってもよい。具体的には、画像取得部130は、ディスプレイやスピーカ等を用いて各種情報を出力可能な出力部を制御して、ユーザに対するガイド情報(例えば、ユーザの移動を促す情報)を適宜出力してよい。画像取得部130は、例えばカメラ18の前で立ち止まる等、周期的でない動きをしているユーザが存在する場合に、「そのまま歩いて通過してください」等のメッセージを出力するように出力部を制御してよい。画像取得部130による具体的な制御方法については、後述する他の実施形態において詳しく説明する。
(動作の流れ)
次に、図3を参照しながら、第1実施形態に係る撮像システム10の動作(即ち、対象の画像を撮像する際の動作)の流れについて説明する。図3は、第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。
図6に示すように、第1実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。情報取得部110は、取得した移動情報を、周期性推定部120に出力する。
続いて、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、対象の少なくとも一部における移動に関する周期性を推定する(ステップS102)。周期性推定部120は、推定した周期性に関する情報を、画像取得部130に出力する。
続いて、画像取得部130が、周期性推定部120で推定された周期性に基づいてカメラ18を制御し、対象の画像を取得する(ステップS103)。画像取得部130は、取得した画像をディスプレイ等に出力してもよい。また、画像取得部130は、別途設けられた出力部を制御することで、取得した画像を出力させるようにしてもよい。
(技術的効果)
次に、第1実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図1から図3で説明したように、第1実施形態に係る撮像システム10では、対象の移動に関する周期性に基づいてカメラ18が制御される。このようにすれば、対象の動きを考慮した撮像を行うことができるため、より適切な状態で対象を撮像し、より適切な画像を取得することが可能となる。
<第2実施形態>
第2実施形態に係る撮像システム10について、図4を参照して説明する。なお、第2実施形態は、上述した第1実施形態と一部の動作が異なるのみであり、その他の部分については第1実施形態と同一であってよい。このため、以下では、すでに説明した第1実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図4を参照しながら、第2実施形態に係る撮像システム10の動作の流れについて説明する。図4は、第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図4では、図3で示した処理と同様の処理に同一の符号を付している。
図4に示すように、第2実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。なお、第2実施形態に係る情報取得部110は、少なくとも対象の目の移動に関する移動情報を取得する。
続いて、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。ここでの「歩容モデル」は、対象の歩容を示すモデルであり、周期性に関する情報を含んでいる。歩容モデルは、例えば、対象の歩行に応じて目の位置がどのように変化するのかを示す情報(即ち、歩行に応じた目の動きの周期性を示す情報)であってよい。周期性推定部120は、推定した歩容モデルを用いて周期性を推定してもよい。
歩容モデルは、例えば、下記式(1)にように表されるモデルであってよい。
y=Asin{(2π/T)t+α}+β ・・・(1)
なお、yは目の高さ、Aは振幅、Tは周期、tは時間、α及びβは所定の係数である。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいてカメラ18を制御し、対象の画像を取得する(ステップS103)。歩容モデルに基づいたカメラ18の制御については、後述する他の実施形態において詳しく説明する。
(技術的効果)
次に、第2実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図4で説明したように、第2実施形態に係る撮像システム10では、目位置の推移に基づいて歩容モデルを推定し、対象の周期性を推定できる。このようにすれば、対象の歩容を考慮して、より適切な撮像を行うことが可能となる。
<第3実施形態>
第3実施形態に係る撮像システム10について、図5及び図6を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1及び第2実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(機能的構成)
まず、図5を参照しながら、第3実施形態に係る撮像システム10の機能的構成について説明する。図5は、第3実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図5では、図2で示した要素と同様のものに同一の符号を付している。
図5に示すように、第3実施形態に係る撮像システム10は、その機能を実現するための構成要素として、カメラ18と、目位置検出カメラ20と、距離センサ21と、情報取得部110と、周期性推定部120と、画像取得部130と、を備えて構成されている。即ち、第3実施形態に係る撮像システム10は、第1実施形態の構成(図2参照)に加えて、目位置検出カメラ20と、距離センサ21と、を更に備えて構成されている。
目位置検出カメラ20は、対象の目位置を検出可能に構成されたカメラである。目位置検出カメラ20は、対象の目を含む画像を撮像し、その画像から対象の目位置を検出可能に構成されている。目位置検出カメラ20は、連続して画像を撮像することで、目位置の推移を検出可能に構成されてよい。なお、画像から目位置を検出する具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略するものとする。目位置検出カメラ20は、カメラ18とは異なるものとして設けられていてもよいし、カメラ18と同一のものとして設けられていてもよい。例えば、カメラ18が目位置を検出している機能を有している場合には、カメラ18を目位置検出カメラ20として用いてよい。目位置検出カメラ20で検出された目位置に関する情報は、目に関する移動情報として情報取得部110に取得される構成となっている。
距離センサ21は、対象と目位置検出カメラ20との距離を検出可能に構成されている。距離センサ21で取得された対象と目位置検出カメラ20との距離は、上述した目に関する移動情報と共に情報取得部110に取得される構成となっている。
(座標変換動作)
次に、図6を参照しながら、第3実施形態に係る撮像システム10が行う座標変換動作について説明する。図6は、第3実施形態に係る撮像システムによる座標変換動作を示す概念図である。
図6(a)に示すように、第3実施形態に係る撮像システム10では、情報取得部110が、目位置検出カメラ20から、対象の目位置の推移を取得する。なお、ここでの目位置の推移は、画像から取得されたものであるため、画像上の目の座標によって表されている。即ち、情報取得部110で取得される目位置の推移は、2次元平面における目位置の推移である。
図6(b)に示すように、第3実施形態に係る周期性推定部120は、上述した2次元平面における目位置の推移を、3次元空間における目位置の推移に変換する。具体的には、周期性推定部120は、距離センサ21で取得された対象と目位置検出カメラ20との距離を奥行き方向の情報として用いることで、2次元平面における目位置の推移を、3次元空間における目位置の推移に変換する。
(技術的効果)
次に、第3実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図5及び図6で説明したように、第3実施形態に係る撮像システム10では、2次元平面における目位置の推移が、3次元空間における目位置の推移に変換される。このようにすれば、画像から検出した目に関する移動情報(2次元平面における情報)から、実際の目の位置(3次元空間における情報)を推定することが可能となる。第3実施形態に係る撮像システム10は、このように実際の目位置を推定できるからこそ、より適切な撮像を行うことが可能となる。
<第4実施形態>
第4実施形態に係る撮像システム10について、図7及び図8を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と一部の動作が異なるのみであり、その他の部分については第1から第3実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図7を参照しながら、第4実施形態に係る撮像システム10の動作の流れについて説明する。図7は、第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図7では、図4で示した処理と同様の処理に同一の符号を付している。
図7に示すように、第4実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部(ここでは「目」)における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。そして、画像取得部130は、カメラ18の焦点面における目位置に合わせてカメラ18を制御し、対象の目画像を取得する(ステップS402)。なお、目位置に合わせたカメラ18の制御方法については、後述する他の実施形態で詳しく説明する。
(目位置の推定)
次に、図8を参照しながら、第4実施形態に係る撮像システム10による目位置を推定する動作について具体例を挙げて説明する。図8は、歩容モデルから焦点面の目位置を推定する方法の一例を示すグラフである。
図8に示すように、歩容モデルが対象の目の高さの時系列での周期的な推移(例えば、上述した式(1)を参照)として取得されているとする。この場合、基準となるトリガ面(焦点面との位置関係が既知の基準点)での目の高さ(図中のy1)を取得すれば、歩容モデルからカメラ18の焦点面における目の高さ(図中のy2)を推定することができる。
(技術的効果)
次に、第4実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図7及び図8で説明したように、第4実施形態に係る撮像システム10では、歩容モデルに基づいて、カメラ18の焦点面における目位置が推定される。このようにすれば、カメラの焦点面が狭い(言い換えれば、被写界深度の範囲が狭い)場合であっても、適切に目画像を撮像することが可能である。
<第5実施形態>
第5実施形態に係る撮像システム10について、図9から図12を参照して説明する。なお、第5実施形態は、上述した第1から第4実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第4実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(カメラ構成)
まず、図9を参照しながら、第5実施形態に係る撮像システム10のカメラ構成について説明する。図9は、第5実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。
図9に示すように、第5実施形態に係る撮像システム10では、カメラ18が移動可能に構成されている。即ち、カメラ18自身が移動することで、撮像範囲を変更可能に構成されている。カメラ18は、図に示すように上下方向に移動可能に構成されてもよいし、左右方向、或いは斜め方向に移動可能に構成されてもよい。また、カメラ18が、対象に近づく方方向(即ち、図9における左方向)や、対象から離れる方向(即ち、図9における右方向)に移動可能に構成されてもよい。即ち、カメラ18の移動方向は特に限定されるものではない。また、カメラ18は、移動するだけでなく撮像角度を変更可能に構成されてよい。例えば、カメラ18の角度が変化するように制御することで、撮像範囲が変化するように構成されてもよい。なお、カメラ18の移動は、画像取得部130によって制御される構成となっている。
(動作の流れ)
次に、図10を参照しながら、第5実施形態に係る撮像システム10の動作の流れについて説明する。図10は、第5実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図10では、図7で示した処理と同様の処理に同一の符号を付している。
図10に示すように、第5実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。そして、画像取得部130は、推定したカメラ18の焦点面における目位置に対応する第1位置にカメラ18を移動させる(ステップS501)。
続いて、画像取得部130は、対象を撮像する前に(即ち、対象がカメラ18の焦点面に到達する前に)、実際の目位置を取得する(ステップS502)。実際の目位置は、例えばカメラ18で撮像した画像(即ち、焦点面より前で撮像された画像)から取得されてもよいし、その他の経路で取得されてもよい。
続いて、画像取得部130は、実際の目位置に対応する第2位置にカメラ18を移動させる(ステップS503)。そして、画像取得部130は、カメラ18で対象を撮像して目画像を取得する(ステップS504)。なお、第1位置と第2位置が同じ位置である場合(即ち、推定した目位置と実際の目位置とが同じである場合)、ステップS503の処理は省略されてもよい。
(変形例)
次に、図11及び図12を参照しながら、第5実施形態に係る撮像システムの変形例(具体的には、カメラの18構成及び制御に関する変形例)について説明する。図11は、第5実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。図12は、第5実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。なお、図11及び図12では、図9で示した構成要素と同様の要素に同一の符号を付している。
図11に示すように、第5実施形態に係る撮像システムの変形例では、カメラ18が連続して対象の画像を撮像するようにしてもよい。例えば、カメラ18は、移動する対象の動画を撮像してよい。カメラ18は、周期性に基づいて推定された目位置に基づいて、その高さを随時変化させながら画像を撮像すればよい。即ち、カメラ18は、対象の目位置を追従するように上下方向に移動されればよい。この場合、画像取得部130は、周期性に基づいて繰り返し目位置を推定する処理を行ってよい。また、カメラ18は、対象との距離に応じて焦点距離を変化させながら撮像してよい。即ち、カメラ18に近づいてくる対象にピントが合い続けるように焦点距離を変化させてよい。なお、対象との距離(即ち、カメラ18と対象との相対的な位置関係)は、各種センサで取得してもよいし、対象の移動速度等から推定してもよい。カメラ18は、例えば液体レンズを制御することで、焦点距離を変化させてよい。
図12に示すように、第5実施形態に係る撮像システムの他の変形例では、カメラ18が対象の移動方向に沿って(即ち、図の左右方向に)移動可能に構成されてもよい。例えば、カメラ18は、対象との距離が1メートルで維持されるように移動してよい。この場合、カメラ18が焦点距離を変更可能でなくとも、カメラ18自身が移動することによってピントを調節し、移動する対象の目を連続して撮像することが可能となる。
(技術的効果)
次に、第5実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図9から図12で説明したように、第5実施形態に係る撮像システム10では、推定された目位置に応じて制御されたカメラ18の位置が、実際の目位置に応じて調整されてから撮像が行われる。このようにすれば、推定した目位置にずれが生じている場合であっても適切に目画像を取得できる。また、予め推定した目位置に基づいてカメラ18が移動されているため、実際の目位置を取得してからカメラ18を動かし始める場合と比べて、より短い時間で適切な位置へとカメラ18を移動させることができる。
<第6実施形態>
第6実施形態に係る撮像システム10について、図13から図16を参照して説明する。なお、第6実施形態は、上述した第1から第5実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第5実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(カメラ構成)
まず、図13を参照しながら、第6実施形態に係る撮像システム10のカメラ構成について説明する。図13は、第6実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。
図13に示すように、第6実施形態に係る撮像システム10では、カメラ18が複数台設置されている(図に示す例では、高さの異なるカメラ18A、カメラ18B、カメラ18C)が設置されている。これら複数台のカメラ18は、実際に撮像に用いる1台を選択することで、撮像範囲を変更可能とされている。例えば、最も高い位置に設置されているカメラ18Aが選択されると撮像範囲は高い範囲となり、真ん中に設置されているカメラ18Bが選択されると撮像範囲は真ん中付近の範囲となり、最も低い位置に設置されているカメラ18Cが選択されると撮像範囲は低い範囲となる。なお、図に示す例では、複数台のカメラ18が縦方向に並ぶように設置されているが、例えば左右方向、或いは斜め方向に並ぶように設置されてもよい。なお、撮像に用いるカメラ18の選択は、画像取得部130によって行われる構成となっている。
(動作の流れ)
次に、図14を参照しながら、第6実施形態に係る撮像システム10の動作の流れについて説明する。図14は、第6実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図14では、図7で示した処理と同様の処理に同一の符号を付している。
図14に示すように、第6実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。そして、画像取得部130は、推定したカメラ18の焦点面における目位置に対応する第1カメラを選択する(ステップS601)。
続いて、画像取得部130は、対象を撮像する前に(即ち、対象がカメラ18の焦点面に到達する前に)、実際の目位置を取得する(ステップS602)。実際の目位置は、例えばカメラ18で撮像した画像(即ち、焦点面より前で撮像された画像)から取得されてもよいし、その他の経路で取得されてもよい。
続いて、画像取得部130は、実際の目位置に対応する第2カメラを選択する(ステップS603)。そして、画像取得部130は、選択したカメラ18で対象を撮像して目画像を取得する(ステップS604)。なお、第1カメラと第2カメラが同じものである場合(即ち、推定した目位置と実際の目位置とが同じである場合)、ステップS603の処理は省略されてもよい。また、ズレが所定範囲内となる場合(即ち、選択するカメラを変更せずともよい程にズレが小さい場合)には、選択したカメラ18はそのままで、オフセット(取得する画像として切り取る範囲)を変更して対応してもよい。
(変形例)
次に、図15及び図16を参照しながら、第6実施形態に係る撮像システムの変形例(具体的には、カメラ18の構成及び制御に関する変形例)について説明する。図15は、第6実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。図16は、第6実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。なお、図15及び図16では、図13で示した構成要素と同様の要素に同一の符号を付している。
図15に示すように、第6実施形態に係る撮像システムの変形例では、カメラ18が連続して対象の画像を撮像するようにしてもよい。例えば、カメラ18は、移動する対象の動画を撮像してよい。カメラ18は、周期性に基づいて推定された目位置に基づいて選択された後、対象との距離に応じて焦点距離を変化させながら撮像を行ってよい。即ち、カメラ18に近づいてくる対象にピントが合い続けるように焦点距離を変化させてよい。なお、対象との距離(即ち、カメラ18と対象との相対的な位置関係)は、各種センサで取得してもよいし、対象の移動速度等から推定してもよい。カメラ18は、例えば液体レンズを制御することで、焦点距離を変化させてよい。
図16に示すように、第6実施形態に係る撮像システムの他の変形例では、カメラ18が対象の移動方向に沿って(即ち、図の左右方向に)移動可能に構成されてもよい。例えば、カメラ18は、対象との距離が1メートルで維持されるように移動してよい。この場合、カメラ18が焦点距離を変更可能でなくとも、カメラ18自身が移動することによってピントを調節し、移動する対象の目を連続して撮像することが可能となる。なお、複数のカメラ18A~Cすべてが図の左右方向に移動可能とされるのが好ましいが、少なくとも1台のカメラ18が左右方向に移動可能とされてもよい。
なお、図15及び図16で説明した変形例においては、選択されたカメラ18だけで対象の目位置を撮像し続けることが難しい場合がある。例えば、1番上のカメラ18Aでは、対象の目位置が低い場合に、目を撮像し続けることが困難となる可能性が高いと考えられる。同様に、1番下のカメラ18Cでは、、対象の目位置が高い場合に、目を撮像し続けることが困難となる可能性が高いと考えられる。これに対し、上述した変形例では、焦点距離(或いは、対象との距離)をすべてのカメラA~Cで同時に変更しつつ、すべてのカメラA~Cで連続撮影(即ち、動画撮影)を行い、それぞれのカメラ18で撮影できた動画のうち、虹彩が写っている動画だけをまとめる(又は、虹彩が写っていないカメラ18の動画を削除)ように編集してよい。或いは、目位置の周期性に基づいて、すべてのカメラA~Cで撮影した動画のうち使う映像をピックアップする(例えば、2秒~2.3秒時点は一番下のカメラ18Cの映像を使い、2.3秒~2.5秒時点は真ん中のカメラ18Bの映像を使う)ようにしてもよい。
(技術的効果)
次に、第6実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図13から図16で説明したように、第6実施形態に係る撮像システム10では、推定された目位置に応じてカメラ18が選択された後、実際の目位置に応じて再びカメラ18が選択される。このようにすれば、推定した目位置にずれが生じている場合であっても適切に目画像を取得できる。また、予め推定した目位置に基づいてカメラ18が選択されているため、推定した目位置のズレが小さい場合には、オフセットの変更のみで対応することができる。
<第7実施形態>
第7実施形態に係る撮像システム10について、図17から図20を参照して説明する。なお、第7実施形態は、上述した第1から第6実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第6実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(カメラ構成)
まず、図17を参照しながら、第7実施形態に係る撮像システム10のカメラ構成について説明する。図17は、第7実施形態に係る撮像システムにおけるカメラの構成を示す側面図である。
図17に示すように、第7実施形態に係る撮像システム10では、カメラ18がミラー300を介して対象を撮像するように構成されている。例えば、カメラ18は、図に示すように下側からミラー300に向けて配置され、ミラー300における反射を利用して対象を撮像可能に構成される。ミラー300は、回転可能に構成されている。このため、ミラー300を回転させて角度を変更すると、カメラの撮像範囲も変化する。なお、カメラ18とミラー300との配置関係は、図に示す例に限られない。ミラー300の回転は、画像取得部130によって制御される構成となっている。
(動作の流れ)
次に、図18を参照しながら、第7実施形態に係る撮像システム10の動作の流れについて説明する。図18は、第7実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図18では、図7で示した処理と同様の処理に同一の符号を付している。
図18に示すように、第7実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。そして、画像取得部130は、推定したカメラ18の焦点面における目位置に対応する第1角度となるようにミラー300の角度を制御する(ステップS701)。
続いて、画像取得部130は、対象を撮像する前に(即ち、対象がカメラ18の焦点面に到達する前に)、実際の目位置を取得する(ステップS702)。実際の目位置は、例えばカメラ18で撮像した画像(即ち、焦点面より前で撮像された画像)から取得されてもよいし、その他の経路で取得されてもよい。
続いて、画像取得部130は、実際の目位置に対応する第2角度となるようにミラー300の角度を制御する(ステップS703)。そして、画像取得部130は、カメラ18で対象を撮像して目画像を取得する(ステップS704)。なお、第1角度と第2角度が同じ角度である場合(即ち、推定した目位置と実際の目位置とが同じである場合)、ステップS703の処理は省略されてもよい。
(変形例)
次に、図19及び図20を参照しながら、第7実施形態に係る撮像システムの変形例(具体的には、カメラ18の構成及び制御に関する変形例)について説明する。図19は、第7実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その1)である。図20は、第7実施形態に係る撮像システムにおけるカメラの構成の変形例を示す側面図(その2)である。なお、図19及び図20では、図17で示した構成要素と同様の要素に同一の符号を付している。
図19に示すように、第7実施形態に係る撮像システムの変形例では、カメラ18が連続して対象の画像を撮像するようにしてもよい。例えば、カメラ18は、移動する対象の動画を撮像してよい。カメラ18は、周期性に基づいて推定された目位置に基づいて、ミラー300随時回転させながら画像を撮像すればよい。即ち、対象の目位置を追従するようにカメラ18の撮像範囲が制御されればよい。この場合、画像取得部130は、周期性に基づいて繰り返し目位置を推定する処理を行ってよい。また、カメラ18は、対象との距離に応じて焦点距離を変化させながら撮像してよい。即ち、カメラ18に近づいてくる対象にピントが合い続けるように焦点距離を変化させてよい。なお、対象との距離(即ち、カメラ18と対象との相対的な位置関係)は、各種センサで取得してもよいし、対象の移動速度等から推定してもよい。カメラ18は、例えば液体レンズを制御することで、焦点距離を変化させてよい。
図20に示すように、第7実施形態に係る撮像システムの他の変形例では、カメラ18が対象の移動方向に沿って(即ち、図の左右方向に)移動可能に構成されてもよい。例えば、カメラ18は、対象との距離が1メートルで維持されるように移動してよい。この場合、カメラ18とミラー300とは一体的に移動可能に構成されればよい。この構成では、カメラ18が焦点距離を変更可能でなくとも、カメラ18自身が移動することによってピントを調節し、移動する対象の目を連続して撮像することが可能となる。
(技術的効果)
次に、第7実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図17から図20で説明したように、第7実施形態に係る撮像システム10では、推定された目位置に応じて制御されたミラー300の角度が、実際の目位置に応じて調整されてから撮像が行われる。このようにすれば、推定した目位置にずれが生じている場合であっても適切に目画像を取得できる。また、予め推定した目位置に基づいてミラー300が制御されているため、実際の目位置を取得してからミラー300を動かし始める場合と比べて、より短い時間で適切な角度にミラー300を制御することができる。
<第8実施形態>
第8実施形態に係る撮像システム10について、図21を参照して説明する。なお、第8実施形態は、上述した第1から第7実施形態と一部の動作が異なるのみであり、その他の部分については第1から第7実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(撮像制御)
まず、図21を参照しながら、第8実施形態に係る撮像システム10による撮像制御(即ち、対象の画像を撮像する際の制御)について説明する。図21は、単位時間あたりの目位置の変化量の違いを示すグラフである。
図21に示すように、対象の目の高さは、そのタイミングによって変化量が大きくなる箇所と小さくなる箇所がある。例えば、図21におけるP1の期間では、単位時間あたりの目の高さの変化量が比較的小さくなる。一方で、P2の期間では、単位時間あたりの目の高さの変化量が比較的大きくなる。
第8実施形態に係る画像取得部130は、上述した単位時間あたりの目の高さの変化量に応じて、撮影条件を変更可能に構成されている。具体的には、画像取得部130は、撮影するタイミング(即ち、カメラ18の焦点面)において、単位時間あたりの目の高さの変化量が所定値よりも大きくなる場合に、対象50への照射光量を増加させる制御と、カメラ18の露光時間を短くする制御(即ち、シャッタースピードを早くする制御)と、のうち少なくとも一方を実行する。この場合、照射光量と露光時間とは同時に制御されてもよい。なお、ここでの「所定値」は、対象のブレの発生しやすさ等に応じて、予め適切な値を設定しておけばよい。また、ここでは単位時間あたりの目の高さの変化量が所定値よりも大きくなる場合(即ち、図21のP2に相当する期間)に制御する例を挙げたが、目の高さの変化量が所定値よりも小さくなる場合(即ち、図21のP1に相当する期間)に制御を行うようにしてもよい。具体的には、単位時間あたりの目の高さの変化量が所定値よりも小さくなる場合に、対象50への照射光量を減少させる制御と、カメラ18の露光時間を長くする制御(即ち、シャッタースピードを遅くする制御)と、のうち少なくとも一方を実行するようにしてもよい。この場合も、照射光量と露光時間とは同時に制御されてよい。また、上述した2つの制御をそれぞれ実行するために、複数の所定値が設定されてよい。例えば、単位時間あたりの目の高さの変化量が大きくなっていることを判定するための「第1所定値」と、単位時間あたりの目の高さの変化量が小さくなっていることを判定するための「第2所定値」と、が別々に設定されてよい。
照射光量を増加させる制御は、例えばカメラ18に内蔵されている照明や、カメラ18に関連付けられた照明、撮像する部屋の照明装置の光量を増加させる制御であってよい。なお、カメラ18に関連付けられた照明は、カメラ18の筐体に取り付けられて照明であってもよいし、カメラ18とは離れた位置に設置された照明であってもよい。この場合、カメラ18と照明は、無線を介して通信可能に構成されてよい。或いは、部屋のカーテン等を制御して、部屋に入る外光の量を制御するようにしてもよい。
(技術的効果)
次に、第8実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図21で説明したように、第8実施形態に係る撮像システム10では、単位時間あたりの目の高さの変化量が所定値よりも大きくなる場合に、対象50への照射光量を増加させる制御、及びカメラ18の露光時間を短くする制御の少なくとも一方が行われる。このようにすれば、目位置が比較的大きく変化するタイミングで撮像が行われる場合であっても、鮮明な画像(即ち、ブレの少ない画像)を取得することが可能となる。
<第9実施形態>
第9実施形態に係る撮像システム10について、図22を参照して説明する。なお、第9実施形態は、上述した第1から第8実施形態と一部の動作が異なるのみであり、その他の部分については第1から第8実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図22を参照しながら、第9実施形態に係る撮像システム10の動作の流れについて説明する。図22は、第9実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図22では、図3で示した処理と同様の処理に同一の符号を付している。
図22に示すように、第9実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。また、第9実施形態に係る情報取得部110は、移動情報に加えて、対象の状態、状況、及び周囲の環境に関する情報を取得する(ステップS901)。なお、情報取得部110は、対象の状態、状況、及び周囲の環境に関する情報の少なくとも1つを取得すればよい。
ここでの「対象の状態」とは、対象の移動態様を示すものであり、例えば、対象が通常の歩行をしているのか、車椅子で移動しているのか、杖をついて歩行しているのか、等を示す情報として取得される。「対象の状況」とは、対象の現在の移動状況を示すものであり、例えば、対象が急にゆっくり歩いた、対象が立ち止まった、対象が移動方向を変えた、ことを示す情報として取得される。「周囲の環境」とは、対象の移動に影響を与え得る環境条件を示すものであり、例えば、対象の前を歩いている他者が急に立ち止まった、対象の歩いている箇所が混雑している、ことを示す情報として取得される。なお、上述した対象の状態、状況、及び周囲の環境に関する情報は、例えばカメラ18等で撮像された画像から取得されてもよいし、その他の手法で取得されてもよい。
第9実施形態に係る周期性推定部120は、周期性を推定するための推定モデルを複数備えている。これら複数の推定モデルは、対象の状態、状況、及び周囲の環境が異なる場合を想定して学習されたものでよい周期性推定部120は、上述した対象の状態、状況、及び周囲の環境に関する情報の少なくとも1つに基づいて、推定モデルを切り替える(ステップS902)。即ち、周期性推定部120は、現在の対象の状態、状況、及び周囲の環境に応じた推定モデルを選択する。
続いて、周期性推定部120が、選択された推定モデルを用いて周期性を推定する(ステップS903)。そして、画像取得部130が、周期性推定部120で推定された周期性に基づいてカメラ18を制御し、対象の画像を取得する(ステップS103)。
(技術的効果)
次に、第9実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図22で説明したように、第9実施形態に係る撮像システム10では、対象の状態、状況、及び周囲の環境に応じて推定モデルが切り替えられる。このようにすれば、対象の状態、状況、及び周囲の環境に応じて適切に周期性を推定することが可能となり、推定モデルを切り替えない場合と比べると、より適切な画像を取得することができる。
<第10実施形態>
第10実施形態に係る撮像システム10について、図23を参照して説明する。なお、第10実施形態は、上述した第1から第9実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第9実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(減速を考慮した学習)
まず、図23を参照しながら、第10実施形態に係る撮像システム10における推定モデルの学習について説明する。図23は、対象が減速するポイントの一例を示す側面図である。
第10実施形態に係る撮像システム10では、周期性推定部120が、事前に学習された推定モデルを用いて周期性を推定する。そして特に、周期性推定部120が用いる推定モデルは、対象の減速を考慮して学習されている。より具体的には、推定モデルは、移動中の対象50が減速する可能性が高い場所の存在等を考慮して学習されている。なお、ここでの「減速」とは、周期性推定部120が推定する周期性に影響を与え得る減速のことを指している。
図23に示すように、対象50の移動経路上に、段差やゲート60が存在しているとする。ゲート60の種類は特に限定されないが、その一例としてフラッパーゲート等の対象の通行を制御するゲートが挙げられる。この場合、対象50は段差のある地点で減速することが予測される。また、対象50は、ゲート60の前で減速することが予測される。このように、対象50が減速する可能性がある場所に関する情報を予め取得しておけば、そこでの減速を考慮して推定モデルを学習することが可能である。周期性推定部120は、このように減速を考慮して学習された推定モデルを用いて、対象の周期性やカメラ18の焦点位置における目位置(目の高さ)を推定してよい。
(技術的効果)
次に、第10実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図23で説明したように、第10実施形態に係る撮像システム10では、対象50の減速を考慮して推定モデルが学習される。このようにすれば、対象50の減速が周期性に与える影響を考慮して、周期性を推定することができる。よって、対象の移動に関する周期性を、減速を考慮しない場合と比べて高い精度で推定できる。
<第11実施形態>
第11実施形態に係る撮像システム10について、図24を参照して説明する。なお、第11実施形態は、上述した第1から第10実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第10実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(目位置の変化を考慮した学習)
まず、図24から図27を参照しながら、第11実施形態に係る撮像システム10における推定モデルの学習について説明する。図24は、対象の目位置が変化するポイントの一例を示す側面図(その1)である。図25は、対象の目位置が変化するポイントの一例を示す側面図(その2)である。図26は、対象の目位置が変化するポイントの一例を示す側面図(その3)である。図27は、対象の目位置が変化するポイントの一例を示す側面図(その4)である。
第11実施形態に係る撮像システム10では、周期性推定部120が、事前に学習された推定モデルを用いて周期性を推定する。そして特に、周期性推定部120が用いる推定モデルは、対象の目位置の変化を考慮して学習されている。より具体的には、推定モデルは、移動中の対象50の目位置が変化する可能性が高い場所の存在等を考慮して学習されている。
図24に示すように、対象50の移動経路上に、上り段差及び上り坂が存在しているとする。この場合、対象50の目位置は、上り段差のある地点で大きく上側に変化する(高くなる)ことが予測される。また、対象50の目位置は、ゲート60の前の上り坂で徐々に高くなっていくことが予測される。
図25に示すように、対象50の移動経路上に、下り段差及び下り坂が存在しているとする。この場合、対象50の目位置は、下り段差のある地点で大きく下側に変化する(低くなる)ことが予測される。また、対象50の目位置は、ゲート60の前の下り坂で徐々に低くなっていくことが予測される。
図26に示すように、対象50の移動経路上に、上り段差及び下り坂が存在しているとする。この場合、対象50の目位置は、上り段差のある地点で大きく上側に変化する(高くなる)ことが予測される。また、対象50の目位置は、ゲート60の前の下り坂で徐々に低くなっていくことが予測される。
図27に示すように、対象50の移動経路上に、下り段差及び上り坂が存在しているとする。この場合、対象50の目位置は、下り段差のある地点で大きく下側に変化する(低くなる)ことが予測される。また、対象50の目位置は、ゲート60の前の上り坂で徐々に高くなっていくことが予測される。
このように、対象50の目位置が変化する可能性がある場所に関する情報を予め取得しておけば、そこでの目位置の変化を考慮して推定モデルを学習することが可能である。周期性推定部120は、このように目位置の変化を考慮して学習された推定モデルを用いて、対象の周期性やカメラ18の焦点位置における目位置(目の高さ)を推定してよい。なお、図24から図27で示した段差や坂の組み合わせはあくまで一例であり、その他の目位置が変化するポイントを考慮して学習を行ってもよい。
(技術的効果)
次に、第11実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図24で説明したように、第11実施形態に係る撮像システム10では、対象50の目位置の変化を考慮して推定モデルが学習される。このようにすれば、対象50の目位置の変化を考慮して、周期性を推定することができる。よって、対象の移動に関する周期性を、減速を考慮しない場合と比べて高い精度で推定できる。
<第12実施形態>
第12実施形態に係る撮像システム10について、図28を参照して説明する。なお、第12実施形態は、上述した第1から第11実施形態と一部の動作が異なるのみであり、その他の部分については第1から第11実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図28を参照しながら、第12実施形態に係る撮像システム10の動作の流れについて説明する。図28は、第12実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図28では、図7で示した処理と同様の処理に同一の符号を付している。
図28に示すように、第12実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。その後、画像取得部130は、対象が途中で立ち止まったか否かを判定する(ステップS1101)。対象が立ち止まったか否かは、情報取得部110で取得されている移動情報から判定されてもよいし、カメラ18等で撮像された画像から判定されてもよい。
対象が立ち止まったと判定された場合(ステップS1101:YES)、画像取得部130は、対象が立ち止まった位置、及び対象が再び移動を開始したタイミングに関する情報を取得する(ステップS1102)。これらの情報は、例えば情報取得部110を介して取得されてよい。
続いて、画像取得部130は、取得した対象が立ち止まった位置、及び対象が再び移動を開始したタイミングに関する情報に基づいて、カメラ18の焦点面における目位置を再推定し、撮像タイミングを調整する(ステップS1103)。この際、画像取得部130は、立ち止まるまでの周期性や推定モデルを用いて、撮像タイミングを推定してもよい。即ち、立ち止まって再び歩き出す場合でも、立ち止まる前と同様の歩き方をする可能性を考慮して、撮像タイミングを調整してもよい。そして、画像取得部130は、カメラ18の焦点面における目位置に合わせてカメラ18を制御し、対象の目画像を取得する(ステップS402)。なお、対象が立ち止まっていないと判定された場合(ステップS1101:NO)、上述したステップS1101及びS1102の処理は省略されてよい。
(技術的効果)
次に、第12実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図28で説明したように、第12実施形態に係る撮像システム10では、対象が立ち止まった場合に、目位置の再推定及び撮像タイミングの調整が行われる。このようにすれば、対象が意図せず途中で(即ち、撮像前に)立ち止まった場合であっても、その後の調整によって適切に対象の画像を取得することが可能である。
<第13実施形態>
第13実施形態に係る撮像システム10について、図29及び図30を参照して説明する。なお、第13実施形態は、上述した第1から第12実施形態と一部の動作が異なるのみであり、その他の部分については第1から第12実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図29及び図30を参照しながら、第13実施形態に係る撮像システム10の動作の流れについて説明する。図29は、第13実施形態に係る撮像システムの動作の流れを示すフローチャートである。図30は、目の高さの最高値、最低値、中間値の一例を示すグラフである。なお、図29では、図28で示した処理と同様の処理に同一の符号を付している。
図29に示すように、第13実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。その後、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、目位置の推移を推定する(ステップS201)。そして、周期性推定部120は、目位置の推移に基づいて、歩容モデルを推定する(ステップS202)。
続いて、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいて、カメラ18の焦点面における目位置を推定する(ステップS401)。その後、画像取得部130は、対象が途中で立ち止まったか否かを判定する(ステップS1101)。
対象が立ち止まったと判定された場合(ステップS1101:YES)、画像取得部130は、対象が立ち止まった位置からカメラまでの距離が所定距離以上であるか否かを判定する(ステップS1201)。ここでの「所定距離」は、対象が移動を再開してから撮像を実行するまでに、歩容モデルを再推定してカメラ18を制御する程度の余裕が生ずるか否かを判定するための閾値であり、予め適切な値が求められ設定されていればよい。
対象が立ち止まった位置からカメラまでの距離が所定距離以上である場合(ステップS1201:YES)、周期性推定部120が移動を再開した対象の歩容モデルを再推定する(ステップS1202)。そして、画像取得部130は、再推定された歩容モデルから目位置を推定して、対象の目画像を取得する(ステップS1203)。
一方、対象が立ち止まった位置からカメラまでの距離が所定距離以上でない場合(ステップS1201:NO)、画像取得部130は、目位置の推移の最大値と最小値(例えば)の中央値に併せて、対象の目画像を取得する(ステップS1203)。例えば、画像取得部130は、目位置として想定される最も高い地点と、目位置として想定される最も低い地点と、の中間地点に目が来ると想定して撮像を行ってよい。より具体的には、画像取得部130は、図30における目の高さの最高値ymaxと、最低値yminとの中央値ymedianを暫定的な目位置に設定して撮像を実行してよい。
なお、対象が立ち止まっていないと判定された場合(ステップS1101:NO)、上述したステップS1201、S1203及びS1203の処理は省略されてよい。
(技術的効果)
次に、第13実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図29及び図30で説明したように、第13実施形態に係る撮像システム10では、対象が立ち止まった位置に応じて、それぞれ異なる処理が実行される。このようにすれば、対象が立ち止まった際の状況に応じて適切な撮像を実行することが可能となる。より具体的には、立ち止まった位置がカメラ18から比較的遠い場合には歩容モデルが再推定されるため、新たに推定した歩容モデルに応じた撮像を実現することができる。他方、立ち止まった位置がカメラ18に比較的近い場合には、目の推移の中央値に合わせた撮像が行われるため、実際の目の位置が多少のずれていたとしても、高い確率で目を含む画像を撮像することができる。
<第14実施形態>
第14実施形態に係る撮像システム10について、図31を参照して説明する。なお、第14実施形態は、上述した第1から第13実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第13実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(動作の流れ)
まず、図31を参照しながら、第14実施形態に係る撮像システム10の動作の流れについて説明する。図31は、第14実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図31では、図3で示した処理と同様の処理に同一の符号を付している。
図31に示すように、第14実施形態に係る撮像システム10の動作が開始されると、まず情報取得部110が、対象の少なくとも一部における移動に関する移動情報を取得する(ステップS101)。なお、第14実施形態に係る情報取得部110は、少なくとも対象の足の移動に関する移動情報を取得する。
続いて、周期性推定部120が、情報取得部110で取得された移動情報に基づいて、足位置の推移を推定する(ステップS1301)。そして、周期性推定部120は、足位置の推移に基づいて、歩容モデルを推定する(ステップS1302)。そして、画像取得部130が、周期性推定部120で推定された周期性(即ち、歩容モデルが示す周期性)に基づいてカメラ18を制御し、対象の画像を取得する(ステップS103)。
画像取得部130は、対象の足の状態に基づいて撮像タイミングを変更するようにしてもよい。例えば、画像取得部130は、両足が地面についているタイミング(即ち、歩行による位相のズレが少ないと判断できるタイミング)で撮像を実行するようにしてもよい。
(技術的効果)
次に、第14実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図31で説明したように、第14実施形態に係る撮像システム10によれば、対象の足の動きを考慮して、より適切な撮像を行うことが可能となる。
<第15実施形態>
第15実施形態に係る撮像装置について、図32を参照して説明する。なお、第15実施形態は、上述した第1から第14実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第1から第14実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
(機能的構成)
まず、図32を参照しながら、第15実施形態に係る撮像装置の機能的構成について説明する。図32は、第15実施形態に係る撮像装置の機能的構成を示すブロック図である。なお、図32では、図2で説明した構成要素と同様の要素に同一の符号を付している。
第15実施形態に係る撮像装置500は、対象の画像を撮像するものとして構成されている。より具体的には、撮像装置500は、移動する対象(例えば、歩行者等)を撮像可能なものとして構成されている。撮像装置500で撮像された画像の用途は特に限定されないが、例えば生体認証に用いられてもよい。例えば、撮像装置500は、歩行する対象を撮像して生体認証を行う、ウォークスルー認証を実行する認証システムの一部として構成されてもよい。
図32に示すように、第15実施形態に係る撮像システム500は、その機能を実現するための構成要素として、カメラ18と、情報取得部110と、周期性推定部120と、画像取得部130と、を備えて構成されている。即ち、第15実施形態に係る撮像システム500は、第1実施形態に係る撮像システム10(図2参照)と同様の構成要素を備えて構成されている。なお、情報取得部110、周期性推定部120、及び画像取得部130の各々は、例えば上述したプロセッサ11(図1参照)によって実現される処理ブロックであってよい。
(技術的効果)
次に、第15実施形態に係る撮像装置500によって得られる技術的効果について説明する。
図32で説明したように、第15実施形態に係る撮像装置500は、第1実施形態に係る撮像システム10が有する機能を1つの装置として内包している。このため、撮像装置500は、上述した撮像システム10と同様に、対象の移動に関する周期性に基づいてカメラ18を制御することができる。このようにすれば、対象の動きを考慮した撮像を行うことができるため、より適切な状態で対象を撮像し、より適切な画像を取得することが可能となる。
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。更に、プログラム自体がサーバに記憶され、ユーザ端末にサーバからプログラムの一部または全てをダウンロード可能なようにしてもよい。
<付記>
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
付記1に記載の撮像システムは、対象の少なくとも一部における移動に関する移動情報を取得する情報取得手段と、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定する周期性推定手段と、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する画像取得手段と、を備える撮像システムである。
(付記2)
付記2に記載の撮像システムは、前記周期性推定手段は、3次元空間における前記対象の目位置の推移を推定し、該対象の目位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定する、付記1に記載の撮像システムである。
(付記3)
付記3に記載の撮像システムは、前記情報取得手段は、目位置検出カメラを用いて、前記対象の目の移動に関する前記移動情報を取得し、前記周期性推定手段は、前記対象と前記目位置検出カメラとの距離を用いて、2次元平面における前記対象の目位置の推移を、3次元空間における前記対象の目位置の推移に変換する、付記2に記載の撮像システムである。
(付記4)
付記4に記載の撮像システムは、前記画像取得手段は、前記歩容モデルに基づいて前記カメラの焦点面における前記対象の目位置を推定し、当該対象の目位置に合わせて前記カメラの撮像範囲を変更した上で、前記対象の目の画像を取得する、付記2又は3に記載の撮像システムである。
(付記5)
付記5に記載の撮像システムは、前記画像取得手段は、推定した前記カメラの焦点面における前記対象の目位置が撮像範囲に含まれる第1位置に前記カメラを移動させた後、実際の前記対象の目位置が撮像範囲に含まれる第2位置に前記カメラを移動させる、付記4に記載の撮像システムである。
(付記6)
付記6に記載の撮像システムは、前記カメラは複数台設置されており、前記画像取得手段は、推定した前記カメラの焦点面における前記対象の目位置が撮像範囲に含まれる第1カメラを使用するように選択した後、実際の前記対象の目位置が撮像範囲に含まれる第2カメラを使用するように選択する、付記4に記載の撮像システムである。
(付記7)
付記7に記載の撮像システムは、前記カメラは撮像範囲を調整可能なミラーを有しており、前記画像取得手段は、推定した前記カメラの焦点面における前記対象の目位置が撮像範囲に含まれるように前記ミラーを制御した後、実際の前記対象の目位置が撮像範囲に含まれるように前記ミラーを制御する、付記4に記載の撮像システムである。
(付記8)
付記8に記載の撮像システムは、前記画像取得手段は、前記カメラの焦点面における前記対象の目位置が、前記歩容モデルにおける単位時間あたりの目位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する、付記2から7のいずれか一項に記載の撮像システムである。
(付記9)
付記9に記載の撮像システムは、前記周期性推定手段は、前記対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有しており、前記対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて前記周期性を推定する、付記1から8のいずれか一項に記載の撮像システムである。
(付記10)
付記10に記載の撮像システムは、前記周期性推定手段は、撮像環境に起因する前記対象の減速を考慮して学習された推定モデル用いて、前記周期性を推定する、付記1から9のいずれか一項に記載の撮像システムである。
(付記11)
付記11に記載の撮像システムは、前記画像取得手段は、前記対象の移動が止まった場合、前記移動が止まった場所と前記カメラとの距離、及び前記対象が再び移動を開始するタイミングに基づいて、前記カメラの焦点面における前記対象の目位置及び前記カメラの撮像タイミングを補正する、付記4から10のいずれか一項に記載の撮像システムである。
(付記12)
付記12に記載の撮像システムは、前記画像取得手段は、前記対象の移動が止まった場合、前記移動が止まった場所と前記カメラとの距離が所定距離以上である場合には前記歩容モデルを再び推定し、前記所定距離未満である場合には前記対象の目位置の推移における最高値と最低値との中央値の位置に合わせて撮像を行う、付記4から11のいずれか一項に記載の撮像システムである。
(付記13)
付記13に記載の撮像システムは、前記周期性推定手段は、3次元空間における前記対象の足位置の推移を推定し、該対象の足位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定する、付記1に記載の撮像システムである。
(付記14)
付記14に記載の撮像装置は、対象の少なくとも一部における移動に関する移動情報を取得する情報取得手段と、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定する周期性推定手段と、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する画像取得手段と、を備える撮像装置である。
(付記15)
付記15に記載の撮像方法は、少なくとも1つのコンピュータが実行する撮像方法であって、対象の少なくとも一部における移動に関する移動情報を取得し、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定し、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する、撮像方法である。
(付記16)
付記16に記載の記録媒体は、少なくとも1つのコンピュータに、対象の少なくとも一部における移動に関する移動情報を取得し、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定し、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する、撮像方法を実行させるコンピュータプログラムが記録された記録媒体である。
(付記17)
付記17に記載のコンピュータプログラムは、少なくとも1つのコンピュータに、対象の少なくとも一部における移動に関する移動情報を取得し、前記移動情報に基づいて、前記対象の少なくとも一部における移動に関する周期性を推定し、前記周期性に基づいて前記対象を撮像するカメラを制御し、前記対象の画像を取得する、撮像方法を実行させるコンピュータプログラムである。
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像装置、撮像方法、及び記録媒体もまたこの開示の技術思想に含まれる。
10 撮像システム
11 プロセッサ
18 カメラ
20 目位置検出カメラ
21 距離センサ
50 対象
60 ゲート
110 情報取得部
120 周期性推定部
130 画像取得部
300 ミラー
500 撮像装置

Claims (9)

  1. 対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定する周期性推定手段と、
    前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する画像取得手段と、
    を備え
    前記周期性推定手段は、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、
    前記画像取得手段は、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する、
    撮像システム。
  2. 前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素は、顔位置検出カメラを用いて取得される前記対象の顔の移動に関する移動情報を含み、
    前記周期性推定手段は、前記対象と前記顔位置検出カメラとの距離を用いて、2次元平面における前記対象の顔位置の推移を、3次元空間における前記対象の顔位置の推移に変換する、
    請求項に記載の撮像システム。
  3. 前記画像取得手段は、前記歩容モデルに基づいて前記カメラの焦点面における前記対象の顔位置を推定し、当該対象の顔位置に合わせて前記カメラの撮像範囲を変更した上で、前記対象の顔の画像を取得する、
    請求項1又は2に記載の撮像システム。
  4. 前記画像取得手段は、推定した前記カメラの焦点面における前記対象の顔位置が撮像範囲に含まれる第1位置に前記カメラを移動させた後、実際の前記対象の顔位置が撮像範囲に含まれる第2位置に前記カメラを移動させる、
    請求項に記載の撮像システム。
  5. 前記カメラは複数台設置されており、
    前記画像取得手段は、推定した前記カメラの焦点面における前記対象の顔位置が撮像範囲に含まれる第1カメラを使用するように選択した後、実際の前記対象の顔位置が撮像範囲に含まれる第2カメラを使用するように選択する、
    請求項に記載の撮像システム。
  6. 前記カメラは撮像範囲を調整可能なミラーを有しており、
    前記画像取得手段は、推定した前記カメラの焦点面における前記対象の顔位置が撮像範囲に含まれるように前記ミラーを制御した後、実際の前記対象の顔位置が撮像範囲に含まれるように前記ミラーを制御する、
    請求項に記載の撮像システム。
  7. 前記周期性推定手段は、撮像環境に起因する前記対象の減速を考慮して学習された推定モデル用いて、前記周期性を推定する、
    請求項1からのいずれか一項に記載の撮像システム。
  8. 少なくとも1つのコンピュータによって
    対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定し、
    前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する、
    撮像方法であって、
    前記周期性を推定する際には、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、
    前記対象の顔画像を取得する際には、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する、
    撮像方法。
  9. 少なくとも1つのコンピュータに、
    対象の状態、前記対象の状況、及び周囲の環境の少なくとも1つの要素ごとに学習された複数の推定モデルを有し、前記対象の状態、前記対象の状況、及び前記周囲の環境の少なくとも1つの要素に応じて前記複数の推定モデルを切り替えて、前記対象の移動に関する周期性を推定し、
    前記周期性に基づいて、前記対象をカメラで撮像し、前記対象の顔画像を取得する、
    撮像方法であって、
    前記周期性を推定する際には、3次元空間における前記対象の顔位置の推移を推定し、該対象の顔位置の推移に基づいて前記周期性を示す前記対象の歩容モデルを推定し、
    前記対象の顔画像を取得する際には、前記カメラの焦点面における前記対象の顔位置が、前記歩容モデルにおける単位時間あたりの顔位置の変化量が所定値よりも大きくなる位置である場合に、前記対象に照射する光量を増加させる制御及び前記カメラの露光時間を短くする制御の少なくとも一方を実行する、
    撮像方法を実行させるコンピュータプログラム。
JP2022029796A 2021-12-28 2022-02-28 撮像システム、撮像方法、及びコンピュータプログラム Active JP7371712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022029796A JP7371712B2 (ja) 2021-12-28 2022-02-28 撮像システム、撮像方法、及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022510202A JP7371762B1 (ja) 2021-12-28 2021-12-28 撮像システム、撮像装置、撮像方法、及び記録媒体
JP2022029796A JP7371712B2 (ja) 2021-12-28 2022-02-28 撮像システム、撮像方法、及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022510202A Division JP7371762B1 (ja) 2021-12-28 2021-12-28 撮像システム、撮像装置、撮像方法、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2023098545A JP2023098545A (ja) 2023-07-10
JP7371712B2 true JP7371712B2 (ja) 2023-10-31

Family

ID=87074443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022029796A Active JP7371712B2 (ja) 2021-12-28 2022-02-28 撮像システム、撮像方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP7371712B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004446A (ja) 2014-06-17 2016-01-12 トヨタ自動車株式会社 動き推定装置
JP2019186911A (ja) 2018-04-10 2019-10-24 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置
WO2020090251A1 (ja) 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP2021176219A (ja) 2020-05-01 2021-11-04 株式会社エクサウィザーズ 端末、サーバ、プログラムおよび方法
WO2021229761A1 (ja) 2020-05-14 2021-11-18 日本電気株式会社 撮像システム、撮像方法、及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004446A (ja) 2014-06-17 2016-01-12 トヨタ自動車株式会社 動き推定装置
JP2019186911A (ja) 2018-04-10 2019-10-24 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置
WO2020090251A1 (ja) 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP2021176219A (ja) 2020-05-01 2021-11-04 株式会社エクサウィザーズ 端末、サーバ、プログラムおよび方法
WO2021229761A1 (ja) 2020-05-14 2021-11-18 日本電気株式会社 撮像システム、撮像方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2023098545A (ja) 2023-07-10

Similar Documents

Publication Publication Date Title
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
US9442564B1 (en) Motion sensor-based head location estimation and updating
KR102365730B1 (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
US9354709B1 (en) Tilt gesture detection
US20190162964A1 (en) Space carving based on human physical data
US11429189B2 (en) Monitoring
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9652031B1 (en) Trust shifting for user position detection
KR102623574B1 (ko) 전자 장치 및 그 동작 방법
US20150002419A1 (en) Recognizing interactions with hot zones
JP5001930B2 (ja) 動作認識装置及び方法
US9547412B1 (en) User interface configuration to avoid undesired movement effects
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2013104592A1 (en) Method and arrangement for 3d model morphing
WO2019088990A1 (en) Control system for mobile robots
JP7371712B2 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
JP7371762B1 (ja) 撮像システム、撮像装置、撮像方法、及び記録媒体
US20160171297A1 (en) Method and device for character input
KR102187238B1 (ko) 사용자 참여형 인체 3차원 모델링 장치 및 방법
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
CN112711324B (zh) 基于tof相机的手势交互方法及其***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R151 Written notification of patent or utility model registration

Ref document number: 7371712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151