JP7364059B2 - 撮像システム、撮像方法、及びコンピュータプログラム - Google Patents

撮像システム、撮像方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP7364059B2
JP7364059B2 JP2022518498A JP2022518498A JP7364059B2 JP 7364059 B2 JP7364059 B2 JP 7364059B2 JP 2022518498 A JP2022518498 A JP 2022518498A JP 2022518498 A JP2022518498 A JP 2022518498A JP 7364059 B2 JP7364059 B2 JP 7364059B2
Authority
JP
Japan
Prior art keywords
image
imaging
subject
imaging system
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022518498A
Other languages
English (en)
Other versions
JPWO2021220412A5 (ja
JPWO2021220412A1 (ja
Inventor
有加 荻野
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021220412A1 publication Critical patent/JPWO2021220412A1/ja
Publication of JPWO2021220412A5 publication Critical patent/JPWO2021220412A5/ja
Priority to JP2023173512A priority Critical patent/JP2023174759A/ja
Application granted granted Critical
Publication of JP7364059B2 publication Critical patent/JP7364059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Description

この開示は、被写体を撮像する撮像システム、撮像方法、及びコンピュータプログラムの技術分野に関する。
この種のシステムとして、虹彩認証に利用する画像を撮像するものが知られている。例えば特許文献1では、対象者の顔及び目を検出して、虹彩の関心領域を識別する技術が開示されている。特許文献2では、高解像度の画像から低解像度の画像を生成し、その低解像度の画像から瞳検出を実行する技術が開示されている。
その他の関連する技術として、特許文献3では、複数枚の画像を合成して広画角の合成画像を生成する技術が開示されている。
特表2007-504562号公報 特開2017-134542号公報 特開2012-191486号公報
虹彩認証用の画像を撮像する虹彩カメラは、一般的に高画素且つ画角が狭く設定されている。このため、通信速度や画角範囲の制約により、虹彩カメラで被写体の目位置を検出できるような広角画像を撮像することは難しい。上述した各引用文献は、このような問題点に言及しておらず、改善の余地がある。
この開示は、上記問題点に鑑みてなされたものであり、被写体の目周辺の画像を適切に撮像することが可能な撮像システム、撮像方法、及びコンピュータプログラムを提供することを課題とする。
この開示の撮像システムの一の態様は、第1の画素密度で被写体の第1画像を撮像するように前記撮像手段を制御する第1制御手段と、前記第1画像から前記被写体の目の位置を検出する検出手段と、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段とを備える。
この開示の撮像方法の一の態様は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する。
この開示のコンピュータプログラムの一の態様は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御するようにコンピュータを動作させる。
第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。 第1実施形態に係る撮像システムの機能的構成を示すブロック図である。 第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第1実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 第2実施形態に係る撮像システムの機能的構成を示すブロック図である。 第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第2実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 第3実施形態に係る撮像システムの機能的構成を示すブロック図である。 第3実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第4実施形態に係る撮像システムの機能的構成を示すブロック図である。 第4実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第5実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 画素を間引いて低解像度の第1画像を撮像する際の動作を示す概念図である。 撮像領域を小さく制限して第1画像を撮像する際の動作を示す概念図である。
以下、図面を参照しながら、撮像システム、撮像方法、及びコンピュータプログラムの実施形態について説明する。
<第1実施形態>
第1実施形態に係る撮像システムについて、図1から図4を参照して説明する。
(ハードウェア構成)
まず、図1を参照しながら、第1実施形態に係る撮像システム10のハードウェア構成について説明する。図1は、第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。
図1に示すように、第1実施形態に係る撮像システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。撮像システム10は更に、入力装置15と、出力装置16とを備えていてもよい。プロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16とは、データバス17を介して接続されている。
プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、撮像システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、被写体を撮像するための機能ブロックが実現される。また、プロセッサ11として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)のうち一つを用いてもよいし、複数を並列で用いてもよい。
RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
記憶装置14は、撮像システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置15は、撮像システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
出力装置16は、撮像システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、撮像システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。
(機能的構成)
次に、図2を参照しながら、第1実施形態に係る撮像システム10の機能的構成について説明する。図2は、第1実施形態に係る撮像システムの機能的構成を示すブロック図である。
図2に示すように、第1実施形態に係る撮像システム10は、虹彩カメラ20と接続されている。撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140とを備えている。第1制御部110、目位置検出部120、ROI設定部130、及び第2制御部140は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
第1制御部110は、虹彩カメラ20を制御して被写体の第1画像を撮像可能に構成されている。第1画像は、被写体の目の位置を検出するために用いる画像であり、比較的低い第1画素密度で撮像される。第1画像は、例えば被写体全体が撮像範囲に収まるように撮像される。
目位置検出部120は、第1制御部110の制御によって撮像された第1画像を用いて、被写体の目位置(即ち、目がどの辺りにあるのか)を検出する。なお、画像から被写体の目位置を検出する方法については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。目位置検出部120で検出された被写体の目位置に関する情報は、ROI設定部に出力される構成となっている。
ROI設定部130は、目位置検出部120で検出された被写体の目位置に基づいて、被写体の虹彩を撮像するためのROI(Region Of Interest)を設定可能に構成されている。ROIは、虹彩カメラ20の合焦地点において被写体の目が通過することになるであろう領域として設定される。なお、目位置からROIを設定する方法については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。ROI設定部130で設定されたROIに関する情報は、第2制御部140に出力される構成となっている。
第2制御部140は、虹彩カメラ20を制御して被写体の第2画像を撮像可能に構成されている。第2画像は、ROI設定部130で設定された領域の画像として撮像される画像であり、第1画素密度(即ち、第1画像を撮像した際の画素密度)より高い第2画素密度で撮像される。この結果、第2画像は、被写体の目周辺の領域を高解像度で撮像した画像となる。
(動作の流れ)
次に、図3を参照しながら、第1実施形態に係る撮像システム10の動作の流れについて説明する。図3は、第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。
図3に示すように、第1実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように虹彩カメラ20を制御する(ステップS101)。第1画像は、第1の画素密度で撮像される。
次に、目位置検出部120が、第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。第2画像は、第1の画素密度より高い第2の画素密度で撮像される。
(技術的効果)
次に、図4を参照しながら、第1実施形態に係る撮像システム10によって得られる技術的効果について説明する。図4は、第1実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。
図4に示すように、第1実施形態に係る撮像システム10では、第1の画素密度で第1画像が撮像された後、第2の画素密度で第2画像が撮像される。ここで特に、第1の画素密度は第2の画素密度よりも低いため、第1画像のデータ量を相対的に小さくすることができる。よって、比較的広画角が要求される第1画像のデータ量が大きくなってしまうことを防止できる。その結果、第1画像の通信や処理にかかる期間を短縮することができ、第1画像を撮像してから第2画像を撮像するまでの処理(例えば、目位置を検出する処理や、ROIを設定する処理等)をスムーズに実行することができる。
なお、第1画像を撮像するために専用のカメラ(即ち、低解像度のカメラ)を別途設置する方法も考えられるが、その場合、コストの増大やシステムの高度複雑化が問題となり得る。しかるに第1実施形態に係る撮像システムによれば、虹彩カメラ20で第1画像(即ち、目位置を検出してROIを設定するための画像)と、第2画像(即ち、高精細な虹彩の画像)とをそれぞれ撮像することができる。よって、上述したコストの増大やシステムの高度複雑化を招くことなく、適切に被写体の虹彩画像を撮像することができる。さらに、複数種類のカメラがあるとそれぞれのカメラに対しユーザに顔を向かせる必要があるため、ユーザにカメラの存在を意識させてしまい、ユーザにとって煩雑になる場合もある。第1実施形態に係る撮像システム10によれば、画角が狭い虹彩カメラだけでも低画質の画像で目位置の特定ができて虹彩領域を特定できる。また、ユーザにカメラを意識させる必要がなくなる。
<変形例>
以下、第1実施形態の変形例について説明する。なお、下記変形例は、それぞれ組み合わせることも可能である。
(第1変形例)
第1制御部110は、例えば被写体が所定のトリガ位置に到達したタイミングで第1画像を撮像してもよい。被写体がトリガ位置に到達したタイミングは、例えばトリガ位置周辺に設置した各種センサ等によって検出してもよい。
(第2変形例)
第2制御部140は、例えば被写体が予め設定された虹彩カメラ20の合焦地点に到達したタイミングで第2画像を撮像してもよい。第2制御部140は、被写体が合焦地点に到達したタイミングを予測し、そのタイミング近辺で連続して複数の第2画像を撮像するようにしてもよい。
(第3変形例)
第2制御部140の制御によって撮像された第2画像は、図示せぬ生体認証部に入力され、被写体の虹彩認証に用いられてもよい。この生体認証部は、撮像システム10の一部として備えられていてもよいし、撮像システム10の外部(例えば、外部サーバーやクラウド等)に設けられていてもよい。虹彩画像(即ち、第2画像)を用いた認証処理については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。
<第2実施形態>
第2実施形態に係る撮像システム10について、図5から図7を参照して説明する。なお、第2実施形態は、上述した第1実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(ハードウェア構成)
第2実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第2実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
(機能的構成)
次に、図5を参照しながら、第2実施形態に係る撮像システム10の機能的構成について説明する。図5は、第2実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図5では、図2に示した構成要素と同様のものに同一の符号を付している。
図5に示すように、第2実施形態に係る撮像システム10は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23(以下、まとめて「虹彩カメラ20」と称することがある)の各々と接続されている。即ち、第2実施形態に係る撮像システム10は、複数の虹彩カメラ20による撮像を制御可能に構成されている。また、撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140とを備えている。
(動作の流れ)
次に、図6を参照しながら、第2実施形態に係る撮像システム10の動作の流れについて説明する。図6は、第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図6では、図3に示した処理と同様の処理に同一の符号を付している。
図6に示すように、第2実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。なお、各虹彩カメラ20では、それぞれ同じタイミングで第1画像が撮像されることが好ましいが、撮像されるタイミングには多少のズレがあっても構わない。
次に、目位置検出部120は、複数の第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。なお、第2画像は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の中の1台で撮像されればよい。即ち、すべての虹彩カメラ20でそれぞれ別々に第2画像を撮像する必要はない。第2画像を撮像する虹彩カメラ20は、例えばROI設定部130で設定されたROIに応じて決定されればよい。具体的には、ROIを撮像範囲に含む虹彩カメラ20で第2画像が撮像されればよい。
(技術的効果)
次に、図7を参照しながら、第2実施形態に係る撮像システム10によって得られる技術的効果について説明する。図7は、第2実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。なお、図7では、図4で示した構成要素と同様のものに同一の参照符号を付している。
図7に示すように、第2実施形態に係る撮像システム10では、複数の虹彩カメラ20で第1画像が撮像され、それらから目位置の検出及びROIの設定が行われる。ここで特に、第1画像を1回しか撮像しない場合、状況次第で目が撮像範囲に含まれない可能性もある。しかしながら、複数枚の第1画像を撮像すれば、より広い範囲を撮像でき、その結果として目の位置を撮像できる可能性が高くなる。従って、目位置から適切なROIを設定し、より適切に第2画像(即ち、高精細な虹彩画像)を撮像することができる。
なお、複数の第1画像は、複数の虹彩カメラ20を用いて撮像されなくともよく、1台の虹彩カメラ20で複数の第1画像が撮像されてもよい。具体的には、例えば1台のカメラの位置を適宜移動させて、複数の角度から第1画像を撮像するようにしてもよい。この場合でも、複数の第1画像を合成して広角画像を生成することで、上述した技術的効果を得ることが可能である。
<第3実施形態>
第3実施形態に係る撮像システム10について、図8及び図9を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1及び第2実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(ハードウェア構成)
第3実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第3実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
(機能的構成)
次に、図8を参照しながら、第3実施形態に係る撮像システム10の機能的構成について説明する。図8は、第2実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図8では、図2及び図5に示した構成要素と同様のものに同一の符号を付している。
図8に示すように、第3実施形態に係る撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140と、画像合成部210とを備えている。即ち、第2実施形態に係る撮像システム10は、第2実施形態の構成(図5参照)に加えて、画像合成部210を更に備えて構成されている。
画像合成部210は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で撮像された第1画像を合成可能に構成されている。なお、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23は、互いの撮像範囲が大きく重ならないように設置されている。このため、各虹彩カメラ20で撮像された第1画像を合成すると、1枚の広角画像を生成することができる。画像合成部210で生成された広角画像は、目位置検出部110に出力される構成となっている。なお、画像合成部210は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
(動作の流れ)
次に、図9を参照しながら、第3実施形態に係る撮像システム10の動作の流れについて説明する。図9は、第3実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図9では、図3及び図6に示した処理と同様の処理に同一の符号を付している。
図9に示すように、第3実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。
次に、画像合成部210が、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像を合成する(ステップS202)。続いて、目位置検出部120は、複数の第1画像を合成した広角画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。
(技術的効果)
次に、第3実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図8及び図9で説明したように、第3実施形態に係る撮像システム10では、複数の虹彩カメラ20で撮像された画像が合成されて、1枚の広角画像が生成される。ここで特に、虹彩カメラ20は、被写体の虹彩の画像を高精細に撮像することが要求される関係で、画角が比較的狭く設定されることが多い。しかるに第3実施形態に係る撮像システム10によれば、複数の虹彩カメラ20で撮像された第1画像から広角画像が生成される。よって、1つ1つの虹彩カメラの画角が狭い場合であっても、目位置を検出するのに適した広角画像を取得することができる。
<第4実施形態>
第4実施形態に係る撮像システム10について、図10及び図11を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1から第3実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(ハードウェア構成)
第4実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第4実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
(機能的構成)
次に、図10を参照しながら、第4実施形態に係る撮像システム10の機能的構成について説明する。図10は、第4実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図10では、図2、図5及び図8に示した構成要素と同様のものに同一の符号を付している。
図10に示すように、第4実施形態に係る撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140と、目領域判定部220とを備えている。即ち、第4実施形態に係る撮像システム10は、第2実施形態の構成(図5参照)に加えて、目領域判定部220を更に備えて構成されている。
目領域判定部220は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で撮像された第1画像に、それぞれ目領域が含まれているか否かを判定可能に構成されている。言い換えれば、目領域判定部220は、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像のうち、どの画像に目領域が含まれているか否かを判定可能に構成されている。目領域判定部220の判定結果(即ち、目領域を含む第1画像に関する情報)は、目位置検出部110に出力される構成となっている。なお、目領域判定部220は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
(動作の流れ)
次に、図11を参照しながら、第4実施形態に係る撮像システム10の動作の流れについて説明する。図11は、第4実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図11では、図3、図6、及び図9に示した処理と同様の処理に同一の符号を付している。
図11に示すように、第4実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。
次に、目領域判定部が、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像について、目領域の有無を判定する(ステップS203)。続いて、目位置検出部120は、目領域が含まれていると判定された第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。
(技術的効果)
次に、第4実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図10及び図11で説明したように、第4実施形態に係る撮像システム10では、複数の虹彩カメラ20で撮像された第1画像に目領域が含まれているか否かが判定され、目領域が含まれている第1画像から目位置が検出される。このため、すべての第1画像から目位置を検出する場合と比べると、効率的に目位置を検出することが可能である。
<第5実施形態>
第5実施形態に係る撮像システム10について、図12を参照して説明する。なお、第5実施形態は、第1画像を撮像する際の他の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第5実施形態と同一であってよい。このため、以下では、第1から第5実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(第1画像の複数回撮像)
まず、図12を参照して、第5実施形態に係る撮像システム10による第1画像の撮像タイミングについて詳しく説明する。図12は、第5実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。なお、図12では、図4及び図7で示した構成要素と同様のものに同一の参照符号を付している。
図12に示すように、第5実施形態に係る撮像システムでは、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で、互いにタイミングをずらして第1画像が撮像される。具体的には、第1虹彩カメラ21は、被写体500が第1トリガ地点に到達したタイミングで第1画像を撮像する。第2虹彩カメラ22は、被写体500が第2トリガ地点に到達したタイミングで第1画像を撮像する。第3虹彩カメラ23は、被写体500が第3トリガ地点に到達したタイミングで第1画像を撮像する。このように、複数のトリガ地点をずらして設置しておけば、異なるタイミングで複数の第1画像が撮像されることになる。
被写体500の目位置は、上述したように撮像された複数の第1画像の各々から検出されればよい。例えば、複数の第1画像のすべてを用いて目位置を検出してもよいし、複数の第1画像の中から目領域を含む第1画像を判定して、目領域を含む第1画像のみを用いて目位置を検出してもよい。
なお、複数の虹彩カメラ20は、互いの撮像範囲が重なる部分が十分に大きくなるように設定されることが好ましい。このようにすれば、被写体500の身長が異なる場合であっても、少なくとも1台の虹彩カメラ20が、被写体500の顔を途切れることなく撮像することができる。
(技術的効果)
次に、第5実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図12で説明したように、第5実施形態に係る撮像システム10では、異なるタイミングで複数の第1画像が撮像される。この場合でも、複数の第1画像を同時に撮像する場合と同様に、被写体500の目位置を検出することが可能である。
<第6実施形態>
第6実施形態に係る撮像システム10について、図13を参照して説明する。なお、第3実施形態は、第1画像を撮像する際の低解像度化の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第5実施形態と同一であってよい。このため、以下では、第1から第5実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(画素の間引きによる低解像度化)
まず、図13を参照して、第6実施形態に係る撮像システム10における第1画像の低下像度化について説明する。図13は、画素を間引いて低解像度の第1画像を撮像する際の動作を示す概念図である。
図13に示すように、第6実施形態に係る撮像システム10では、虹彩カメラ20の画素を間引くことによって第1画像の低解像度化が実現される。具体的には、第1制御部110は、例えばビニング等の手法を用いて、第1画像の撮像時に読み出す画素数を減らす。これにより、第1画像の画素密度は低下する。一方で、第2制御部140は、第2画像の撮像時に画素を間引かないようにする(ただし、撮像領域はROIに限定される)。このようにすれば、第1画像と比較して、第2画像の画素密度が高くなる。
なお、画素の間引き量は、撮像領域の場所によって変化させてもよい。即ち、画素の間引き量は、撮像領域全体で均一となっていなくともよい。例えば、目領域が存在する可能性が高い領域については間引き量を小さくして、目領域が存在する可能性が低い領域については間引き量を大きくしてもよい。
(技術的効果)
次に、第6実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図13で説明したように、第6実施形態に係る撮像システム10では、画素を間引くことによって第1画像の低解像度化が実現される。よって、第1画像のデータ量が大きなものになってしまうことを防止して、第1画像の通信や処理にかかる期間を短縮することが可能である。
<第7実施形態>
第7実施形態に係る撮像システム10について、図14を参照して説明する。なお、第7実施形態は、第1画像を撮像する際のデータ量縮小の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第6実施形態と同一であってよい。このため、以下では、第1から第6実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
(撮像領域の制限)
まず、図14を参照して、第7実施形態に係る撮像システム10における第1画像のデータ量縮小について説明する。図14は、撮像領域を小さく制限して第1画像を撮像する際の動作を示す概念図である。
図14に示すように、第7実施形態に係る撮像システム10では、虹彩カメラ20の撮像領域を小さく制限する(即ち、狭める)ことによって第1画像のデータ量縮小が実現される。具体的には、第1制御部110は、第1画像の撮像時に、撮像領域の上端部分及び下端部分(例えば、被写体の目が位置する可能性が低いと推定される領域)の少なくとも一方の画素を読み出さないようにしている。これにより、第1画像のデータ量が縮小されることになる。なお、第1画像は、第6実施形態でも説明したように画素が間引かれた状態で撮像されるため、画素密度も小さくなっている。よって、第1画像のデータ量は顕著に小さくなる。
また、上述した上端部分及び下端部分に加えて又は代えて、撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さないようにしてもよい。例えば、被写体が通路の中心を通るような場合(床に矢印がペイントされており被写体が通路中心に誘導されている場合等)には、撮像領域の右端部分及び左端部分に被写体の目が含まれる可能性は低くなる。よって、撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さないようにすることで、効率的に第1画像のデータ量を小さくすることができる。
(技術的効果)
次に、第7実施形態に係る撮像システム10によって得られる技術的効果について説明する。
図14で説明したように、第7実施形態に係る撮像システム10では、虹彩カメラ20の撮像領域を狭めることによって第1画像のさらなるデータ量縮小が実現される。よって、第1画像のデータ量が大きなものになってしまうことを防止して、第1画像の通信や処理にかかる期間を短縮することが可能である。
<付記>
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
付記1に記載の撮像システムは、第1の画素密度で被写体の第1画像を撮像するように前記撮像手段を制御する第1制御手段と、前記第1画像から前記被写体の目の位置を検出する検出手段と、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段とを備えることを特徴とする撮像システムである。
(付記2)
付記2に記載の撮像システムは、前記第1制御手段は、前記撮像手段の画素を間引くように処理することにより、前記第1の画素密度が前記第2の画素密度よりも低くなるようすることを特徴とする付記1に記載の撮像システムである。
(付記3)
付記3に記載の撮像システムは、前記第1制御手段は、前記撮像手段の撮像領域を小さく制限することにより、前記第1画像のデータ量を小さくすることを特徴とする付記1又は2に記載の撮像システムである。
(付記4)
付記4に記載の撮像システムは、前記撮像手段は、複数のカメラを含んでおり、前記第1制御手段は、前記複数のカメラの各々で前記第1画像を撮像するように前記撮像手段を制御することを特徴とする付記1から3のいずれか一項に記載の撮像システムである。
(付記5)
付記5に記載の撮像システムは、前記検出手段は、複数の前記第1画像を合成した合成画像から、前記被写体の目の位置を検出することを特徴とする付記1から4のいずれか一項に記載の撮像システムである。
(付記6)
付記6に記載の撮像システムは、前記第1制御手段は、前記被写体が所定のトリガ位置に到達した場合に、前記第1画像を撮像するように前記撮像手段を制御することを特徴とする付記1から5のいずれか一項に記載の撮像システムである。
(付記7)
付記7に記載の撮像システムは、前記第2撮像手段は、前記被写体が予め設定された合焦地点に到達した場合に、前記第2画像を撮像するように前記撮像手段を制御することを特徴とする付記1から6のいずれか一項に記載の撮像システムである。
(付記8)
付記8に記載の撮像システムは、前記第2画像を用いて、前記被写体の虹彩認証を実行する認証手段を更に備えることを特徴とする請求項1から7のいずれか一項に記載の撮像システムである。
(付記9)
付記9に記載の撮像方法は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御することを特徴とする撮像方法である。
(付記10)
付記10に記載のコンピュータプログラムは、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
10 撮像システム
20 虹彩カメラ
21 第1虹彩カメラ
22 第2虹彩カメラ
23 第3虹彩カメラ
110 第1制御部
120 目位置検出部
130 ROI設定部
140 第2制御部
210 画像合成部
220 目領域判定部
500 被写体

Claims (9)

  1. 第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御する第1制御手段と、
    前記第1画像から前記被写体の目の位置を検出する検出手段と、
    前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、
    前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段と
    を備え
    前記第1制御手段は、前記撮像手段の撮像領域の上端部分及び下端部分の少なくとも一方の画素を読み出さない第1動作、並びに、前記撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さない第2動作の少なくとも一方の動作により前記撮像領域を小さく制限して、前記第1画像のデータ量を小さくする
    ことを特徴とする撮像システム。
  2. 前記第1制御手段は、前記撮像手段の画素を間引くように処理することにより、前記第1の画素密度が前記第2の画素密度よりも低くなるようすることを特徴とする請求項1に記載の撮像システム。
  3. 前記撮像手段は、複数のカメラを含んでおり、
    前記第1制御手段は、前記複数のカメラの各々で前記第1画像を撮像するように前記撮像手段を制御する
    ことを特徴とする請求項1又は2に記載の撮像システム。
  4. 前記検出手段は、複数の前記第1画像を合成した合成画像から、前記被写体の目の位置を検出することを特徴とする請求項1からのいずれか一項に記載の撮像システム。
  5. 前記第1制御手段は、前記被写体が所定のトリガ位置に到達した場合に、前記第1画像を撮像するように前記撮像手段を制御することを特徴とする請求項1からのいずれか一項に記載の撮像システム。
  6. 前記第2制御手段は、前記被写体が予め設定された合焦地点に到達した場合に、前記第2画像を撮像するように前記撮像手段を制御することを特徴とする請求項1からのいずれか一項に記載の撮像システム。
  7. 前記第2画像を用いて、前記被写体の虹彩認証を実行する認証手段を更に備えることを特徴とする請求項1からのいずれか一項に記載の撮像システム。
  8. 第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、
    前記第1画像から前記被写体の目の位置を検出し、
    前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、
    前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御し、
    前記第1画像の撮像において、前記撮像手段の撮像領域の上端部分及び下端部分の少なくとも一方の画素を読み出さない第1動作、並びに、前記撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さない第2動作の少なくとも一方の動作により前記撮像領域を小さく制限して、前記第1画像のデータ量を小さくする
    ことを特徴とする撮像方法。
  9. 第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、
    前記第1画像から前記被写体の目の位置を検出し、
    前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、
    前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御し、
    前記第1画像の撮像において、前記撮像手段の撮像領域の上端部分及び下端部分の少なくとも一方の画素を読み出さない第1動作、並びに、前記撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さない第2動作の少なくとも一方の動作により前記撮像領域を小さく制限して、前記第1画像のデータ量を小さくする
    ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
JP2022518498A 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム Active JP7364059B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023173512A JP2023174759A (ja) 2020-04-28 2023-10-05 撮像システム、撮像方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018151 WO2021220412A1 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023173512A Division JP2023174759A (ja) 2020-04-28 2023-10-05 撮像システム、撮像方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JPWO2021220412A1 JPWO2021220412A1 (ja) 2021-11-04
JPWO2021220412A5 JPWO2021220412A5 (ja) 2022-12-22
JP7364059B2 true JP7364059B2 (ja) 2023-10-18

Family

ID=78332316

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022518498A Active JP7364059B2 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム
JP2023173512A Pending JP2023174759A (ja) 2020-04-28 2023-10-05 撮像システム、撮像方法、及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023173512A Pending JP2023174759A (ja) 2020-04-28 2023-10-05 撮像システム、撮像方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20230171481A1 (ja)
JP (2) JP7364059B2 (ja)
WO (1) WO2021220412A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292542A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
JP2007504562A (ja) 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
WO2009016846A1 (ja) 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
JP2012129709A (ja) 2010-12-14 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
US20130088583A1 (en) 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld Iris Imager
WO2018038158A1 (ja) 2016-08-24 2018-03-01 日本電気株式会社 虹彩撮像装置、虹彩撮像方法および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504562A (ja) 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2005292542A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
WO2009016846A1 (ja) 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
JP2012129709A (ja) 2010-12-14 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
US20130088583A1 (en) 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld Iris Imager
WO2018038158A1 (ja) 2016-08-24 2018-03-01 日本電気株式会社 虹彩撮像装置、虹彩撮像方法および記録媒体

Also Published As

Publication number Publication date
US20230171481A1 (en) 2023-06-01
JPWO2021220412A1 (ja) 2021-11-04
JP2023174759A (ja) 2023-12-08
WO2021220412A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
JP5906028B2 (ja) 画像処理装置、画像処理方法
JP6167703B2 (ja) 表示制御装置、プログラム及び記録媒体
JP4814375B2 (ja) 検出装置、検出方法および検出用集積回路
US9460337B2 (en) Information processor and information processing method
US10244163B2 (en) Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium
JP6312046B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US20180343435A1 (en) Display control apparatus, display control method, and storage medium
US20160284064A1 (en) Information processing apparatus, information processing method, and medium
US10771693B2 (en) Imaging apparatus, control method for imaging apparatus, and storage medium
US20210304471A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US10223031B2 (en) Memory control apparatus and memory control method
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
US20190197660A1 (en) Information processing device, system, information processing method, and storage medium
JP7364059B2 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
JP2024026447A (ja) 物体追跡装置、物体追跡方法、およびプログラム
JP2010193154A (ja) 画像処理装置および画像処理方法
JP2016076853A (ja) 画像処理装置、画像処理方法、撮像装置
US9826163B2 (en) Image processing apparatus, control method, and recording medium
JP2009017194A (ja) 物体検出装置及び方法並びに撮像装置
US11069029B2 (en) Information processing device, system, information processing method, and storage medium
JP7472482B2 (ja) 情報処理装置、範囲決定方法、プログラム
KR102029140B1 (ko) 감시영상 생성장치
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP2017034608A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7364059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151