JP2016005258A - Imaging system, imaging apparatus, information processing method and program - Google Patents
Imaging system, imaging apparatus, information processing method and program Download PDFInfo
- Publication number
- JP2016005258A JP2016005258A JP2014126684A JP2014126684A JP2016005258A JP 2016005258 A JP2016005258 A JP 2016005258A JP 2014126684 A JP2014126684 A JP 2014126684A JP 2014126684 A JP2014126684 A JP 2014126684A JP 2016005258 A JP2016005258 A JP 2016005258A
- Authority
- JP
- Japan
- Prior art keywords
- person
- amount
- photographing
- information
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 125
- 230000010365 information processing Effects 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003860 storage Methods 0.000 claims abstract description 133
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000007726 management method Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 29
- 230000001186 cumulative effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 238000004891 communication Methods 0.000 description 32
- 230000015654 memory Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 29
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000386 athletic effect Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影システム、撮影装置、情報処理方法、及びプログラムに関する。 The present invention relates to an imaging system, an imaging apparatus, an information processing method, and a program.
幼稚園や小学校等では行事や日常生活において園児や生徒の写真等の撮影が行われている。この際に、特定の園児や生徒のみが多く、又は少なく撮影されてしまうと園児や生徒あるいはそれらの父兄に不公平感を与えてしまう。そのため、先生方が、目視にて撮影した写真を確認し、撮影者が、その後の撮影において先生方の記憶を頼りに、園児や生徒１人１人の撮影枚数を調整するようにしていた。 In kindergartens and elementary schools, photographs of kindergarten and students are taken during events and daily life. At this time, if only a particular kindergarten or student is photographed in a large amount or a small number, the kindergarten or the student or their parents will be unfair. For this reason, the teachers confirmed the photograph taken visually, and the photographer adjusted the number of photographs taken by each kindergarten or student by relying on the teacher's memory in subsequent photographing.
行事や日常生活において撮影された園児や生徒の写真データの処理に関し、例えば特許文献１には、記録された画像データを一括出力用に被写体毎に振り分け、振り分けられた画像データの個数を、被写体毎にカウントして、所定の設定数に達していない場合には警告情報を発生するとともに、画像データの個数及び不足数を表示するという技術が記載されている。特許文献１では、一括出力用に振り分けられた画像データを画像データの個数が最小値である被写体の画像データの個数を出力条件として条件出力用に記録している。
Regarding processing of photo data of kindergarten and students taken in events and daily life, for example,
また、例えば特許文献２には、アルバム作成用の画像データが保存されている画像データ保存部１Ｂと、この画像データ保存部１Ｂに保存されている複数の画像データを用いてアルバムを作成するアルバム作成部１Ａと、画像データに含まれている顔画像を人物別に抽出する人物抽出部１５と、抽出された顔画像の数を人物別にカウントする登場回数カウント部１７を備えたアルバム作成装置が開示されている。
For example,
特許文献１に記載された技術によれば、写真の購入者に希望する写真を選択する負担を追わせることなく、かつ、園児等の被写体間で均等な枚数の写真を確保して、購入者の満足感を満たしつつ、廃棄ロスを抑制して、写真のデータを管理する手間とコストを低減する。
According to the technique described in
また、特許文献２に記載されたアルバム作成装置によれば、アルバムを作成するに際して、特定の個人が撮影されている写真画像が極端に多くなったり少なくなったりすることがなく、不公平感を生じさせないことができる。
In addition, according to the album creating apparatus described in
しかし、特許文献１及び特許文献２の何れも、撮影された後の写真データを編集することで、写真の被提供者の不公平感を解消するものである。よって、結局のところ特許文献１及び特許文献２の何れにおいても、写真撮影時には、先生方の記憶を頼りに撮影枚数を調整することになるため撮影を依頼する側の手間とコストを増大させる。また、カメラマンに撮影を依頼する際に、特定の人物の写真等を多く、又は少なく撮影するように依頼することは、カメラマンの手間とコストを増大させる。
However, both
本発明は、このような実情に鑑みてなされたものであって、複数の人物が平等に撮影されるように促し、撮影時の手間とコストを軽減する撮影システムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging system that urges a plurality of persons to be imaged equally and reduces labor and cost at the time of imaging. .
上記の課題を解決するため、本発明の撮影システムは、撮影装置と管理装置とがネットワークにより接続された撮影システムであって、管理装置は、人物毎の人物の特徴を含む特徴情報を記憶する特徴情報記憶手段と、人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、特徴情報と撮影量情報とを撮影装置に送信する送信手段と、を備え、撮影装置は、特徴情報と撮影量情報とを受信する受信手段と、被写体を撮像した撮像画像を生成する撮像手段と、撮像画像を表示する表示手段と、撮像画像から人物を検出する検出手段と、検出手段により検出された人物を特徴情報に基づいて照合する照合手段と、撮影量情報に基づいて照合手段により照合された人物の撮影量に応じた情報を撮像画像における照合された人物に付随して表示手段に表示させる制御手段と、を備えることを特徴とする。 In order to solve the above problems, an imaging system of the present invention is an imaging system in which an imaging apparatus and a management apparatus are connected via a network, and the management apparatus stores feature information including the characteristics of each person. A feature information storage unit; a shooting amount storage unit that stores shooting amount information including a shooting amount of each person photographed; and a transmission unit that transmits the feature information and the shooting amount information to the shooting apparatus. The imaging apparatus includes a receiving unit that receives feature information and imaging amount information, an imaging unit that generates a captured image obtained by imaging a subject, a display unit that displays the captured image, and a detection unit that detects a person from the captured image. The collation means for collating the person detected by the detection means based on the feature information and the information according to the photographing amount of the person collated by the collation means based on the photographing amount information are collated in the captured image. Characterized in that it comprises a control means for displaying on the display means in association with the object.
本発明によれば、複数の人物が平等に撮影されるように促し、撮影時の手間とコストを軽減することができる。 According to the present invention, it is possible to urge a plurality of persons to be photographed equally, thereby reducing labor and cost during photographing.
本発明の実施形態における撮影システムについて図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本実施形態における撮影システム１は、図１に示すように、例えば、撮影装置５と、管理装置５０とがネットワーク６０を介して接続可能に構成されている。
An imaging system according to an embodiment of the present invention will be described below with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected to the part which is the same or it corresponds, The duplication description is simplified thru | or abbreviate | omitted suitably. As illustrated in FIG. 1, the
撮影装置５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いて、レンズから入射された光を電気信号に変換し、電気信号から撮像画像を生成するデジタルカメラである。なお、撮影装置５として、デジタルカメラ以外にも、例えば、上記の撮像画像を生成する撮影機能を備えていれば、多機能型携帯端末であるスマートフォンや、ノート型ＰＣ、タブレット型ＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｅｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の装置でもよい。
The
管理装置５０は、例えば、撮影画像等の各種情報を記憶し、各種情報を処理するパーソナルコンピュータ（以下「ＰＣ」という。）などの情報処理装置や本実施形態におけるネットワーク６０に接続可能な撮影装置５に対してネットワークを経由して各種のサービスを提供するサーバ等である。例えば、管理装置５０がファイルサーバの場合、管理装置５０に内蔵されるハードディスクドライブ（以下「ＨＤＤ」という。）などの記憶装置をクライアントである撮影装置５が共有する。
The
ネットワーク６０は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の情報通信網であり、有線でも無線でもよいが、本実施形態で後述するように、例えば、運動会等の屋外イベントにおいてデジタルカメラを使用するような場合は、無線による通信環境が望ましい。
The
次に、本実施形態における撮影システム１に係る撮影装置５と管理装置５０のハードウェア構成について図２を参照して説明する。
Next, the hardware configuration of the
撮影装置５は、例えば、撮像部１１と、制御部１２と、メモリ１３と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４と、操作部１６と、表示部１７とを含み、構成されている。
The
撮像部１１は、例えば、上述のようにＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を用いて、不図示のレンズから入射された光を電気信号に変換し、電気信号から撮像画像を生成する。
The
制御部１２は、例えば、ＣＰＵを用いて、所定の制御プログラムに基づいて撮影装置５全体の制御を実行する。
For example, the
メモリ１３は、例えば、撮像画像や撮影量などの各データ、上記所定の制御プログラム及び後述する本実施形態における人物検出処理や人物照合処理、あるいは撮影量に応じた情報の表示制御処理等を実行するための各プログラムなどを記憶する。また、メモリ１３は、後述するシャッターボタンが押下されることで撮影された撮影画像を記憶する。メモリ１３としては、例えばＲＡＭ、ＲＯＭ又はＨＤＤ等を用いて構成されるが、撮影装置５本体から着脱可能な、例えばＳＤカード等の外部メモリでもよい。
The
通信Ｉ／Ｆ１４は、例えば、本実施形態において管理装置５０とネットワーク６０を介して通信を行う際に、管理装置５０との間における撮影画像等の送受信に利用されるインタフェースである。
The communication I /
操作部１６は、例えば、電源ボタン、シャッターボタン、撮影装置５における各種設定を行う設定画面を後述する表示部１７に表示させるためのメニューボタン及びモード切替スイッチなどの物理的な操作スイッチで構成されるが、これらに限定されない。例えば、後述する表示部１７に重畳させたタッチパネルを用いて、表示部１７に表示されたアイコン等へのタッチ操作を受け付ける構成でもよい。そして、操作部１６への操作に応じた信号に基づいて、制御部１２が各部を制御し、その操作に対応する処理を実行する。モード切替スイッチを用いて切り替えられるモードとして、本実施形態では、例えば「受信モード」、「撮影モード」、「送信モード」を採用しているが、説明の便宜のために用いているにすぎず、本実施形態における撮影装置５がこれらのモードを備えたものに限定されるというものではない。なお、モード切替スイッチによるモード切り替えに代えて、例えば、上記各モードに切り替えるための表示画面が、メニューボタンを押下して表示部１７に表示させた設定画面に含まれる構成であってもよい。この場合、例えば、上記のタッチパネルを用いた、アイコン化された各モードへのタッチ操作に応じて、各モードへ切り替えることとしてもよい。
The
なお、例えば「受信モード」とは、例えば後述する特徴情報や撮影量等を通信Ｉ／Ｆ１４を介して管理装置５０から受信するためのモードである。また、例えば「撮影モード」とは、撮影画像を生成する撮影機能を実行するためのモードである。例えばモード切替スイッチを用いて「撮影モード」に切り替えられると、撮像部１１にて撮像画像の生成が開始される。すなわち、「撮影モード」に切り替えられると、制御部１２は、入射される光を基に撮像部１１にて撮像画像を順次生成し、表示部１７へ撮像画像を用いた表示画像を順次表示するために撮像画像の送信を開始する。この撮像画像を用いた表示画像の表示は、本撮影を指示する操作を受け付ける操作部１６としてのシャッターボタンが押下されることで、本撮影の指示が行われると、本撮影として決定された撮像画像（以下「撮影画像」という。）が表示部１７に一定時間、表示される間、一旦停止し、本撮影が終了すると再度、順次表示を開始するようにしてもよい。この場合、本撮影終了時に、一定時間、表示部１７に撮影画像が表示されることで、ユーザは、撮影画像を確認することができ、適切に撮影できたか否かを確認することができる。さらに、例えば「送信モード」とは、撮影画像や撮影量等を通信Ｉ／Ｆ１４を介して管理装置５０に送信するためのモードである。
For example, the “reception mode” is a mode for receiving, for example, characteristic information, a shooting amount, and the like described later from the
なお、本実施形態における説明において、説明の便宜上、「撮影モード」に切り替えられて、撮像部１１にて生成される画像を「撮像画像」とし、撮像部１１から送信された「撮像画像」を用いて表示部１７に表示される画像を「表示画像」とする。また、制御部１２は、シャッターボタンが押下されることで、本撮影の指示が行われた場合、押下のタイミングに応じた「撮像画像」を本撮影として決定された画像として、メモリ１３に記憶する。この本撮影として決定された画像を「撮影画像」とする。なお、撮像部１１は、撮影可能な画像を表示部１７にてモニタリングするために、撮像画像を撮像される光景に合わせて変化する動画として生成するのが好ましい。ただし、撮像部１１は、撮像画像を、表示画像用と撮影画像用とに別々に生成してもよく、表示画像用と撮影画像用とに同じ撮像画像を生成してもよい。
In the description of the present embodiment, for convenience of explanation, the “shooting mode” is switched to an image generated by the
表示部１７は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスを用いて、「撮像画像」、「撮影画像」、「設定画面」等の表示データを基にした表示画像を表示する。
The
管理装置５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５３と、ＨＤＤ５４と、表示部５５と、入力部５６と、通信Ｉ／Ｆ５７を含み、構成されているが、これに限定しない。
The
ＣＰＵ５１は、管理装置５０に搭載される上記各部を制御する。ＲＡＭ５２は、例えば、ＣＰＵ５１の作業用領域として利用されるとともに、各種データの一時記憶領域として利用されるものであればよい。また、ＲＯＭ５３は、例えば、ＣＰＵ５１が実行するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等の制御プログラムのほか、制御に必要な各種データ等が格納されるものであればよい。
The
ＨＤＤ５４は、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム、画像データなどを記憶する大容量記憶装置である。なお、ＨＤＤ５４は、管理装置５０に内蔵されていても、外付けであってもよい。また、大容量記憶装置として、ＨＤＤ５４ではなく、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等でもよく、ＨＤＤ５４だけでなく、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、又はブルーレイなどの記憶メディアに画像データ等を書き込み、あるいは、該記憶メディアから画像データを読み込むメディアドライブを備えてもよい。
The
表示部５５は画面表示を行う表示デバイスである。表示部５５としては、管理装置５０と一体型でも外付けでも構わなく、例えば、液晶ディスプレイや有機ＥＬディスプレイ等の各種の表示デバイスで構成される。なお、表示部５５は本実施形態における必須の構成ではなく、例えば、ＨＤＤ５４に記憶された各種画像データや人物毎の撮影量を視覚的に表した画面を閲覧し、管理装置５０における各種設定画面を表示部５５に表示し、表示された設定画面を見ながら設定行為を行うような場合に利用することができればよい。
The
入力部５６は各種入力を行うキーボードやマウス等の入力デバイスである。なお、入力部５６についても本実施形態における必須の構成ではなく、例えば、上述した設定行為を行うような場合に利用することができればよい。また、いわゆるタッチパネルなどのタッチ入力デバイスを上記表示部５５に重畳して備える構成であってもよい。
The
通信Ｉ／Ｆ５７は、例えば、本実施形態において撮影装置５とネットワーク６０を介して通信を行う際に、撮影装置５との間における画像データ等の送受信に利用されるインタフェースである。
The communication I /
［第１実施形態］
本発明の第１実施形態における撮影システム１について図３から図６を参照して説明する。なお、本実施形態の説明においては、園児の写真を撮影する担任の先生を例に記載するが、これに限らず、被写体は児童や生徒、学生、部員、子供、社員等でもよい。また、撮影者はクラスメイトや写真屋から派遣されたカメラマンでも、担任の先生でも、園児や生徒の保護者等でもよい。本実施形態では、撮影対象とする人物全員の特徴を予め抽出するパターンを説明する。
[First Embodiment]
The
まず、本実施形態における撮影システム１に係る管理装置５０及び撮影装置５の機能ブロックの概略について図３を参照して説明する。
First, an outline of functional blocks of the
まず、本実施形態における管理装置５０は、制御手段１０１と、特徴画像記憶手段１０２と、撮影画像記憶手段１０３と、特徴情報記憶手段１０４と、撮影枚数記憶手段１０５と、人物検出手段１０６と、特徴抽出手段１０７と、入力手段１０８と、表示手段１０９と、通信手段１１０を備える。
First, the
制御手段１０１は、管理装置５０の上記各手段を全体的に制御する手段であり、制御手段１０１の機能は、例えば上述したＣＰＵ５１によりその機能が実現される。
The
特徴画像記憶手段１０２は、特徴画像として、例えば担任の先生が、園児が写っていると認識している撮影画像データを記憶する手段である。入園書類に添付した証明写真や過去に開催された入園式や運動会、遠足等において撮影された少なくとも園児等が１人以上鮮明に写っている撮影画像が特徴画像として好ましい。特徴画像記憶手段１０２は、後述する人物の特徴を抽出するために参照される撮影画像データの記憶装置として機能する。
The feature image storage means 102 is a means for storing, as a feature image, for example, photographed image data that is recognized by a homeroom teacher as having captured a child. Photographs attached to the admission documents and photographed images in which at least one kind of child photographed at an entrance ceremony, athletic meet, excursion, etc. held in the past are clearly shown are preferable as the feature images. The feature
具体的には、例えば、制御手段１０１による制御に応じて、特徴画像記憶手段１０２は、担任の先生によりデジタルカメラ等の外部メモリから入力された、集合写真等の園児全員が写っている撮影画像を記憶する。なお、特徴画像記憶手段１０２に記憶する撮影画像は、１枚に複数人が写っている撮影画像でも１枚に１人が写っている撮影画像でもよい。さらに、記憶される撮影画像は複数枚あってもよい。
Specifically, for example, in accordance with control by the
撮影画像記憶手段１０３は、人物が撮影された撮影画像を含み、例えば、運動会、遠足等のイベントにおいて、カメラマンや担任の先生等が撮影に用いたデジタルカメラ等から管理装置５０へ取り込まれた撮影画像を記憶する。上述した特徴画像記憶手段１０２との違いは、撮影画像記憶手段１０３は、例えば担任の先生が、撮影した撮影画像にどの園児がどのくらい写っているかカウントしたい撮影画像を記憶するという点である。なお、特徴画像記憶手段１０２及び撮影画像記憶手段１０３をともに、便宜的に画像データを記憶する画像データ記憶手段とし、これは例えば上述したＨＤＤ５４によりその機能が実現される。
The photographed image storage means 103 includes photographed images in which a person is photographed. For example, in an event such as an athletic meet or an excursion, a photographer or a teacher in charge takes a photograph taken into the
特徴情報記憶手段１０４は、後述する特徴抽出手段１０７にて特徴画像から抽出した人物の特徴を、その人物を特定する所定の識別子に対応させて、特徴情報として記憶する。特徴情報は、人物の照合においてその人物と合致するか比較の基となるデータである。なお、特徴情報記憶手段１０４は、例えば上述したＨＤＤ５４によりその機能が実現される。
The feature
撮影枚数記憶手段１０５は、人物毎に、各人物がどの程度撮影されたかを示す撮影枚数等の撮影量を撮影量情報として記憶する撮影量記憶手段である。なお、撮影枚数記憶手段１０５についても、例えば上述したＨＤＤ５４によりその機能が実現される。また、本実施形態では、撮影量情報を撮影された写真の枚数を用いた撮影枚数情報として記憶しているが、撮影装置５としてビデオカメラを使用した場合は、撮影量は、撮影枚数ではなく、例えば撮影時間や撮影コマ数となる。ただし、撮影量は、撮影枚数や撮影時間、撮影コマ数でなくてもよく、これらに限定はしない。
The number-of-
人物検出手段１０６は、上述した特徴画像記憶手段１０２に記憶された特徴画像から人物が写っている人物領域を検出する。なお、本実施形態では人物領域を、人物の顔が写っている領域（以下「顔エリア」という。）として説明する。人物は顔で照合されることが一般的だからであるが、本発明における人物領域が顔エリアに限定されるという趣旨ではない。顔エリアの検出については、既存の顔認証等の技術を用いて行えばよく、例えば顔エリアを検出するアプリケーションプログラムがＣＰＵ５１により実行されることで実現される。
The
特徴抽出手段１０７は、人物検出手段１０６により検出された特徴画像の人物領域から人物の特徴を抽出する。例えば、人物の特徴としては、特徴画像の顔エリアに写っている人物の各パーツ（目、鼻、口）の配置状態や形状がある。ただし、一例であって、例えば人物領域として人物の全身を捉えた場合は、人物の特徴を人物の背格好としてもよい。人物の特徴を抽出するのも既存の顔認証等の技術で行えばよく、例えば人物の特徴を抽出するアプリケーションプログラムがＣＰＵ５１により実行されることで実現される。
The
入力手段１０８は、担任の先生等のユーザにより、特徴情報の作成指示や、後述する撮影枚数のカウント指示を受け付ける、例えば上述した入力部５６によりその機能が実現される。
The function of the
表示手段１０９は、特徴画像及び撮影画像等の各種画像データや人物毎の撮影量を視覚的に表した画面、あるいは各種設定画面を表示する。例えば、上述した表示部５５によりその機能が実現される。
The
通信手段１１０は、例えば、上述した特徴情報や撮影枚数情報とを撮影装置５に送信する送信手段、又は、上述した撮影画像と撮影枚数情報とを撮影装置５から受信する受信手段として機能する。通信手段１１０は、例えば上述した通信Ｉ／Ｆ５７によりその機能が実現される。なお、通信手段１１０は、外部メモリに特徴情報と撮影枚数情報、撮影画像等の各種データを記憶させて、管理装置５０と撮影装置５とで各種データをやり取りするのであれば、通信手段１１０は必ずしも必要ないことは言うまでもない。
The
ここで、上述した特徴情報は、例えば、特徴抽出手段１０７により抽出された人物の特徴とその人物を一意に特定する所定の人物識別子とを対応付けしたデータである。所定の人物識別子とは、例えば本実施形態で言えば、園児の名前や出席番号等が相当するが、これらに限定はしない。また、上述した撮影枚数情報は、例えば、所定の人物識別子とその人物が撮影された画像の枚数（撮影枚数）であるカウント数とを対応付けたデータである。
Here, the above-described feature information is, for example, data in which a feature of a person extracted by the
次に、本実施形態における撮影装置５は、制御手段２０１と、撮影画像記憶手段２０２と、特徴情報記憶手段２０３と、撮影枚数記憶手段２０４と、撮像手段２０５と、検出手段２０６と、照合手段２０７と、表示手段２０８と、通信手段２０９と、操作手段２１０とを備える。
Next, the photographing
制御手段２０１は、撮影装置５の上記各手段を全体的に制御する手段であり、制御手段２０１の機能は、例えば上述した制御部１２により実現される。
The
撮影画像記憶手段２０２は、撮影装置５により撮影された撮影画像を記憶する手段であり、例えば上述したメモリ１３によりその機能が実現される。
The photographed
特徴情報記憶手段２０３は、管理装置５０から受信した特徴情報を記憶する手段であり、撮影画像記憶手段２０２と同様に、例えば上述したメモリ１３によりその機能が実現される。
The feature
撮影枚数記憶手段２０４は、管理装置５０から受信した撮影枚数情報を記憶する手段であり、撮影画像記憶手段２０２と同様に、例えば上述したメモリ１３によりその機能が実現される。なお、撮影装置５にて撮影画像を撮影した場合は、撮影枚数記憶手段２０４に記憶した撮影枚数情報を撮影装置５において更新してもよいし、ＳＤカード等の外部メモリに記憶された特徴情報を読み込んでもよい。
The photographed number storage means 204 is means for storing the number of photographed images received from the
撮像手段２０５は、人物等の被写体を撮像した撮像画像を、レンズから入射された光を用いて生成する手段であり、例えば上述した撮像部１１によりその機能が実現される。
The
検出手段２０６は、撮像画像から人物が写っている領域である人物領域を検出する手段であり、例えば上述したメモリ１３に格納された人物検出処理プログラムが制御部１２により実行されることで、その機能が実現される。ここでは、検出手段２０６は、撮像画像から人物の顔が写っている領域である顔エリアを検出するとして説明する。なお、顔エリアの検出は既存の顔認証技術等を用いて実現されるものであってもよい。
The detection means 206 is a means for detecting a person area that is an area in which a person is captured from a captured image. For example, when the person detection processing program stored in the
照合手段２０７は、検出手段２０６により検出された人物領域に写る人物の特徴と特徴情報記憶手段２０３に記憶された特徴情報とを照合することで人物の照合を行う手段である。例えば、上述したメモリ１３に格納された人物照合処理プログラムが制御部１２により実行されることで、その機能が実現される。ここでは、顔エリアに写る人物の特徴を用いて照合するとして説明する。なお、人物照合は既存の顔認証技術等を用いて実現されるものであってもよい。
The
表示手段２０８は、撮像画像や撮影画像等を用いた表示画像を表示する手段であり、例えば、上述した表示部１７を用いることでその機能が実現される。表示画像の一例としては、撮像画像に、撮影量に対応する色のついた枠等の情報を重畳した画像である。
The
通信手段２０９は、管理装置５０から特徴情報と撮影枚数情報とを受信する受信手段、又は、管理装置５０へ撮影画像と撮影枚数情報とを送信する送信手段として機能し、例えば上述した通信Ｉ／Ｆ１４によりその機能が実現される。なお、外部メモリに特徴情報と撮影枚数情報、撮影画像等の各種データを記憶させて、管理装置５０と撮影装置５とで各種データをやり取りするのであれば、通信手段２０９は必ずしも必要ないことは言うまでもない。
The
操作手段２１０は、撮影装置５に対する撮影者からの操作を受け付け、操作に対応する信号を制御手段２０１などの各部に送信する手段であり、例えば、上述した操作部１６を用いることでその機能が実現される。
The
そして、照合手段２０７により照合された人物の撮影枚数情報に応じた色のついた枠等の情報を、撮像画像にて照合された人物の顔エリアに付随し、表示画像として、表示手段２０８に表示させる表示制御処理が制御手段２０１により行われる。
Then, information such as a colored frame corresponding to the number of shots of the person collated by the collating
次に、本実施形態における情報取得処理手順について、図４を参照して説明する。まず、撮影装置５は、通信手段２０９を介して管理装置５０からの受信により特徴情報を取得し、特徴情報記憶手段２０３に記憶する（ステップＳ１）。
Next, the information acquisition processing procedure in this embodiment will be described with reference to FIG. First, the
撮影装置５は、通信手段２０９を介して管理装置５０からの受信により撮影枚数情報を取得し、撮影枚数記憶手段２０４に記憶する（ステップＳ２）。
The
なお、具体例として、撮影装置５は、運動会等のイベントの前に、撮影者である例えば担任の先生の操作により、操作手段２１０のモード切替スイッチが「受信モード」に設定されるとする。撮影装置５は、通信手段２０９を用いてネットワーク６０を介して管理装置５０に接続し、管理装置５０における特徴情報記憶手段１０４と撮影枚数記憶手段１０５とにそれぞれ記憶された特徴情報と撮影枚数情報とを受信する。ただし、撮影装置５は、上述のように管理装置５０からの受信により特徴情報と撮影枚数情報とをそれぞれ取得せずに、ＳＤカード等の外部メモリを用いて特徴情報と撮影枚数情報とを管理装置５０から取得してもよい。
As a specific example, it is assumed that the photographing
次に、本実施形態における表示制御処理手順について図５を参照して説明する。まず、運動会等のイベントの際に、撮影装置５は、撮影者である例えば担任の先生の操作により、操作手段２１０のモード切替スイッチが「撮影モード」に設定されると、撮像手段２０５により、レンズから入射された光を用いて撮像画像を生成する（ステップＳ１１）。
Next, a display control processing procedure in the present embodiment will be described with reference to FIG. First, at the time of an event such as an athletic meet, the
次に、検出手段２０６は、撮像手段２０５で生成した撮像画像から顔エリアを検出する（ステップＳ１２）。
Next, the
その後、照合手段２０７が、検出手段２０６で検出した顔エリアに写っている人物の顔の特徴を抽出し（ステップＳ１３）、抽出した人物の顔の特徴と、特徴情報記憶手段２０３に記憶された特徴情報とを比較し、同一人物と照合される特徴情報があるか判断する（ステップＳ１４）。
Thereafter, the collating
そして、照合手段２０７により、同一人物と照合された特徴情報があると判断された場合（ステップＳ１４、ＹＥＳ）、制御手段２０１は、撮影枚数記憶手段２０４に記憶された撮影枚数情報から、照合された特徴情報の人物識別子に対応するカウント数を読み込む。そして、制御手段２０１は、読み込んだカウント数に対応する色の枠の画像を、検出手段２０６で検出された顔エリアの大きさに合わせて、その撮像画像の顔エリアに付随し、表示画像として、表示手段２０８に表示する（ステップＳ１５）。つまり、ここでの色の枠の画像が、撮影量に応じた情報の例である。色の枠の画像など、撮影量に応じた情報についてのバリエーションについては後述する。他方、同一人物と照合された特徴情報がないと判断された場合（ステップＳ１４、ＮＯ）や、カウント数が一定の閾値に満たない人物、又は、一定の閾値を超える人物については、色の枠の画像等は撮像画像に重畳せずに、撮像画像を表示画像として表示手段２０８に表示することとしてもよい。この場合は、色の枠の画像等は表示手段２０８に表示されない。また、ステップＳ１２からステップＳ１５のカウント数に対応する色の枠の画像を、撮像画像の顔エリアに付随するまでは、色の枠の画像が付随していない撮像画像を表示画像として表示手段２０８に表示しておいてもよい。ここで、ステップＳ１２からステップＳ１５の処理は、撮影手段２０５で異なる撮像画像が生成する度に行うようにしても、既定の時間間隔（例：１秒毎）や撮像画像の既定の生成数毎（例：３０画像毎）に行うようにしても、被写体にピントが合った撮像画像が生成された時点で行うようにしてもよい。
When the
なお、色の枠の画像等は、例えば、予めメモリ１３に記憶されているものを使用しても、不図示の作像手段を用いて、撮影者による表示部１７に重畳させたタッチパネルからの入力に応じて入力された新たな色の枠の画像等を作像したものを使用してもよい。なお、上記「顔エリアに付随して」における「付随」には、顔エリアの近傍に表示させることや、顔エリアに重畳して表示させること等、顔エリアにおける人物の撮影枚数であることが撮影者に認識される態様で色の枠の画像を表示させる概念が含まれる。
For example, even if the image of the color frame is stored in the
そして、撮影者の撮影装置５に対する操作により、本撮影の指示として、操作手段２１０のシャッターボタンが押下された場合（ステップＳ１６、ＹＥＳ）、制御手段２０１は、押下されたタイミングに応じた撮像画像を撮影画像として、撮影画像記憶手段２０２に記憶される。その撮影画像として記憶された撮像画像に対して、照合手段２０７により、同一人物と照合された特徴情報があると判断されていた場合は、撮影枚数記憶手段２０４に記憶されている撮影枚数情報に対して、照合された特徴情報の人物識別子に対応するカウント数を１増加させて更新して、記憶する（ステップＳ１７）。ここで、カウント数はイベント前のカウント数に今回のイベントでのカウント数を合算して１つのカウント数として記憶しても、イベント前のカウント数と今回のイベントでのカウント数とに分けて記憶しても、全カウント数と今回のイベントでのカウント数とに分けて記憶してもよい。全カウント数は、イベント前のカウント数と今回のイベントでのカウント数の合計である。ここで、今回のカウント数ではなく、日毎、月毎などの期間毎のカウント数を記憶してもよい。また、カウントした撮影画像には、カウント済みである旨の情報を撮影画像ファイルのプロパティ情報などの設定領域に書き込みしてもよい。また、撮影手段２０５で生成された撮像画像は、既定の時間（例：３０秒間）、一時記憶手段（不図示）に記憶しておき、シャッターボタンが押下されると、その押下時点から既定の時間前（例：３０秒前）までに一時記憶手段に記憶された複数の撮像画像を撮影画像記憶手段２０２に記憶するようにしてもよい。ステップＳ１７の後、又は、操作手段２１０のシャッターボタンが押下されずに、撮像手段２０５で異なる撮像画像が生成された場合（ステップＳ１６、ＮＯ）は、ステップＳ１２に戻る。
Then, when the shutter button of the
次に、本実施形態の撮影装置５における情報送信処理手順について説明する。運動会等のイベントの後、撮影装置５は、例えば、撮影者である担任の先生による操作により操作手段２１０のモード切替スイッチが「送信モード」に設定されるとする。撮影装置５は、通信手段２０９を用いて、ネットワーク６０を介して、管理装置５０に接続し、撮影枚数記憶手段２０４に記憶された撮影枚数情報と撮影画像記憶手段２０２に記憶された撮影画像とを、管理装置５０に送信する。そして、撮影装置５は、それぞれ撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新し、撮影画像記憶手段１０３に撮影画像を記憶する。更新には、例えば、撮影装置５から送られた撮影枚数情報で、撮影枚数記憶手段１０５に記憶されている撮影枚数情報を上書きすることが含まれてよい。また、更新には、例えば、撮影装置５から送られた撮影枚数情報の今回のイベント撮影枚数を、撮影枚数記憶手段１０５に記憶されている撮影枚数情報の累積撮影枚数に加算すること等が含まれてよい。この際に、特徴情報記憶手段２０３に記憶された特徴情報を削除することとしてもよい。特徴情報の削除は、撮影装置５に特徴情報が記憶されたままであることにより、撮影者が外注のカメラマン等であった場合、幼稚園等の関係者以外の第三者への特徴情報の流出を防止するといった、個人情報保護のためである。なお、「送信モード」でなく、「撮影モード」の際に、通信手段２０９により、ネットワーク６０を介して、管理装置５０に接続し、撮影装置５の撮影枚数記憶手段２０４に記憶された撮影枚数情報を、管理装置５０に送信して、撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新してもよい。その際に、撮影枚数記憶手段１０５に記憶された更新された撮影枚数情報を、管理装置５０から受信して、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新しても良い。この場合、複数の撮影装置５がある場合に、他の撮影装置５で更新した撮影枚数情報を入手できるので、更新された撮影量に応じた情報を表示できる。
Next, an information transmission processing procedure in the photographing
管理装置５０における特徴情報の生成処理手順について図６を参照して説明する。まず、例えば担任の先生により、過去に撮影された園児等が写っている撮影画像データである特徴画像を特徴画像記憶手段１０２に記憶する（ステップＳ２１）。
A feature information generation processing procedure in the
次に、担任の先生により入力手段１０８に特徴情報の作成指示が入力されると制御手段１０１は、人物検出手段１０６に検出開始を命令する（ステップＳ２２）。
Next, when an instruction to create feature information is input to the
人物検出手段１０６は、特徴画像記憶手段１０２に記憶されている特徴画像から人物の顔エリアを検出する（ステップＳ２３）。
The
特徴抽出手段１０７は、人物検出手段１０６にて検出された顔エリアに写っている人物の顔の特徴を抽出する（ステップ２４）。
The
そして、制御手段１０１は、特徴抽出手段１０７にて抽出された人物の顔の特徴と所定の人物識別子とを対応付けて、特徴情報として特徴情報記憶手段１０４に記憶する（ステップＳ２５）。
Then, the
なお、園児の名前又は出席番号等の園児を一意に特定する所定の人物識別子を対応付ける際に、その人物識別子の入力を促すメッセージとその人物識別子の入力欄とを、撮影画像における人物検出手段１０６で検出された顔エリアの画像とともに、表示手段１０９に表示させ、担任の先生により入力手段１０８を介して園児の名前又は出席番号等の人物識別子を入力される構成としてもよい。これによれば、担任の先生が認識しやすい人物識別子を入力できるので、人物識別子入力の自由度が向上する。なお、上記において、入力を促すメッセージは、例えば「この画像の園児の名前又は出席番号を入力して下さい」などのメッセージをいう。また、撮影画像における人物検出手段１０６で検出された顔エリアの画像とは、例えば、園児の顔が写っている画像をいう。
When associating a predetermined person identifier for uniquely identifying a kindergarten such as the name or attendance number of the kindergarten, a message for prompting the input of the person identifier and an input field for the person identifier are displayed in the person detection means 106 in the photographed image. It is also possible to display the image on the face area detected in step S109 on the
また、予め園児の名前又は出席番号等の人物識別子の一覧リストを記憶しておき、上記のメッセージや、園児の顔が写っている画像とともに、その一覧リストを表示手段１０９に表示させ、担任の先生により入力手段１０８を介して当該一覧リストから、表示手段１０９に表示された園児の顔が写っている画像に対応する人物識別子を選択する構成としてもよい。これによれば、リストから人物識別子を選択するだけでよいため、人物識別子の入力が簡単になるというメリットがある。上記において、入力を促すメッセージは、例えば「この画像の園児の名前を選択して下さい」などのメッセージをいう。
In addition, a list of personal identifiers such as the names of children or attendance numbers is stored in advance, and the list is displayed on the display means 109 together with the message and the image of the faces of the children, and The teacher may select a person identifier corresponding to the image showing the child's face displayed on the
また、１つの画像から複数の人物が検出された場合、全ての検出された領域から人物の特徴を抽出し、抽出した全ての特徴に各々の人物識別子を対応付けて特徴情報としての記憶が終了するまで行ってもよい。さらに、この特徴情報を記憶する作業を特徴画像記憶手段１０２に記憶されている全ての画像について行ってもよい。
In addition, when a plurality of persons are detected from one image, the characteristics of the person are extracted from all the detected areas, and the storage of the characteristic information is completed by associating each extracted identifier with each person identifier. You may go until you do. Further, the operation of storing the feature information may be performed for all the images stored in the feature
また、制御手段１０１は、人物検出手段１０６にて、特徴画像において検出された顔エリアの画像を、撮影枚数情報に含めて、撮影枚数記憶手段１０５に記憶しておいてもよい。
In addition, the
次に、管理装置５０における撮影枚数情報のカウント処理手順について図７を参照して説明する。なお、本処理が、撮影画像記憶手段１０３に記憶された全ての撮影画像に対応する撮影枚数情報が既にカウントされて、管理装置５０の撮影枚数記憶手段１０５に記憶されている場合に不要であることは言うまでもない。つまり、本処理手順は、本発明の撮影装置５以外のカメラ等で撮影される等した撮影画像を管理装置５０に送信し、撮影枚数記憶手段１０３に記憶された撮影画像の中に、撮影されている園児の撮影枚数のカウントが済んでいない撮影画像があるときの枚数カウント処理を説明するものである。例えば、新年度が始まった当初は、撮影枚数情報の各人物識別子の枚数のカウント数は「０」である。
Next, the procedure for counting the number of shots in the
まず、管理装置５０に、カウントされていない撮影画像があるとき（ステップＳ３１、ＹＥＳ）、例えば、担任の先生により、入力手段１０８に対して枚数カウント指示が入力されると、制御手段１０１は、人物検出手段１０６に検出開始を命令する（ステップＳ３２）。また、制御手段１０１は、入力手段１０８に対する枚数カウント指示ではなく、既定の時間にカウントを開始するような指示、又は、既定の動作が実行されたらカウントを開始するような指示であってもよい。既定の時間とは、例えば正午などであり、既定の動作とは、例えば管理装置５０へ撮影画像が転送されて撮影画像記憶手段１０３に撮影画像が記憶される動作などである。
First, when there is an uncounted photographed image in the management device 50 (step S31, YES), for example, when a teacher counts the number of sheets input to the
その後、人物検出手段１０６が、撮影画像記憶手段１０３に記憶されたカウントされていない撮影画像から顔エリアを検出する（ステップＳ３３）。
Thereafter, the
特徴抽出手段１０７は、人物検出手段１０６により検出された顔エリアに写っている人物の顔の特徴を抽出し（ステップＳ３４）、不図示の人物照合手段により、抽出された人物の顔の特徴と特徴情報記憶手段１０４に記憶された特徴情報との比較に基づいて人物を照合する（ステップＳ３５）。
The
人物照合手段により、特徴情報記憶手段１０４に同一人物と照合された特徴情報が記憶された場合、つまり、特徴が抽出された人物が記憶された特徴情報に係る人物と同一人物と照合された場合（ステップＳ３５、ＹＥＳ）、照合された人物の撮影枚数情報として撮影枚数記憶手段１０５に記憶する。例えば本実施形態では、その照合された特徴情報に対応付けてある人物識別子のカウント数を１つ増加させて、撮影枚数記憶手段１０５に記憶された撮影枚数情報を更新する（ステップＳ３６）。
When the feature collation unit stores feature information collated with the same person in the feature
なお、ステップＳ３１において、カウントされていない撮影画像がないときは、撮影画像記憶手段１０３に記憶された全ての撮影画像が、既に撮影枚数情報に反映されて撮影枚数記憶手段１０５に記憶されており、その撮影枚数情報を使用すればよいため、処理を終了する。また、ステップＳ３５において、抽出された特徴と記憶された特徴情報との照合の結果、その抽出された特徴に係る人物が特徴情報に係る人物と同一人物と照合されなかったときは（ステップＳ３５、ＮＯ）、別の撮影画像から顔エリアを検出する（ステップＳ３３）。
In step S31, when there are no photographic images not counted, all the photographic images stored in the photographic
なお、１つの撮影画像から複数の人物が検出された場合、全ての検出された人物領域から人物の特徴を抽出し、抽出した全ての人物の特徴を照合し、各々の人物の特徴に対応する人物識別子のカウント数を増加させる作業を行えばよい。 When a plurality of persons are detected from one photographed image, the characteristics of the persons are extracted from all detected person areas, the characteristics of all the extracted persons are collated, and the characteristics of each person are supported. What is necessary is just to perform the operation | work which increases the count number of a person identifier.
また、このカウント作業を撮影画像記憶手段１０３に記憶されて、まだこのカウント作業を行っていない全ての撮影画像について行えばよい。この場合、撮影画像記憶手段１０３にて、カウントした撮影画像は、カウント済みである旨の情報を撮影画像ファイルのプロパティ情報などの設定領域に書き込み、そのカウント済みである旨の情報の有無に応じてカウント済か未カウントか判断する。 Further, this counting work is stored in the photographed image storage means 103 and may be performed for all photographed images that have not yet been counted. In this case, in the captured image storage means 103, information indicating that the counted captured image has been counted is written in a setting area such as property information of the captured image file, and depending on the presence / absence of the information indicating that it has been counted Judge whether it is already counted or not counted.
なお、撮影枚数記憶手段１０５は、人物が過去に撮影された累積撮影枚数を累積撮影量として記憶しても良い。また、撮影枚数記憶手段１０５は、人物が所定のイベント時に撮影されたイベント撮影量をイベント毎に記憶してもよい。具体的には、例えば、累積撮影量として年度トータルの撮影量であっても、イベント撮影量として遠足や運動会等のイベント毎の撮影量であってもよい。さらに、累積撮影量とイベント撮影量とを分けて記憶してもよい。ここで、イベント撮影量ではなく、他に、日毎、月毎などの期間毎の期間撮影量を記憶してもよい。
Note that the shot
次に、撮影量に応じた情報の具体例について図８から図１２を参照して説明する。概略的には、撮影量に応じた情報は、所定の図形、所定の色情報、又は文字データの内、少なくとも１つを用いる。なお、記号は図形に含まれるものとしてよく、数字データは文字データに含まれるものとしてよい。また、これらの組合せであってもよい。撮影量に応じた情報が、図形や色情報であれば、ユーザはその情報が表示されている人物の撮影量を直感的に認識することができる。 Next, a specific example of information according to the photographing amount will be described with reference to FIGS. Schematically, at least one of a predetermined figure, predetermined color information, or character data is used as information corresponding to the amount of photographing. The symbol may be included in the graphic, and the numerical data may be included in the character data. Moreover, these combinations may be sufficient. If the information corresponding to the shooting amount is graphic or color information, the user can intuitively recognize the shooting amount of the person whose information is displayed.
また、撮影量に応じた情報として、撮影量を表す文字データであったり、あるいは、この文字データと上記図形や色情報との組合せであれば、撮影者はこれが表示されている人物の撮影量を直接認識することができる。 In addition, as information corresponding to the photographing amount, character data representing the photographing amount, or a combination of the character data and the graphic or color information, the photographer can photograph the photographing amount of the person who is displaying it. Can be recognized directly.
表示手段２０８に表示させる撮影量は、累積撮影量と、イベント撮影量とを交互に、又は、操作手段により切り替え可能に、表示手段２０８に表示させても、累積撮影量と、イベント撮影量との両方を表示手段２０８に表示してもよい。また、イベント撮影量の代わりに、期間撮影量を用いてもよい。
The shooting amount displayed on the
例えば、図８（ａ）に示すように、撮影量に応じた情報Ａは本図に写っている人物識別子がＹと照合された男子（以下、「男子Ｙ」という。）の過去の撮影枚数情報のカウント数（ここでは「撮影枚数」という。）である撮影枚数１０枚を表す文字データ「１０」であり、これと、撮影量に応じた情報Ｂとして、男子Ｙを囲む四角形状の実線で示す囲み枠が男子Ｙの撮像画像に重畳して、表示画像として表示手段２０８に表示されている。この囲み枠も予め１０枚に対応する図形として撮影装置５本体に記憶されている。これにより、撮影者は、例えばデジタルカメラ背面に搭載された液晶ディスプレイ等の表示手段２０８を見るだけで、男子Ｙの撮影枚数を瞬時に判断することができる。なお、囲み枠は四角形状に限らず、円状でもよい。
For example, as shown in FIG. 8A, the information A corresponding to the amount of photographing indicates that the number of photographs taken in the past of a boy (hereinafter referred to as “boy Y”) whose person identifier shown in this figure is matched with Y. Character data “10” representing the number of
同様に、図８（ｂ）に示すように、撮影量に応じた情報Ｃは本図に写っている人物識別子がＸと照合された女子（以下、「女子Ｘ」という。）の過去の撮影枚数２枚を表す文字データ「２」であり、これと、撮影量に応じた情報Ｄとして、女子Ｘを囲む四角形状の破線枠が女子Ｘの撮像画像に重畳して、表示画像として表示手段２０８に表示されている。この破線枠も予め２枚に対応する図形として撮影装置５本体に記憶されている。これにより、撮影者は、例えばデジタルカメラ背面に搭載された液晶ディスプレイ等の表示手段２０８に表示される表示画像を見るだけで、女子Ｘの撮影枚数を瞬時に判断することができる。なお、実線や破線に代えて色情報で見分けるようにしてもよく、また、実線や破線に色情報を加えてもよい。
Similarly, as shown in FIG. 8B, the information C corresponding to the amount of photographing indicates the past photographing of a girl (hereinafter referred to as “girl X”) whose person identifier shown in the figure is matched with X. Character data “2” representing the number of
図９（ａ）は、撮影枚数１０枚に対応する図形として上記撮影量に応じた情報Ｂの囲み枠に代えて、撮影量に応じた情報Ｅの黒塗りの四角記号を、撮像画像の男子Ｙに近接して重畳した表示画像の例である。これによれば、撮影量に応じた情報Ｂの囲み枠に比べて表示画面がすっきりとして見やすくなるというメリットがある。同様に、図９（ｂ）は、撮影枚数２枚に対応する図形として、上記撮影量に応じた情報Ｄの囲み枠に代えて、撮影量に応じた情報Ｆの黒塗りの円記号を撮像画像の女子Ｘに近接して重畳した表示画像の例である。 FIG. 9A shows a black square symbol of the information E corresponding to the photographing amount as a figure corresponding to the number of photographing 10 instead of the surrounding frame of the information B corresponding to the photographing amount. It is an example of a display image superimposed close to Y. According to this, there is an advantage that the display screen is clearer and easier to see than the surrounding frame of the information B corresponding to the photographing amount. Similarly, in FIG. 9B, as a figure corresponding to two shots, a black circle symbol of information F corresponding to the shooting amount is imaged instead of the frame of the information D corresponding to the shooting amount. It is an example of the display image superimposed near the girl X of the image.
図１０（ａ）は、累積撮影量に応じた情報として、男子Ｙの過去の累積撮影枚数１０枚を表す文字データ「１０」の累積撮影量に応じた情報Ａと、累積撮影量に応じた情報Ｂとして、累積撮影枚数１０枚に対応する図形である囲み枠を男子Ｙの撮像画像に重畳した表示画像の例である。さらに、これらの累積撮影量に応じた情報とともに、イベント撮影量に応じた情報として、男子Ｙの本イベントにおける撮影枚数１枚を表す文字データ「１」のイベント撮影量に応じた情報ａと、イベント撮影量に応じた情報ｂとして、本イベントにおける撮影枚数１枚に対応する図形である破線で示す囲み枠を、累積撮影量に応じた情報Ｂの囲み枠より小さくして、男子Ｙの撮像画像に重畳した表示画像の例である。これによれば、撮影者は、男子Ｙの累積撮影量の撮影枚数は多いが、本イベントのイベント撮影量の撮影枚数は男子Ｙがあまり撮影されていないことを表示手段２０８に表示される表示画像を見るだけで、確認することができる。
FIG. 10A shows information A corresponding to the cumulative photographing amount of the character data “10” representing the past cumulative photographing
同様に、図１０（ｂ）は、累積撮影量に応じた情報として、女子Ｘの過去の累積撮影枚数２枚を表す文字データ「２」の累積撮影量に応じた情報Ｃと、累積撮影量に応じた情報Ｄとして、累積撮影枚数２枚に対応する図形である囲み枠を女子Ｘの撮像画像に重畳した表示画像の例である。さらに、これらの累積撮影量に応じた情報とともに、イベント撮影量に応じた情報として、女子Ｘの本イベントにおける撮影枚数０枚を表す文字データ「０」のイベント撮影量に応じた情報ｃと、イベント撮影量に応じた情報ｄとして、本イベントにおける撮影枚数０枚に対応する図形である破線で示す囲み枠を、累積撮影量に応じた情報Ｄの囲み枠より小さくして、女子Ｘの撮像画像に重畳した表示画像の例である。これによれば、撮影者は、女子Ｘの累積撮影量の撮影枚数が２枚撮影されているが、本イベントでは全く撮影されていないことを確認することができる。 Similarly, FIG. 10B shows information C corresponding to the cumulative shooting amount of the character data “2” representing two past cumulative shooting number of girls X, and the cumulative shooting amount as information corresponding to the cumulative shooting amount. The information D corresponding to the above is an example of a display image in which a frame that is a figure corresponding to the cumulative number of shots is superimposed on the captured image of the girl X. Furthermore, information c corresponding to the event shooting amount of the character data “0” representing zero shooting number in the main event of the girl X, as information corresponding to the event shooting amount, together with information corresponding to the cumulative shooting amount, As information d corresponding to the event shooting amount, the frame indicated by a broken line, which is a figure corresponding to the number of shots in the event, is made smaller than the frame D of the information D corresponding to the cumulative shooting amount, thereby imaging the girl X. It is an example of the display image superimposed on the image. According to this, the photographer can confirm that the number of shots of the cumulative shooting amount of the girl X has been shot, but that no shooting was performed at this event.
さらに、図１１に示すように、男子Ｙと女子Ｘの２人が撮像画像に写っている場合に、撮影量に応じた情報Ａである撮影枚数１０枚を示す「１０」の文字データと、撮影量に応じた情報Ｂである男子Ｙの囲み枠と、上撮影量に応じた情報Ｃである撮影枚数２枚を示す「２」の文字データと、撮影量に応じた情報Ｄである女子Ｘの囲み枠とを併せて、撮像画像に重畳した表示画像の例である。これにより、撮影者は男子Ｙと女子Ｘの撮影枚数を比較確認することができる。なお、大人数が撮像画像に写っていると検出された場合は、予め決められた撮影枚数以下の人物識別子に対応する顔エリアのみに、撮影量に対応する情報を重畳し、表示してもよい。より具体的には、例えば、大人数が写っている場合を、顔エリアが５人以上検出された場合等と予め既定しておき、５人以上検出された場合、撮影枚数が３枚以下の人物識別子に対応する顔エリアのみに、撮影量に応じた情報を重畳して、表示してもよい。 Furthermore, as shown in FIG. 11, when two men, a boy Y and a girl X, are captured in a captured image, the character data “10” indicating 10 shots as information A according to the shooting amount; A frame for boy Y, which is information B according to the shooting amount, character data “2” indicating two shots, which is information C according to the upper shooting amount, and a girl, which is information D according to the shooting amount It is an example of the display image superimposed on the captured image together with the frame of X. Thereby, the photographer can compare and confirm the number of shots of boys Y and girls X. Note that if it is detected that a large number of people are shown in the captured image, information corresponding to the shooting amount may be superimposed and displayed only on the face area corresponding to the person identifier equal to or smaller than the predetermined number of shots. Good. More specifically, for example, a case where a large number of people are photographed is preset as a case where five or more face areas are detected, and when five or more people are detected, the number of shots is three or less. Information corresponding to the shooting amount may be superimposed and displayed only on the face area corresponding to the person identifier.
また、図１２に示すように、撮影量に応じた情報として、撮影量が予め定められた閾値以下である人物識別子の人物検出手段１０６により検出された特徴画像における人物領域の画像を用いてもよい。この場合、制御手段２０１は、撮影量に応じた情報として、撮影枚数記憶手段に記憶されている撮影枚数情報に含まれる人物領域の画像から、撮影量が予め定められた閾値以下である人物の人物領域の画像を抽出し、撮像画像に対して小さい表示サイズで、該撮像画像に重畳して、表示画像として表示手段２０８に表示させてもよい。例えば、図１２では、女子Ｘの撮影枚数２枚が、閾値としての３枚以下であるため、女子Ｘの特徴画像における人物領域の画像を撮影量に応じた情報Ｇとして、男子Ｙが写っている撮像画像の左片隅に重畳させた表示画像の例である。なお、撮影量が予め定められた閾値以下である人物の人物領域の画像が既定数以上ある場合は、その中から既定の条件として、例えば、ランダムに抽出する条件や、順番に抽出する条件等を用いてさらに抽出してもよい。また、撮影量が予め定められた閾値以下である人物の人物領域の画像がない、または撮影量の増加で全ての人物の撮影量が閾値より上になった場合は、人物領域の画像は表示されなくなる。これにより、撮影者は撮影枚数が少ない女子Ｘを表示手段２０８に表示される表示画像を見るだけで、認識することができる。
Further, as shown in FIG. 12, as information corresponding to the photographing amount, an image of a person region in the feature image detected by the
なお、上述のような、撮影枚数情報のカウント数、すなわち撮影枚数に対応する色、図形、及び記号は、予め撮影装置５内のメモリ１３に記憶されており、撮影枚数の所定の数値範囲と、色、図形、及び記号とが対応して記憶されている。色は、例えば、１色の場合は、撮影枚数の数値範囲が１０枚未満に対応する色を赤とし、色の場合は、撮影枚数の数値範囲が１０枚未満に対応する色を赤とし、撮影枚数の数値範囲が１０枚以上に対応する色を緑としてもよい。また、３色以上の場合は、例えば、撮影枚数の数値範囲が１０枚未満に対応する色を赤、撮影枚数の数値範囲が１０枚以上３０枚未満に対応する色を緑、撮影枚数の数値範囲が３０枚以上に対応する色を青としてもよい。
In addition, the count number of the number of shots information as described above, that is, the color, figure, and symbol corresponding to the number of shots is stored in the
また、記号の種類で表示する場合、例えば、撮影枚数の数値範囲が１０枚未満に対応する記号を○とし、撮影枚数の数値範囲が１０枚以上に対応する記号を■としてもよい。なお、数値範囲の設定はあまり細かく分けると、例えば多数の人物が表示されている場合において様々な記号や数字が表示画面上の多数の人物に重畳して表示され、却って表示画面が見づらくなる可能性がある。このことから、上述のように３色程度で見分けるようにすることが望ましいが、本発明として、表示の見やすさが担保できれば、数値範囲の細分化を排除する必要もない。
In the case of displaying by symbol type, for example, a symbol corresponding to a numerical value range of the number of shots less than 10 may be set as ◯, and a symbol corresponding to a numerical range of the number of
なお、情報送信処理手順の後などで、管理装置５０において、例えば担任の先生が、撮影枚数のカウント数の表示指示を入力手段１０８を介して行った場合に、制御手段１０１は、撮影枚数記憶手段１０５に記憶された撮影枚数情報におけるカウント数を、対応する人物識別子毎に表示手段１０９に、数字やグラフ等を用いて、表示するカウント数表示処理を実行してもよい。又は、カウント数の表示指示のタイミングに代えて、撮影装置５から管理装置５０へ撮影画像が転送され撮影画像記憶手段１０３に記憶される際に上記のカウント数表示処理を行ってもよい。また、その際に表示手段１０９に表示させるカウント数は、累積撮影枚数に応じたものを表示しても、イベント撮影枚数に応じたものを表示しても、累積撮影枚数とイベント撮影枚数それぞれに応じたものを分けて表示しても、何れでもよい。また、累積撮影枚数に応じたカウント数と、イベント撮影枚数に応じたカウント数を交互に又は切り替えて表示手段１０９に表示させてもよい。これにより、担任の先生は、園児等の撮影枚数の状況を把握することができる。
Note that, after the information transmission processing procedure or the like, in the
［第２実施形態］
次に、本発明の第２実施形態における撮影システムについて図１３を参照して説明する。第２実施形態における撮影システムは、撮影装置２００と管理装置１１０からなる構成としている。なお、第１実施形態と同様の構成については説明を省略する。第２実施形態は、管理装置１１０が、第１実施形態のような特徴画像記憶手段１０２、人物検出手段１０６、及び特徴抽出手段１０７を備えていない点が第１実施形態と異なる。つまり、本実施形態は、管理装置１１０において予め特徴情報が生成されず、撮影装置２００において撮像された撮像画像から人物領域を検出し、検出された人物領域から抽出した特徴が、まだ記憶されていない場合に、予め決められた設定により人物識別子を対応付けた特徴情報を、生成することを可能としたものである。
[Second Embodiment]
Next, an imaging system according to the second embodiment of the present invention will be described with reference to FIG. The imaging system in the second embodiment is configured by an
本実施形態の表示制御処理手順について図１４を参照して説明する。本実施形態については、図５を用いて説明した第１実施形態の表示制御処理手順とは異なる処理を含む、「特徴情報に基づいて同一人物を照合」できない場合（ステップＳ１４、ＮＯ）以降の処理をメインとして説明する。なお、本図において、ステップＳ１１からステップＳ１３までの処理については、第１実施形態と同様であるため説明を省略する。 The display control processing procedure of this embodiment will be described with reference to FIG. This embodiment includes processing different from the display control processing procedure of the first embodiment described with reference to FIG. 5, after “when the same person is not verified based on feature information” (NO in step S14). The process will be described mainly. In the figure, the processing from step S11 to step S13 is the same as that in the first embodiment, and thus the description thereof is omitted.
ステップＳ１４において「特徴情報に基づいて同一人物を照合」できない場合（ステップＳ１４、ＮＯ）、照合手段２０７により、撮像画像の顔エリアから抽出された新たな人物の特徴を新たな特徴情報として特徴情報記憶手段２０３に記憶する（ステップＳ４１）。この新たな特徴情報を記憶する際、既に記憶されている人物の人物識別子とは異なる、一意に人物を特定できる人物識別子を新規に生成し、抽出された人物の特徴に対応付けて、特徴情報記憶手段２０３に記憶する（ステップＳ４２）。このとき、新規に生成した人物識別子に対応するカウント数を「０」にして、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新する。これは、新規に生成された特徴情報で照合される人物はまだ撮影されていないため、初期状態としてカウント数を「０」とするものである。なお、人物識別子の生成は、例えば、タッチパネル３１を用いて撮影者が入力することにより行っても、予めメモリ１３等に記憶された所定の人物識別子から撮影者が選択することにより行ってもよい。また、人物識別子は、撮影装置２００がメモリ１３等に記憶された人物識別子から自動的に振り分けても、既定のルールに基づいて、日時や撮影装置を識別する識別子等を用いて、生成してもよい。
If it is not possible to “match the same person based on feature information” in step S14 (step S14, NO), the feature information of the new person extracted from the face area of the captured image by the
そして、制御手段２０１は、図５のフローチャート同様に、撮影枚数情報のカウント数に応じた色の枠の画像を、新たに抽出された人物の検出された人物領域である、例えば顔エリアに重畳して、表示手段２０８に表示させ（ステップＳ１５）、ステップＳ１６の処理を実行する。なお、ここではカウント数は、「０」とする。
Then, as in the flowchart of FIG. 5, the
その後、操作手段２１０のシャッターボタン（以下、単に「シャッターボタン」という。）が押下された場合（ステップＳ１６、ＹＥＳ）、つまり撮影時に、図５のフローチャート同様に、シャッターボタンが押下のタイミングに合わせて、決定した撮影画像が撮影画像として、撮影画像記憶手段２０２に記憶し、新たに生成した人物識別子に対応するカウント数を「０」から「１」にして、撮影枚数記憶手段２０４に記憶された撮影枚数情報を更新する（ステップＳ１７）。なお、特徴情報は、撮影時に特徴情報記憶手段２０３に記憶するようにしてもよく、人物識別子については、撮影時に新たに生成し、その際、新たに生成された人物識別子に対応するカウント数を「１」としてもよい。ステップＳ１７の後、又は、シャッターボタンが押下されずに、撮像画像が変更された場合（ステップＳ１６、ＮＯ）は、ステップＳ１２に戻る。
Thereafter, when the shutter button of the operation unit 210 (hereinafter simply referred to as “shutter button”) is pressed (step S16, YES), that is, at the time of shooting, similar to the flowchart of FIG. The determined photographed image is stored as a photographed image in the photographed
なお、例えば、第１実施形態のステップＳ１４において、同一人物と照合された特徴情報がある場合（ステップＳ１４、ＹＥＳ）であっても、その特徴情報に、今回新たに抽出した人物の特徴を追加して記憶してもよい。これにより、特徴情報が洗練されるため、人物の照合精度が高まるというメリットがある。 For example, even if there is feature information collated with the same person in step S14 of the first embodiment (step S14, YES), the feature of the person newly extracted this time is added to the feature information. May be stored. Thereby, since the feature information is refined, there is an advantage that the accuracy of collation of the person is increased.
さらに、撮影装置２００の特徴情報記憶手段２０３に新たに記憶された特徴情報は、撮影枚数記憶手段２０４に記憶された撮影枚数情報と撮影画像記憶手段２０２に記憶された撮影画像とともに、例えばモード切替スイッチを用いて「送信モード」に切り替えられた情報送信処理手順のときに、通信手段２０９を介して管理装置１１０に送信され、管理装置１１０における特徴情報記憶手段１０４に記憶してもよい。なお、通信手段２０９によらず、ＳＤカード等の外部メモリを介して管理装置１１０の上記各記憶手段に特徴情報や撮影枚数情報、撮影画像を記憶させてもよい。また、本実施形態においては、例えば、担任の先生により、管理装置１１０にて、新たに記憶する人物識別子と園児とを対応させる対応表を別途作成して記憶しておくことが望ましい。
Further, the feature information newly stored in the feature
［第３実施形態］
次に、本発明の第３実施形態における撮影装置２１５について図１５を参照して説明する。なお、上述した第１実施形態及び第２実施形態と同様の構成については説明を省略する。本実施形態は、つまり、本発明を管理装置の機能を撮影装置に備え、撮影装置２１５単体で実現させる構成である。具体的には、昨今、情報処理機能を備えたデジタルカメラや、あるいは高機能な撮影手段や情報処理機能を備えたスマートフォン等の多機能型形態端末において適用される構成である。なお、本実施形態において、例えば、撮影装置２１５で特徴情報を生成し、生成した特徴情報を特徴情報記憶手段２０３に記憶してもよい。また、撮影装置２１５で生成せずとも、ＳＤカード等の外部メモリに記憶された特徴情報を特徴情報記憶手段２０３に読み込んでもよい。
[Third Embodiment]
Next, the
本発明の第３実施形態における撮影装置２１５の処理手順については、管理装置の処理手順を撮影装置２１５で処理し、情報取得処理手順と情報送信処理手順が省略されることを除けば、第１実施形態、又は、第２実施形態の処理手順と同様である。
Regarding the processing procedure of the
本実施形態によれば、上述した第１実施形態や第２実施形態において、撮影装置と管理装置とで重複する手段を、撮影装置２１５では１つにしたため、第１実施形態や第２実施形態における撮影システムより、構成が簡素化され、コスト削減を図ることができる。また、本実施形態によれば、第１実施形態や第２実施形態のように、通信手段を備える必要がないため、それだけ装置コストを削減することができ、また、通信環境も不要となる。よって、本実施形態によれば、通信環境が十分に整備されていないような状況においても、撮影装置２１５自ら撮像画像における人物の撮影枚数に応じた情報を撮影者に提供することができる。なお、本実施形態においては、撮影装置２１５における各記憶手段の記憶容量節約の観点から、累積よりイベント毎に撮影枚数をカウントすることが望ましい。
According to the present embodiment, in the first embodiment and the second embodiment described above, since the photographing
［第４実施形態］
次に、本発明の第４実施形態における撮影システムについて図１６を参照して説明する。なお、上述した第１実施形態、第２実施形態、及び第３実施形態と同様の構成については説明を省略する。第４実施形態は、上述した各実施形態とは、撮影装置２２０に撮影画像記憶手段、特徴情報記憶手段、撮影枚数記憶手段を備えていない点が相違する。つまり、本実施形態の表示制御処理手順においては、撮影装置２２０は、通信手段２０９を用いネットワーク６０を介して、管理装置１２０に接続し、管理装置１２０の撮影画像記憶手段１０２、特徴情報記憶手段１０４、撮影枚数記憶手段１０５にアクセスして、撮影画像の記憶や特徴情報との照合、撮影枚数情報の読込、更新等の処理を行う。情報取得処理手順と情報送信処理手順は省略される。
[Fourth Embodiment]
Next, an imaging system according to the fourth embodiment of the present invention will be described with reference to FIG. In addition, description is abbreviate | omitted about the structure similar to 1st Embodiment, 2nd Embodiment, and 3rd Embodiment mentioned above. The fourth embodiment is different from the above-described embodiments in that the photographing
本実施形態は、例えば、複数の撮影装置としての通信機能を備えたデジタルカメラと管理装置としてのＰＣとがネットワークを介して接続され、運動会等により、複数の撮影者が園児等を撮影する場合に有用である。つまり、複数のデジタルカメラがＰＣに記憶された撮影枚数情報等の各種情報を更新後にすぐに共有することができる。また、本実施形態では、撮影装置が各種記憶手段を備える必要がないため、撮影装置の機能を削減して、低コスト化を図ることができるとともに、撮影装置の負荷を軽減することができる。 In the present embodiment, for example, when a digital camera having a communication function as a plurality of photographing devices and a PC as a management device are connected via a network, and a plurality of photographers photograph a kindergarten or the like by an athletic meet or the like Useful for. That is, various information such as the number of shots stored in the PC can be shared immediately after updating by a plurality of digital cameras. In the present embodiment, since the photographing apparatus does not need to include various storage units, the functions of the photographing apparatus can be reduced, the cost can be reduced, and the burden on the photographing apparatus can be reduced.
［変形例１］
本発明の上述した各実施形態に適用される変形例１について説明する。上述した各実施形態においては、照合された特徴情報の人物識別子に対応する撮影枚数情報のカウント数を１つ増加させるようにした。一方、本変形例においては、例えば、検出手段、又は、人物検出手段１０６にて、１つの撮像画像に２人以上の人物が検出された場合に、撮影装置の制御手段、又は、管理装置の制御手段は、所定の基準値に対して検出された人数を用いて計算によりカウント数を算出する。例えば基準値「１」を検出された人数で除算した数値を照合された２人以上の人物それぞれのカウント数に加算する。例えば、２人で写っている場合と、５人で写っている場合とは、ともに同じサイズの撮影画像である限り、写っている人物の大きさとしては、多人数の方が少人数に比較して小さくなり、この例では、２人で写っている場合は「０．５」、５人で写っている場合は「０．２」がカウント数となる。このような場合、同じカウント数では、人物間において不平等感が生まれてしまう。そこで、本変形例のように、大きく写っている人物と、小さく写っている人物とで、カウントの価値あるいは重みを変えることで、人物間の不平等感をなくすことができる。
[Modification 1]
［変形例２］
本発明の上述した各実施形態に適用される変形例２について説明する。本変形例では、例えば上述した第１実施形態に係る撮影装置５における検出手段２０６、又は、管理装置５０における人物検出手段１０６にて、既定の領域の大きさに対する人物領域の大きさの割合を算出し、制御手段２０１、又は、制御手段１０１は、その割合に基づいた数値分、その人物のカウント数を増加させる。ここで、撮影枚数記憶手段２０５、又は、撮影枚数記憶手段１０５に、算出された人物領域の割合を撮影枚数情報に含めて記憶してもよい。
[Modification 2]
本変形例は、撮像画像の大きさ（面積）又は予め既定した人物領域の大きさ（面積）に対する、人物が写っている領域として検出した顔エリア等の人物領域の大きさ（面積）のパーセンテージに基づいて、例えば基準値としての「１」にそのパーセンテージを乗算した値を算出し、その数値分カウント数を増加するというものである。例えば、撮像画像の面積に対して、人物領域の面積が８０％以上なら、基準値「１」に１００％を乗算して「１」を算出し、その人物のカウント数に「１」を増加させる。また、撮像画像の面積に対して、人物領域の面積が８０％未満５０％以上なら、基準値「１」に５０％を乗算して「０．５」を算出し、その人物のカウント数に「０．５」を増加させる。このように、撮像画像の面積に対して、人物領域の面積の割合が少なくなるにつれ、パーセンテージを下げる。また、予め既定した人物領域の面積を１００％とし、既定の人物領域の面積に対する検出した人物領域の比率が少なくなるにつれ、パーセンテージを下げるようにしてもよい。例えば、既定の人物領域の面積に対して、検出した人物領域の面積が８０％なら、基準値「１」に８０％を乗算して「０．８」を算出し、その人物のカウント数に「０．８」を増加させる。また、既定の人物領域の面積に対して、検出した人物領域の面積が５０％なら、基準値「１」に５０％を乗算して「０．５」を算出し、その人物のカウント数に「０．５」を増加させる。本変形例２も上述した変形例１と同様の効果を得ることができる。
This modification is a percentage of the size (area) of a person area such as a face area detected as a region in which a person is captured with respect to the size (area) of a captured image or a predetermined size (area) of a person region. For example, a value obtained by multiplying “1” as a reference value by the percentage is calculated, and the count is increased by the numerical value. For example, if the area of the person region is 80% or more with respect to the area of the captured image, the reference value “1” is multiplied by 100% to calculate “1”, and the count number of the person is increased by “1”. Let If the area of the person region is less than 80% and 50% or more with respect to the area of the captured image, the reference value “1” is multiplied by 50% to calculate “0.5”, and the count number of the person is calculated. Increase “0.5”. Thus, the percentage is decreased as the ratio of the area of the person region to the area of the captured image decreases. Alternatively, the area of the predetermined human area may be set to 100%, and the percentage may be decreased as the ratio of the detected human area to the predetermined human area decreases. For example, if the area of the detected person area is 80% with respect to the area of the predetermined person area, the reference value “1” is multiplied by 80% to calculate “0.8”, and the count number of the person is calculated. Increase “0.8”. If the area of the detected person area is 50% of the area of the predetermined person area, the reference value “1” is multiplied by 50% to calculate “0.5”, and the count number of the person is calculated. Increase “0.5”. This
［変形例３］
本発明の上述した各実施形態に適用される変形例３について説明する。本変形例では、例えば、第１実施形態に係る検出手段２０６、又は、人物検出手段１０６にて、人物領域における人物の基準位置に対する向きに対応する割合を算出し、制御手段２０１、又は、制御手段１０１は、その割合に基づいた数値分、その人物のカウント数を増加させる。ここで、撮影枚数記憶手段１０５に、上記算出された向きに対応する割合を該人物領域における人物の撮影量に乗じて記憶してもよい。例えば、人物領域が顔エリアの場合、人物が正面を向いた顔の状態を人物の基準位置とする。
[Modification 3]
Modification 3 applied to each of the above-described embodiments of the present invention will be described. In the present modification, for example, the
例えば、顔エリアの特徴を抽出する際に、予め既定した顔の向きに対応するパーセンテージに基づいて、例えば、基準値としての「１」にパーセンテージを乗算した値でカウント数を増加する。例えば、基準位置として顔が正面を向いている場合は１００％とし、基準値「１」に１００％を乗算した値「１」を算出し、カウント数に「１」を増加させる。顔の向きに応じてパーセンテージを変更し、横顔になるに従いパーセンテージを下げる。例えば、真横を向いた顔の場合を０％とする。この場合、基準値「１」に０％を乗算した値として「０」が算出されるので、カウント数は増加しない。なお、パーセンテージについては１００％に限定せず、１００％以上に設定してもよい。 For example, when extracting the features of the face area, the number of counts is increased by, for example, a value obtained by multiplying the reference value “1” by the percentage based on a percentage corresponding to a predetermined face orientation. For example, when the face is facing the front as the reference position, the value is set to 100%, a value “1” obtained by multiplying the reference value “1” by 100% is calculated, and “1” is increased to the count number. Change the percentage according to the orientation of the face, and lower the percentage as you become a profile. For example, the case of a face facing sideways is set to 0%. In this case, “0” is calculated as a value obtained by multiplying the reference value “1” by 0%, so the count number does not increase. The percentage is not limited to 100% and may be set to 100% or more.
本変形例により、正面を向いていない人物の撮影枚数が少なくなるので、少ない撮影枚数の人物を優先して撮影していくように撮影者に促すことが可能となる。 According to this modification, the number of persons who are not facing the front is reduced, so that it is possible to prompt the photographer to preferentially shoot a person with a small number of images.
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の撮影システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。 Each of the above-described embodiments is a preferred embodiment of the present invention, and various modifications can be made without departing from the scope of the present invention. For example, each process in the imaging system of the present embodiment described above can be executed using hardware, software, or a combination of both.
なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 In the case of executing processing using software, it is possible to install and execute a program in which a processing sequence is recorded in a memory in a computer incorporated in dedicated hardware. Alternatively, the program can be installed and executed on a general-purpose computer capable of executing various processes.
また、上述した各実施形態に係る各撮影装置においては、撮像手段により撮像された撮像画像はシャッターボタンが押下されたときに、撮影画像記憶手段２０２に撮影画像として記憶する撮影装置を主として記載したが、これに限定されない。例えば、撮像手段により撮像された撮像画像の複数を一時的にメモリ１３等に記憶しておき、シャッターボタンが押下されたとき、それより一定時間前からメモリ１３等に一時的に記憶された複数の撮像画像を撮影画像として撮影画像記憶手段２０２に記憶する撮影装置にも本発明を適用することができる。これは、具体的には、例えば、赤目防止機能やまばたき防止機能が搭載された撮影装置にも本発明を適用することができるということを担保するものである。
In each imaging apparatus according to each of the embodiments described above, the imaging apparatus that mainly stores the captured image captured by the imaging unit as a captured image in the captured
なお、上述した各実施形態においては、特徴情報として、例えば検出された顔エリアから特徴抽出手段１０７により抽出された人物の特徴と所定の識別子を組み合わせたデータを用いたがこれに限定されるものではない。例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）タグや、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ等のＩＣタグ、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード等のバーコード、あるいは名札や服装等を特徴情報として使用して人物の照合を行ってもよい。
In each of the above-described embodiments, as the feature information, for example, data combining a human feature extracted from the detected face area by the
１ 撮影システム
５、２００、２１５、２２０ 撮影装置
６０ ネットワーク
５０、１１０、１２０ 管理装置
１０１、２０１ 制御手段
１０２ 特徴画像記憶手段
１０３、２０２ 撮影画像記憶手段
１０４、２０３ 特徴情報記憶手段
１０５、２０４ 撮影枚数記憶手段
１０６ 人物検出手段
１０７ 特徴抽出手段
１０８ 入力手段
１０９、２０８ 表示手段
１１０、２０９ 通信手段
２０５ 撮像手段
２０６ 検出手段
２０７ 照合手段
２１０ 操作手段
1 photographing
Claims (16)
前記管理装置は、
人物毎の人物の特徴を含む特徴情報を記憶する特徴情報記憶手段と、
人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、
前記特徴情報と前記撮影量情報とを前記撮影装置に送信する送信手段と、
を備え、
前記撮影装置は、
前記特徴情報と前記撮影量情報とを受信する受信手段と、
被写体を撮像した撮像画像を生成する撮像手段と、
画像を表示する表示手段と、
前記撮像画像から人物を検出する検出手段と、
前記検出手段により検出された人物を前記特徴情報に基づいて照合する照合手段と、
前記撮影量情報に基づいて前記照合手段により照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して前記表示手段に表示させる制御手段と、
を備えることを特徴とする撮影システム。 An imaging system in which an imaging device and a management device are connected via a network,
The management device
Feature information storage means for storing feature information including the features of the person for each person;
A shooting amount storage means for storing shooting amount information including a shooting amount at which a person for each person was shot;
Transmitting means for transmitting the feature information and the photographing amount information to the photographing device;
With
The imaging device
Receiving means for receiving the feature information and the photographing amount information;
Imaging means for generating a captured image obtained by imaging a subject;
Display means for displaying an image;
Detecting means for detecting a person from the captured image;
Collating means for collating the person detected by the detecting means based on the feature information;
Control means for causing the display means to display information according to the amount of photographing of the person collated by the collating means based on the photographing amount information, accompanying the collated person in the captured image;
An imaging system comprising:
画像データを記憶する画像データ記憶手段と、
前記画像データから人物が写っている人物領域を検出する人物検出手段と、
前記人物検出手段により検出された人物領域から人物の特徴を抽出する特徴抽出手段と、を備え、
前記特徴情報は、少なくとも前記特徴抽出手段により抽出された人物の特徴が人物を特定する所定の識別子に対応付けられて、前記特徴情報記憶手段に記憶されることを特徴とする請求項１記載の撮影システム。 The management device
Image data storage means for storing image data;
A person detecting means for detecting a person region in which a person is shown from the image data;
Feature extraction means for extracting the characteristics of a person from the person area detected by the person detection means,
The feature information is stored in the feature information storage unit in association with at least a feature of a person extracted by the feature extraction unit and a predetermined identifier for identifying the person. Shooting system.
前記画像データ記憶手段に前記画像データが記憶され、前記画像データに写る人物が前記人物照合手段により照合されたとき、前記撮影量記憶手段に記憶された前記撮影量情報は、前記照合された人物の撮影量を増加して更新されることを特徴とする請求項２記載の撮影システム。 The management device includes a person collation unit that collates a person based on a comparison between the feature of the person extracted by the feature extraction unit and the feature information stored in the feature information storage unit,
When the image data is stored in the image data storage unit and a person shown in the image data is collated by the person collation unit, the photographing amount information stored in the photographing amount storage unit is the collated person The imaging system according to claim 2, wherein the imaging system is updated by increasing the imaging amount.
前記制御手段は、前記撮影量が予め定められた閾値以下である人物の前記人物領域の画像を前記撮像画像より小さい表示サイズで前記撮像画像に重畳して前記表示手段に表示させることを特徴とする請求項２から６の何れか１項に記載の撮影システム。 The information according to the photographing amount includes an image of a person area detected from the image data by the person detection unit,
The control means superimposes an image of the person area of a person whose photographing amount is equal to or less than a predetermined threshold on the captured image with a display size smaller than the captured image and displays the image on the display means. The imaging system according to any one of claims 2 to 6.
撮影を指示する操作を受け付ける操作手段と、
前記撮像画像及び前記撮影量情報を記憶する記憶手段と、を備え、
前記制御手段は、前記操作手段に前記撮影を指示する操作を受け付けたとき、前記撮像画像を撮影画像として前記記憶手段に記憶させ、前記記憶手段に記憶させる撮像画像における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項１から７の何れか１項に記載の撮影システム。 The imaging device
Operation means for accepting an operation for instructing shooting;
Storage means for storing the captured image and the shooting amount information,
The control unit stores the captured image as a captured image in the storage unit when receiving an operation for instructing the imaging to the operation unit, and the imaging amount corresponding to the person in the captured image to be stored in the storage unit The imaging system according to any one of claims 1 to 7, wherein an imaging amount of information is updated.
前記制御手段は、前記算出された人物領域の大きさの割合を用いて、該人物領域における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項８記載の撮影システム。 The detection means calculates a ratio of the size of the person area detected from the captured image to the size of predetermined image data,
9. The photographing system according to claim 8, wherein the control unit updates the photographing amount of the photographing amount information corresponding to the person in the person area using the calculated ratio of the size of the person area. .
前記制御手段は、前記算出された向きに対応する割合を用いて、該人物領域における人物に対応する前記撮影量情報の撮影量を更新することを特徴とする請求項８記載の撮影システム。 The detection means calculates a ratio corresponding to the direction of the person in the person area detected from the captured image with respect to the reference position;
9. The photographing system according to claim 8, wherein the control unit updates the photographing amount of the photographing amount information corresponding to the person in the person area using a ratio corresponding to the calculated orientation.
人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、
被写体を撮像した撮像画像を生成する撮像手段と、
画像を表示する表示手段と、
前記撮像画像から人物を検出する検出手段と、
前記検出手段により検出された人物を前記特徴情報に基づいて照合する照合手段と、
前記撮影量情報に基づいて前記照合手段により照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して前記表示手段に表示させる制御手段と、
を備えることを特徴とする撮影システム。 Feature information storage means for storing feature information including the features of the person for each person;
A shooting amount storage means for storing shooting amount information including a shooting amount at which a person for each person was shot;
Imaging means for generating a captured image obtained by imaging a subject;
Display means for displaying an image;
Detecting means for detecting a person from the captured image;
Collating means for collating the person detected by the detecting means based on the feature information;
Control means for causing the display means to display information according to the amount of photographing of the person collated by the collating means based on the photographing amount information, accompanying the collated person in the captured image;
An imaging system comprising:
人物毎の人物が撮影された撮影量を含む撮影量情報を記憶する撮影量記憶手段と、
被写体を撮像した撮像画像を生成する撮像手段と、
画像を表示する表示手段と、
前記撮像画像から人物を検出する検出手段と、
前記検出手段により検出された人物を前記特徴情報に基づいて照合する照合手段と、
前記撮影量情報に基づいて前記照合手段により照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して前記表示手段に表示させる制御手段と、
を備えることを特徴とする撮影装置。 Feature information storage means for storing feature information including the features of the person for each person;
A shooting amount storage means for storing shooting amount information including a shooting amount at which a person for each person was shot;
Imaging means for generating a captured image obtained by imaging a subject;
Display means for displaying an image;
Detecting means for detecting a person from the captured image;
Collating means for collating the person detected by the detecting means based on the feature information;
Control means for causing the display means to display information according to the amount of photographing of the person collated by the collating means based on the photographing amount information, accompanying the collated person in the captured image;
An imaging apparatus comprising:
前記管理装置は、
人物毎の人物の特徴を含む特徴情報を記憶するステップと、
人物毎の人物が撮影された撮影量を含む撮影量情報を記憶するステップと、
前記特徴情報と前記撮影量を前記撮影装置に送信するステップと、
を含み、
前記撮影装置は、
前記特徴情報と前記撮影量を受信するステップと、
被写体を撮像した撮像画像を生成するステップと、
前記撮像画像から人物を検出するステップと、
前記検出された人物を前記特徴情報に基づいて照合するステップと、
前記撮影量情報に基づいて前記照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して表示手段に表示させるステップと、
を備えることを特徴とする情報処理方法。 An information processing method for a photographing system in which a photographing device and a management device are connected via a network,
The management device
Storing feature information including the features of the person for each person;
Storing photographing amount information including a photographing amount in which a person for each person is photographed;
Transmitting the feature information and the photographing amount to the photographing device;
Including
The imaging device
Receiving the feature information and the shooting amount;
Generating a captured image obtained by imaging a subject;
Detecting a person from the captured image;
Collating the detected person based on the feature information;
Displaying information corresponding to the amount of photographing of the collated person based on the amount of photographing information on a display unit accompanying the collated person in the captured image;
An information processing method comprising:
被写体を撮像した撮像画像を生成するステップと、
前記撮像画像から人物を検出するステップと、
前記検出された人物を特徴情報記憶手段に記憶された人物毎の人物の特徴を含む特徴情報に基づいて照合するステップと、
撮影量記憶手段に記憶された人物毎の人物が撮影された撮影量を含む撮影量情報に基づいて前記照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して表示手段に表示させるステップと、
を備えることを特徴とする情報処理方法。 An information processing method for a photographing apparatus,
Generating a captured image obtained by imaging a subject;
Detecting a person from the captured image;
Collating the detected person based on feature information including person features for each person stored in the feature information storage means;
Information according to the amount of photographing of the collated person based on the amount of photographing information including the amount of photographing of each person stored in the photographing amount storage means is attached to the collated person in the captured image. And displaying on the display means,
An information processing method comprising:
前記撮像画像から人物を検出する処理と、
前記検出された人物を特徴情報記憶手段に記憶された人物毎の人物の特徴を含む特徴情報に基づいて照合する処理と、
撮影量記憶手段に記憶された人物毎の人物が撮影された撮影量を含む撮影量情報に基づいて前記照合された人物の撮影量に応じた情報を前記撮像画像における前記照合された人物に付随して表示手段に表示させる処理と、
をコンピュータに実行させることを特徴とするプログラム。 A process of generating a captured image obtained by imaging a subject;
Processing for detecting a person from the captured image;
A process of collating the detected person based on feature information including person features for each person stored in the feature information storage unit;
Information according to the amount of photographing of the collated person based on the amount of photographing information including the amount of photographing of each person stored in the photographing amount storage means is attached to the collated person in the captured image. Processing to be displayed on the display means,
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014126684A JP6235417B2 (en) | 2014-06-19 | 2014-06-19 | Imaging system, imaging apparatus, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014126684A JP6235417B2 (en) | 2014-06-19 | 2014-06-19 | Imaging system, imaging apparatus, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016005258A true JP2016005258A (en) | 2016-01-12 |
| JP6235417B2 JP6235417B2 (en) | 2017-11-22 |
Family
ID=55224213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014126684A Active JP6235417B2 (en) | 2014-06-19 | 2014-06-19 | Imaging system, imaging apparatus, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6235417B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019008948A1 (en) * | 2017-07-05 | 2019-01-10 | キヤノン株式会社 | Data system, server, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010183187A (en) * | 2009-02-03 | 2010-08-19 | Canon Inc | Imaging apparatus and control method of the same, program |
| JP2014042170A (en) * | 2012-08-22 | 2014-03-06 | Canon Inc | Photographing system, photographing support method, photographing device and control method of the same, management device and control method of the same, and program |
-
2014
- 2014-06-19 JP JP2014126684A patent/JP6235417B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010183187A (en) * | 2009-02-03 | 2010-08-19 | Canon Inc | Imaging apparatus and control method of the same, program |
| JP2014042170A (en) * | 2012-08-22 | 2014-03-06 | Canon Inc | Photographing system, photographing support method, photographing device and control method of the same, management device and control method of the same, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019008948A1 (en) * | 2017-07-05 | 2019-01-10 | キヤノン株式会社 | Data system, server, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6235417B2 (en) | 2017-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10270975B2 (en) | Preview image display method, apparatus and storage medium | |
| JP5652886B2 (en) | Face authentication device, authentication method and program, information device | |
| JP5467992B2 (en) | Imaging device | |
| JP2015115839A5 (en) | ||
| WO2015145769A1 (en) | Imaging device, information processing device, photography assistance system, photography assistance program, and photography assistance method | |
| JP5125734B2 (en) | Imaging apparatus, image selection method, and image selection program | |
| WO2015180683A1 (en) | Mobile terminal, method and device for setting image pickup parameters, and computer storage medium | |
| WO2015064319A1 (en) | Image processing device and image processing method | |
| JP2011155639A (en) | Imaging apparatus | |
| JP2012164064A (en) | Image processor | |
| JP2015008385A (en) | Image selection device, imaging device, and image selection program | |
| JP6323548B2 (en) | Imaging assistance system, imaging apparatus, information processing apparatus, imaging assistance program, and imaging assistance method | |
| JP6235417B2 (en) | Imaging system, imaging apparatus, information processing method, and program | |
| JP2007258953A (en) | Automatic photography system and instrument | |
| US6445293B1 (en) | Versatile camera system for secure document transactions | |
| WO2018179555A1 (en) | Image capture device | |
| WO2017036225A1 (en) | Method and apparatus for managing desktop of mobile terminal | |
| JP5477025B2 (en) | Image display device and program | |
| WO2019205566A1 (en) | Method and device for displaying image | |
| JP6412743B2 (en) | Shooting support apparatus, shooting support system, shooting support method, and shooting support program | |
| US9813612B2 (en) | Imaging apparatus, information managing apparatus, control methods thereof, and non-transitory computer-readable storage medium for superimposing image data on a display | |
| JP2020150433A (en) | Processing device and program | |
| JP2015095082A (en) | Image display device, control method therefor, and control program | |
| JP2011004409A (en) | Imaging apparatus, control program and method of controlling display | |
| JP5249090B2 (en) | Display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170927 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6235417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |