JP2012185552A - Image determination device, image processor, camera, and image determination program - Google Patents
Image determination device, image processor, camera, and image determination program Download PDFInfo
- Publication number
- JP2012185552A JP2012185552A JP2011046585A JP2011046585A JP2012185552A JP 2012185552 A JP2012185552 A JP 2012185552A JP 2011046585 A JP2011046585 A JP 2011046585A JP 2011046585 A JP2011046585 A JP 2011046585A JP 2012185552 A JP2012185552 A JP 2012185552A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- determination
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像判断装置、画像処理装置、カメラ及び画像判断プログラムに関する。 The present invention relates to an image determination device, an image processing device, a camera, and an image determination program.
デジタルカメラは、記録媒体に要するコストが比較的安価であり、またゴミを発生させることなく容易に撮影画像を削除可能であること等から、撮影枚数の増大を気にせずに、撮影したいだけ撮影できるという利点を有する。そのため、デジタルカメラによる撮影画像の数は、銀塩カメラに比べて増大する傾向にある。その一方で、撮影者が失敗を怖れずに撮影を行う結果、デジタルカメラの撮影画像には、ブレやボケが発生したような失敗画像が、比較的多く含まれる傾向にある。 Digital cameras have a relatively low cost for recording media and can easily delete shot images without generating dust, so you can shoot as much as you want without having to worry about the increase in the number of shots. It has the advantage of being able to. For this reason, the number of images taken by a digital camera tends to increase as compared to a silver salt camera. On the other hand, as a result of the photographer taking pictures without fear of failure, the photographed images of the digital camera tend to include a relatively large number of failed images in which blurring or blurring has occurred.
撮影者は、失敗画像が印刷されることや、失敗画像によって記録媒体が占有され続けることを防ぐために、カメラの液晶画面やPCのモニタで失敗画像を選別し、これを分別又は削除する作業を行うことができる。しかし、多くの撮影画像に対して、このような目視及び手動による仕分け作業を行うことは、煩雑であり、撮影者の負担となっている。 In order to prevent the failed image from being printed and the recording medium from being occupied by the failed image, the photographer selects the failed image on the camera LCD screen or PC monitor and sorts or deletes it. It can be carried out. However, performing such visual and manual sorting operations for many photographed images is cumbersome and burdens the photographer.
このような問題を解決するための従来技術として、画像データに含まれる高周波成分を抽出すること等により撮影ミスを判断するための指標を算出し、自動的に撮影画像の合否判断を行う技術が提案されている(特許文献1等参照)。 As a conventional technique for solving such a problem, there is a technique for calculating an index for judging a photographing error by extracting a high-frequency component included in image data and automatically determining whether a photographed image is acceptable or not. It has been proposed (see Patent Document 1).
従来技術に係る画像判断技術において、撮影画像を仕分けるための基準となる判断基準は、例えば失敗画像及び成功画像の一般的な傾向を統計的に調査して定められたものにすぎないため、撮影者個人が求める判断基準に対してずれが生じるという問題がある。撮影画像を仕分けるための判断基準は、撮影者の個性、撮影画像の用途、撮影画像の鑑賞サイズ等によって異なるからである。また、仮に撮影者が判断基準を任意に設定できる場合であっても、撮影画像の合否判断には様々な要因が影響するため、如何なる基準が自分に適しているかを撮影者自身が認識し、正しく設定を行うことは、容易ではないと考えられる。 In the image determination technology according to the prior art, the determination criterion that is a criterion for sorting the captured images is only determined by, for example, statistically examining general trends of failed images and successful images. There is a problem that a deviation occurs with respect to the judgment standard required by the individual. This is because the criteria for sorting the photographed images vary depending on the individuality of the photographer, the purpose of the photographed image, the viewing size of the photographed image, and the like. In addition, even if the photographer can arbitrarily set the judgment criteria, since various factors affect the pass / fail judgment of the photographed image, the photographer himself recognizes what kind of criteria is suitable for himself, It is not easy to set correctly.
本発明は、このような実状に鑑みてなされ、その目的は、学習によって判断基準を決定する画像判断装置等を提供することである。 The present invention has been made in view of such a situation, and an object thereof is to provide an image determination device or the like that determines a determination criterion by learning.
上記目的を達成するために、本発明に係る画像判断装置は、
画像及び文章を表示可能な表示部(14)と、
学習画像を記憶する第1記憶部(16a)と、
前記学習画像を前記表示部に表示させる画像表示演算部(44)と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部(32)と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部(36)と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する第2記憶部(16b)と、
前記学習情報を、前記表示部に表示させる学習表示演算部(62)と、を有する。
In order to achieve the above object, an image determination apparatus according to the present invention includes:
A display unit (14) capable of displaying images and sentences;
A first storage unit (16a) for storing learning images;
An image display calculation unit (44) for displaying the learning image on the display unit;
An input unit (32) for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
Based on the learning image and the determination result, a learning calculation unit (36) for determining a determination reference value related to the image quality of the evaluator;
A second storage unit (16b) that stores the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
A learning display calculation unit (62) for displaying the learning information on the display unit.
また、例えば、前記学習情報は、前記学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モード、前記判断結果を取得した際における前記学習画像の表示条件、前記判断結果を取得した日時並びに前記評価者のうち少なくとも1つを含んでも良い。 Further, for example, the learning information includes an image name of the learning image, a thumbnail image, an image size, a file size, a compression condition and a shooting mode, a display condition of the learning image when the determination result is acquired, and the determination result. The acquired date and time and at least one of the evaluators may be included.
また、例えば、本発明に係る画像判断装置は、前記評価者によって選択された画像鑑賞サイズ情報を取得する画像サイズ取得部(34)をさらに有しても良く、
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させても良い。
In addition, for example, the image determination device according to the present invention may further include an image size acquisition unit (34) that acquires image viewing size information selected by the evaluator.
The image display calculation unit may reflect the image appreciation size information in display conditions of the learning image.
本発明に係る画像処理装置は、上記いずれかに記載の画像判断装置と、
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部(52)と、を有する。
An image processing apparatus according to the present invention includes any one of the image determination apparatuses described above,
A captured image determination unit (52) that automatically determines a captured image based on the determination reference value.
また、例えば、本発明に係る画像処理装置は、
前記撮影画像判断部が、前記判断基準値に基づき前記自動判断を行う時に、前記撮影画像判断部によって前記判断基準値が最後に使用された日時から所定の時間が経過している場合には、前記撮影画像判断部が前記自動判断を行う前に、前記表示部に警告を表示させる警告処理演算部(64)を、さらに有しても良い。
Also, for example, an image processing apparatus according to the present invention is
When the photographic image determination unit performs the automatic determination based on the determination reference value, when a predetermined time has passed since the date and time when the determination reference value was last used by the photographic image determination unit, A warning processing calculation unit (64) that displays a warning on the display unit before the photographed image determination unit performs the automatic determination may be further included.
本発明に係るカメラは、上記に記載の撮影画像処理装置を有する。 A camera according to the present invention has the captured image processing apparatus described above.
また、本発明に係る画像判断プログラムは、
コンピュータに、
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させる。
In addition, an image determination program according to the present invention includes:
On the computer,
The procedure for displaying the learning image on the display unit,
A procedure for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
A procedure for determining a judgment reference value related to the image quality of the evaluator based on the learning image and the judgment result;
A procedure for storing the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
Causing the learning information to be displayed on the display unit.
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In the above description, in order to explain the present invention in an easy-to-understand manner, the description is made in association with the reference numerals of the drawings showing the embodiments. However, the present invention is not limited to this. The configuration of the embodiment described later may be improved as appropriate, or at least a part of the configuration may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.
第1実施形態
図1は、本発明の一実施形態に係る画像処理装置10のブロック図である。画像処理装置10は、撮影画像の自動判断処理等に用いる判断基準値を学習処理により算出し、算出された判断基準値に基づき、撮影画像の自動判断処理を行う。
First Embodiment FIG. 1 is a block diagram of an
図2は、図1に示す画像処理装置10で行われる学習処理と自動判断処理の関係を表す概念図である。学習処理では、学習画像群に含まれる学習画像から、画像品質に関する指標(特徴)の具体値を抽出する。さらに、抽出された指標の具体値と、学習画像に対する評価者の判断結果とを照らしあわせて、評価者の判断傾向を学習する。学習処理で行われる演算は、主として図1に示す中央処理装置30の学習処理部31で行われる。
FIG. 2 is a conceptual diagram showing the relationship between learning processing and automatic determination processing performed in the
図2に示すように、学習処理から得られる判断基準値は、その判断基準値がどのような学習処理によるものなのか、ということをまとめた学習情報とともに保存される。判断基準値および学習情報に対しては、必要に応じて読み出されたり、内容を更新されるなどの学習管理処理が行われる。学習管理処理で行われる演算は、主として図1に示す中央処理装置30の学習ファイル管理部60で行われる。
As shown in FIG. 2, the determination reference value obtained from the learning process is stored together with learning information that summarizes what learning process the determination reference value is based on. A learning management process is performed on the determination reference value and the learning information, such as reading or updating the contents as necessary. The calculation performed in the learning management process is mainly performed in the learning file management unit 60 of the
図2に示すように、画像処理装置10で行われる自動判断処理では、撮影画像群に含まれる撮影画像から、画像品質に関する指標(特徴)の具体値を抽出する。そして、撮影画像について抽出された指標の具体値と、学習処理から得られた判断基準値とを比較し、撮影画像の自動判断を行う。自動判断処理で行われる演算は、主として図1に示す中央処理装置30の撮影画像判断部52で行われる。
As shown in FIG. 2, in the automatic determination process performed by the
図1に示す画像処理装置10は、PC(パーソナルコンピュータ)等に搭載されてもよく、デジタルカメラや携帯電話など、デジタル画像を生成する撮像装置に搭載されても良い。また、特にデジタルカメラや携帯電話等に搭載される場合には、図1に示す画像処理装置10から撮影画像判断部52及び学習ファイル管理部60を除いた画像判断装置の態様であっても良い。
The
画像処理装置10は、入力装置12、表示装置14、記憶装置16、画像メモリ18、プログラムメモリ20及び中央処理装置30を有する。入力装置12は、画像処理装置10を使用する評価者が、評価者の判断や意志等を、画像処理装置10に伝えるための操作部である。入力装置12の例としては、画像処理装置10がPCである場合には、マウス、キーボード、タッチパネル等が挙げられ、画像処理装置10が撮像装置である場合には、十字キー、ダイアル、ボタン等が挙げられるが特に限定されない。入力装置12は、評価者の操作に基づき、操作信号を中央処理装置30に出力する。
The
表示装置14は、撮影画像や表示画像等の各種画像や、操作メニュー等を表示するものである。表示装置14の例としては、液晶パネル等が挙げられる。表示装置14も、入力装置12と同様に、中央処理装置30によって制御される。記憶装置16は、各種画像ファイルや、中央処理装置30等を制御するためのプログラム及び当該プログラムに使用するデータ等が記憶される。記憶装置16は、画像ファイルを記憶する第1記憶部16aと、学習処理部31によって生成され学習ファイル管理部60によって管理される学習ファイルを記憶する第2記憶部16bとを含む。第1記憶部16aに記憶される画像ファイルには、学習処理部31による学習処理に用いられる学習画像や、撮影画像判断部52による自動判断処理によって判断される撮影画像等が含まれる。
The display device 14 displays various images such as captured images and display images, operation menus, and the like. Examples of the display device 14 include a liquid crystal panel. The display device 14 is also controlled by the
プログラムメモリ20には、中央処理装置30に学習処理や自動判断処理を行わせるためのプログラムが格納される。また、プログラムメモリ20は、学習処理の際に、最終的な判断基準値を算出する過程で得られる学習要素を一時的に記憶する。
The
画像メモリ18は、記憶装置16に記憶されている画像データを、一時的に格納する。中央処理装置30は、画像データに対して各種の演算処理を行う場合や、表示装置14に画像を表示させるような場合において、画像データが画像メモリ18に格納されるように制御を行う。
The
中央処理装置(CPU)30は、画像処理装置10で行われる学習処理に必要な各種の演算処理を実施する。図2に関連して述べたように、画像処理装置10において、中央処理装置30は、学習処理部31、学習ファイル管理部60及び撮影画像判断部52等として機能する。
The central processing unit (CPU) 30 performs various arithmetic processes necessary for the learning process performed in the
学習処理部31は、主として図2に示す学習処理に関する演算を行う。図1に示すように、学習処理部31は、画像サイズ取得部34、学習画像決定部42、画像表示演算部44、特徴抽出部40、画質調整部38、判断入力処理部32、学習演算部36及び学習結果保存処理部46を有する。
The
画像サイズ取得部34は、画像処理装置10のユーザーである評価者によって入力された画像鑑賞サイズ情報を取得する。また、画像サイズ取得部34は、取得された画像鑑賞サイズ情報を、学習画像が表示装置14に表示される際の表示条件(特に表示サイズ)に反映させる。画像鑑賞サイズ情報とは、学習処理の結果を用いて自動判断処理される予定の撮影画像が、どのような条件で鑑賞されるかということに関する情報である。
The image
画像サイズ取得部34は、評価者に対して、入力装置12を介して画像鑑賞サイズ情報を入力するように求める。画像サイズ取得部34は、得られた画像鑑賞サイズ情報を用いて、学習画像が表示装置14に表示される際の表示条件を決定する。画像表示演算部44は、画像サイズ取得部23によって決定された表示条件に従い、学習画像を表示装置14に表示させる。例えば、画像サイズ取得部34は、学習画像が、その後に行われる自動判断処理によって処理される撮影画像の使用条件と同様又は近似する条件で表示されるように表示条件を決定する。
The image
さらに一例を挙げると、画像サイズ取得部34は、画像鑑賞サイズ情報が画像を所定のサイズに拡大して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて拡大する。反対に、画像サイズ取得部34は、画像鑑賞サイズ情報が画像を縮小して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて縮小する。このような処理を行うことにより、画像処理装置10における学習処理によって算出される判断基準値は、画像鑑賞サイズ情報を考慮したものとなり、評価者の要求する基準に高い精度で一致する。
For example, if the image viewing size information is information that the image is enlarged to a predetermined size for viewing, the image
学習画像決定部42は、学習処理において、学習処理の対象となる学習画像を決定する。学習画像決定部42は、評価者の指定した画像をそのまま学習画像とする場合や、評価者の指定した画像を画質調整した後の画像を学習画像とする場合がある。
The learning
画像表示演算部44は、第1記憶部16aに保存等される学習画像を、表示装置14に表示させる。学習画像を表示させる場合、画像表示演算部44は、学習画像決定部42及び画像サイズ取得部34から、必要に応じて情報を受け取ることができる。すなわち、画像表示演算部44は、学習画像決定部42によって決定された学習画像を、画像サイズ取得部34で決定された表示条件で、表示装置14に表示させることができる。また、画像表示演算部44は、表示装置14に表示させる学習画像を、画像メモリ18に一時的に格納させる。
The image
画質調整部38は、学習画像の画像品質を調整することができる。画質調整部38は、例えば、画質調整前の学習画像である元画像に対して、ブレ・ボケの軌跡を表すPSF(Point Spread Function)をコンボリューションすることにより、学習画像の画像品質を調整する。画質調整部38によって調整される画像品質としては、エッジ量(特徴抽出部40によって算出されるものと同様)等が挙げられるが、特に限定されない。
The image
画質調整部38で使用されるボケのPSFとしては、例えば以下の数式(1−1)で表されるガウス分布が挙げられる。ガウス分布を用いて画質調整を行う場合、画質調整部38では、数式(1−2)で表すように、ガウス分布を正規化する。さらに、画質調整部38では、正規化後のガウス分布を、画質調整前の学習画像の輝度Y(i,j)にコンボリューションする。これにより、画質調整部38は、数式(1−3)で示すように、画質調整後の学習画像の輝度Ygaussian(i,j)を得る。なお、数式(1−1)におけるσは標準偏差とし、x=4σとして計算を行うことができるが、特に限定されない。また、数式(1−3)におけるTは転置を表す。
As the blurred PSF used in the image
学習処理において、画質調整部38によって学習画像の画像品質が調整された場合、表示装置14は、調整後の学習画像を表示する。画質調整部38によって画像品質を調整することにより、画像処理装置10は、同様の構図を有していながら、特定の画像品質に関する指標のみが異なる複数の画像を用いて、学習処理を行うことが可能である。したがって、画像処理装置10は、特定の画像品質に関する指標以外の影響を排除又は抑制した学習処理を行うことが可能であり、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。なお、画質調整部38が、学習画像のエッジ量が所定の値になるように調整を行った場合、特徴抽出部40は、エッジ量の算出を行う必要がない。なぜなら、特徴抽出部40は、画質調整部38の設定値を読み出すだけで、学習画像のエッジ量を取得できるからである。
In the learning process, when the image quality of the learning image is adjusted by the image
特徴抽出部40は、学習処理に使用される学習画像について、その画像品質に関する指標の具体値を取得する。特徴抽出部40は、学習画像を解析することによって指標の具体値を得るだけではなく、記憶装置16等に保存されるデータを読み出すことにより、学習画像の画像品質に関する指標の具体値を取得できる。
The
特徴抽出部40で取得される画像品質の指標としては特に限定されず、特徴抽出部40は、学習画像が成功画像であるか失敗画像であるかを判断するために有効な任意の指標の具体値を、取得することができる。特徴抽出部40で取得される指標の例としては、エッジ量、シャッタ速度、EV値、学習画像を主成分分析部して得られる指標、DCT係数、ウェーブレット係数、FFT係数の実部などが挙げられる。
The index of image quality acquired by the
例えば、特徴抽出部40は、画像品質の指標の1つであるエッジ量を、学習画像から算出する。特徴抽出部40が、学習処理の対象となる学習画像からエッジ量の具体的な値(具体値)を取得する方法の一例を、数式(2−1)〜数式(2−4)を用いて以下に説明する。
For example, the
特徴抽出部40は、数式(2−1)に示すように、学習画像におけるRGBチャンネルの各数値から、各画素の輝度Y(i,j)を算出する。さらに特徴抽出部40は、数式(2−2)及び数式(2−3)に示すように、算出された輝度Y(i,j)に対して、エッジ検出フィルタをコンボリューションし、x方向及びy方向のエッジGx(i,j)、Gy(i,j)を算出する。特徴抽出部40は、エッジ検出フィルタとしてSobelフィルタを用いる。ただし、特徴抽出部40が使用するエッジ検出フィルタはこれに限定されず、Prewittフィルタ等を用いることもできる。さらに、特徴抽出部40は、数式(2−4)に示すように、算出されたエッジGx(i,j)、Gy(i,j)から、エッジ方向に依存しないエッジ量G(i,j)を算出する。
The
判断入力処理部32は、表示装置14によって表示された学習画像に対する評価者の判断結果を取得する。例えば、判断入力処理部32は、評価者に対して、表示装置14によって表示された学習画像が、成功画像であるか失敗画像であるか(すなわちOKかNGか)を判断するように求める。学習画像に対する評価者の判断結果は、入力装置12を介して、判断入力処理部32に入力される。
The determination
さらに、判断入力処理部32は、得られた評価者の判断結果と、当該学習画像について特徴抽出部40で抽出された画像品質に関する指標の具体値を対応させる。さらに、判断入力処理部32は、学習画像の判断結果と指標の具体値とを対応させたものを学習要素として、プログラムメモリ20に記憶させる。この場合、学習要素として記憶される指標の種類は、1種類であっても良く、2種類以上であっても良い。
Further, the determination
学習演算部36は、プログラムメモリ20に記憶された学習要素から、学習要素の具体値に対応する指標に関する評価者の判断基準値を決定する。例えば、学習処理で採用された指標がエッジ量である場合、プログラムメモリ20に記憶された学習要素は、評価者が如何なるエッジ量の画像をOKと判断し、また如何なるエッジ量の画像をNGと判断したかを、具体的に記録したものである。学習演算部36は、このような学習要素から、あるエッジ量の値を境界として評価者のOK・NGの判断が分かれるという前提の下に、その値を求め、判断基準値とする。
The learning
学習演算部36は、例えば、線形判別(linear discriminant)等により、判断基準値を決定することができるが、判断基準値の決定方法は特に限定されない。なお、学習処理における判断基準値、具体値、暫定具体値には、一つの値によって構成されるスカラー量等だけでなく、複数の値によって構成される配列又はパターン識別の基準となるデータ等が含まれる。
The learning
学習結果保存処理部46は、学習処理を終える前に学習ファイルを生成し、第2記憶部16bに記憶させる。学習ファイルは、学習演算部36において決定された判断基準値と、その判断基準値の決定に関連する情報である学習情報とを、互いに関連付けた状態で有するデータである。
The learning result
学習ファイルに含まれる学習情報としては、特に限定されないが、学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モードなど、学習画像に関する情報が挙げられる。また、学習情報には、学習画像の表示条件や評価者など、学習画像以外の学習条件が含まれても良い。さらに、学習情報には、判断基準値を取得した日時など、学習処理に関連する情報が含まれても良い。 The learning information included in the learning file is not particularly limited, but includes information related to the learning image such as the image name, thumbnail image, image size, file size, compression condition, and shooting mode of the learning image. In addition, the learning information may include learning conditions other than the learning image, such as a learning image display condition and an evaluator. Furthermore, the learning information may include information related to the learning process, such as the date and time when the determination reference value is acquired.
学習ファイル管理部60は、学習結果保存処理部46によって生成・保存された学習ファイルに対して行われる学習管理処理に関する演算処理を行う。学習ファイル管理部60は、学習表示演算部62と、警告処理演算部64とを有する。
The learning file management unit 60 performs arithmetic processing related to the learning management processing performed on the learning file generated and stored by the learning result
学習表示演算部62は、例えば評価者の求めに応じて、第2記憶部16bに保存された学習ファイル内の学習情報を読み出し、表示装置14に表示させることができる。図8は、学習表示演算部62による学習情報の表示の一例である。評価者は、学習表示演算部62による学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値がどのような特性を有するものであるのかを確認若しくは推測することができる。また、評価者は、学習情報を確認することにより、その学習ファイルに含まれる判断基準値がどのような自動判断処理を目的として作成されたものであるかを確認若しくは推測することができる。 The learning display calculation unit 62 can read out the learning information in the learning file saved in the second storage unit 16b and display the learning information on the display device 14 in response to, for example, an evaluator's request. FIG. 8 is an example of learning information displayed by the learning display calculation unit 62. The evaluator can confirm or estimate what kind of characteristic the criterion value included in the learning file has by confirming the display of the learning information by the learning display calculation unit 62. Further, the evaluator can confirm or infer what kind of automatic determination process the determination reference value included in the learning file is created by confirming the learning information.
学習表示演算部62および表示装置14によって行われる学習情報の表示形式は、図8に示すような表形式に限定されず、図9に示すようなグラフ形式等、他の表示形式であっても良い。図9に示す例では、学習表示演算部62は、学習画像の撮影モードに関する情報を用い、判断基準値の決定に使用された学習画像群が、どのような撮影モードの画像で構成されているのか、その構成割合を表示したものである。評価者は、このような学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値の内容及び作成意図等を確認若しくは推測することができる。 The display format of the learning information performed by the learning display calculation unit 62 and the display device 14 is not limited to the table format as shown in FIG. 8, and may be other display formats such as a graph format as shown in FIG. good. In the example illustrated in FIG. 9, the learning display calculation unit 62 uses information regarding the shooting mode of the learning image, and the learning image group used to determine the determination reference value is configured with an image in any shooting mode. Or the composition ratio is displayed. By checking the display of such learning information, the evaluator can confirm or infer the contents of the criterion value included in the learning file and the creation intention.
警告処理演算部64は、撮影画像判断部52が画像ファイルの判断基準値を用いて自動判断処理を行う時に、撮影画像判断部によってその判断基準値が最後に使用された日時から所定の時間が経過している場合には、表示装置14に警告を表示させることができる。図10は、警告処理演算部64による警告表示の一例である。このような警告表示が行われることにより、画像処理装置10は、評価者の意図しない自動判断処理が行われることを防止できる。なぜなら、評価者の記憶は時間の経過にしたがって薄れていくため、ある判断基準値による自動判断処理が長い間行われていなかった場合、その学習ファイルに含まれる判断基準値の特性又は意味内容を、評価者が忘れている可能性が高いと推測されるからである。
When the captured
なお、学習ファイル管理部60は、学習表示演算部62や警告処理演算部64による処理の他にも、その他の学習管理処理を行うことができる。例えば、学習ファイル管理部60は、学習ファイルの判断基準値が撮影画像判断部52によって使用された日時など、学習ファイルの使用履歴を管理することができる。この場合、学習ファイル管理部60は、学習ファイルの使用履歴を、学習ファイルの内に保存するか、又は、学習ファイルに関連させて第2記憶部16bに記憶させることができる。
Note that the learning file management unit 60 can perform other learning management processes in addition to the processes performed by the learning display calculation unit 62 and the warning process calculation unit 64. For example, the learning file management unit 60 can manage the usage history of the learning file such as the date and time when the determination reference value of the learning file was used by the captured
撮影画像判断部52は、学習結果保存処理部46によって生成・保存され、学習ファイル管理部60によって管理される学習ファイルに含まれる判断基準値を用いて、撮影画像の自動判断処理(図2参照)に関する演算処理を行うことができる。図1に示すように、撮影画像判断部52は、第2特徴抽出部56と、比較部54を有している。
The captured
第2特徴抽出部56は、自動判断処理の対象となる撮影画像について、画像品質に関する指標(第2指標)の具体値(第2具体値)を取得することができる。第2特徴抽出部56は、指標を取得する対象が学習画像ではなく、自動判断処理の対象となる撮影画像である点を除き、特徴抽出部40と同様である。
The second
比較部54は、自動判断処理の対象となる撮影画像の指標(第2指標)の具体値(第2具体値)と、学習処理によって学習演算部36によって決定された判断基準値とを比較し、撮影画像が成功画像であるか失敗画像であるか(すなわちOKかNGか)を判断する。
The
図3は、図1に示す画像処理装置10で行われる学習処理の第1の例を表すフローチャートである。ステップS001では、画像処理装置10による学習処理が開始される。
FIG. 3 is a flowchart showing a first example of learning processing performed by the
ステップS002では、図1に示す学習処理部31の画像サイズ取得部34が、画像鑑賞サイズ情報を取得する。画像サイズ取得部34は、表示装置14に選択メニューを表示する等の方法により、評価者に画像鑑賞サイズ情報の入力を促す。評価者は、印刷サイズ(L版、はがきサイズ、A4等)や、表示サイズ(100%、50%、ブログ用)等の画像鑑賞サイズ情報を、入力装置12を介して入力する。さらに、画像サイズ取得部34は、取得した画像鑑賞サイズ情報に基づき、ステップS005において行われる学習画像の表示処理における表示条件を決定する。
In step S002, the image
例えば、取得された画像鑑賞サイズ情報が画像を200%に拡大して鑑賞する旨の情報であれば、画像サイズ取得部34は、ステップS005において学習画像が200%で表示されるように、表示条件を決定する。画像サイズ取得部34は、決定された表示条件を、画像表示演算部44に出力する。これにより、画像表示演算部44は、鑑賞サイズ情報に基づく表示条件で、表示装置14に学習画像を表示させることができる。
For example, if the acquired image viewing size information is information indicating that the image is to be viewed at 200%, the image
ステップS003では、図1に示す学習画像決定部42が、学習画像を決定する。学習画像決定部42は、表示装置14にコメントを表示する等の方法により、評価者に対して、学習処理で使用する学習画像を指定するように促す。評価者は、予め記憶装置16の第1記憶部16aに用意されている画像や、評価者自身が撮影した撮影画像であって第1記憶部16aに保存されている画像を、学習画像として指定する。学習画像決定部42は、評価者によって指定された学習画像を、学習処理に使用する学習画像として特定する。さらに、学習画像決定部42は、決定された学習画像を、画像メモリ18に一時的に格納させる。
In step S003, the learning
この際、評価者は、1つの学習画像を指定しても良いし、複数の学習画像を指定しても良い。また、第1記憶部16aには、予め学習処理に適したサンプル画像が保存されていても良く、評価者は、このようなサンプル画像の中から、学習画像を選択しても良い。さらに、第1記憶部16aに保存されるサンプル画像は、撮影シーン(夜景、マクロ、スポーツ等)が異なる複数の画像で構成されていても良い。これにより、評価者は、自動判断処理される予定の撮影画像と同じ撮影シーンの画像を、学習画像として指定することができる。なお、サンプル画像の画像品質は、適度なばらつきを有していることが好ましい。 At this time, the evaluator may specify one learning image or a plurality of learning images. In addition, sample images suitable for learning processing may be stored in the first storage unit 16a in advance, and the evaluator may select a learning image from such sample images. Furthermore, the sample image stored in the first storage unit 16a may be composed of a plurality of images with different shooting scenes (night view, macro, sport, etc.). As a result, the evaluator can specify an image of the same shooting scene as the captured image to be automatically determined as a learning image. In addition, it is preferable that the image quality of a sample image has moderate dispersion | variation.
ステップS004では、特徴抽出部40が、ステップS003で決定された学習画像について、画像品質に関する指標の具体値を取得する。学習処理で使用される指標には様々なものが存在するが、図3に示す第1の例では、画像品質に関する指標として、エッジ量とシャッタスピードが用いられる場合を例に説明を行う。ステップS004では、特徴抽出部40が、学習画像のエッジ量を算出するとともに、学習画像に関連して第1記憶部16aに保存されている情報を検索し、学習画像のシャッタスピードを取得する。特徴抽出部40で取得されたエッジ量及びシャッタスピードの具体値は、プログラムメモリ20に一時的に格納されても良い。
In step S004, the
ステップS005では、画像表示演算部44が、ステップS003で学習画像決定部42によって決定された学習画像を、表示装置14に表示させる。この際、画像表示演算部44は、ステップS002で画像サイズ取得部34によって決定された表示条件に基づき、学習画像を表示させる。
In step S005, the image
ステップS006では、学習処理部31の判断入力処理部32が、表示装置14によって表示された学習画像に対する評価者の判断結果を取得する。判断入力処理部32は、評価者に対して、表示装置14によって表示された学習画像がOKかNGかを入力するように求め、入力された情報を取得することにより、評価者の判断結果を取得する。
In step S006, the determination
ステップS007では、判断入力処理部32は、ステップS006で得られた評価者の判断結果と、ステップS004で取得された学習画像のエッジ量及びシャッタスピードの具体値を対応させ、学習要素を生成する。また、判断入力処理部32は、学習画像の判断結果とエッジ量及びシャッタスピードとを対応させた学習要素を、プログラムメモリ20に記憶させる。
In step S007, the determination
ステップS008では、学習処理部31は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部31は、学習処理を終了させる旨の入力情報を取得した場合にはステップS009の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部31は、ステップS003の処理に戻り、学習画像を変えてステップS003〜ステップS007の処理を繰り返す。
In step S008, the
ステップS009では、学習処理部31の学習演算部36が、プログラムメモリ20に記憶された学習要素から、エッジ量及びシャッタスピードに関する評価者の判断基準値を決定する。図4は、学習演算部36で行われる判断基準値の決定において行われる処理を、概念的に表したものである。図4に示すグラフは、横軸をエッジ量(指標A)とし、縦軸をシャッタスピード(指標B)として、学習要素をプロットしたものである。図4に示す黒丸及び白丸は、ステップS007においてプログラムメモリ20に記憶された学習要素に対応している。
In step S <b> 009, the learning
図4に示すグラフでは、11個の学習要素がプロットされており、これは、ステップS009までに、11個の学習画像について、学習画像の決定(ステップS003)から学習要素の記憶(ステップS007)までの処理が行われたことを意味している。図4に示すグラフにおいて、白丸であるか黒丸であるかは、学習要素における学習画像の判断結果に対応している。すなわち、白丸は、ステップS006において評価者がOKと判断した学習要素であり、黒丸はNGと判断した学習要素である。また、各プロットの横軸の位置は、学習要素のエッジ量(指標A)の具体値に対応しており、各プロットの縦軸の位置は、学習要素のシャッタスピード(指標B)の具体値に対応している。 In the graph shown in FIG. 4, eleven learning elements are plotted. This means that, for eleven learning images, learning image determination (step S003) to learning element storage (step S007) is performed by step S009. This means that the process up to has been performed. In the graph shown in FIG. 4, whether it is a white circle or a black circle corresponds to the determination result of the learning image in the learning element. That is, the white circle is a learning element that the evaluator determines to be OK in step S006, and the black circle is a learning element that is determined to be NG. Further, the position of the horizontal axis of each plot corresponds to the specific value of the edge amount (index A) of the learning element, and the position of the vertical axis of each plot represents the specific value of the shutter speed (index B) of the learning element. It corresponds to.
学習演算部36は、線形判別により、評価者は、直線70より右下の領域にある画像をOKと判断し、直線70より左上の領域にある画像をNGと判断すると認定する。さらに、学習演算部36は、評価者がエッジ量(指標A)及びシャッタスピード(指標B)に関して、画像をOKまたはNGに分類する境界である判断基準値は、直線70であると決定する。図4に示す場合において、ステップS009で算出される判断基準値は、一次式の形で表される。
The learning
ステップS010では、学習結果保存処理部46が、ステップS009において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部46は、学習ファイルを第2記憶部16bに記憶させる。
In step S010, the learning result
ステップS011では、中央処理装置30が、一連の学習処理を終了させる。
In step S011, the
このように、図1に示す画像処理装置10は、図3で示すような一連の学習処理を行うことにより、特定の個人である評価者の判断傾向を、学習・認識することができる。したがって、画像処理装置10は、評価者個人が求める判断基準に対して高い精度で一致する判断基準値を、評価者になんら専門知識等を要求することなく、決定することができる。
As described above, the
また、画像処理装置10は、画像サイズ取得部34によって取得された画像鑑賞サイズ情報を、学習画像を表示する際の表示条件に反映させている。これにより、画像処理装置10は、学習結果を用いて行われる自動判断処理の対象となる撮影画像の用途を考慮に入れて学習処理を行うことが可能である。したがって、画像処理装置10は、目的に応じた判断基準値を決定することができる。
In addition, the
ここで、画像処理装置10における学習処理によって算出された判断基準値は、上述のように多くの要因を複合的に判断して決定されるものである。したがって、たとえ判断基準値自体を評価者が見ることができたとしても、評価者が判断基準値の意味内容(その判断基準値を用いれば、どのような自動判断処理が行われるのかということ)を認識することは困難である。また、判断基準値は、一つの値であるとは限らず、図3で示すような一次式の形であったり、さらに複雑な数値の集まりであったりするため、評価者に分かりやすく表示することが難しい場合もある。
Here, the determination reference value calculated by the learning process in the
そこで、画像処理装置10は、判断基準値とその判断基準値の決定に関連する情報である学習情報とを互いに関連付け、学習ファイルとして保存し、これを学習ファイル管理部60によって管理できるようにした。これにより、評価者は、必要に応じて、学習ファイル管理部60の学習表示演算部62に、学習ファイルに含まれる学習情報を表示させることができる。したがって、評価者は、学習情報を確認することにより、その判断基準値の意味内容を認識することができる。また、評価者は、既に作成した学習ファイルに含まれる判断基準値の意味内容を認識できるため、自動判別処理を行う際に、過去に作成した学習ファイルを有効活用することが可能である。したがって、画像処理装置10を用いる評価者は、自動判別処理を行う際に、新たに学習処理を行う手間を省くことができ、手軽に適切な自動判別処理を行うことができる。
Therefore, the
図5は、図1に示す画像処理装置10で行われる学習処理の第2の例を表すフローチャートである。図5におけるステップS101及びステップS102は、図3において説明したステップS001及びステップS002と同様であるため、説明を省略する。
FIG. 5 is a flowchart illustrating a second example of learning processing performed by the
ステップS103では、図1に示す学習画像決定部42が、学習画像(元画像)を決定する。学習画像決定部42は、評価者に対して、予め用意されたサンプル画像から、学習処理に仕様される学習画像(元画像)を選択するように求め、評価者によって選択された画像を、学習画像(元画像)として特定する。
In step S103, the learning
この際、評価者は、1つの学習画像(元画像)を指定する。また、学習画像(元画像)として予め用意されるサンプル画像は、ステップS104で行われる画質調整後における画像品質の指標(例えばエッジ量)の具体値が、予め解っているものであることが好ましい。なお、学習画像(元画像)は、画像メモリ18に一時的に格納される。
At this time, the evaluator designates one learning image (original image). The sample image prepared in advance as a learning image (original image) preferably has a specific value of an image quality index (for example, an edge amount) obtained after image quality adjustment performed in step S104. . Note that the learning image (original image) is temporarily stored in the
ステップS104では、図1に示す学習処理部31の画質調整部38が、ステップS104で特定された学習画像(元画像)の画像品質を調整し、学習画像(画質調整後)を生成する。画質調整部38は、ブレ・ボケの軌跡を表すPSF(Point Spread Function)をコンボリューションすることにより、学習画像(元画像)の画像品質を調整し、学習画像(画質調整後)を生成する。さらに、学習画像決定部42は、画質調整部38によって生成された学習画像(画質調整後)を、ステップS105〜ステップS109で行われる処理に用いられる学習画像として特定する。
In step S104, the image
図6は、図5に示す学習処理における学習画像の画像品質の変更手順を説明した概念図である。ステップS103で選択された学習画像(元画像)は、第1回目のステップS104においては、その画像品質の指標(図6に示す例ではエッジ量)が、統計的に算出された一般的な判断基準値(点76)に最も近い値(点D)になるように調整される。すなわち、画質調整部38は、画質調整によって生成される学習画像(画質調整後)のエッジ量の具体値を点Dに設定し、画質調整を行う。なお、学習画像(画質調整後)のエッジ量(ステップS104で実施される画質調整の設定値)は、プログラムメモリ20に格納される。
FIG. 6 is a conceptual diagram illustrating a procedure for changing the image quality of the learning image in the learning process shown in FIG. In the first step S104, the learning image (original image) selected in step S103 is a general determination in which the image quality index (edge amount in the example shown in FIG. 6) is statistically calculated. Adjustment is made so that the value (point D) closest to the reference value (point 76) is obtained. That is, the image
ステップS105では、特徴抽出部40が、プログラムメモリ20に格納されている学習画像(画質調整後)のエッジ量を取得する。なお、図5及び図6に示す第2の例では、画像品質に関する指標として、エッジ量のみが用いられる場合を例に説明を行う。
In step S <b> 105, the
図5に示すステップS106〜ステップS108に関する処理は、図3において説明したステップS005〜ステップS007と同様であるため、説明を省略する。 The processes related to steps S106 to S108 shown in FIG. 5 are the same as steps S005 to S007 described in FIG.
ステップS109では、学習処理部31は、プログラムメモリ20に格納されている学習要素を調査し、既に算出された学習要素によって判断基準値を決定しても良いか否かを判断する。例えば、学習処理部31は、プログラムメモリ20に格納されている学習要素に、評価者による判断がOKのものとNGのものが両方とも含まれている場合には、既に算出された学習要素によって判断基準値を決定しても良いと判断する。その反対に、学習処理部31は、プログラムメモリ20に格納されている学習要素に、評価者による判断がOK及びNGのもののうちいずれか一方が含まれていない場合には、判断基準値を決定すべきでないと判断する。
In step S109, the
ステップS109において、学習処理部31は、判断基準値を決定しても良いと判断した場合には、ステップS111の処理に進む。その反対に、学習処理部31は、判断基準値を決定すべきでないと判断した場合には、ステップS110の処理に進む。
In step S109, when the
ステップS110では、学習処理部31の画質調整部38が、ステップS104で実施される画質調整の設定値を変更する。図6のケース1は、第1回目の画質調整(ステップS104)の設定値が点Dであり、その学習画像(画質調整後)についてステップS107で取得された評価者の判断がOKであった場合である。このような場合、ステップS110では、2回目の画質調整(ステップS104)の設定値は、第1回目の設定値より悪い(よりエッジ量の少ない)点Cに変更される。図6のケース2は、ケース1とは反対に、第1回目の評価者の判断がNGであった場合であり、2回目の画質調整(ステップS104)の設定値は、第1回目の設定値より良い(よりエッジ量の多い)点Eに変更される。
In step S110, the image
ステップS110で画質調整の設定値を変更した後は、図6に示すようにステップS104〜ステップS108の処理を繰り返す。 After the image quality adjustment setting value is changed in step S110, the processing in steps S104 to S108 is repeated as shown in FIG.
ステップS111では、学習処理部31は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部31は、学習処理を終了させる旨の入力情報を取得した場合にはステップS112の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部31は、ステップS103の処理に戻り、学習画像(元画像)を変えてステップS103〜ステップS110の処理を繰り返す。
In step S111, the
ステップS112では、学習処理部31の学習演算部36が、プログラムメモリ20に記憶された学習要素から、エッジ量に関する評価者の判断基準値を決定する。図6のケース1では、最後にOKと判断された学習画像のエッジ量が点Dであり、初めてNGと判断された学習画像のエッジ量が点Cである。この場合、学習演算部36は、点Cと点Dの中間点である点Pを、判断基準値とする。図6のケース2では、最後にNGと判断された学習画像のエッジ量が点Eであり、初めてOKと判断された学習画像のエッジ量が点Fである。この場合、学習演算部36は、点Eと点Fの中間点である点Qを、判断基準値とする。
In step S <b> 112, the learning
ステップS113では、学習結果保存処理部46が、ステップS119において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部46は、学習ファイルを第2記憶部16bに記憶させる。
In step S113, the learning result
ステップS114では、中央処理装置30が、一連の学習処理を終了させる。
In step S114, the
このように、図1に示す画像処理装置10は、画質調整部38によって画像品質を調整することにより、同様の構図でありながら画像品質のみが異なる学習画像を用いて、学習処理を行うことができる。したがって、画像処理装置10は、特定の画像品質に関する指標以外の影響を抑制し、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。
As described above, the
また、画像処理装置10は、画質調整部38によって画質調整を行うことにより、学習画像の指標の具体値を、適度に分散させることができる。これにより、画像処理装置10は、評価者が学習処理に要する時間及び手間を減らすことができる。また、画像処理装置10は、第1回目の画質調整で得られる学習画像(画質調整後)のエッジ量を、統計的に算出された一般的な判断基準値に近い値とすることによって、評価者が学習処理に要する時間及び手間を更に減らすことができる。
Further, the
また、学習処理後において、評価者は、学習ファイルに含まれる学習情報を確認することにより、その判断基準値の意味内容を認識することができる。例えば、評価者は、学習情報に含まれる学習画像のサムネイル画像を見ることにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、撮影シーンが同じであるなど、自動判断処理の対象となる撮影画像と共通点の多い画像を、学習画像として選択していると考えられるからである。 Further, after the learning process, the evaluator can recognize the meaning content of the determination reference value by confirming the learning information included in the learning file. For example, the evaluator recognizes what kind of automatic determination process the determination reference value of the learning file was created for by using the thumbnail image of the learning image included in the learning information. Can do. This is because it is considered that the evaluator selects an image having a lot in common with the captured image that is the target of the automatic determination process, such as the same captured scene, as the learning image.
また、例えば、評価者は、学習情報に含まれる学習画像の画像鑑賞サイズ情報を確認することにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、自動判断処理の対象となる撮影画像の鑑賞方法を考慮して、画像鑑賞サイズ情報を指定していると考えられるからである。 In addition, for example, the evaluator created the determination reference value of the learning file for the purpose of using the automatic determination process by confirming the image viewing size information of the learning image included in the learning information. Can be recognized. This is because it is considered that the evaluator designates the image viewing size information in consideration of the viewing method of the captured image that is the target of the automatic determination process.
図7は、図1に示す自動判断処理の一例を表すフローチャートである。図1に示すステップS201では、画像処理装置10による自動判断処理が開始される。
FIG. 7 is a flowchart showing an example of the automatic determination process shown in FIG. In step S201 shown in FIG. 1, an automatic determination process by the
ステップS202では、撮影画像判断部52が、自動判断処理に用いる判断基準値を取得する。撮影画像判断部52は、評価者に対して、自動判断処理に使用する判断基準値又はこれを含む学習ファイルを指定するように求める。さらに、撮影画像判断部52は、評価者によって指定された判断基準値を、第2記憶部16bから読み出す。
In step S202, the captured
ステップS203では、学習ファイル管理部60の警告処理演算部64が、ステップS202で読み出された判断基準値が古いものであるか否かを判断する。具体的には、警告処理演算部64は、第2記憶部16bに保存されている判断基準値の最終使用日時を読み出し、最終使用日時から所定の時間が経過しているか否かを判断する。 In step S203, the warning processing calculation unit 64 of the learning file management unit 60 determines whether or not the determination reference value read in step S202 is old. Specifically, the warning processing calculation unit 64 reads the last use date and time of the determination reference value stored in the second storage unit 16b, and determines whether or not a predetermined time has elapsed from the last use date and time.
警告処理演算部64は、最終使用日時から所定の時間が経過している場合、判断基準値が古いものであると判断する。この場合、自動判断処理は、ステップS204へ進む。これに対して、警告処理演算部64は、最終使用日時から所定の時間が経過していない場合、判断基準値は古いものではないと判断する。この場合、自動判断処理は、ステップS206へ進む。 The warning processing calculation unit 64 determines that the determination reference value is old when a predetermined time has elapsed since the last use date and time. In this case, the automatic determination process proceeds to step S204. On the other hand, when the predetermined time has not elapsed since the last use date and time, the warning processing calculation unit 64 determines that the determination reference value is not old. In this case, the automatic determination process proceeds to step S206.
ステップS204では、学習ファイル管理部60の警告処理演算部64が、表示装置14に、図10に示すような警告を表示させる。さらに、評価者が学習内容の確認を求める場合は、学習ファイル管理部60の学習表示演算部62が、学習情報を表示装置14に表示させる。 In step S204, the warning processing calculation unit 64 of the learning file management unit 60 causes the display device 14 to display a warning as shown in FIG. Further, when the evaluator requests confirmation of the learning content, the learning display calculation unit 62 of the learning file management unit 60 displays the learning information on the display device 14.
さらにステップS205では、警告処理演算部64は、評価者の入力結果に基づき、自動判断処理を続行するか否かを決定する。警告処理演算部64は、評価者に対して自動判断処理を続行するか否かを入力するように求め、自動判断処理を続行する旨の入力を受けた場合は、ステップS206へ処理を進める。その反対に、警告処理演算部64が自動判断処理を中止する旨の入力を受けた場合は、ステップS213へ処理を進める。 Further, in step S205, the warning process calculation unit 64 determines whether or not to continue the automatic determination process based on the input result of the evaluator. The warning process calculation unit 64 requests the evaluator to input whether or not to continue the automatic determination process, and when receiving an input to continue the automatic determination process, the process proceeds to step S206. On the other hand, when the warning process calculation unit 64 receives an input to stop the automatic determination process, the process proceeds to step S213.
ステップS206では、撮影画像判断部52が、自動判断処理の対象となる撮影画像を決定する。撮影画像判断部52は、表示装置14にコメントを表示する等の方法により、評価者に対して、自動判断処理の対象となる撮影画像を指定するように促す。評価者は、既に記憶装置16に保存されている撮影画像や、新たに記憶装置16に保存した撮影画像を指定する。撮影画像判断部52は、評価者によって指定された撮影画像を、自動判断処理の対象となる撮影画像として特定する。さらに、撮影画像判断部52は、決定された撮影画像を、画像メモリ18に一時的に格納させる。なお、この際、評価者は、1つの撮影画像を指定しても良いし、複数の撮影画像を指定しても良い。
In step S <b> 206, the captured
ステップS207では、撮影画像判断部52における第2特徴抽出部56が、ステップS206で決定された撮影画像について、画像品質に関する指標(第2指標)の具体値(第2具体値)を取得する。ステップS207で取得される具体値(第2具体値)は、ステップS202で取得された判断基準値と比較できるように、当該判断基準値を決定した際の学習処理において使用された指標と同一の指標に関する具体値であることが好ましい。例えば、判断基準値を決定した学習処理において使用された指標がエッジ量及びシャッタスピードであれば、第2特徴抽出部56は、撮影画像のエッジ量及びシャッタスピードを取得する。
In step S207, the second
ステップS208では、撮影画像判断部52における比較部54が、ステップS207で取得された撮影画像の具体値(第2具体値)と、ステップS202で取得された判断基準値を比較する。これにより、比較部54は、自動判断処理の対象である撮影画像がOKかNGかを判断する。ステップS208において、比較部54が撮影画像はOKだと判断した場合はステップS209へ進み、撮影画像はNGだと判断した場合はステップS210へ進む。
In step S208, the
ステップS209及びステップS210では、撮影画像判断部52が、自動判断処理の結果に基づき、撮影画像の分類を行う。すなわち、ステップS209では、撮影画像判断部52は、OKと判断された撮影画像を、記憶装置16に作成されたOK画像フォルダに分類する。また、ステップS210では、撮影画像判断部52は、NGと判断された撮影画像を、記憶装置16に作成されたNG画像フォルダに分類する。なお、ステップS210において、撮影画像判断部52は、NGと判断された撮影画像を記憶装置16から削除する処理を行っても良い。
In step S209 and step S210, the captured
ステップS211では、撮影画像判断部52は、評価者に対して、自動判断処理を終了するか否かを入力するように求める。撮影画像判断部52は、自動判断処理を終了させる旨の入力情報を取得した場合には、ステップS212の処理へ進む。それに対し、自動判断処理を続ける旨の入力情報を取得した場合には、撮影画像判断部52は、ステップS206の処理に戻り、対象となる撮影画像を変えてステップS006〜ステップS210の処理を繰り返す。
In step S211, the captured
ステップS212では、学習ファイル管理部60が、自動判断処理に用いた判断基準値の最終使用日時を、第2記憶部16bに保存する。さらに、ステップS213では、中央処理装置30が、一連の自動判断処理を終了させる。
In step S212, the learning file management unit 60 stores the last use date and time of the determination reference value used in the automatic determination process in the second storage unit 16b. Furthermore, in step S213, the
このように、図1に示す画像処理装置10は、特定の個人である評価者の判断傾向を、学習・認識し、学習処理によって得られた判断基準値に基づき、撮影画像の自動判断処理を行うことができる。したがって、画像処理装置10は、評価者個人が求める判断基準に対して高い精度で一致する判断基準に基づく自動判断処理を行うことができる。
As described above, the
また、画像処理装置10は、学習ファイル管理部60の警告処理演算部64が警告を行うことにより、評価者の意図しない自動判断処理が行われることを防止することができる。
In addition, the
10…画像処理装置
12…入力装置
14…表示装置
16…記憶装置
16a…第1記憶部
16b…第2記憶部
18…画像メモリ
20…プログラムメモリ
30…中央処理装置
31…学習処理部
32…判断入力処理部
34…画像サイズ取得部
36…学習演算部
38…画質調整部
40…特徴抽出部
42…学習画像決定部
44…画像表示演算部
46…学習結果保存処理部
52…撮影画像判断部
54…比較部
60…学習ファイル管理部
62…学習表示演算部
64…警告処理演算部
DESCRIPTION OF
Claims (7)
学習画像を記憶する第1記憶部と、
前記学習画像を前記表示部に表示させる画像表示演算部と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する第2記憶部と、
前記学習情報を、前記表示部に表示させる学習表示演算部と、
を有する画像判断装置。 A display unit capable of displaying images and sentences;
A first storage unit for storing a learning image;
An image display calculation unit for displaying the learning image on the display unit;
An input unit for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
Based on the learning image and the determination result, a learning calculation unit that determines a determination reference value related to the image quality of the evaluator;
A second storage unit that stores the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
A learning display calculation unit for displaying the learning information on the display unit;
An image determination apparatus having
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させることを特徴とする請求項1又は請求項2に記載の画像判断装置。 An image size acquisition unit that acquires image viewing size information selected by the evaluator;
The image determination apparatus according to claim 1, wherein the image display calculation unit reflects the image appreciation size information in display conditions of the learning image.
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部と、を有する画像処理装置。 An image determination apparatus according to any one of claims 1 to 3,
An image processing apparatus comprising: a captured image determination unit that automatically determines a captured image based on the determination reference value.
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する1以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させるための画像判断プログラム。 On the computer,
The procedure for displaying the learning image on the display unit,
A procedure for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
A procedure for determining a judgment reference value related to the image quality of the evaluator based on the learning image and the judgment result;
A procedure for storing the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
An image determination program for causing the learning information to be displayed on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046585A JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046585A JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012185552A true JP2012185552A (en) | 2012-09-27 |
Family
ID=47015611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046585A Withdrawn JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012185552A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978812A (en) * | 2017-12-24 | 2019-07-05 | 奥林巴斯株式会社 | Camera system, learning device, photographic device and learning method |
CN110910340A (en) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | Annotation device and annotation method |
WO2021015337A1 (en) * | 2019-07-24 | 2021-01-28 | 엘지전자 주식회사 | Method for switching between front camera and rear camera in mobile terminal and same mobile terminal |
-
2011
- 2011-03-03 JP JP2011046585A patent/JP2012185552A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978812A (en) * | 2017-12-24 | 2019-07-05 | 奥林巴斯株式会社 | Camera system, learning device, photographic device and learning method |
CN110910340A (en) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | Annotation device and annotation method |
WO2021015337A1 (en) * | 2019-07-24 | 2021-01-28 | 엘지전자 주식회사 | Method for switching between front camera and rear camera in mobile terminal and same mobile terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017261537B2 (en) | Automated selection of keeper images from a burst photo captured set | |
US8081227B1 (en) | Image quality visual indicator | |
JP5403838B2 (en) | Digital image organization by correlating faces | |
JP2004253970A (en) | Image processor, method therefor, and program thereof | |
JP4492555B2 (en) | Printing device | |
JP2007096405A (en) | Method, device and program for judging direction of camera shake | |
JP2006229682A (en) | Print recommendation picture selection device, method, and program | |
US20060082672A1 (en) | Filtering digital images | |
JP2012185552A (en) | Image determination device, image processor, camera, and image determination program | |
CA3077974A1 (en) | Photography session assistant | |
JP2015008385A (en) | Image selection device, imaging device, and image selection program | |
JP4639043B2 (en) | Moving picture editing apparatus and moving picture editing method | |
JP2018084861A (en) | Information processing apparatus, information processing method and information processing program | |
JP2004282570A (en) | Image processor | |
US9628715B2 (en) | Photographing equipment, photographing assisting method, display apparatus and display method | |
JP2009218806A (en) | Device and method for processing image, and program therefor | |
JP2005182745A (en) | Image processing method, device and program | |
JP2012168641A (en) | Image determination apparatus, image processor, camera and image determination program | |
JP2003087442A (en) | Image evaluation method and apparatus, and program | |
JP2023063807A (en) | Image processing device, image processing method, program, and recording medium | |
JP5434057B2 (en) | Image display device and image display program | |
RU2312395C1 (en) | Method for sorting digital images for quality printing | |
JP2010173323A (en) | Printer | |
JP2019096364A (en) | Image evaluation device | |
JP4336492B2 (en) | Image data processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |