JP2012185552A - Image determination device, image processor, camera, and image determination program - Google Patents
Image determination device, image processor, camera, and image determination program Download PDFInfo
- Publication number
- JP2012185552A JP2012185552A JP2011046585A JP2011046585A JP2012185552A JP 2012185552 A JP2012185552 A JP 2012185552A JP 2011046585 A JP2011046585 A JP 2011046585A JP 2011046585 A JP2011046585 A JP 2011046585A JP 2012185552 A JP2012185552 A JP 2012185552A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- determination
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像判断装置、画像処理装置、カメラ及び画像判断プログラムに関する。 The present invention relates to an image determination device, an image processing device, a camera, and an image determination program.
デジタルカメラは、記録媒体に要するコストが比較的安価であり、またゴミを発生させることなく容易に撮影画像を削除可能であること等から、撮影枚数の増大を気にせずに、撮影したいだけ撮影できるという利点を有する。そのため、デジタルカメラによる撮影画像の数は、銀塩カメラに比べて増大する傾向にある。その一方で、撮影者が失敗を怖れずに撮影を行う結果、デジタルカメラの撮影画像には、ブレやボケが発生したような失敗画像が、比較的多く含まれる傾向にある。 Digital cameras have a relatively low cost for recording media and can easily delete shot images without generating dust, so you can shoot as much as you want without having to worry about the increase in the number of shots. It has the advantage of being able to. For this reason, the number of images taken by a digital camera tends to increase as compared to a silver salt camera. On the other hand, as a result of the photographer taking pictures without fear of failure, the photographed images of the digital camera tend to include a relatively large number of failed images in which blurring or blurring has occurred.
撮影者は、失敗画像が印刷されることや、失敗画像によって記録媒体が占有され続けることを防ぐために、カメラの液晶画面やＰＣのモニタで失敗画像を選別し、これを分別又は削除する作業を行うことができる。しかし、多くの撮影画像に対して、このような目視及び手動による仕分け作業を行うことは、煩雑であり、撮影者の負担となっている。 In order to prevent the failed image from being printed and the recording medium from being occupied by the failed image, the photographer selects the failed image on the camera LCD screen or PC monitor and sorts or deletes it. It can be carried out. However, performing such visual and manual sorting operations for many photographed images is cumbersome and burdens the photographer.
このような問題を解決するための従来技術として、画像データに含まれる高周波成分を抽出すること等により撮影ミスを判断するための指標を算出し、自動的に撮影画像の合否判断を行う技術が提案されている（特許文献１等参照）。 As a conventional technique for solving such a problem, there is a technique for calculating an index for judging a photographing error by extracting a high-frequency component included in image data and automatically determining whether a photographed image is acceptable or not. It has been proposed (see Patent Document 1).
従来技術に係る画像判断技術において、撮影画像を仕分けるための基準となる判断基準は、例えば失敗画像及び成功画像の一般的な傾向を統計的に調査して定められたものにすぎないため、撮影者個人が求める判断基準に対してずれが生じるという問題がある。撮影画像を仕分けるための判断基準は、撮影者の個性、撮影画像の用途、撮影画像の鑑賞サイズ等によって異なるからである。また、仮に撮影者が判断基準を任意に設定できる場合であっても、撮影画像の合否判断には様々な要因が影響するため、如何なる基準が自分に適しているかを撮影者自身が認識し、正しく設定を行うことは、容易ではないと考えられる。 In the image determination technology according to the prior art, the determination criterion that is a criterion for sorting the captured images is only determined by, for example, statistically examining general trends of failed images and successful images. There is a problem that a deviation occurs with respect to the judgment standard required by the individual. This is because the criteria for sorting the photographed images vary depending on the individuality of the photographer, the purpose of the photographed image, the viewing size of the photographed image, and the like. In addition, even if the photographer can arbitrarily set the judgment criteria, since various factors affect the pass / fail judgment of the photographed image, the photographer himself recognizes what kind of criteria is suitable for himself, It is not easy to set correctly.
本発明は、このような実状に鑑みてなされ、その目的は、学習によって判断基準を決定する画像判断装置等を提供することである。 The present invention has been made in view of such a situation, and an object thereof is to provide an image determination device or the like that determines a determination criterion by learning.
上記目的を達成するために、本発明に係る画像判断装置は、
画像及び文章を表示可能な表示部（１４）と、
学習画像を記憶する第１記憶部（１６ａ）と、
前記学習画像を前記表示部に表示させる画像表示演算部（４４）と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部（３２）と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部（３６）と、
前記判断基準値と、当該判断基準値の決定に関連する１以上の情報である学習情報とを、互いに関連付けて記憶する第２記憶部（１６ｂ）と、
前記学習情報を、前記表示部に表示させる学習表示演算部（６２）と、を有する。
In order to achieve the above object, an image determination apparatus according to the present invention includes:
A display unit (14) capable of displaying images and sentences;
A first storage unit (16a) for storing learning images;
An image display calculation unit (44) for displaying the learning image on the display unit;
An input unit (32) for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
Based on the learning image and the determination result, a learning calculation unit (36) for determining a determination reference value related to the image quality of the evaluator;
A second storage unit (16b) that stores the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
A learning display calculation unit (62) for displaying the learning information on the display unit.
また、例えば、前記学習情報は、前記学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モード、前記判断結果を取得した際における前記学習画像の表示条件、前記判断結果を取得した日時並びに前記評価者のうち少なくとも１つを含んでも良い。 Further, for example, the learning information includes an image name of the learning image, a thumbnail image, an image size, a file size, a compression condition and a shooting mode, a display condition of the learning image when the determination result is acquired, and the determination result. The acquired date and time and at least one of the evaluators may be included.
また、例えば、本発明に係る画像判断装置は、前記評価者によって選択された画像鑑賞サイズ情報を取得する画像サイズ取得部（３４）をさらに有しても良く、
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させても良い。
In addition, for example, the image determination device according to the present invention may further include an image size acquisition unit (34) that acquires image viewing size information selected by the evaluator.
The image display calculation unit may reflect the image appreciation size information in display conditions of the learning image.
本発明に係る画像処理装置は、上記いずれかに記載の画像判断装置と、
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部（５２）と、を有する。
An image processing apparatus according to the present invention includes any one of the image determination apparatuses described above,
A captured image determination unit (52) that automatically determines a captured image based on the determination reference value.
また、例えば、本発明に係る画像処理装置は、
前記撮影画像判断部が、前記判断基準値に基づき前記自動判断を行う時に、前記撮影画像判断部によって前記判断基準値が最後に使用された日時から所定の時間が経過している場合には、前記撮影画像判断部が前記自動判断を行う前に、前記表示部に警告を表示させる警告処理演算部（６４）を、さらに有しても良い。
Also, for example, an image processing apparatus according to the present invention is
When the photographic image determination unit performs the automatic determination based on the determination reference value, when a predetermined time has passed since the date and time when the determination reference value was last used by the photographic image determination unit, A warning processing calculation unit (64) that displays a warning on the display unit before the photographed image determination unit performs the automatic determination may be further included.
本発明に係るカメラは、上記に記載の撮影画像処理装置を有する。 A camera according to the present invention has the captured image processing apparatus described above.
また、本発明に係る画像判断プログラムは、
コンピュータに、
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する１以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させる。
In addition, an image determination program according to the present invention includes:
On the computer,
The procedure for displaying the learning image on the display unit,
A procedure for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
A procedure for determining a judgment reference value related to the image quality of the evaluator based on the learning image and the judgment result;
A procedure for storing the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
Causing the learning information to be displayed on the display unit.
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In the above description, in order to explain the present invention in an easy-to-understand manner, the description is made in association with the reference numerals of the drawings showing the embodiments. However, the present invention is not limited to this. The configuration of the embodiment described later may be improved as appropriate, or at least a part of the configuration may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at a position where the function can be achieved.
第１実施形態
図１は、本発明の一実施形態に係る画像処理装置１０のブロック図である。画像処理装置１０は、撮影画像の自動判断処理等に用いる判断基準値を学習処理により算出し、算出された判断基準値に基づき、撮影画像の自動判断処理を行う。
First Embodiment FIG. 1 is a block diagram of an
図２は、図１に示す画像処理装置１０で行われる学習処理と自動判断処理の関係を表す概念図である。学習処理では、学習画像群に含まれる学習画像から、画像品質に関する指標（特徴）の具体値を抽出する。さらに、抽出された指標の具体値と、学習画像に対する評価者の判断結果とを照らしあわせて、評価者の判断傾向を学習する。学習処理で行われる演算は、主として図１に示す中央処理装置３０の学習処理部３１で行われる。
FIG. 2 is a conceptual diagram showing the relationship between learning processing and automatic determination processing performed in the
図２に示すように、学習処理から得られる判断基準値は、その判断基準値がどのような学習処理によるものなのか、ということをまとめた学習情報とともに保存される。判断基準値および学習情報に対しては、必要に応じて読み出されたり、内容を更新されるなどの学習管理処理が行われる。学習管理処理で行われる演算は、主として図１に示す中央処理装置３０の学習ファイル管理部６０で行われる。
As shown in FIG. 2, the determination reference value obtained from the learning process is stored together with learning information that summarizes what learning process the determination reference value is based on. A learning management process is performed on the determination reference value and the learning information, such as reading or updating the contents as necessary. The calculation performed in the learning management process is mainly performed in the learning file management unit 60 of the
図２に示すように、画像処理装置１０で行われる自動判断処理では、撮影画像群に含まれる撮影画像から、画像品質に関する指標（特徴）の具体値を抽出する。そして、撮影画像について抽出された指標の具体値と、学習処理から得られた判断基準値とを比較し、撮影画像の自動判断を行う。自動判断処理で行われる演算は、主として図１に示す中央処理装置３０の撮影画像判断部５２で行われる。
As shown in FIG. 2, in the automatic determination process performed by the
図１に示す画像処理装置１０は、ＰＣ（パーソナルコンピュータ）等に搭載されてもよく、デジタルカメラや携帯電話など、デジタル画像を生成する撮像装置に搭載されても良い。また、特にデジタルカメラや携帯電話等に搭載される場合には、図１に示す画像処理装置１０から撮影画像判断部５２及び学習ファイル管理部６０を除いた画像判断装置の態様であっても良い。
The
画像処理装置１０は、入力装置１２、表示装置１４、記憶装置１６、画像メモリ１８、プログラムメモリ２０及び中央処理装置３０を有する。入力装置１２は、画像処理装置１０を使用する評価者が、評価者の判断や意志等を、画像処理装置１０に伝えるための操作部である。入力装置１２の例としては、画像処理装置１０がＰＣである場合には、マウス、キーボード、タッチパネル等が挙げられ、画像処理装置１０が撮像装置である場合には、十字キー、ダイアル、ボタン等が挙げられるが特に限定されない。入力装置１２は、評価者の操作に基づき、操作信号を中央処理装置３０に出力する。
The
表示装置１４は、撮影画像や表示画像等の各種画像や、操作メニュー等を表示するものである。表示装置１４の例としては、液晶パネル等が挙げられる。表示装置１４も、入力装置１２と同様に、中央処理装置３０によって制御される。記憶装置１６は、各種画像ファイルや、中央処理装置３０等を制御するためのプログラム及び当該プログラムに使用するデータ等が記憶される。記憶装置１６は、画像ファイルを記憶する第１記憶部１６ａと、学習処理部３１によって生成され学習ファイル管理部６０によって管理される学習ファイルを記憶する第２記憶部１６ｂとを含む。第１記憶部１６ａに記憶される画像ファイルには、学習処理部３１による学習処理に用いられる学習画像や、撮影画像判断部５２による自動判断処理によって判断される撮影画像等が含まれる。
The display device 14 displays various images such as captured images and display images, operation menus, and the like. Examples of the display device 14 include a liquid crystal panel. The display device 14 is also controlled by the
プログラムメモリ２０には、中央処理装置３０に学習処理や自動判断処理を行わせるためのプログラムが格納される。また、プログラムメモリ２０は、学習処理の際に、最終的な判断基準値を算出する過程で得られる学習要素を一時的に記憶する。
The
画像メモリ１８は、記憶装置１６に記憶されている画像データを、一時的に格納する。中央処理装置３０は、画像データに対して各種の演算処理を行う場合や、表示装置１４に画像を表示させるような場合において、画像データが画像メモリ１８に格納されるように制御を行う。
The
中央処理装置（ＣＰＵ）３０は、画像処理装置１０で行われる学習処理に必要な各種の演算処理を実施する。図２に関連して述べたように、画像処理装置１０において、中央処理装置３０は、学習処理部３１、学習ファイル管理部６０及び撮影画像判断部５２等として機能する。
The central processing unit (CPU) 30 performs various arithmetic processes necessary for the learning process performed in the
学習処理部３１は、主として図２に示す学習処理に関する演算を行う。図１に示すように、学習処理部３１は、画像サイズ取得部３４、学習画像決定部４２、画像表示演算部４４、特徴抽出部４０、画質調整部３８、判断入力処理部３２、学習演算部３６及び学習結果保存処理部４６を有する。
The
画像サイズ取得部３４は、画像処理装置１０のユーザーである評価者によって入力された画像鑑賞サイズ情報を取得する。また、画像サイズ取得部３４は、取得された画像鑑賞サイズ情報を、学習画像が表示装置１４に表示される際の表示条件（特に表示サイズ）に反映させる。画像鑑賞サイズ情報とは、学習処理の結果を用いて自動判断処理される予定の撮影画像が、どのような条件で鑑賞されるかということに関する情報である。
The image
画像サイズ取得部３４は、評価者に対して、入力装置１２を介して画像鑑賞サイズ情報を入力するように求める。画像サイズ取得部３４は、得られた画像鑑賞サイズ情報を用いて、学習画像が表示装置１４に表示される際の表示条件を決定する。画像表示演算部４４は、画像サイズ取得部２３によって決定された表示条件に従い、学習画像を表示装置１４に表示させる。例えば、画像サイズ取得部３４は、学習画像が、その後に行われる自動判断処理によって処理される撮影画像の使用条件と同様又は近似する条件で表示されるように表示条件を決定する。
The image
さらに一例を挙げると、画像サイズ取得部３４は、画像鑑賞サイズ情報が画像を所定のサイズに拡大して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて拡大する。反対に、画像サイズ取得部３４は、画像鑑賞サイズ情報が画像を縮小して鑑賞する旨の情報であれば、学習画像の表示サイズに関する表示条件を、これに合わせて縮小する。このような処理を行うことにより、画像処理装置１０における学習処理によって算出される判断基準値は、画像鑑賞サイズ情報を考慮したものとなり、評価者の要求する基準に高い精度で一致する。
For example, if the image viewing size information is information that the image is enlarged to a predetermined size for viewing, the image
学習画像決定部４２は、学習処理において、学習処理の対象となる学習画像を決定する。学習画像決定部４２は、評価者の指定した画像をそのまま学習画像とする場合や、評価者の指定した画像を画質調整した後の画像を学習画像とする場合がある。
The learning
画像表示演算部４４は、第１記憶部１６ａに保存等される学習画像を、表示装置１４に表示させる。学習画像を表示させる場合、画像表示演算部４４は、学習画像決定部４２及び画像サイズ取得部３４から、必要に応じて情報を受け取ることができる。すなわち、画像表示演算部４４は、学習画像決定部４２によって決定された学習画像を、画像サイズ取得部３４で決定された表示条件で、表示装置１４に表示させることができる。また、画像表示演算部４４は、表示装置１４に表示させる学習画像を、画像メモリ１８に一時的に格納させる。
The image
画質調整部３８は、学習画像の画像品質を調整することができる。画質調整部３８は、例えば、画質調整前の学習画像である元画像に対して、ブレ・ボケの軌跡を表すＰＳＦ（Point Spread Function）をコンボリューションすることにより、学習画像の画像品質を調整する。画質調整部３８によって調整される画像品質としては、エッジ量（特徴抽出部４０によって算出されるものと同様）等が挙げられるが、特に限定されない。
The image
画質調整部３８で使用されるボケのＰＳＦとしては、例えば以下の数式（１−１）で表されるガウス分布が挙げられる。ガウス分布を用いて画質調整を行う場合、画質調整部３８では、数式（１−２）で表すように、ガウス分布を正規化する。さらに、画質調整部３８では、正規化後のガウス分布を、画質調整前の学習画像の輝度Ｙ（ｉ，ｊ）にコンボリューションする。これにより、画質調整部３８は、数式（１−３）で示すように、画質調整後の学習画像の輝度Ｙgaussian(ｉ，ｊ）を得る。なお、数式（１−１）におけるσは標準偏差とし、ｘ＝４σとして計算を行うことができるが、特に限定されない。また、数式（１−３）におけるＴは転置を表す。
As the blurred PSF used in the image
学習処理において、画質調整部３８によって学習画像の画像品質が調整された場合、表示装置１４は、調整後の学習画像を表示する。画質調整部３８によって画像品質を調整することにより、画像処理装置１０は、同様の構図を有していながら、特定の画像品質に関する指標のみが異なる複数の画像を用いて、学習処理を行うことが可能である。したがって、画像処理装置１０は、特定の画像品質に関する指標以外の影響を排除又は抑制した学習処理を行うことが可能であり、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。なお、画質調整部３８が、学習画像のエッジ量が所定の値になるように調整を行った場合、特徴抽出部４０は、エッジ量の算出を行う必要がない。なぜなら、特徴抽出部４０は、画質調整部３８の設定値を読み出すだけで、学習画像のエッジ量を取得できるからである。
In the learning process, when the image quality of the learning image is adjusted by the image
特徴抽出部４０は、学習処理に使用される学習画像について、その画像品質に関する指標の具体値を取得する。特徴抽出部４０は、学習画像を解析することによって指標の具体値を得るだけではなく、記憶装置１６等に保存されるデータを読み出すことにより、学習画像の画像品質に関する指標の具体値を取得できる。
The
特徴抽出部４０で取得される画像品質の指標としては特に限定されず、特徴抽出部４０は、学習画像が成功画像であるか失敗画像であるかを判断するために有効な任意の指標の具体値を、取得することができる。特徴抽出部４０で取得される指標の例としては、エッジ量、シャッタ速度、ＥＶ値、学習画像を主成分分析部して得られる指標、ＤＣＴ係数、ウェーブレット係数、ＦＦＴ係数の実部などが挙げられる。
The index of image quality acquired by the
例えば、特徴抽出部４０は、画像品質の指標の１つであるエッジ量を、学習画像から算出する。特徴抽出部４０が、学習処理の対象となる学習画像からエッジ量の具体的な値（具体値）を取得する方法の一例を、数式（２−１）〜数式（２−４）を用いて以下に説明する。
For example, the
特徴抽出部４０は、数式（２−１）に示すように、学習画像におけるＲＧＢチャンネルの各数値から、各画素の輝度Ｙ（ｉ，ｊ）を算出する。さらに特徴抽出部４０は、数式（２−２）及び数式（２−３）に示すように、算出された輝度Ｙ（ｉ，ｊ）に対して、エッジ検出フィルタをコンボリューションし、ｘ方向及びｙ方向のエッジＧｘ（ｉ，ｊ）、Ｇｙ（ｉ，ｊ）を算出する。特徴抽出部４０は、エッジ検出フィルタとしてＳｏｂｅｌフィルタを用いる。ただし、特徴抽出部４０が使用するエッジ検出フィルタはこれに限定されず、Ｐｒｅｗｉｔｔフィルタ等を用いることもできる。さらに、特徴抽出部４０は、数式（２−４）に示すように、算出されたエッジＧｘ（ｉ，ｊ）、Ｇｙ（ｉ，ｊ）から、エッジ方向に依存しないエッジ量Ｇ（ｉ，ｊ）を算出する。
The
判断入力処理部３２は、表示装置１４によって表示された学習画像に対する評価者の判断結果を取得する。例えば、判断入力処理部３２は、評価者に対して、表示装置１４によって表示された学習画像が、成功画像であるか失敗画像であるか（すなわちＯＫかＮＧか）を判断するように求める。学習画像に対する評価者の判断結果は、入力装置１２を介して、判断入力処理部３２に入力される。
The determination
さらに、判断入力処理部３２は、得られた評価者の判断結果と、当該学習画像について特徴抽出部４０で抽出された画像品質に関する指標の具体値を対応させる。さらに、判断入力処理部３２は、学習画像の判断結果と指標の具体値とを対応させたものを学習要素として、プログラムメモリ２０に記憶させる。この場合、学習要素として記憶される指標の種類は、１種類であっても良く、２種類以上であっても良い。
Further, the determination
学習演算部３６は、プログラムメモリ２０に記憶された学習要素から、学習要素の具体値に対応する指標に関する評価者の判断基準値を決定する。例えば、学習処理で採用された指標がエッジ量である場合、プログラムメモリ２０に記憶された学習要素は、評価者が如何なるエッジ量の画像をＯＫと判断し、また如何なるエッジ量の画像をＮＧと判断したかを、具体的に記録したものである。学習演算部３６は、このような学習要素から、あるエッジ量の値を境界として評価者のＯＫ・ＮＧの判断が分かれるという前提の下に、その値を求め、判断基準値とする。
The learning
学習演算部３６は、例えば、線形判別（linear discriminant）等により、判断基準値を決定することができるが、判断基準値の決定方法は特に限定されない。なお、学習処理における判断基準値、具体値、暫定具体値には、一つの値によって構成されるスカラー量等だけでなく、複数の値によって構成される配列又はパターン識別の基準となるデータ等が含まれる。
The learning
学習結果保存処理部４６は、学習処理を終える前に学習ファイルを生成し、第２記憶部１６ｂに記憶させる。学習ファイルは、学習演算部３６において決定された判断基準値と、その判断基準値の決定に関連する情報である学習情報とを、互いに関連付けた状態で有するデータである。
The learning result
学習ファイルに含まれる学習情報としては、特に限定されないが、学習画像の画像名、サムネイル画像、画像サイズ、ファイルサイズ、圧縮条件及び撮影モードなど、学習画像に関する情報が挙げられる。また、学習情報には、学習画像の表示条件や評価者など、学習画像以外の学習条件が含まれても良い。さらに、学習情報には、判断基準値を取得した日時など、学習処理に関連する情報が含まれても良い。 The learning information included in the learning file is not particularly limited, but includes information related to the learning image such as the image name, thumbnail image, image size, file size, compression condition, and shooting mode of the learning image. In addition, the learning information may include learning conditions other than the learning image, such as a learning image display condition and an evaluator. Furthermore, the learning information may include information related to the learning process, such as the date and time when the determination reference value is acquired.
学習ファイル管理部６０は、学習結果保存処理部４６によって生成・保存された学習ファイルに対して行われる学習管理処理に関する演算処理を行う。学習ファイル管理部６０は、学習表示演算部６２と、警告処理演算部６４とを有する。
The learning file management unit 60 performs arithmetic processing related to the learning management processing performed on the learning file generated and stored by the learning result
学習表示演算部６２は、例えば評価者の求めに応じて、第２記憶部１６ｂに保存された学習ファイル内の学習情報を読み出し、表示装置１４に表示させることができる。図８は、学習表示演算部６２による学習情報の表示の一例である。評価者は、学習表示演算部６２による学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値がどのような特性を有するものであるのかを確認若しくは推測することができる。また、評価者は、学習情報を確認することにより、その学習ファイルに含まれる判断基準値がどのような自動判断処理を目的として作成されたものであるかを確認若しくは推測することができる。 The learning display calculation unit 62 can read out the learning information in the learning file saved in the second storage unit 16b and display the learning information on the display device 14 in response to, for example, an evaluator's request. FIG. 8 is an example of learning information displayed by the learning display calculation unit 62. The evaluator can confirm or estimate what kind of characteristic the criterion value included in the learning file has by confirming the display of the learning information by the learning display calculation unit 62. Further, the evaluator can confirm or infer what kind of automatic determination process the determination reference value included in the learning file is created by confirming the learning information.
学習表示演算部６２および表示装置１４によって行われる学習情報の表示形式は、図８に示すような表形式に限定されず、図９に示すようなグラフ形式等、他の表示形式であっても良い。図９に示す例では、学習表示演算部６２は、学習画像の撮影モードに関する情報を用い、判断基準値の決定に使用された学習画像群が、どのような撮影モードの画像で構成されているのか、その構成割合を表示したものである。評価者は、このような学習情報の表示を確認することにより、その学習ファイルに含まれる判断基準値の内容及び作成意図等を確認若しくは推測することができる。 The display format of the learning information performed by the learning display calculation unit 62 and the display device 14 is not limited to the table format as shown in FIG. 8, and may be other display formats such as a graph format as shown in FIG. good. In the example illustrated in FIG. 9, the learning display calculation unit 62 uses information regarding the shooting mode of the learning image, and the learning image group used to determine the determination reference value is configured with an image in any shooting mode. Or the composition ratio is displayed. By checking the display of such learning information, the evaluator can confirm or infer the contents of the criterion value included in the learning file and the creation intention.
警告処理演算部６４は、撮影画像判断部５２が画像ファイルの判断基準値を用いて自動判断処理を行う時に、撮影画像判断部によってその判断基準値が最後に使用された日時から所定の時間が経過している場合には、表示装置１４に警告を表示させることができる。図１０は、警告処理演算部６４による警告表示の一例である。このような警告表示が行われることにより、画像処理装置１０は、評価者の意図しない自動判断処理が行われることを防止できる。なぜなら、評価者の記憶は時間の経過にしたがって薄れていくため、ある判断基準値による自動判断処理が長い間行われていなかった場合、その学習ファイルに含まれる判断基準値の特性又は意味内容を、評価者が忘れている可能性が高いと推測されるからである。
When the captured
なお、学習ファイル管理部６０は、学習表示演算部６２や警告処理演算部６４による処理の他にも、その他の学習管理処理を行うことができる。例えば、学習ファイル管理部６０は、学習ファイルの判断基準値が撮影画像判断部５２によって使用された日時など、学習ファイルの使用履歴を管理することができる。この場合、学習ファイル管理部６０は、学習ファイルの使用履歴を、学習ファイルの内に保存するか、又は、学習ファイルに関連させて第２記憶部１６ｂに記憶させることができる。
Note that the learning file management unit 60 can perform other learning management processes in addition to the processes performed by the learning display calculation unit 62 and the warning process calculation unit 64. For example, the learning file management unit 60 can manage the usage history of the learning file such as the date and time when the determination reference value of the learning file was used by the captured
撮影画像判断部５２は、学習結果保存処理部４６によって生成・保存され、学習ファイル管理部６０によって管理される学習ファイルに含まれる判断基準値を用いて、撮影画像の自動判断処理（図２参照）に関する演算処理を行うことができる。図１に示すように、撮影画像判断部５２は、第２特徴抽出部５６と、比較部５４を有している。
The captured
第２特徴抽出部５６は、自動判断処理の対象となる撮影画像について、画像品質に関する指標（第２指標）の具体値（第２具体値）を取得することができる。第２特徴抽出部５６は、指標を取得する対象が学習画像ではなく、自動判断処理の対象となる撮影画像である点を除き、特徴抽出部４０と同様である。
The second
比較部５４は、自動判断処理の対象となる撮影画像の指標（第２指標）の具体値（第２具体値）と、学習処理によって学習演算部３６によって決定された判断基準値とを比較し、撮影画像が成功画像であるか失敗画像であるか（すなわちＯＫかＮＧか）を判断する。
The
図３は、図１に示す画像処理装置１０で行われる学習処理の第１の例を表すフローチャートである。ステップＳ００１では、画像処理装置１０による学習処理が開始される。
FIG. 3 is a flowchart showing a first example of learning processing performed by the
ステップＳ００２では、図１に示す学習処理部３１の画像サイズ取得部３４が、画像鑑賞サイズ情報を取得する。画像サイズ取得部３４は、表示装置１４に選択メニューを表示する等の方法により、評価者に画像鑑賞サイズ情報の入力を促す。評価者は、印刷サイズ（Ｌ版、はがきサイズ、Ａ４等）や、表示サイズ（１００％、５０％、ブログ用）等の画像鑑賞サイズ情報を、入力装置１２を介して入力する。さらに、画像サイズ取得部３４は、取得した画像鑑賞サイズ情報に基づき、ステップＳ００５において行われる学習画像の表示処理における表示条件を決定する。
In step S002, the image
例えば、取得された画像鑑賞サイズ情報が画像を２００％に拡大して鑑賞する旨の情報であれば、画像サイズ取得部３４は、ステップＳ００５において学習画像が２００％で表示されるように、表示条件を決定する。画像サイズ取得部３４は、決定された表示条件を、画像表示演算部４４に出力する。これにより、画像表示演算部４４は、鑑賞サイズ情報に基づく表示条件で、表示装置１４に学習画像を表示させることができる。
For example, if the acquired image viewing size information is information indicating that the image is to be viewed at 200%, the image
ステップＳ００３では、図１に示す学習画像決定部４２が、学習画像を決定する。学習画像決定部４２は、表示装置１４にコメントを表示する等の方法により、評価者に対して、学習処理で使用する学習画像を指定するように促す。評価者は、予め記憶装置１６の第１記憶部１６ａに用意されている画像や、評価者自身が撮影した撮影画像であって第１記憶部１６ａに保存されている画像を、学習画像として指定する。学習画像決定部４２は、評価者によって指定された学習画像を、学習処理に使用する学習画像として特定する。さらに、学習画像決定部４２は、決定された学習画像を、画像メモリ１８に一時的に格納させる。
In step S003, the learning
この際、評価者は、１つの学習画像を指定しても良いし、複数の学習画像を指定しても良い。また、第１記憶部１６ａには、予め学習処理に適したサンプル画像が保存されていても良く、評価者は、このようなサンプル画像の中から、学習画像を選択しても良い。さらに、第１記憶部１６ａに保存されるサンプル画像は、撮影シーン（夜景、マクロ、スポーツ等）が異なる複数の画像で構成されていても良い。これにより、評価者は、自動判断処理される予定の撮影画像と同じ撮影シーンの画像を、学習画像として指定することができる。なお、サンプル画像の画像品質は、適度なばらつきを有していることが好ましい。 At this time, the evaluator may specify one learning image or a plurality of learning images. In addition, sample images suitable for learning processing may be stored in the first storage unit 16a in advance, and the evaluator may select a learning image from such sample images. Furthermore, the sample image stored in the first storage unit 16a may be composed of a plurality of images with different shooting scenes (night view, macro, sport, etc.). As a result, the evaluator can specify an image of the same shooting scene as the captured image to be automatically determined as a learning image. In addition, it is preferable that the image quality of a sample image has moderate dispersion | variation.
ステップＳ００４では、特徴抽出部４０が、ステップＳ００３で決定された学習画像について、画像品質に関する指標の具体値を取得する。学習処理で使用される指標には様々なものが存在するが、図３に示す第１の例では、画像品質に関する指標として、エッジ量とシャッタスピードが用いられる場合を例に説明を行う。ステップＳ００４では、特徴抽出部４０が、学習画像のエッジ量を算出するとともに、学習画像に関連して第１記憶部１６ａに保存されている情報を検索し、学習画像のシャッタスピードを取得する。特徴抽出部４０で取得されたエッジ量及びシャッタスピードの具体値は、プログラムメモリ２０に一時的に格納されても良い。
In step S004, the
ステップＳ００５では、画像表示演算部４４が、ステップＳ００３で学習画像決定部４２によって決定された学習画像を、表示装置１４に表示させる。この際、画像表示演算部４４は、ステップＳ００２で画像サイズ取得部３４によって決定された表示条件に基づき、学習画像を表示させる。
In step S005, the image
ステップＳ００６では、学習処理部３１の判断入力処理部３２が、表示装置１４によって表示された学習画像に対する評価者の判断結果を取得する。判断入力処理部３２は、評価者に対して、表示装置１４によって表示された学習画像がＯＫかＮＧかを入力するように求め、入力された情報を取得することにより、評価者の判断結果を取得する。
In step S006, the determination
ステップＳ００７では、判断入力処理部３２は、ステップＳ００６で得られた評価者の判断結果と、ステップＳ００４で取得された学習画像のエッジ量及びシャッタスピードの具体値を対応させ、学習要素を生成する。また、判断入力処理部３２は、学習画像の判断結果とエッジ量及びシャッタスピードとを対応させた学習要素を、プログラムメモリ２０に記憶させる。
In step S007, the determination
ステップＳ００８では、学習処理部３１は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部３１は、学習処理を終了させる旨の入力情報を取得した場合にはステップＳ００９の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部３１は、ステップＳ００３の処理に戻り、学習画像を変えてステップＳ００３〜ステップＳ００７の処理を繰り返す。
In step S008, the
ステップＳ００９では、学習処理部３１の学習演算部３６が、プログラムメモリ２０に記憶された学習要素から、エッジ量及びシャッタスピードに関する評価者の判断基準値を決定する。図４は、学習演算部３６で行われる判断基準値の決定において行われる処理を、概念的に表したものである。図４に示すグラフは、横軸をエッジ量（指標Ａ）とし、縦軸をシャッタスピード（指標Ｂ）として、学習要素をプロットしたものである。図４に示す黒丸及び白丸は、ステップＳ００７においてプログラムメモリ２０に記憶された学習要素に対応している。
In step S <b> 009, the learning
図４に示すグラフでは、１１個の学習要素がプロットされており、これは、ステップＳ００９までに、１１個の学習画像について、学習画像の決定（ステップＳ００３）から学習要素の記憶（ステップＳ００７）までの処理が行われたことを意味している。図４に示すグラフにおいて、白丸であるか黒丸であるかは、学習要素における学習画像の判断結果に対応している。すなわち、白丸は、ステップＳ００６において評価者がＯＫと判断した学習要素であり、黒丸はＮＧと判断した学習要素である。また、各プロットの横軸の位置は、学習要素のエッジ量（指標Ａ）の具体値に対応しており、各プロットの縦軸の位置は、学習要素のシャッタスピード（指標Ｂ）の具体値に対応している。 In the graph shown in FIG. 4, eleven learning elements are plotted. This means that, for eleven learning images, learning image determination (step S003) to learning element storage (step S007) is performed by step S009. This means that the process up to has been performed. In the graph shown in FIG. 4, whether it is a white circle or a black circle corresponds to the determination result of the learning image in the learning element. That is, the white circle is a learning element that the evaluator determines to be OK in step S006, and the black circle is a learning element that is determined to be NG. Further, the position of the horizontal axis of each plot corresponds to the specific value of the edge amount (index A) of the learning element, and the position of the vertical axis of each plot represents the specific value of the shutter speed (index B) of the learning element. It corresponds to.
学習演算部３６は、線形判別により、評価者は、直線７０より右下の領域にある画像をＯＫと判断し、直線７０より左上の領域にある画像をＮＧと判断すると認定する。さらに、学習演算部３６は、評価者がエッジ量（指標Ａ）及びシャッタスピード（指標Ｂ）に関して、画像をＯＫまたはＮＧに分類する境界である判断基準値は、直線７０であると決定する。図４に示す場合において、ステップＳ００９で算出される判断基準値は、一次式の形で表される。
The learning
ステップＳ０１０では、学習結果保存処理部４６が、ステップＳ００９において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部４６は、学習ファイルを第２記憶部１６ｂに記憶させる。
In step S010, the learning result
ステップＳ０１１では、中央処理装置３０が、一連の学習処理を終了させる。
In step S011, the
このように、図１に示す画像処理装置１０は、図３で示すような一連の学習処理を行うことにより、特定の個人である評価者の判断傾向を、学習・認識することができる。したがって、画像処理装置１０は、評価者個人が求める判断基準に対して高い精度で一致する判断基準値を、評価者になんら専門知識等を要求することなく、決定することができる。
As described above, the
また、画像処理装置１０は、画像サイズ取得部３４によって取得された画像鑑賞サイズ情報を、学習画像を表示する際の表示条件に反映させている。これにより、画像処理装置１０は、学習結果を用いて行われる自動判断処理の対象となる撮影画像の用途を考慮に入れて学習処理を行うことが可能である。したがって、画像処理装置１０は、目的に応じた判断基準値を決定することができる。
In addition, the
ここで、画像処理装置１０における学習処理によって算出された判断基準値は、上述のように多くの要因を複合的に判断して決定されるものである。したがって、たとえ判断基準値自体を評価者が見ることができたとしても、評価者が判断基準値の意味内容（その判断基準値を用いれば、どのような自動判断処理が行われるのかということ）を認識することは困難である。また、判断基準値は、一つの値であるとは限らず、図３で示すような一次式の形であったり、さらに複雑な数値の集まりであったりするため、評価者に分かりやすく表示することが難しい場合もある。
Here, the determination reference value calculated by the learning process in the
そこで、画像処理装置１０は、判断基準値とその判断基準値の決定に関連する情報である学習情報とを互いに関連付け、学習ファイルとして保存し、これを学習ファイル管理部６０によって管理できるようにした。これにより、評価者は、必要に応じて、学習ファイル管理部６０の学習表示演算部６２に、学習ファイルに含まれる学習情報を表示させることができる。したがって、評価者は、学習情報を確認することにより、その判断基準値の意味内容を認識することができる。また、評価者は、既に作成した学習ファイルに含まれる判断基準値の意味内容を認識できるため、自動判別処理を行う際に、過去に作成した学習ファイルを有効活用することが可能である。したがって、画像処理装置１０を用いる評価者は、自動判別処理を行う際に、新たに学習処理を行う手間を省くことができ、手軽に適切な自動判別処理を行うことができる。
Therefore, the
図５は、図１に示す画像処理装置１０で行われる学習処理の第２の例を表すフローチャートである。図５におけるステップＳ１０１及びステップＳ１０２は、図３において説明したステップＳ００１及びステップＳ００２と同様であるため、説明を省略する。
FIG. 5 is a flowchart illustrating a second example of learning processing performed by the
ステップＳ１０３では、図１に示す学習画像決定部４２が、学習画像（元画像）を決定する。学習画像決定部４２は、評価者に対して、予め用意されたサンプル画像から、学習処理に仕様される学習画像（元画像）を選択するように求め、評価者によって選択された画像を、学習画像（元画像）として特定する。
In step S103, the learning
この際、評価者は、１つの学習画像（元画像）を指定する。また、学習画像（元画像）として予め用意されるサンプル画像は、ステップＳ１０４で行われる画質調整後における画像品質の指標（例えばエッジ量）の具体値が、予め解っているものであることが好ましい。なお、学習画像（元画像）は、画像メモリ１８に一時的に格納される。
At this time, the evaluator designates one learning image (original image). The sample image prepared in advance as a learning image (original image) preferably has a specific value of an image quality index (for example, an edge amount) obtained after image quality adjustment performed in step S104. . Note that the learning image (original image) is temporarily stored in the
ステップＳ１０４では、図１に示す学習処理部３１の画質調整部３８が、ステップＳ１０４で特定された学習画像（元画像）の画像品質を調整し、学習画像（画質調整後）を生成する。画質調整部３８は、ブレ・ボケの軌跡を表すＰＳＦ（Point Spread Function）をコンボリューションすることにより、学習画像（元画像）の画像品質を調整し、学習画像（画質調整後）を生成する。さらに、学習画像決定部４２は、画質調整部３８によって生成された学習画像（画質調整後）を、ステップＳ１０５〜ステップＳ１０９で行われる処理に用いられる学習画像として特定する。
In step S104, the image
図６は、図５に示す学習処理における学習画像の画像品質の変更手順を説明した概念図である。ステップＳ１０３で選択された学習画像（元画像）は、第１回目のステップＳ１０４においては、その画像品質の指標（図６に示す例ではエッジ量）が、統計的に算出された一般的な判断基準値（点７６）に最も近い値（点Ｄ）になるように調整される。すなわち、画質調整部３８は、画質調整によって生成される学習画像（画質調整後）のエッジ量の具体値を点Ｄに設定し、画質調整を行う。なお、学習画像（画質調整後）のエッジ量（ステップＳ１０４で実施される画質調整の設定値）は、プログラムメモリ２０に格納される。
FIG. 6 is a conceptual diagram illustrating a procedure for changing the image quality of the learning image in the learning process shown in FIG. In the first step S104, the learning image (original image) selected in step S103 is a general determination in which the image quality index (edge amount in the example shown in FIG. 6) is statistically calculated. Adjustment is made so that the value (point D) closest to the reference value (point 76) is obtained. That is, the image
ステップＳ１０５では、特徴抽出部４０が、プログラムメモリ２０に格納されている学習画像（画質調整後）のエッジ量を取得する。なお、図５及び図６に示す第２の例では、画像品質に関する指標として、エッジ量のみが用いられる場合を例に説明を行う。
In step S <b> 105, the
図５に示すステップＳ１０６〜ステップＳ１０８に関する処理は、図３において説明したステップＳ００５〜ステップＳ００７と同様であるため、説明を省略する。 The processes related to steps S106 to S108 shown in FIG. 5 are the same as steps S005 to S007 described in FIG.
ステップＳ１０９では、学習処理部３１は、プログラムメモリ２０に格納されている学習要素を調査し、既に算出された学習要素によって判断基準値を決定しても良いか否かを判断する。例えば、学習処理部３１は、プログラムメモリ２０に格納されている学習要素に、評価者による判断がＯＫのものとＮＧのものが両方とも含まれている場合には、既に算出された学習要素によって判断基準値を決定しても良いと判断する。その反対に、学習処理部３１は、プログラムメモリ２０に格納されている学習要素に、評価者による判断がＯＫ及びＮＧのもののうちいずれか一方が含まれていない場合には、判断基準値を決定すべきでないと判断する。
In step S109, the
ステップＳ１０９において、学習処理部３１は、判断基準値を決定しても良いと判断した場合には、ステップＳ１１１の処理に進む。その反対に、学習処理部３１は、判断基準値を決定すべきでないと判断した場合には、ステップＳ１１０の処理に進む。
In step S109, when the
ステップＳ１１０では、学習処理部３１の画質調整部３８が、ステップＳ１０４で実施される画質調整の設定値を変更する。図６のケース１は、第１回目の画質調整（ステップＳ１０４）の設定値が点Ｄであり、その学習画像（画質調整後）についてステップＳ１０７で取得された評価者の判断がＯＫであった場合である。このような場合、ステップＳ１１０では、２回目の画質調整（ステップＳ１０４）の設定値は、第１回目の設定値より悪い（よりエッジ量の少ない）点Ｃに変更される。図６のケース２は、ケース１とは反対に、第１回目の評価者の判断がＮＧであった場合であり、２回目の画質調整（ステップＳ１０４）の設定値は、第１回目の設定値より良い（よりエッジ量の多い）点Ｅに変更される。
In step S110, the image
ステップＳ１１０で画質調整の設定値を変更した後は、図６に示すようにステップＳ１０４〜ステップＳ１０８の処理を繰り返す。 After the image quality adjustment setting value is changed in step S110, the processing in steps S104 to S108 is repeated as shown in FIG.
ステップＳ１１１では、学習処理部３１は、評価者に対して、学習処理を終了するか否かを入力するように求める。学習処理部３１は、学習処理を終了させる旨の入力情報を取得した場合にはステップＳ１１２の処理を行う。それに対し、学習処理を続ける旨の入力情報を取得した場合には、学習処理部３１は、ステップＳ１０３の処理に戻り、学習画像（元画像）を変えてステップＳ１０３〜ステップＳ１１０の処理を繰り返す。
In step S111, the
ステップＳ１１２では、学習処理部３１の学習演算部３６が、プログラムメモリ２０に記憶された学習要素から、エッジ量に関する評価者の判断基準値を決定する。図６のケース１では、最後にＯＫと判断された学習画像のエッジ量が点Ｄであり、初めてＮＧと判断された学習画像のエッジ量が点Ｃである。この場合、学習演算部３６は、点Ｃと点Ｄの中間点である点Ｐを、判断基準値とする。図６のケース２では、最後にＮＧと判断された学習画像のエッジ量が点Ｅであり、初めてＯＫと判断された学習画像のエッジ量が点Ｆである。この場合、学習演算部３６は、点Ｅと点Ｆの中間点である点Ｑを、判断基準値とする。
In step S <b> 112, the learning
ステップＳ１１３では、学習結果保存処理部４６が、ステップＳ１１９において算出された判断基準値とその判断基準値の決定に関連する学習情報に基づき、学習ファイルを生成する。さらに、学習結果保存処理部４６は、学習ファイルを第２記憶部１６ｂに記憶させる。
In step S113, the learning result
ステップＳ１１４では、中央処理装置３０が、一連の学習処理を終了させる。
In step S114, the
このように、図１に示す画像処理装置１０は、画質調整部３８によって画像品質を調整することにより、同様の構図でありながら画像品質のみが異なる学習画像を用いて、学習処理を行うことができる。したがって、画像処理装置１０は、特定の画像品質に関する指標以外の影響を抑制し、評価者の要求する基準に高い精度で一致する判断基準値を得ることができる。
As described above, the
また、画像処理装置１０は、画質調整部３８によって画質調整を行うことにより、学習画像の指標の具体値を、適度に分散させることができる。これにより、画像処理装置１０は、評価者が学習処理に要する時間及び手間を減らすことができる。また、画像処理装置１０は、第１回目の画質調整で得られる学習画像（画質調整後）のエッジ量を、統計的に算出された一般的な判断基準値に近い値とすることによって、評価者が学習処理に要する時間及び手間を更に減らすことができる。
Further, the
また、学習処理後において、評価者は、学習ファイルに含まれる学習情報を確認することにより、その判断基準値の意味内容を認識することができる。例えば、評価者は、学習情報に含まれる学習画像のサムネイル画像を見ることにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、撮影シーンが同じであるなど、自動判断処理の対象となる撮影画像と共通点の多い画像を、学習画像として選択していると考えられるからである。 Further, after the learning process, the evaluator can recognize the meaning content of the determination reference value by confirming the learning information included in the learning file. For example, the evaluator recognizes what kind of automatic determination process the determination reference value of the learning file was created for by using the thumbnail image of the learning image included in the learning information. Can do. This is because it is considered that the evaluator selects an image having a lot in common with the captured image that is the target of the automatic determination process, such as the same captured scene, as the learning image.
また、例えば、評価者は、学習情報に含まれる学習画像の画像鑑賞サイズ情報を確認することにより、どのような自動判断処理に用いることを目的として、その学習ファイルの判断基準値を作成したのかを、認識することができる。なぜなら、評価者は、自動判断処理の対象となる撮影画像の鑑賞方法を考慮して、画像鑑賞サイズ情報を指定していると考えられるからである。 In addition, for example, the evaluator created the determination reference value of the learning file for the purpose of using the automatic determination process by confirming the image viewing size information of the learning image included in the learning information. Can be recognized. This is because it is considered that the evaluator designates the image viewing size information in consideration of the viewing method of the captured image that is the target of the automatic determination process.
図７は、図１に示す自動判断処理の一例を表すフローチャートである。図１に示すステップＳ２０１では、画像処理装置１０による自動判断処理が開始される。
FIG. 7 is a flowchart showing an example of the automatic determination process shown in FIG. In step S201 shown in FIG. 1, an automatic determination process by the
ステップＳ２０２では、撮影画像判断部５２が、自動判断処理に用いる判断基準値を取得する。撮影画像判断部５２は、評価者に対して、自動判断処理に使用する判断基準値又はこれを含む学習ファイルを指定するように求める。さらに、撮影画像判断部５２は、評価者によって指定された判断基準値を、第２記憶部１６ｂから読み出す。
In step S202, the captured
ステップＳ２０３では、学習ファイル管理部６０の警告処理演算部６４が、ステップＳ２０２で読み出された判断基準値が古いものであるか否かを判断する。具体的には、警告処理演算部６４は、第２記憶部１６ｂに保存されている判断基準値の最終使用日時を読み出し、最終使用日時から所定の時間が経過しているか否かを判断する。 In step S203, the warning processing calculation unit 64 of the learning file management unit 60 determines whether or not the determination reference value read in step S202 is old. Specifically, the warning processing calculation unit 64 reads the last use date and time of the determination reference value stored in the second storage unit 16b, and determines whether or not a predetermined time has elapsed from the last use date and time.
警告処理演算部６４は、最終使用日時から所定の時間が経過している場合、判断基準値が古いものであると判断する。この場合、自動判断処理は、ステップＳ２０４へ進む。これに対して、警告処理演算部６４は、最終使用日時から所定の時間が経過していない場合、判断基準値は古いものではないと判断する。この場合、自動判断処理は、ステップＳ２０６へ進む。 The warning processing calculation unit 64 determines that the determination reference value is old when a predetermined time has elapsed since the last use date and time. In this case, the automatic determination process proceeds to step S204. On the other hand, when the predetermined time has not elapsed since the last use date and time, the warning processing calculation unit 64 determines that the determination reference value is not old. In this case, the automatic determination process proceeds to step S206.
ステップＳ２０４では、学習ファイル管理部６０の警告処理演算部６４が、表示装置１４に、図１０に示すような警告を表示させる。さらに、評価者が学習内容の確認を求める場合は、学習ファイル管理部６０の学習表示演算部６２が、学習情報を表示装置１４に表示させる。 In step S204, the warning processing calculation unit 64 of the learning file management unit 60 causes the display device 14 to display a warning as shown in FIG. Further, when the evaluator requests confirmation of the learning content, the learning display calculation unit 62 of the learning file management unit 60 displays the learning information on the display device 14.
さらにステップＳ２０５では、警告処理演算部６４は、評価者の入力結果に基づき、自動判断処理を続行するか否かを決定する。警告処理演算部６４は、評価者に対して自動判断処理を続行するか否かを入力するように求め、自動判断処理を続行する旨の入力を受けた場合は、ステップＳ２０６へ処理を進める。その反対に、警告処理演算部６４が自動判断処理を中止する旨の入力を受けた場合は、ステップＳ２１３へ処理を進める。 Further, in step S205, the warning process calculation unit 64 determines whether or not to continue the automatic determination process based on the input result of the evaluator. The warning process calculation unit 64 requests the evaluator to input whether or not to continue the automatic determination process, and when receiving an input to continue the automatic determination process, the process proceeds to step S206. On the other hand, when the warning process calculation unit 64 receives an input to stop the automatic determination process, the process proceeds to step S213.
ステップＳ２０６では、撮影画像判断部５２が、自動判断処理の対象となる撮影画像を決定する。撮影画像判断部５２は、表示装置１４にコメントを表示する等の方法により、評価者に対して、自動判断処理の対象となる撮影画像を指定するように促す。評価者は、既に記憶装置１６に保存されている撮影画像や、新たに記憶装置１６に保存した撮影画像を指定する。撮影画像判断部５２は、評価者によって指定された撮影画像を、自動判断処理の対象となる撮影画像として特定する。さらに、撮影画像判断部５２は、決定された撮影画像を、画像メモリ１８に一時的に格納させる。なお、この際、評価者は、１つの撮影画像を指定しても良いし、複数の撮影画像を指定しても良い。
In step S <b> 206, the captured
ステップＳ２０７では、撮影画像判断部５２における第２特徴抽出部５６が、ステップＳ２０６で決定された撮影画像について、画像品質に関する指標（第２指標）の具体値（第２具体値）を取得する。ステップＳ２０７で取得される具体値（第２具体値）は、ステップＳ２０２で取得された判断基準値と比較できるように、当該判断基準値を決定した際の学習処理において使用された指標と同一の指標に関する具体値であることが好ましい。例えば、判断基準値を決定した学習処理において使用された指標がエッジ量及びシャッタスピードであれば、第２特徴抽出部５６は、撮影画像のエッジ量及びシャッタスピードを取得する。
In step S207, the second
ステップＳ２０８では、撮影画像判断部５２における比較部５４が、ステップＳ２０７で取得された撮影画像の具体値（第２具体値）と、ステップＳ２０２で取得された判断基準値を比較する。これにより、比較部５４は、自動判断処理の対象である撮影画像がＯＫかＮＧかを判断する。ステップＳ２０８において、比較部５４が撮影画像はＯＫだと判断した場合はステップＳ２０９へ進み、撮影画像はＮＧだと判断した場合はステップＳ２１０へ進む。
In step S208, the
ステップＳ２０９及びステップＳ２１０では、撮影画像判断部５２が、自動判断処理の結果に基づき、撮影画像の分類を行う。すなわち、ステップＳ２０９では、撮影画像判断部５２は、ＯＫと判断された撮影画像を、記憶装置１６に作成されたＯＫ画像フォルダに分類する。また、ステップＳ２１０では、撮影画像判断部５２は、ＮＧと判断された撮影画像を、記憶装置１６に作成されたＮＧ画像フォルダに分類する。なお、ステップＳ２１０において、撮影画像判断部５２は、ＮＧと判断された撮影画像を記憶装置１６から削除する処理を行っても良い。
In step S209 and step S210, the captured
ステップＳ２１１では、撮影画像判断部５２は、評価者に対して、自動判断処理を終了するか否かを入力するように求める。撮影画像判断部５２は、自動判断処理を終了させる旨の入力情報を取得した場合には、ステップＳ２１２の処理へ進む。それに対し、自動判断処理を続ける旨の入力情報を取得した場合には、撮影画像判断部５２は、ステップＳ２０６の処理に戻り、対象となる撮影画像を変えてステップＳ００６〜ステップＳ２１０の処理を繰り返す。
In step S211, the captured
ステップＳ２１２では、学習ファイル管理部６０が、自動判断処理に用いた判断基準値の最終使用日時を、第２記憶部１６ｂに保存する。さらに、ステップＳ２１３では、中央処理装置３０が、一連の自動判断処理を終了させる。
In step S212, the learning file management unit 60 stores the last use date and time of the determination reference value used in the automatic determination process in the second storage unit 16b. Furthermore, in step S213, the
このように、図１に示す画像処理装置１０は、特定の個人である評価者の判断傾向を、学習・認識し、学習処理によって得られた判断基準値に基づき、撮影画像の自動判断処理を行うことができる。したがって、画像処理装置１０は、評価者個人が求める判断基準に対して高い精度で一致する判断基準に基づく自動判断処理を行うことができる。
As described above, the
また、画像処理装置１０は、学習ファイル管理部６０の警告処理演算部６４が警告を行うことにより、評価者の意図しない自動判断処理が行われることを防止することができる。
In addition, the
１０…画像処理装置
１２…入力装置
１４…表示装置
１６…記憶装置
１６ａ…第１記憶部
１６ｂ…第２記憶部
１８…画像メモリ
２０…プログラムメモリ
３０…中央処理装置
３１…学習処理部
３２…判断入力処理部
３４…画像サイズ取得部
３６…学習演算部
３８…画質調整部
４０…特徴抽出部
４２…学習画像決定部
４４…画像表示演算部
４６…学習結果保存処理部
５２…撮影画像判断部
５４…比較部
６０…学習ファイル管理部
６２…学習表示演算部
６４…警告処理演算部
DESCRIPTION OF
Claims (7)
学習画像を記憶する第１記憶部と、
前記学習画像を前記表示部に表示させる画像表示演算部と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する入力部と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する学習演算部と、
前記判断基準値と、当該判断基準値の決定に関連する１以上の情報である学習情報とを、互いに関連付けて記憶する第２記憶部と、
前記学習情報を、前記表示部に表示させる学習表示演算部と、
を有する画像判断装置。 A display unit capable of displaying images and sentences;
A first storage unit for storing a learning image;
An image display calculation unit for displaying the learning image on the display unit;
An input unit for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
Based on the learning image and the determination result, a learning calculation unit that determines a determination reference value related to the image quality of the evaluator;
A second storage unit that stores the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
A learning display calculation unit for displaying the learning information on the display unit;
An image determination apparatus having
前記画像表示演算部は、前記画像鑑賞サイズ情報を、前記学習画像の表示条件に反映させることを特徴とする請求項１又は請求項２に記載の画像判断装置。 An image size acquisition unit that acquires image viewing size information selected by the evaluator;
The image determination apparatus according to claim 1, wherein the image display calculation unit reflects the image appreciation size information in display conditions of the learning image.
前記判断基準値に基づき、撮影された撮影画像の自動判断を行う撮影画像判断部と、を有する画像処理装置。 An image determination apparatus according to any one of claims 1 to 3,
An image processing apparatus comprising: a captured image determination unit that automatically determines a captured image based on the determination reference value.
学習画像を表示部に表示させる手順と、
前記表示部に表示された前記学習画像に対する評価者の判断結果を取得する手順と、
前記学習画像及び前記判断結果に基づき、前記評価者の画像品質に関する判断基準値を決定する手順と、
前記判断基準値と、当該判断基準値の決定に関連する１以上の情報である学習情報とを、互いに関連付けて記憶する手順と、
前記学習情報を、前記表示部に表示させる手順と、を実行させるための画像判断プログラム。 On the computer,
The procedure for displaying the learning image on the display unit,
A procedure for obtaining a judgment result of an evaluator for the learning image displayed on the display unit;
A procedure for determining a judgment reference value related to the image quality of the evaluator based on the learning image and the judgment result;
A procedure for storing the determination reference value and learning information that is one or more pieces of information related to determination of the determination reference value in association with each other;
An image determination program for causing the learning information to be displayed on the display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046585A JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046585A JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012185552A true JP2012185552A (en) | 2012-09-27 |
Family
ID=47015611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011046585A Withdrawn JP2012185552A (en) | 2011-03-03 | 2011-03-03 | Image determination device, image processor, camera, and image determination program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012185552A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978812A (en) * | 2017-12-24 | 2019-07-05 | 奥林巴斯株式会社 | Camera system, learning device, photographic device and learning method |
| CN110910340A (en) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | Annotation device and annotation method |
| WO2021015337A1 (en) * | 2019-07-24 | 2021-01-28 | 엘지전자 주식회사 | Method for switching between front camera and rear camera in mobile terminal and same mobile terminal |
-
2011
- 2011-03-03 JP JP2011046585A patent/JP2012185552A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978812A (en) * | 2017-12-24 | 2019-07-05 | 奥林巴斯株式会社 | Camera system, learning device, photographic device and learning method |
| CN110910340A (en) * | 2018-08-28 | 2020-03-24 | 奥林巴斯株式会社 | Annotation device and annotation method |
| WO2021015337A1 (en) * | 2019-07-24 | 2021-01-28 | 엘지전자 주식회사 | Method for switching between front camera and rear camera in mobile terminal and same mobile terminal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017261537B2 (en) | Automated selection of keeper images from a burst photo captured set | |
| US8081227B1 (en) | Image quality visual indicator | |
| JP5403838B2 (en) | Digital image organization by correlating faces | |
| JP2004253970A (en) | Image processor, method therefor, and program thereof | |
| JP4492555B2 (en) | Printing device | |
| JP2007096405A (en) | Method, device and program for judging direction of camera shake | |
| JP2006229682A (en) | Print recommendation picture selection device, method, and program | |
| US20060082672A1 (en) | Filtering digital images | |
| JP2012185552A (en) | Image determination device, image processor, camera, and image determination program | |
| CA3077974A1 (en) | Photography session assistant | |
| JP2015008385A (en) | Image selection device, imaging device, and image selection program | |
| JP4639043B2 (en) | Moving picture editing apparatus and moving picture editing method | |
| JP2018084861A (en) | Information processing apparatus, information processing method and information processing program | |
| JP2004282570A (en) | Image processor | |
| US9628715B2 (en) | Photographing equipment, photographing assisting method, display apparatus and display method | |
| JP2009218806A (en) | Device and method for processing image, and program therefor | |
| JP2005182745A (en) | Image processing method, device and program | |
| JP2012168641A (en) | Image determination apparatus, image processor, camera and image determination program | |
| JP2003087442A (en) | Image evaluation method and apparatus, and program | |
| JP2023063807A (en) | Image processing device, image processing method, program, and recording medium | |
| JP5434057B2 (en) | Image display device and image display program | |
| RU2312395C1 (en) | Method for sorting digital images for quality printing | |
| JP2010173323A (en) | Printer | |
| JP2019096364A (en) | Image evaluation device | |
| JP4336492B2 (en) | Image data processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |