JP2018206437A - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2018206437A JP2018206437A JP2018175923A JP2018175923A JP2018206437A JP 2018206437 A JP2018206437 A JP 2018206437A JP 2018175923 A JP2018175923 A JP 2018175923A JP 2018175923 A JP2018175923 A JP 2018175923A JP 2018206437 A JP2018206437 A JP 2018206437A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- division
- subject
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行う。【解決手段】画像を記憶する記憶部と、前記画像から被写体の情報を抽出する抽出部と、前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、前記画像処理部による分割処理情報を出力する出力部とを備える。【選択図】図1
Description
本発明は、画像処理装置及び画像処理プログラムに関するものである。
従来、撮像画像を複数の小領域に分割し、画素の画像信号の標準偏差および平均値を小領域毎に算出し、ホワイトバランスを調整する撮像装置が存在する(例えば、特許文献1参照)。この撮像装置によれば、予め画像を複数領域に細分化しておき、細分化した領域毎の状態を分析して被写体領域を特定する。
しかしながら、上述の撮像装置においては、撮像画像を細分化しすぎると被写体領域の特定効率が低下する。一方細分化が粗すぎると必要な被写体領域が細分化されないという問題があった。従って、抽出したい被写体領域を細分化しつつ出来るだけ少ない領域数とすることが望ましい。
本発明の目的は、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行う画像処理装置及び画像処理プログラムを提供することである。
本発明の画像処理装置は、画像を記憶する記憶部と、前記画像から被写体の情報を抽出する抽出部と、前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、前記画像処理部による分割処理情報を出力する出力部とを備える。
また、本発明の画像処理プログラムは、画像を記憶する記憶部を備えた画像処理装置を、 前記画像から被写体の情報を抽出するステップ、前記被写体の情報に基づいて分割パラメータを決定するステップ、前記画像について前記分割パラメータを用いて分割処理を行うステップ、前記分割パラメータを用いて行われた分割処理情報を出力するステップとして機能させる。
本発明によれば、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
以下、図面を参照して、本発明の実施の形態に係る画像処理装置についてカメラを例に説明する。図1は、実施の形態に係るカメラのシステム構成を示すブロック図である。図1に示すように、カメラ2は、カメラ2の各部を統括的に制御する制御部4を備えている。制御部4には、被写体を撮像する撮像部6、撮像部6から出力された撮像信号から生成された画像データを記憶するメモリ8、制御部4が実行する撮影処理、分割処理等のプログラムを記憶するプログラムメモリ10、撮影画像の画像データ等を記憶するメモリカード12、カメラ2の背面部に配置され撮像部6により撮像された画像、スルー画及びカメラ2のモードを設定する画面等を表示するLCD表示部14及び操作部16が接続されている。ここで操作部16は、電源スイッチ及びレリーズボタン等を備えている。
次に、本発明の実施の形態に係るカメラによる分割処理について説明する。操作者が操作部16の電源スイッチを操作することによりカメラ2の電源をオンにすると、制御部4は、撮像部6により所定のフレームレートで被写体を撮像し、撮像部6から出力された撮像信号に基づいてLCD表示部14にスルー画像を表示する。ここで、撮像部6から出力されたスルー画像の画像データは一時的にメモリ8に記憶される。
操作者がレリーズボタンを半押しすると、制御部4はメモリ8に一時的に記憶された画像データに基づく画像について分割処理を行い画像を細分化する。画像の細分化では、隣接した画素群が同じオブジェクト領域に属するか否かを、特徴量の類似性を用いて判別する。その結果、類似した特徴を有する隣接画素群がグループ化され、画像が複数の領域に細分化される。その際、どの程度の大きさに細分化するかを、調整することが可能である。
例えば、細分化手法としてk−means法を用いる場合、k−means法は、与えられたクラスタ数K個に要素を分割するものであるが、その際、各クラスタ内の平均が最小となるように分割を行う。具体的には、まず、K個のクラスタの中心をランダムに割り当てる(ステップ1)。次に各要素を最も近い中心(クラスタ)に割り当てる(ステップ2)。そして各クラスタの中心を再計算する(ステップ3)。その結果、全クラスタの中心が変化しなければ終了し、そうでなければステップ2へ戻る。この手法を画像の細分化に用いる場合は、対象とする要素は画素である。クラスタ中心との距離は、中心画素との色差、及び画面距離を用いる。ここで、クラスタ中心との距離は次のように表される。
クラスタ中心との距離=中心画素との色差+中心画素との画面距離
クラスタ中心との距離=pΔuv+qΔxy
クラスタ中心との距離=√[(ui−uj)2+(vi−vj)2] + √[(xi−xj)2+(yi−yj)2]
細分化の度合い(分割パラメータ)はクラスタKの値で調整することが可能である。ここで、Kの値が小さければ、細分化の度合いは小さく(細分化された領域の面積は大きく)なり、Kの値が大きければ、細分化の度合いは大きく(細分化された領域の面積は小さく)なる。
クラスタ中心との距離=中心画素との色差+中心画素との画面距離
クラスタ中心との距離=pΔuv+qΔxy
クラスタ中心との距離=√[(ui−uj)2+(vi−vj)2] + √[(xi−xj)2+(yi−yj)2]
細分化の度合い(分割パラメータ)はクラスタKの値で調整することが可能である。ここで、Kの値が小さければ、細分化の度合いは小さく(細分化された領域の面積は大きく)なり、Kの値が大きければ、細分化の度合いは大きく(細分化された領域の面積は小さく)なる。
本発明は、被写体の大きさに基づいてKの値を変化させる。この場合被写体は人間であり、検出した顔の大きさに基づいてKの値を変化させる。ここで、Kの値は次のように表される。なお、fは顔サイズである。
K=s(f)
s(f)は、図2に示すように、顔サイズの大きさによって決まる関数であり、顔サイズが大きいほど大きな値をとる。この実施の形態では、顔の大きさを正方矩形で定義した場合の辺の長さf(顔サイズ)に比例する関数とした。また、K=s(f)を適用する範囲には、上限と下限を設定し、そこを外れた範囲は固定値とした。上限は、細分化される領域が大きくなりすぎないような値とし、下限は、検出できる顔サイズの大きさの限界とした。
K=s(f)
s(f)は、図2に示すように、顔サイズの大きさによって決まる関数であり、顔サイズが大きいほど大きな値をとる。この実施の形態では、顔の大きさを正方矩形で定義した場合の辺の長さf(顔サイズ)に比例する関数とした。また、K=s(f)を適用する範囲には、上限と下限を設定し、そこを外れた範囲は固定値とした。上限は、細分化される領域が大きくなりすぎないような値とし、下限は、検出できる顔サイズの大きさの限界とした。
制御部4は顔認識機能を用いてメモリ8に一時的に記憶された画像データに基づく画像について人の顔を検出し、検出した顔の大きさに応じた正方矩形の辺の長さに基づいて顔サイズfを検出する。そして、K=s(f)=α×fによりKの値を決定しKを用いてメモリ8に記憶されている画像データに基づく画像の分割処理を行う。
図3に、顔サイズが大きい場合の画像(a)、画像をK=60で細分化をした場合(b)及び画像をK=100で細分化をした場合(c)の例を示す。この場合、適したKの値は60である。K=60では被写体部分が十分に分割されているが、K=100では、被写体の大きさに対し、過剰に分割されている。
また図4に、顔サイズが小さい場合の画像(a)、画像をK=60で細分化した場合(b)及び画像をK=100で細分化した場合(c)の例を示す。この場合、適したKの値は100である。K=60では被写体部分が分割されない。K=100では、被写体部分が十分に分割されている。
制御部4は、分割処理により細分化された画像の画像データをメモリ8に対し出力し一時的に記憶し、記憶された細分化された画像の画像データに基づいて被写体領域及び背景領域を特定する。そして、特定された被写体領域はAF等の処理に用いられる。即ち、制御部4は特定された被写体領域について図示しないAF駆動部により焦点合わせの動作を行う。
本発明の実施の形態に係るカメラによれば、被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
なお、上述のk−means法とは別の細分化手法として論文(タイトル:Efficient Graph-Based Image Segmentation,著者:Pedro F. Felzenszwalb and Daniel P. Huttenlocher,出典:International Journal of Computer Vision, Volume 59,Number 2, September 2004,参照URL:http:// people.cs.uchicago. edu/~pff/papers/seg-ijcv.pdf)に記載されている手法が知られている。
上述の論文に記載されている細分化手法は、隣接した画素群(領域)を、統合すべきか否かを順次判別する方法である。細分化の度合い(分割パラメータ)は、以下の式で定義する係数τ(C)によって決定される。ここで、係数τ(C)は、値が大きいほど統合しやすくさせる。なお、Cは領域面積であり、kは定数である。
τ(C)=k/C
係数τ(C)は、領域面積Cの逆数となっており、面積が小さいほど統合されやすい効果をもつ。被写体の大きさに基づいてτ(C)を変化させると、この場合においても被写体が人である場合には、検出した顔サイズの大きさに基づいて、次の式に表すようにτ(C)を変化させることで、k−means法と同様の効果を得ることができる。
τ(C)=s(f)×k/C
また、上述の実施の形態において、画面中の動いている部分(動体)を被写体とみなし、動体の大きさに基づいて次の式に表すようにτ(C)を変化させるようにしてもよい。なお、mは動体サイズである。
τ(C)=s(m)×k/C
s(m)は、動体サイズの大きさによって決まる関数であり、動体サイズが大きいほど大きな値をとる。この場合、動体サイズmに比例する関数とし、動体サイズmは動体とみなした部分を包含する矩形枠の面積をとした。ここで、図5は動いている人の大きさが小さい場合を示す図であり、図6は動いている人の大きさが大きい場合を示す。
τ(C)=k/C
係数τ(C)は、領域面積Cの逆数となっており、面積が小さいほど統合されやすい効果をもつ。被写体の大きさに基づいてτ(C)を変化させると、この場合においても被写体が人である場合には、検出した顔サイズの大きさに基づいて、次の式に表すようにτ(C)を変化させることで、k−means法と同様の効果を得ることができる。
τ(C)=s(f)×k/C
また、上述の実施の形態において、画面中の動いている部分(動体)を被写体とみなし、動体の大きさに基づいて次の式に表すようにτ(C)を変化させるようにしてもよい。なお、mは動体サイズである。
τ(C)=s(m)×k/C
s(m)は、動体サイズの大きさによって決まる関数であり、動体サイズが大きいほど大きな値をとる。この場合、動体サイズmに比例する関数とし、動体サイズmは動体とみなした部分を包含する矩形枠の面積をとした。ここで、図5は動いている人の大きさが小さい場合を示す図であり、図6は動いている人の大きさが大きい場合を示す。
動体部分の検出はどのような方法でもよい。例えば、異なる時間に取得した複数画像において、重ならない部分が動いている部分であるとみなす方法、又は、画像中のサンプリング点の動きベクトルを算出する方法でもよい。
また、上述の実施の形態においては、カメラ2を用いて分割処理を行っているが、パソコン等の画像処理装置を用いて上述の分割処理を行うようにしてもよい。
また、パソコン等の画像処理装置に上述の画像データの分割処理を実施させるプログラムを読み込んで画像データに基づく画像の分割処理を実行するようにしてもよい。即ち、上述の実施の形態で用いられている画像の分割処理プログラムはパソコン等に、画像から被写体の情報を抽出するステップ、被写体の情報に基づいて分割パラメータを決定するステップ、画像について分割パラメータを用いて分割処理を行うステップ、分割パラメータを用いて行われた分割処理情報を出力するステップを実行させる。従って、上述の実施の形態に係る画像データの分割処理プログラムによれば、メモリに予め記憶されている画像データに基づく画像の被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
この場合、画像処理装置の制御部は、メモリに記憶されている画像データに基づく画像について分割処理を行い細分化し、特定された被写体に基づいて画像データに対してホワイトバランス調整を行うようにしてもよい。
また、上述の実施の形態において、分割処理の結果を表示部14において表示するようにしても良い。例えば細分化された画像において特定された被写体領域及び背景領域について異なる色を用いてLCD表示部14に表示するようにしてもよい。
2…カメラ、4…制御部、6…撮像部、8…メモリ、10…プログラムメモリ、14…LCD表示部、16…操作部。
Claims (6)
- 画像を記憶する記憶部と、
前記画像から被写体の情報を抽出する抽出部と、
前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、
前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、
前記画像処理部による分割処理情報を出力する出力部と
を備えることを特徴とする画像処理装置。 - 前記被写体の情報は、主要被写体の顔の大きさの情報であることを特徴とする請求項1記載の画像処理装置。
- 前記被写体の情報は、動体物領域の大きさの情報であることを特徴とする請求項1記載の画像処理装置。
- 画像を記憶する記憶部を備えた画像処理装置を、
前記画像から被写体の情報を抽出するステップ、
前記被写体の情報に基づいて分割パラメータを決定するステップ、
前記画像について前記分割パラメータを用いて分割処理を行うステップ、
前記分割パラメータを用いて行われた分割処理情報を出力するステップ、
として機能させるための画像処理プログラム。 - 前記被写体の情報は、主要被写体の顔の大きさの情報であることを特徴とする請求項4記載の画像処理プログラム。
- 前記被写体の情報は、動体物領域の大きさの情報であることを特徴とする請求項4記載の画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018175923A JP2018206437A (ja) | 2018-09-20 | 2018-09-20 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018175923A JP2018206437A (ja) | 2018-09-20 | 2018-09-20 | 画像処理装置及び画像処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232367A Division JP6406340B2 (ja) | 2016-11-30 | 2016-11-30 | 画像処理装置及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018206437A true JP2018206437A (ja) | 2018-12-27 |
Family
ID=64957338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018175923A Pending JP2018206437A (ja) | 2018-09-20 | 2018-09-20 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018206437A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223056A (ja) * | 2008-03-17 | 2009-10-01 | Fujifilm Corp | 撮影装置及び撮影方法 |
JP2010067252A (ja) * | 2008-08-15 | 2010-03-25 | Fuji Xerox Co Ltd | オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム |
JP2010103612A (ja) * | 2008-10-21 | 2010-05-06 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP2010109671A (ja) * | 2008-10-30 | 2010-05-13 | Panasonic Corp | 撮像装置 |
-
2018
- 2018-09-20 JP JP2018175923A patent/JP2018206437A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223056A (ja) * | 2008-03-17 | 2009-10-01 | Fujifilm Corp | 撮影装置及び撮影方法 |
JP2010067252A (ja) * | 2008-08-15 | 2010-03-25 | Fuji Xerox Co Ltd | オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム |
JP2010103612A (ja) * | 2008-10-21 | 2010-05-06 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP2010109671A (ja) * | 2008-10-30 | 2010-05-13 | Panasonic Corp | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
US20150222810A1 (en) | Image processing apparatus and image processing method | |
US10861128B2 (en) | Method of cropping an image, an apparatus for cropping an image, a program and a storage medium | |
KR101548183B1 (ko) | 화상처리장치 및 그 제어 방법 | |
US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
JP2015185034A (ja) | 画像認識装置、画像認識方法およびプログラム | |
US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
JP2015115818A (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP6406340B2 (ja) | 画像処理装置及び撮像装置 | |
JP2018206437A (ja) | 画像処理装置及び画像処理プログラム | |
JP7304704B2 (ja) | 画像切出装置、画像解析装置及びプログラム | |
JP2013196529A (ja) | 画像処理装置及び画像処理プログラム | |
JP6598402B1 (ja) | レシート等帳票画像自動取得・読取方法、プログラム、及び携帯端末装置 | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
US20230122606A1 (en) | Image capturing system, control method, and storage medium | |
JP2019022166A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
EP3496390B1 (en) | Information processing device, information processing method, and storage medium | |
JP5629562B2 (ja) | 画像処理装置及びその制御方法、及びプログラム | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JP2019021223A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7012457B2 (ja) | 画像処理装置、画像処理方法 | |
JP2016220144A (ja) | 撮像装置及び画像処理方法 | |
JP5605492B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2023004357A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200310 |