JP5289299B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5289299B2 JP5289299B2 JP2009290776A JP2009290776A JP5289299B2 JP 5289299 B2 JP5289299 B2 JP 5289299B2 JP 2009290776 A JP2009290776 A JP 2009290776A JP 2009290776 A JP2009290776 A JP 2009290776A JP 5289299 B2 JP5289299 B2 JP 5289299B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contrast
- output
- attention area
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
まず、図2〜図6を用いて、本発明の第1の実施形態に係る画像処理装置100について説明する。なお、ここでは、画像処理装置100がデジタルスチルカメラである例について主に説明する。しかしながら、画像処理装置100の構成は、かかる例に限定されず、デジタルビデオカメラ、カメラ付き携帯電話若しくはゲーム端末などの任意の装置、又はこれら装置に搭載される画像処理モジュールなどにも適用可能である。
図2は、本発明の第1の実施形態に係る画像処理装置100の構成を示すブロック図である。図2を参照すると、画像処理装置100は、撮像部110、バス120、AE(Automatic Exposure)検波部122、CPU(Central Processing Unit)124、信号処理部126、DRAM(Dynamic Random Access Memory)128、フラッシュメモリ130、画像加工部140、表示制御部160、表示部170及び操作部180を備える。
撮像部110は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて、外界の光を撮像し、撮像画像を生成する。また、撮像部110は、上述した撮像素子の他に、レンズ、シャッター及び絞りなどの一般的なカメラ機構を有する。そして、後述するCPU124(又は操作部180)がシャッタースピード及び絞り値などのパラメータを設定することで、撮像部110により撮像される画像の露出が変化する。撮像部110により撮像された撮像画像は、AE検波部122及び信号処理部126へ出力される。
バス120は、AE検波部122、CPU124、信号処理部126、DRAM128、フラッシュメモリ130、画像加工部140、表示制御部160及び操作部180を相互に接続する。
AE検波部122は、撮像部110から入力される撮像画像について、画像全体の平均輝度値、分割領域ごとの平均輝度値、及び輝度ヒストグラムなどの評価値を算出する。AE検波部122により算出された各評価値は、CPU124へ出力される。
CPU124は、画像処理装置100の制御部として動作し、例えばフラッシュメモリ130に予め格納されるプログラムを実行することにより、画像処理装置100の機能全般を制御する。例えば、CPU124は、AE検波部122から入力される平均輝度値及び輝度ヒストグラムなどの評価値に基づいて最適と判断される露出を決定し、信号処理部126に露出の補正を指示する。
信号処理部126は、CPU124からの指示に応じて、露出の補正、手ブレの補正又はコントラストの調整などの一般的な撮像画像に対する信号処理を行う。信号処理部126による信号処理後の撮像画像は、DRAM128へ出力される。
DRAM128は、揮発性の記憶媒体である。DRAM128は、例えば、CPU124により実行されるプログラム及びデータの一時的な記憶のために用いられる。また、DRAM128は、信号処理部126による信号処理後の撮像画像を一時的に記憶する。DRAM128により記憶される撮像画像は、例えば、画像処理装置100がライブビュー機能を有する場合には、表示制御部160を介して表示部170へ出力される。また、本実施形態において、DRAM128により記憶される撮像画像は、画像加工部140へ入力され、後に詳しく説明する画像処理のための入力画像として扱われる。
フラッシュメモリ130は、不揮発性の記憶媒体である。フラッシュメモリ130は、例えば、CPU124により実行されるプログラムを予め記憶する。また、フラッシュメモリ130は、ユーザがレリーズボタンを押下することにより最終的に撮像された(信号処理後の)撮像画像を記憶する。フラッシュメモリ130により記憶されている撮像画像は、画像処理装置100の画像再生機能により、表示制御部160を介して表示部170へ出力され得る。また、本実施形態において、フラッシュメモリ130により記憶されている撮像画像も、画像加工部140へ入力され、後に詳しく説明する画像処理のための入力画像として扱われてよい。
画像加工部140は、DRAM128により一時的に記憶される撮像画像、又はフラッシュメモリ130により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。画像加工部140により生成される出力画像とは、撮像される画像についての露出の状況を、ユーザに直感的に認識させるための画像である。より具体的には、画像加工部140は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく又は暗く見えるように、出力画像を生成する。
注目領域設定部142は、ユーザにより注目されるべき画像内の注目領域を設定する。ユーザにより注目されるべき注目領域とは、例えば、予めフラッシュメモリ130に登録される固定的な位置及び大きさを有する領域であってもよい。この場合、例えば、画像中央の所定の幅及び高さを有する矩形領域、又は画像中央の所定の半径を有する円形領域などが、注目領域として設定され得る。その代わりに、ユーザにより注目されるべき注目領域とは、例えば、注目領域設定部142が動的に設定する領域であってもよい。例えば、公知の顔画像認識技術を用いて認識される入力画像内の顔領域が、注目領域として設定されてもよい。また、例えば、入力画像についての輝度ヒストグラムの解析により認識される「白とび」又は「黒つぶれ」が生じる可能性の高い領域が、注目領域として設定されてもよい。注目領域設定部142は、このように設定した注目領域を特定するデータ(矩形の頂点の座標など)を、出力画像生成部148へ出力する。
対比画像生成部146は、入力画像の輝度を増加又は減少させることにより、対比画像を生成する。より具体的には、本実施形態において、対比画像生成部146は、入力画像の輝度を増加させることにより第1対比画像を生成し、及び、入力画像の輝度を減少させることにより第2対比画像を生成する。
出力画像生成部148は、入力画像の注目領域における部分画像と、注目領域以外の領域である非注目領域における対比画像の部分画像とを結合することにより、出力画像を生成する。本実施形態においては、出力画像生成部148は、入力画像と第1対比画像から第1出力画像を生成すると共に、入力画像と第2対比画像から第2出力画像を生成する。
表示制御部160は、表示部170に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。例えば、本実施形態において、表示制御部160は、入力画像、第1出力画像及び第2出力画像を適宜縮小して1つの画面内に配置した表示画像を生成し、表示部170へ出力する。ここでの入力画像とは、例えば、DRAM128に記憶されている信号処理部126による信号処理後の撮像画像であってよい。第1出力画像及び第2出力画像は、上述したように、画像加工部140から入力される。
表示部170は、LCD(Liquid Crystal Display)又はOLED(Organic Light-Emitting Diode)などの表示装置を用いて、表示制御部160から入力される画像を画面上に表示する。
操作部180は、ボタン、スイッチ、レバー、ダイヤル又はタッチパネルなどの入力装置を用いてユーザの操作を検出し、検出した操作に応じた信号を出力する。例えば、マニュアル(手動)による露出の調整は、操作部180を介して行われ得る。また、例えば、ユーザがレリーズボタンを押下することにより、表示部170に表示されている入力画像が、最終的な撮像画像としてフラッシュメモリ130に記憶される。
図6は、本実施形態に係る画像処理装置100の画像加工部140及び表示制御部160による処理の流れの一例を示すフローチャートである。
上述した第1の実施形態では、入力画像に加えて、人間の視覚の特性上注目領域が明るく見える画像と注目領域が暗く見える画像とを並列的に表示する画面をユーザに提供する構成について説明した。本発明の第2の実施形態では、このような人間の視覚の特性を利用する手法を、低消費電力モードにおける撮像の失敗の防止に応用する。以下、図7〜図9を用いて、本発明の第2の実施形態に係る画像処理装置200について説明する。
図7は、本発明の第2の実施形態に係る画像処理装置200の構成を示すブロック図である。図7を参照すると、画像処理装置200は、撮像部110、バス120、AE検波部122、CPU224、信号処理部126、DRAM128、フラッシュメモリ130、画像加工部240、表示制御部260、表示部170及び操作部180を備える。
CPU224は、画像処理装置200のプロセッサとして動作し、例えばフラッシュメモリ130に予め格納されるプログラムを実行することにより、画像処理装置200の機能全般を制御する。例えば、CPU224は、第1の実施形態に係るCPU124と同様の処理を行うほかに、表示部170による消費電力を制御する。
画像加工部240は、DRAM128により一時的に記憶される撮像画像、又はフラッシュメモリ130により記憶されている撮像画像を入力画像として取得し、当該入力画像を加工することにより、出力画像を生成する。本実施形態において、画像加工部240により生成される出力画像は、いわゆるアンダーソンの錯視を利用して、入力画像の注目領域に映った被写体が出力画像を視認したユーザにより明るく見えるように生成される画像である。
表示制御部260は、表示部170に表示させる画像の選択、変形、情報の付加、又はユーザ操作に応じた切換えなどの、表示に関する制御を行う。また、本実施形態において、表示制御部260は、画像処理装置200が低消費電力モードで動作している場合には出力画像生成部248により生成される出力画像を、画像処理装置200が通常モードで動作している場合には入力画像を、表示部170に表示させる。表示制御部260による表示の切り替えは、CPU224からのモード通知に応じて行われる。従って、表示部170により、通常モードにおいては図5に例示した画像IM0、低消費電力モードにおいては図5に例示した画像IM2にそれぞれ相当する画像が、画面上に表示され得る(画像の大きさは適宜調整される)。
図9は、本実施形態に係る表示制御部260による処理の流れの一例を示すフローチャートである。
ここまで、図2〜図9を用いて、本発明の第1の実施形態及び第2の実施形態について説明した。これら実施形態によれば、ユーザにより注目されるべき注目領域においては入力画像の部分画像、非注目領域においては入力画像の輝度を増加又は減少させることにより生成された対比画像の部分画像が含まれる出力画像が、画面上に表示される。それにより、注目領域における部分画像が、その実際の輝度よりも暗く又は明るくユーザの視覚を通じて直感的に認識される。従って、露出が適正か否かを誤認し易い状況下において、ユーザによる露出の把握を支援し、露出オーバー又は露出アンダーなどの撮像の失敗のリスクを低減することができる。また、低消費電力モードにおいて画面の輝度が低下している状況においても、注目領域の直感的な明るさを通常モードの場合の明るさに近付けて、ユーザに感じさせることができる。
140,240 画像加工部
142 注目領域設定部(設定部)
146,246 対比画像生成部
148,248 出力画像生成部
160,260 表示制御部
170 表示部
Claims (2)
- 撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成する画像処理装置であって、
ユーザにより注目されるべき注目領域を設定する設定部と、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成する対比画像生成部と、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成する出力画像生成部と、
を備え、
前記対比画像生成部は、前記入力画像の輝度を増加させることにより第1対比画像を生成し、及び、前記入力画像の輝度を減少させることにより第2対比画像を生成し、
前記出力画像生成部は、前記第1対比画像を用いて第1出力画像を生成し、及び、前記第2対比画像を用いて第2出力画像を生成し、
前記画像処理装置は、
前記入力画像、前記第1出力画像及び前記第2出力画像を表示装置に表示させる表示制御部、
をさらに備える、
画像処理装置。 - 撮像素子を用いて撮像された入力画像を加工することにより出力画像を生成するための画像処理方法であって、
ユーザにより注目されるべき注目領域を設定するステップと、
前記入力画像の輝度を増加又は減少させることにより対比画像を生成するステップと、
前記入力画像の前記注目領域における部分画像と前記注目領域以外の領域である非注目領域における前記対比画像の部分画像とを結合することにより前記出力画像を生成するステップと、
を含み、
前記対比画像を生成するステップにおいて、前記入力画像の輝度を増加させることにより第1対比画像が生成され、及び、前記入力画像の輝度を減少させることにより第2対比画像が生成され、
前記出力画像を生成するステップにおいて、前記第1対比画像を用いて第1出力画像が生成され、及び、前記第2対比画像を用いて第2出力画像が生成され、
前記画像処理方法は、
前記入力画像、前記第1出力画像及び前記第2出力画像を表示装置に表示させるステップ、
をさらに含む、
画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009290776A JP5289299B2 (ja) | 2009-12-22 | 2009-12-22 | 画像処理装置、画像処理方法及びプログラム |
KR1020100033905A KR101621394B1 (ko) | 2009-12-22 | 2010-04-13 | 화상 처리 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009290776A JP5289299B2 (ja) | 2009-12-22 | 2009-12-22 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135173A JP2011135173A (ja) | 2011-07-07 |
JP5289299B2 true JP5289299B2 (ja) | 2013-09-11 |
Family
ID=44347475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009290776A Active JP5289299B2 (ja) | 2009-12-22 | 2009-12-22 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5289299B2 (ja) |
KR (1) | KR101621394B1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131653A (ja) * | 1993-11-02 | 1995-05-19 | Fujitsu Ltd | 画像階調圧縮表示回路 |
JP2001209785A (ja) * | 1999-11-19 | 2001-08-03 | Fujitsu Ltd | 画像処理装置、画像処理方法、および画像処理プログラム記憶媒体 |
JP2001292341A (ja) | 2000-04-10 | 2001-10-19 | Matsushita Electric Ind Co Ltd | 輪郭強調方法およびデジタル放送受信装置 |
JP2005117504A (ja) | 2003-10-09 | 2005-04-28 | Canon Inc | 画像処理装置および画像処理方法 |
JP2005318177A (ja) * | 2004-04-28 | 2005-11-10 | Elmo Co Ltd | 資料提示装置 |
JP5370034B2 (ja) * | 2009-09-16 | 2013-12-18 | 株式会社ニコン | 表示装置およびこれを用いたカメラ |
-
2009
- 2009-12-22 JP JP2009290776A patent/JP5289299B2/ja active Active
-
2010
- 2010-04-13 KR KR1020100033905A patent/KR101621394B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101621394B1 (ko) | 2016-05-16 |
JP2011135173A (ja) | 2011-07-07 |
KR20110073178A (ko) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111418201B (zh) | 一种拍摄方法及设备 | |
EP3599760B1 (en) | Image processing method and apparatus | |
US10602069B2 (en) | Digital camera and display method of digital camera | |
JP2006081037A (ja) | 撮像装置 | |
JP2009017306A (ja) | 画像表示装置及びそれを用いた撮像装置 | |
CN102137232B (zh) | 画质调整装置、照相机和画质调整方法 | |
US8681244B2 (en) | Image processing method using blurring and photographing apparatus using the same | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
JP6873679B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2012142823A (ja) | 表示制御装置、撮像装置および表示制御プログラム | |
WO2019111659A1 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
US8502882B2 (en) | Image pick-up apparatus, white balance setting method and recording medium | |
JP6243629B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US8781226B2 (en) | Digital image processing apparatus for recognizing fireworks, method of operating the same, and computer-readable storage medium | |
EP4199528A1 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
JP5316923B2 (ja) | 撮像装置及びそのプログラム | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP5289299B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9288461B2 (en) | Apparatus and method for processing image, and computer-readable storage medium | |
JP2019161335A (ja) | 撮像装置 | |
JP5115733B2 (ja) | 撮像装置、および、プログラム | |
US11336802B2 (en) | Imaging apparatus | |
JP2012049841A (ja) | 撮像装置およびプログラム | |
JP6688086B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2020053960A (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5289299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |