JP2013254433A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2013254433A JP2013254433A JP2012130868A JP2012130868A JP2013254433A JP 2013254433 A JP2013254433 A JP 2013254433A JP 2012130868 A JP2012130868 A JP 2012130868A JP 2012130868 A JP2012130868 A JP 2012130868A JP 2013254433 A JP2013254433 A JP 2013254433A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- image data
- refocus
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 7
- 238000000034 method Methods 0.000 description 87
- 230000008569 process Effects 0.000 description 77
- 238000004364 calculation method Methods 0.000 description 25
- 238000010191 image analysis Methods 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置は、撮像して得られた画像データが示す画像とともにその画像中の少なくとも1つの領域を表示させる。そして、ユーザーからの指示に基づいて、領域の中の一つの領域を選択し、選択した領域に応じて、画像データに対して画像処理を実行する。
【選択図】図2
Description
多眼カメラ撮像部101が撮像した多視点画像データは、図12の画像データフォーマットに従って、画像ファイルとして、外部メモリ109に記録される。
図12は、本実施例に於ける多視点画像データを画像ファイルとして保存する際に用いる画像データフォーマットを説明する図である。図12に示す画像ファイルは、画像幅を示す情報1201、画像高さを示す情報1202、リフォーカス位置情報1203、多視点画像ヘッダ情報1210、多視点画像データ1204を含む。
1.再生モード以外で起動中であり、その後再生モードに切り換え
2.起動時に既に再生モード
3.再生モードで別の画像を指定された時
ステップS202では、全体制御部108が画像ファイルを外部メモリ109から取得する。ステップS203では、全体制御部108が再生リフォーカスモードと履歴情報とを取得して、処理をS204へ移行する。再生リフォーカスモードとは、リフォーカス演算済みの画像データ(以下、リフォーカス画像データと称する)を表示する際に、例えば、人モード、風景モード、動物モードなどを選択するモードである。履歴情報とは、過去にユーザーが選択した画像データの種別及び位置や、操作に関する履歴を累積した情報である。履歴情報の詳細については後述する。ステップS204では、全体制御部108が読み込んだ画像ファイルのヘッダ情報を解析する。ヘッダ情報は、図12の1201から1203に該当する。本実施例では、リフォーカス位置情報1203を特に解析する。
次に、ステップS205にて、ヘッダ情報にリフォーカス位置情報が存在しない場合の処理を説明する。ステップS207の処理は、ステップS202でメモリから読み出した画像ファイルにリフォーカス位置情報が無い場合、即ち再生モードでの表示が初めての画像ファイルである場合の処理である。本実施例では、履歴情報に基づいてリフォーカス画像データを生成し、一時画像ファイルとして記憶する。また、履歴情報の更新を実施する。履歴情報に基づいてリフォーカス画像データを生成する処理、および履歴情報を更新する処理については、図3に関連して説明するため、ここで説明を省略する。
図2のステップS220で、図15(b)に示すパラメータ選択UIが表示されると、ユーザーは、表示されたUIを利用して、パラメータの選択を行う事が可能になる。ステップS301では、全体制御部108は、UIを使用して、ユーザーがパラメータを選択した時は、処理をステップS304へ移行する。本実施例では、ユーザーが画面上の1点を指定することによって、パラメータを選択することとする。次に、ステップS304では、ステップS301でユーザーによって選択されたパラメータを取得する。ステップS304では、全体制御部108は、図7の形式で記憶されている一時画像ファイル群を探索する。そして一時画像ファイル群の中から、リフォーカス位置情報702で特定される領域が、ステップS301にてユーザーが指定(選択)したパラメータを含むリフォーカス画像データが存在するか否かを判定する。ステップS304でユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在する場合、処理をステップS309へ移行する。ステップS309では、前記リフォーカス画像データを含む一時画像ファイルの情報(位置、表示履歴情報)を更新し、処理をステップS306へ移行する。詳細は後述する。
ここで、ステップS309に於ける情報更新について、詳しく説明する。
次に、履歴情報について、図5を用いて説明する。図5に於いて、識別コードは、画像解析部112で識別された識別コードである。頻度は、再生モードに於いて、識別コード(人、風景等)で示される各領域に対して、ユーザーがフォーカスを合わせた画像の表示を指示した頻度のことである。この頻度は、ある画像ファイルごとの頻度であってもよいし、画像ファイルを問わずに、画像処理装置におけてあるユーザーが指示した頻度であってもよい。図5(a)は、501が識別コード=風景、502が識別コード=人、503が識別コード=動物の例を示している。ここで、識別コード毎の頻度順位は、以下の通りである。
1位:風景(501)
2位:人(502)
3位:動物(503)
図5(b)は、識別コード=人に関して、識別コードを更に細分化した例を示したものである。なお、娘、息子、父の区別は、例えばそれぞれの顔画像の特徴ベクトルを算出しておき、人物と判定された領域の特徴ベクトルと比較することによって判定することができる。ここで、識別コード毎の頻度順位は、以下の通りである。
1位:ユーザーの娘(505)
2位:ユーザーの息子(506)
3位:ユーザーの父(507)
4位:登録外の人物(508)
本実施例に於いて、履歴情報は、各識別コードの頻度情報のことを指す。
ステップS302では、画像解析部112で抽出した全ての領域情報に対して、全体制御部108は、各領域情報にフォーカスを合わせたリフォーカス画像データを生成したか否かを判定する。この処理は、第2の画像処理を行ったか否かということもできる。具体的には、全ての領域情報に対して、各領域情報を含むリフォーカス位置情報702を有する一時画像ファイルが存在するか否かを判定する。
ステップS302で、全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、処理をS303へ移行する。一方、ステップS302で、全ての領域情報に対して、リフォーカス画像の生成が完了していると判定された場合は、処理をS307へ移行する。
全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、ステップS303で、履歴情報に基づいて、リフォーカス画像データを生成する。詳細は後述する。次に生成したリフォーカス画像をS306で表示した後、ステップS307へ移行する。
S307では、全体制御部108は、再生モードを終了するか、継続するかを判定する。S307に於ける再生モードの終了条件は、例えば以下の3つである。
1.再生モードを除くモードに切り換えた時
2.電源をOFFした時
3.再生モードで別の画像を指定された時
S307で再生モード終了と判定された場合は、処理をS308へ移行し、再生モードの終了に必要な各種処理が実行され、再生モードを終了する。一方、ステップS307で再生モード継続と判定された場合は、処理をステップS301へ戻し、ステップS301からの操作を繰り返す。
なお、パラメータ選択は、ユーザーが画面上の1点を指すことで行うこととしたが、閉領域として指定することも可能である。例えば、ユーザが指定した点を含む画像および指定された閉領域に含まれる画像をFlashROM(履歴記憶部)107の履歴と比較することにより、履歴情報の有無を判定することができる。
ステップS501では、全体制御部108は、リフォーカス画像データを未生成の領域を特定する。まず、全体制御部108は、対象画像データ(すなわち、S202で読み込んだ画像ファイルの多視点画像データが示す画像データ)に関する画像解析結果の識別コード及び領域情報のペアの全てを取得する。また、全ての一時画像ファイルに含まれるリフォーカス画像データの位置情報を取得する。次に、取得した情報の中から、一時画像ファイルに含まれるリフォーカス位置情報702と、領域情報とを比較する。そして、位置情報が領域情報に含まれるものは省いて、対応する位置情報が存在しない領域情報を抽出する。この領域情報は、即ち、リフォーカス画像データを生成していない領域に対応する。
次に、全体制御部108は、ステップS502で、ステップS501で抽出した領域情報に関連付けられた識別コードの中で、履歴情報の頻度が最も高い識別コードに一致するものを選択する。選択の結果、風景に該当する識別コードの頻度が、最上位であった場合、ステップS503へ移行する。ステップS503では、風景画像に対応する領域が、S501で抽出した領域情報にあるか否かを判定する。風景画像がある場合、ステップS504へ移行する。
次に処理をステップS505へ移行する。ステップS505では、リフォーカス演算部103が、ステップS504で決定された順位に基づいて当該順位の領域情報にフォーカスを合わせたリフォーカス画像データを生成する。具体的には、多視点画像データから、左上と右下の座標の平均を取った結果をX座標、Y座標とする位置にフォーカスが合った画像データを生成する。
次に処理をステップS507へ移行する。ステップS507では、履歴情報を更新する。具体的には、選択された識別コードに該当する頻度をインクリメントする。そして処理を終了する。
ステップS511で、履歴情報の中に登録者がいない場合、処理をステップS513へ移行する。また、ステップS510で、登録者の識別コードが無かった場合、処理をステップS514へ移行する。なお、ステップS513及びS514は、S504と同様の処理を行う。
次に、ステップS502に戻って、選択の結果、動物に該当する識別コードの頻度が、最上位であった場合、ステップS515へ移行する。ステップS515で動物の画像があると判定した場合、ステップS516へ移行する。なお、ステップS516の処理については、S504と同様の処理を行うことができる。
このように、過去の履歴を利用することで、リフォーカス画像データの生成をユーザーに指示される前に、実施することが可能となる。すなわち、多視点画像データを含む画像ファイルを最初に読み出した際に、そのファイルのヘッダ情報にリフォーカス位置情報が含まれていない場合、履歴情報を用いてリフォーカス画像データをユーザーの指示なしに生成することができる。また、履歴情報を用いることで、そのユーザーが過去にフォーカスを合わせた被写体の頻度に応じてリフォーカス画像データを生成することができる。ユーザーの指示なしに予めリフォーカス画像データを生成しておくことによって、ユーザーが希望するフォーカス領域を指定した時、リフォーカス演算時間を待つことなく、ユーザーが希望するリフォーカス画像を表示することが可能となる効果がある。
また、本実施例では、多視点画像データが含まれる画像ファイルに、ユーザーが最後に指定したフォーカス位置を特定するパラメータ情報を埋め込んでいる。これにより、次回、画像ファイルを読み込んで、表示する際、ユーザーが最後に表示していた画像を、パラメータの再設定なしに表示することができる。これにより、ユーザーによるパラメータ設定の手間を省くことができ、本技術を組み込んだ装置の操作性が向上することにつながる。
また、本実施例によれば、フォーカスを合わせる対象となる推奨領域を矩形の枠で表示することにより、ユーザーがフォーカスを合わせる位置を容易に判断することができ、その位置を指定することができるようになる。
R=(C−S)/T × 100
とあらわせる。また、本実施例では、全体制御部108内にタイマーをもち、フォーカス処理開始時刻と現在時刻の、タイマーから取得するものとする。ただし、タイマーを全体制御部の外に配置する構成をとることも可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (13)
- 撮像して得られた画像データが示す画像とともに該画像中の少なくとも1つの領域を表示させる表示制御手段と、
ユーザーからの指示に基づいて、前記領域の中の一つの領域を選択する選択手段と、
前記選択手段により選択された領域に応じて、前記画像データに対して画像処理を実行する第1の画像処理手段と
を有する画像処理装置。 - 前記画像データは、多視点から撮像して得られた多視点画像データである請求項1に記載の画像処理装置。
- 前記第1の画像処理手段は、前記選択された領域に焦点があるように前記画像データに対して画像処理を実行する請求項1または2に記載の画像処理装置。
- 前記画像データの特性を解析する解析手段をさらに有し、
前記表示制御手段は、前記解析手段による解析結果に基づいて、前記領域を表示させることを特徴とする請求項1から3のいずれかに記載の画像処理装置。 - 前記解析結果は、画像内の被写体を分類した情報であることを特徴とする請求項4に記載の画像処理装置。
- 前記解析手段は、前記画像の特性に応じて当該画像を複数の領域に分類し、当該分類した領域に対応する優先度を前記解析結果に含めて出力する請求項4または5に記載の画像処理装置。
- 前記解析手段によって出力された優先度に従って、前記画像データに対して前記分類された各領域に応じた画像処理を実行する第2の画像処理手段をさらに有し、
前記表示制御手段は、
前記選択手段により選択された領域が前記第2の画像処理手段によって画像処理された領域に対応している場合は、前記第2の画像処理手段によって画像処理された画像を表示し、
前記選択手段により選択された領域が前記第2の画像処理手段によって画像処理された領域に対応していない場合は、前記第1の画像処理手段によって画像処理された画像を表示する請求項6に記載の画像処理装置。 - 前記表示制御手段は、前記解析手段によって分類された被写体を特定する図形を前記領域として表示させる請求項7に記載の画像処理装置。
- 前記第2の画像処理手段によって各領域に応じた画像処理が完了するまでの進捗情報を取得する進捗情報取得手段をさらに備え、
前記表示制御手段は、前記取得した進捗情報に基づいて前記図形を表示させる請求項8に記載の画像処理装置。 - 多視点画像データが示す画像上に当該画像のリフォーカスを推奨する領域を示す図形を少なくとも1つ表示する表示手段と、
前記少なくとも1つの図形の選択に応じて、当該選択された図形が示す領域に焦点が合うように生成した合成画像データを前記表示手段に表示させる制御手段と
を有することを特徴とする画像処理装置。 - 撮像して得られた画像データが示す画像とともに該画像中の少なくとも1つの領域を表示させる表示制御ステップと、
ユーザーからの指示に基づいて、前記領域の中の一つの領域を選択する選択ステップと、
前記選択ステップにより選択された領域に応じて、前記画像データに対して画像処理を実行する画像処理ステップと
を有する画像処理方法。 - 多視点画像データが示す画像上に当該画像のリフォーカスを推奨する領域を示す図形を少なくとも1つ表示する表示ステップと、
前記少なくとも1つの図形の選択に応じて、当該選択された図形が示す領域に焦点が合うように生成した合成画像データを表示させる制御ステップと
を有することを特徴とする画像処理方法。 - コンピュータを請求項1から10のいずれかに記載の画像処理装置として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130868A JP6103826B2 (ja) | 2012-06-08 | 2012-06-08 | 画像処理装置、画像処理方法およびプログラム |
US13/908,101 US20130329068A1 (en) | 2012-06-08 | 2013-06-03 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130868A JP6103826B2 (ja) | 2012-06-08 | 2012-06-08 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013254433A true JP2013254433A (ja) | 2013-12-19 |
JP2013254433A5 JP2013254433A5 (ja) | 2015-07-16 |
JP6103826B2 JP6103826B2 (ja) | 2017-03-29 |
Family
ID=49951860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012130868A Active JP6103826B2 (ja) | 2012-06-08 | 2012-06-08 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6103826B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017208820A1 (ja) * | 2016-05-30 | 2019-03-28 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7314694B2 (ja) | 2019-08-01 | 2023-07-26 | 株式会社オートネットワーク技術研究所 | 配線部材 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187215A (ja) * | 2001-12-18 | 2003-07-04 | Fuji Xerox Co Ltd | 画像処理システム及び画像処理サーバ |
JP2005148900A (ja) * | 2003-11-12 | 2005-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置、画像分類方法、および、プログラム |
US20080131019A1 (en) * | 2006-12-01 | 2008-06-05 | Yi-Ren Ng | Interactive Refocusing of Electronic Images |
JP2011130382A (ja) * | 2009-12-21 | 2011-06-30 | Canon Inc | 撮像装置およびその制御方法 |
-
2012
- 2012-06-08 JP JP2012130868A patent/JP6103826B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187215A (ja) * | 2001-12-18 | 2003-07-04 | Fuji Xerox Co Ltd | 画像処理システム及び画像処理サーバ |
JP2005148900A (ja) * | 2003-11-12 | 2005-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置、画像分類方法、および、プログラム |
US20080131019A1 (en) * | 2006-12-01 | 2008-06-05 | Yi-Ren Ng | Interactive Refocusing of Electronic Images |
JP2011130382A (ja) * | 2009-12-21 | 2011-06-30 | Canon Inc | 撮像装置およびその制御方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017208820A1 (ja) * | 2016-05-30 | 2019-03-28 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
US11184579B2 (en) | 2016-05-30 | 2021-11-23 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
JP2022036998A (ja) * | 2016-05-30 | 2022-03-08 | ソニーグループ株式会社 | 映像音響処理装置および方法、並びにプログラム |
JP7396341B2 (ja) | 2016-05-30 | 2023-12-12 | ソニーグループ株式会社 | 映像音響処理装置および方法、並びにプログラム |
US11902704B2 (en) | 2016-05-30 | 2024-02-13 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
Also Published As
Publication number | Publication date |
---|---|
JP6103826B2 (ja) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3326360B1 (en) | Image capturing apparatus and method of operating the same | |
US9036072B2 (en) | Image processing apparatus and image processing method | |
US9754179B2 (en) | Image generating device, electronic device, image generating method and recording medium | |
EP2822267B1 (en) | Method and apparatus for previewing a dual-shot image | |
JP6207202B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6622289B2 (ja) | 写真合成方法、装置、プログラム、及び記録媒体 | |
US20130329068A1 (en) | Image processing apparatus and image processing method | |
JP2016144089A (ja) | 画像処理装置およびその制御方法 | |
US20150304566A1 (en) | Display apparatus and image composition method thereof | |
CN104704805A (zh) | 信息处理装置、信息处理方法和程序 | |
JP5886479B2 (ja) | 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 | |
JP2013254151A (ja) | 画像処理装置および画像処理方法 | |
CN105247567A (zh) | 图像重新聚焦 | |
JP6270578B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP6103826B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2009171428A (ja) | デジタルカメラ装置および電子ズームの制御方法およびプログラム | |
JP2019186791A (ja) | 撮像装置、撮像装置の制御方法、および制御プログラム | |
KR101314687B1 (ko) | 시선 경로 제공장치 및 시선 경로 제공방법 | |
JP2019191661A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2018067802A (ja) | 撮像制御装置、撮像装置の制御方法及びプログラム | |
JP2013255172A (ja) | 画像処理装置及び画像処理方法 | |
KR20170043202A (ko) | 영상 촬영 장치 및 이의 제어 방법 | |
JP2012244249A (ja) | 撮像装置および撮像方法 | |
JP2015008428A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5055462B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6103826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |