JP2011053456A - Image display method, program, image display device, and imaging apparatus with the image display device - Google Patents
Image display method, program, image display device, and imaging apparatus with the image display device Download PDFInfo
- Publication number
- JP2011053456A JP2011053456A JP2009202446A JP2009202446A JP2011053456A JP 2011053456 A JP2011053456 A JP 2011053456A JP 2009202446 A JP2009202446 A JP 2009202446A JP 2009202446 A JP2009202446 A JP 2009202446A JP 2011053456 A JP2011053456 A JP 2011053456A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- display
- attention
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置に関する。 The present invention relates to an image display method, a program, an image display apparatus, and an imaging apparatus having the image display apparatus.
いわゆるパノラマ画像をディスプレイデバイス（例えば、デジタルカメラの液晶ディスプレイやテレビなど）のような表示部に表示する場合、パノラマ画像の縦横比は表示部の縦横比と一致しないことが多い。このようなパノラマ画像全体を表示するためには、画像の長手方向が表示部内に収まるように画像全体を縮小すればよいが、結果的に画像が小さく表示されて見辛いものとなっていた。一方で、パノラマ画像を縮小することなく表示すると、画像の一部が表示部からはみ出してしまい、画像全体を表示することができない。したがって、画像全体を表示するためには、ユーザが手動で、または画像表示システム側で自動で画像を上下左右スクロールさせて表示するなどの処理が必要があった。このように画像をスクロール表示するための各種提案がされている（例えば、特許文献１参照）。 When a so-called panoramic image is displayed on a display unit such as a display device (for example, a liquid crystal display of a digital camera or a television), the aspect ratio of the panoramic image often does not match the aspect ratio of the display unit. In order to display such a panoramic image as a whole, it is only necessary to reduce the entire image so that the longitudinal direction of the image is within the display unit, but as a result, the image is displayed in a small size and is difficult to see. On the other hand, if the panoramic image is displayed without being reduced, a part of the image protrudes from the display unit, and the entire image cannot be displayed. Therefore, in order to display the entire image, it is necessary for the user to manually scroll the image, or to automatically scroll the image on the image display system side. Various proposals for scroll-displaying images in this way have been made (see, for example, Patent Document 1).
しかしながら、この従来技術では、パノラマ画像をスクロール表示する際に、一定速度または可変速度でスクロールすることは可能であったが、パノラマ画像の中から閲覧者の興味を引く部分（いわゆる、「注目領域」）だけをゆっくりと表示したり拡大表示するなどの演出的な表示を行うものは未だ提案されておらず、閲覧者が見易く、感性により合致した画像を表示する方法が求められている。 However, in this prior art, when scrolling and displaying a panoramic image, it was possible to scroll at a constant speed or a variable speed. However, a part of the panoramic image that attracts the viewer's interest (so-called “region of interest” “)” Is not proposed yet, and there is a need for a method for displaying an image that is easy for the viewer to see and matches according to the sensibility.
本発明はこのような課題に鑑みてなされたものであり、パノラマ画像のように表示部に表示しきれない画像をスクロールして表示する際に、当該画像中から注目領域を検出し、この注目領域の表示時間を延長したり拡大表示するなどの効果処理を行うことが可能な画像表示方法、プログラム、画像表示装置、及び、撮像装置を提供することを目的とする。 The present invention has been made in view of such a problem, and when scrolling and displaying an image that cannot be displayed on the display unit, such as a panoramic image, an attention area is detected from the image, and the attention is detected. It is an object of the present invention to provide an image display method, a program, an image display device, and an imaging device capable of performing effect processing such as extending the display time of an area or displaying an enlarged image.
前記課題を解決するために、本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、画像データ及び当該画像データを表示する表示部の縦方向のサイズ比及び横方向のサイズ比を求め、当該サイズ比の何れもが１以下の場合は、当該画像データのスクロール表示を行わないと決定し、当該サイズ比の少なくとも一方が１より大きい場合は、当該画像データのスクロール表示を行うと決定するステップと、スクロール表示を行うと決定したときに、当該画像データ及び表示部の縦方向のサイズ比が横方向のサイズ比より小さい場合に、当該画像データのスクロール方向を横方向と決定し、縦方向のサイズ比が横方向のサイズ比より大きい場合に、画像データのスクロール方向を縦方向と決定するステップと、スクロール表示を行うと決定したときに、当該画像データのスクロール方向と直交する方向のサイズが、表示部の当該サイズより大きい場合に、直交する方向のサイズが表示部の当該サイズと略同一となるよう、当該画像データをリサイズするステップと、当該画像データから、注目領域を検出するステップと、注目領域に効果処理を施しながら、画像データを表示部に表示するステップと、を有する画像表示方法。 In order to solve the above problems, an image display method according to the present invention is an image display method for displaying image data using a computer, and the vertical size of the image data and the display unit for displaying the image data. The ratio and the size ratio in the horizontal direction are obtained. If both of the size ratios are 1 or less, it is determined that the image data is not scroll-displayed. If at least one of the size ratios is greater than 1, The step of determining to perform scroll display of the image data, and when it is determined to perform the scroll display, if the vertical size ratio of the image data and the display unit is smaller than the horizontal size ratio, When the scroll direction is determined as the horizontal direction and the vertical size ratio is greater than the horizontal size ratio, the image data scroll direction is determined as the vertical direction. And when the size of the image data in the direction orthogonal to the scroll direction is larger than the size of the display unit, the size in the direction orthogonal to the size of the display unit is determined. Resizing the image data so as to be substantially the same, detecting a region of interest from the image data, and displaying the image data on the display unit while effecting the region of interest. Image display method.
このような画像表示方法は、スクロール表示を行うと決定したときに、画像データをリサイズするステップと、画像データから注目領域を検出するステップとの間に、画像データを複数の分割画像に分割するステップ、を更に有し、分割画像毎に、注目領域を検出するステップを行って、注目領域を検出するように構成されることが好ましい。 In such an image display method, when it is determined that scroll display is performed, the image data is divided into a plurality of divided images between the step of resizing the image data and the step of detecting the attention area from the image data. It is preferable that a step of detecting a region of interest is performed for each divided image to detect the region of interest.
また、このような画像表示方法において、効果処理が、注目領域を拡大表示する処理、又は、注目領域の表示時間を延長する処理であることが好ましい。 In such an image display method, it is preferable that the effect process is a process of displaying the attention area in an enlarged manner or a process of extending the display time of the attention area.
また、このような画像表示方法において、注目領域を検出するステップは、画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、この画像データの画素毎に、画像データのエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、画像データの対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、画像データにおいて、注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を注目領域として抽出するステップと、を有することが好ましい。 Further, in such an image display method, the step of detecting the attention area includes the step of detecting the edge of the image data for each pixel of the image data from each of the three planes corresponding to the luminance and the two chromaticities of the image data. A component is extracted, and for each pixel, an edge amount for each pixel is calculated by weighting and adding the edge components of each of the three planes, and an element corresponding to the number of pixels of the image data is included. In each of the image data, the step of calculating the attention degree for each pixel by multiplying each of the elements of the attention area weight map in which the weight value is set in advance for each element by the edge amount of the corresponding pixel of the image data, It is preferable to include a step of extracting a pixel having a degree of attention larger than a predetermined threshold as a point of interest, and extracting a region including all of the points of interest as the region of interest.
このとき、注目領域を検出するステップは、エッジ量を算出するステップの前に実行されるステップであって、画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、エッジ量を算出するステップは、画像データ及びリサイズ画像毎に、エッジ量を算出するように構成され、注目度を算出するステップは、さらに、リサイズ画像から算出されたエッジ量を、画像データの画素数と同一次元に復元するステップと、画像データから算出されたエッジ量及びリサイズ画像から算出されてリサイズされたエッジ量の各々に、注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、を有することが好ましい。 At this time, the step of detecting the attention area is a step executed before the step of calculating the edge amount, and further includes a step of generating a resized image obtained by resizing the image data into at least one or more different dimensions. And the step of calculating the edge amount is configured to calculate the edge amount for each of the image data and the resized image, and the step of calculating the attention level further includes the edge amount calculated from the resized image as an image A step of restoring to the same dimension as the number of pixels of the data, multiplying each of the edge amount calculated from the image data and the resized edge amount calculated from the resized image by each of the elements of the attention area weight map, and Each of the edge amounts multiplied by the attention area weighting map is multiplied by a preset weight and added for each pixel. It is preferred to have the steps of: calculating a degree of attention for each.
あるいは、注目領域を検出するステップは、さらに、画像データから、注目領域として抽出するステップにおいて抽出された領域を切り出すステップと、切り出された画像データを、少なくとも１つ以上の異なるサイズにリサイズするステップと、切り出された画像データ及び切り出された画像データをリサイズした画像毎にエッジ量を算出するステップと、切り出された画像データをリサイズした画像から算出されたエッジ量を、切り出された画像データの次元に復元するステップと、切り出された画像データから算出されたエッジ量及び切り出された画像データをリサイズした画像から算出され、さらにリサイズされたエッジ量を、予め設定された重みを乗じて画素毎に加算して、切り出された画像データの注目度を算出するステップと、切り出された画像データの注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれるグループを注目領域部分領域として決定するステップと、当該注目領域部分領域を、互いの距離に応じて１つ又は２以上に更にグループ化し、得られたグループ毎に、当該グループに所属する注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有することが好ましい。 Alternatively, the step of detecting the region of interest further includes a step of cutting out the region extracted in the step of extracting as the region of interest from the image data, and a step of resizing the cut out image data into at least one different size A step of calculating an edge amount for each image obtained by resizing the cut image data and the cut image data; and an edge amount calculated from an image obtained by resizing the cut image data. A step of restoring to a dimension, an edge amount calculated from the cut-out image data, and an image obtained by resizing the cut-out image data. Further, the resized edge amount is multiplied by a preset weight for each pixel. And calculating the attention level of the extracted image data; In the step of binarizing the attention level of the cut out image data as 1 when the attention level is equal to or higher than a predetermined threshold value and 0 when the attention level is smaller than the predetermined threshold value, Grouping the pixels for which 1 is set and determining a group including a predetermined number of pixels or more as the attention area partial area, and one or more of the attention area partial areas according to the distance to each other It is preferable to further include a step of further grouping into two or more and extracting, for each obtained group, a region including all of the attention region partial regions belonging to the group as a new attention region.
また、本発明に係るプログラムは、画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、上述の画像表示方法のいずれかを実行させるためのプログラムである。 A program according to the present invention is a program for causing a computer connected to a storage unit storing image data and a display unit to execute one of the above-described image display methods.
また、本発明に係る画像表示装置は、画像データが記憶された記憶部と、表示部と、記憶部から画像データを読み出して、上述の画像表示方法のいずれかにより表示部に表示する制御部と、を有する。 An image display device according to the present invention includes a storage unit in which image data is stored, a display unit, and a control unit that reads the image data from the storage unit and displays the image data on the display unit by any of the image display methods described above. And having.
さらに、本発明に係る撮像装置は、上述の画像表示装置と、光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を記憶部に記憶させる撮像部と、を有する。 Furthermore, an imaging apparatus according to the present invention includes the above-described image display apparatus, an optical system and an imaging element that detects an image formed by the optical system, and stores an image detected by the imaging element in a storage unit. And an imaging unit.
本発明に係る画像表示方法、プログラム、画像表示装置、及び、撮像装置を以上のように構成すると、いわゆるパノラマ画像のように、ディスプレイデバイス等の表示画面よりもサイズの大きい画像をスクロール表示する際に、当該画像から注目領域を検出し、この注目領域に対して、表示時間の延長や拡大表示などの効果処理を施すことにより、閲覧者の感性に合致した好ましい画像表示が可能となる。 When the image display method, the program, the image display apparatus, and the imaging apparatus according to the present invention are configured as described above, an image having a size larger than the display screen of a display device or the like is scroll-displayed as a so-called panoramic image. In addition, by detecting a region of interest from the image and performing an effect process such as extension of display time or enlarged display on the region of interest, a preferable image display that matches the viewer's sensitivity can be achieved.
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像表示方法が実行される画像表示装置２の構成について説明する。なお、本実施形態においては、この画像表示装置２を、撮像部１０等を有するデジタルカメラ（撮像装置）１に適用した場合について説明する。図１に示すように、デジタルカメラ１は、撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、制御部１６、表示画像生成部１７、注目領域検出部１８、及び、外部装置出力部１９から構成される。そして、これらの撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、表示画像生成部１７、注目領域検出部１８、及び、外部装置出力部１９は、制御部１６に情報を伝達可能に接続されている。さらに、このデジタルカメラ１は、外部装置出力部１９を介して画像を表示可能に外部モニタ１００への接続が可能となっている。そして、本実施形態の画像表示装置２は、上記デジタルカメラ１の構成部のうち、記憶部１５、制御部１６、表示画像生成部１７、及び、注目領域検出部１８などから構成されている。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the image display apparatus 2 in which the image display method according to the present embodiment is executed will be described with reference to FIG. In the present embodiment, a case will be described in which the image display device 2 is applied to a digital camera (imaging device) 1 having an
撮像部１０は、図示しない撮影レンズ、撮像素子、Ａ／Ｄ変換部等を備えており、ユーザーによる操作部１３からの指示に基づいて、制御部１６が制御することにより、被写体像を撮像する。
The
メモリ１１は、撮像部１０により撮像された被写体像の画像データを記憶し、また、各処理で算出された数値などを一時的に記憶する。メモリ１１には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
The
画像処理部１２は、撮像された画像データに対して、補間処理、輪郭強調処理またはホワイトバランス補正等の画像処理を行う。この画像処理部１２は、更に、撮影モード、シャッター速度、絞り値やＩＳＯ値等の撮影条件、および撮像日時等の撮像された画像に関する属性を示す情報を画像に付加して、Ｅｘｉｆ（Exchangeable image file format）形式等の画像のファイルを生成するデジタルフロントエンド処理部としての機能も有する。
The
操作部１３は、ユーザーによる操作指示信号を制御部１６に出力する。操作部１３には、例えば、電源ボタン、撮影モード等のモード設定ボタン、レリーズボタン等の操作ボタンやタッチパネルを有する。本実施形態では、画像表示を行うモードが、モード設定ボタンによって選択できるようになっている。また、操作ボタンは、タッチパネル上に画像として表示され各種操作を選択できるようにしてもよい。
The operation unit 13 outputs an operation instruction signal from the user to the
表示部１４は、ライブビュー用のスルー画像、モード設定画面及び画像等を表示する。表示部１４には、一般的な液晶モニタ等を適宜選択して用いることができる。 The display unit 14 displays a live view through image, a mode setting screen, an image, and the like. As the display unit 14, a general liquid crystal monitor or the like can be appropriately selected and used.
制御部１６は、記憶部１５に記憶されている制御プログラムを読み込み、操作部１３を介してユーザーからの様々な指示を受け付け、それらに基づいてデジタルカメラ１の動作を制御する。例えば、制御部１６は、撮像部１０に被写体像の撮像指令を出したり、画像処理部１２に撮像した画像データの画像処理をさせたり、処理された画像を記憶部１５へ記録したり、表示部１４へ表示したりする等の制御を行う。さらに、本実施形態では、制御部１６は、後述するように、撮像した複数の画像を表示部１４や外部表示装置１００へ表示するにあたり、ユーザーから操作部１３を介して受け取る指示に基づいて、表示部１４や外部表示装置１００に表示する表示画像を表示画像生成部１７に生成させ、この生成された表示画像を再生する。なお、この制御部１６には、一般的なコンピュータのＣＰＵが使用される。
The
表示画像生成部１７は、画像データを基に表示用の画像を生成し、この画像を制御部１６を介して表示部１４や外部モニタ１００の表示画面２０に表示する。この際に、注目領域検出部１８で検出された注目領域に、所定の効果処理を施して画像を表示する。注目領域検出部１８は、画像内の注目領域を、輝度および色のコントラストを基に抽出する。なお、注目領域の検出については後述する。
The display
外部装置出力部１９は、外部表示装置１００である外部モニタと有線または無線で接続され、ユーザーによる操作部１３の操作に応じて、デジタルカメラ１によって撮像された画像を外部表示装置１００へ出力する。外部装置出力部１９には、ＨＤＭＩ（High-Definition Multimedia Interface）等のチップが搭載されたインターフェースを用いることができる。また、外部表示装置１００には、一般的な高精細度テレビジョン放送受信可能なテレビを適宜選択して用いることもできる。
The external
記憶部１５は、制御部１６がデジタルカメラ１を制御するための制御プログラム、撮像した画像データ及びこの画像データの各種情報（図２参照）等が記憶される。記憶部１５に記憶されるプログラムや画像データは、制御部１６から適宜参照することができる。記憶部１５には、一般的なハードディスク装置、光磁気ディスク装置、半導体メモリである任意の不揮発性メモリ、または着脱可能なカードメモリ等を適宜選択して用いることができる。
The storage unit 15 stores a control program for the
また、記憶部１５には、図２に示すように、画像データの格納先や注目領域の座標などが記憶される画像情報格納領域１５１と、画像そのものとその属性情報が関連付けられて画像データとして記憶される画像データ格納領域１５２とを有している。画像情報格納領域１５１は、図２（ａ）に示すようなデータ構造を有しており、画像データを識別する識別情報（ＩＤ）として、ファイル名が記憶されるファイル名記憶領域１５１ａ、このファイルの格納先の先頭アドレスが記憶されるアドレス記憶領域１５１ｂ、画像データのスクロール方向が記憶されるスクロール方向領域１５１ｃ、画像のオリジナル（元画像）のサイズ（Ｗ×Ｈ）が画素数で記憶される元画像サイズ領域１５１ｄ、画像を縮小（リサイズ）した際のサイズが（Ｗ×Ｈ）が画素数で記憶される縮小後サイズ領域１５１ｅ、画像データを複数の分割画像に分割した際の分割数が記憶される分割数領域１５１ｆ、及び、注目領域検出部１８で検出された注目領域情報が記憶される注目領域情報領域１５１ｇを少なくとも有している。
In addition, as shown in FIG. 2, the storage unit 15 stores image
また、注目領域情報領域１５１ｇは、注目領域の左上の座標（ｘ座標及びｙ座標）が記憶される左上座標領域１５１ｈと当該注目領域の右下の座標（ｘ座標及びｙ座標）が記憶される右下座標領域１５１ｉとから構成されている。この注目領域の左下及び右下の座標領域１５，ｈ，１５２ｉは、画像データを分割した際の分割画像の数に対応して設けられ、各分割画像の注目領域情報を設定可能となっている。なお、この注目領域の左下及び右下の座標については、縮小後の画像の左上隅を原点（０，０）とし、横方向をｘ軸、縦方向をｙ軸とした際に、当該注目領域の左上隅及び右下隅の位置座標を、原点からの相対位置（画素）で表したものである。
The attention
また、画像情報格納領域１５１のファイル名記憶領域１５１ａ、アドレス記憶領域１５１ｂ及び元画像サイズ領域１５１ｄには、撮像部１０により撮影された画像データが記憶部１５の画像データ格納領域１５２に記憶される際に、そのファイル名、格納先アドレス、画像サイズが設定され、これら以外の領域（１５１ｃ，１５１ｅ，１５１ｆ，１５１ｇ）には、初期値として空白やゼロが設定される。
Further, in the file
一方、画像データ格納領域１５２は、図２（ｂ）に示すようなデータ構造を有しており、画像そのもののデータが記憶される画像記憶領域１５２ａと、ヘッダ領域、撮影時刻情報、回転情報などの属性情報が記憶される属性情報記憶領域１５２ｂとを有し、１つの画像データに対する情報が１レコードとして管理される。この画像記憶領域１５２ａと属性情報記憶領域１５２ｂとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Exchangeable image file format）等が知られている。ここで、画像データ格納領域１５２に記憶された画像データを取得する場合、画像情報格納領域１５１のアドレス記憶領域１５１ｂから画像データのアドレスを取得し、このアドレスを基に画像データ格納領域１５２から、該当する画像データそのもの及びその属性情報を取得することができる。
On the other hand, the image
次に、このような構成のデジタルカメラ１において、画像表示装置２が画像表示方法を用いて、撮像した画像を表示する際の画像表示処理について、図３のフローチャートを用いて説明する。この画像表示処理は、例えば、ユーザーがデジタルカメラ１の操作部１３において、モード選択ボタンで画像表示のモードを選択するなどによって画像表示の指示が発行され、この指示を受け取った制御部１６が、表示画像生成部１７に対して表示画像の生成及び表示指令を出力することによって実行される。
Next, image display processing when the image display apparatus 2 displays a captured image using the image display method in the
この指令を受け取った表示画像生成部１７は、制御部１６を介して、記憶部１５の画像情報格納領域１５１をメモリ１１に読み出し、この画像情報格納領域１５１に記憶されたファイル名順に、画像データ格納領域１５２に記憶された画像データを一件ずつメモリ１１へ読み出す。（以上、ステップＳ１００）。
Upon receiving this command, the display
次に、表示画像生成部１７は、画像情報格納領域１５１の元画像サイズ領域１５１ｄから取得した画像データのオリジナルサイズを基に、表示部４または外部表示装置１００の表示画面に対する処理対象の画像データの縦方向のサイズ比αと横方向のサイズ比βとを算出する。図４（ａ）に示すように、表示画面２０の縦方向のサイズ（画素数）をａ、横方向のサイズ（画素数）をｂとし、画像データ３０の縦方向のサイズ（画素数）をＡ、横縦方向のサイズ（画素数）をＢとしたとき、縦方向のサイズ比αと横方向のサイズ比βとは次式（１）及び（２）により算出できる（以上、ステップＳ１１０）。
Next, based on the original size of the image data acquired from the original
α＝Ａ／ａ （１）
β＝Ｂ／ｂ （２）
α = A / a (1)
β = B / b (2)
次に、上記式（１）及び（２）で算出されたα及びβが、次式（３）を満たすか否か判定することにより、スクロールするか否かを決定する（ステップＳ１２０）。 Next, it is determined whether or not to scroll by determining whether or not α and β calculated by the above equations (1) and (2) satisfy the following equation (3) (step S120).
α≦１ かつ β≦１ （３） α ≦ 1 and β ≦ 1 (3)
上記式（３）を満足する場合は、画像データ３０をオリジナルサイズのまま表示しても縦・横方向ともに表示画面２０内に収まるので、画像データ３０のスクロールやリサイズの必要がない。そのため、以降のステップＳ１３０〜ステップＳ１５０の処理は行わず、ステップＳ１６０の注目領域の検出処理に進む。
If the above expression (3) is satisfied, even if the
一方、上記式（３）を満足しない場合は、画像データ３０をオリジナルサイズで表示した場合に縦方向又は横方向の少なくとも何れかの方向で、画像が表示画面２０からはみ出てしまうため、当該画像をスクロールして表示する必要がある。そのため、縦方向及び横方向の何れの方向にスクロールするか決定する（ステップＳ１３０）。この場合、表示画面２０からはみ出す割合が大きい方向をスクロール方向として選択する。具体的には、ステップＳ１１０で算出されたα及びβが、次式（４）及び（５）の何れを満たすかで判断する。
On the other hand, if the above equation (3) is not satisfied, the image protrudes from the
α＜β （４）
α＞β （５）
α <β (4)
α> β (5)
上記式（４）を満足する場合、すなわち、表示画面に対する画像データの縦方向のサイズ比が横方向のサイズ比より小さい場合は、画像の横方向がはみ出す割合が大きい。したがって、スクロール方向を横方向と決定する。一方、上記式（５）を満足する場合、すなわち、表示画面に対する画像データの縦方向のサイズ比が横方向のサイズ比より大きい場合は、画像の縦方向がはみ出す割合が大きい。したがって、スクロール方向を縦方向と決定する。以下、横方向にスクロールすることを、「横スクロール」と呼び、縦方向にスクロールすることを、「縦スクロール」と呼ぶ。また、この処理で得られたスクロール方向を、メモリ１１上に展開した画像情報格納領域１５１のスクロール方向領域１５１ｃに設定する。なお、α＝βを満足する場合は、スクロールは行わず後述のリサイズを行う。
When the above formula (4) is satisfied, that is, when the size ratio of the image data to the display screen in the vertical direction is smaller than the size ratio in the horizontal direction, the proportion of the image protruding in the horizontal direction is large. Therefore, the scroll direction is determined as the horizontal direction. On the other hand, when the above formula (5) is satisfied, that is, when the size ratio of the vertical direction of the image data to the display screen is larger than the size ratio of the horizontal direction, the ratio of the vertical direction of the image is large. Therefore, the scroll direction is determined as the vertical direction. Hereinafter, scrolling in the horizontal direction is referred to as “horizontal scrolling”, and scrolling in the vertical direction is referred to as “vertical scrolling”. Further, the scroll direction obtained by this processing is set in the
次に実行されるリサイズ処理（ステップＳ１４０）について説明する。まず、リサイズを行う必要があるか否かを決定する。上記ステップＳ１３０で「横スクロール」と決定された場合、このスクロール方向に直交する縦方向のサイズ比αが次式（６）を満足するか否かで画像データをリサイズする必要があるか否かを決定することができる。 Next, the resizing process (step S140) to be executed will be described. First, it is determined whether resizing is necessary. If “horizontal scroll” is determined in step S130, whether or not the image data needs to be resized depending on whether or not the size ratio α in the vertical direction orthogonal to the scroll direction satisfies the following expression (6). Can be determined.
α≦１ （６） α ≦ 1 (6)
上記式（６）を満足する場合、当該画像データ３０の縦サイズは表示画面２０の縦サイズ以下であることから、リサイズの必要はない。一方、上記式（６）を満足しない場合、当該画像データ３０の縦サイズが表示画面２０の縦サイズより大きいため、表示画面２０内に収まるように画像データ３０を縮小（リサイズ）する必要がある。縮小後の画像データ３０′の縦サイズＡ′（画素数）、横サイズＢ′（画素数）は、次式（７）及び（８）を用いて算出する。次式（７）及び（８）に示すように、縦サイズＡ′は表示画面のサイズａに一致させ、この縦方向の縮小割合と同じ割合（１／α）で横方向を縮小し、サイズＢ′を算出する。
When the above formula (6) is satisfied, the vertical size of the
Ａ′＝ａ （７）
Ｂ′＝Ｂ／α （８）
A '= a (7)
B '= B / α (8)
また、上記ステップＳ１３０で「縦スクロール」と決定された場合、このスクロール方向に直交する横方向のサイズ比βが次式（９）を満足するか否かで画像データ３０をリサイズするか否かを決定する。
If “vertical scroll” is determined in step S130, whether or not the
β≦１ （９） β ≦ 1 (9)
上記式（９）を満足する場合、当該画像データ３０の横サイズは表示画面の横サイズ以下であることから、リサイズの必要はない。一方、上記式（９）を満足しない場合、当該画像データ３０の横サイズが表示画面２０の横サイズより大きいため、画像データ３０を縮小（リサイズ）する必要がある。縮小後の画像データ３０′の縦サイズＡ′、横サイズＢ′を、次式（１０）及び（１１）を用いて算出する。次式（１０）及び（１１）に示すように、横サイズＢ′は表示画面のサイズｂに一致させ、この横方向の縮小割合と同じ割合（１／β）で縦方向を縮小し、サイズＡ′を算出する。
When the above formula (9) is satisfied, the horizontal size of the
Ｂ′＝ｂ （１０）
Ａ′＝Ａ／β （１１）
B ′ = b (10)
A ′ = A / β (11)
以上のように算出された縮小後のサイズでメモリ１１上に展開した画像データ３０を縮小するとともに、この縮小後のサイズを、メモリ１１に展開した画像情報格納領域１５１の縮小後サイズ領域１５１ｅに設定する。なお、画像データの縮小は、解像度を下げることによって行うことができる。
The
次に、画像データ３０′の分割処理を行う（ステップＳ１５０）。まず、横スクロールの場合の分割方法について説明する。リサイズ後の画像データの横サイズＢ′を表示画面の横サイズｂで割ったときの商Ｃ及び余りＭは、次式（１２）のように表される。 Next, the image data 30 'is divided (step S150). First, a division method in the case of horizontal scroll will be described. The quotient C and the remainder M when the horizontal size B ′ of the resized image data is divided by the horizontal size b of the display screen are expressed by the following equation (12).
Ｂ′／ｂ＝Ｃ余りＭ （１２）
ただし、上記式（１２）中、Ｃは正の整数で、Ｍは０又は正の整数である。
B '/ b = C remainder M (12)
However, in said formula (12), C is a positive integer and M is 0 or a positive integer.
ここで、Ｂ′／ｂが割り切れる場合、すなわち、Ｍ＝０の場合、画像データ３０′を横方向にサイズｂ（画素）ずつ等分割して、Ｃ個の分割画像３１を形成する（図４（ｃ）の例では、３１ａ〜３１ｄの４つ）。これに対して、Ｂ′／ｂが割り切れない場合、すなわち、余りＭ（Ｍ≠０）を生じる場合の、画像データの分割方法を、２つの具体例を挙げて説明する。
Here, when B ′ / b is divisible, that is, when M = 0, the
第１の分割方法では、画像データを横サイズＢ′／（Ｃ＋１）（画素）で等分割し、（Ｃ＋１）個の分割画像３１を形成する。ただし、Ｂ′が（Ｃ＋１）で割り切れない場合がある。このときの画像データの横サイズＢ′を分割数（Ｃ＋１）で割った際の商Ｄ及び余りＮは、次式（１３）のように表される。 In the first division method, the image data is equally divided by the horizontal size B ′ / (C + 1) (pixels) to form (C + 1) divided images 31. However, B ′ may not be divisible by (C + 1). The quotient D and the remainder N when the horizontal size B ′ of the image data at this time is divided by the number of divisions (C + 1) are expressed by the following equation (13).
Ｂ′／（Ｃ＋１）＝Ｄ余りＮ （１３）
ただし、上記式（１３）中、Ｄ及びＮは正の整数を表す。
B ′ / (C + 1) = D remainder N (13)
However, in said formula (13), D and N represent a positive integer.
上記式（１３）の場合、画像データ３０′を、横サイズがＤ（画素数）のＣ個の分割画像３１と、横サイズが（Ｄ＋Ｎ）（画素数）の１個の分割画像３１とに分割する。 In the case of the above equation (13), the image data 30 'is divided into C divided images 31 having a horizontal size of D (number of pixels) and one divided image 31 having a horizontal size of (D + N) (number of pixels). To divide.
次に、第２の分割方法について説明する。この方法では、前述の式（１２）で得られた余りＭが閾値γより大きいか否か、具体的には、次式（１４）又は（１５）の何れを満足するかで分割サイズ及び分割数を決定する。閾値γには、例えば、表示画面２０の横方向のサイズの半分（γ＝ｂ／２）を設定することができる。 Next, the second division method will be described. In this method, whether or not the remainder M obtained in the above equation (12) is larger than the threshold γ, specifically, whether the following equation (14) or (15) is satisfied satisfies the division size and the division. Determine the number. For example, half of the horizontal size of the display screen 20 (γ = b / 2) can be set as the threshold γ.
Ｍ＞γ （１４）
Ｍ≦γ （１５）
M> γ (14)
M ≦ γ (15)
余りＭが上記式（１４）を満足する場合、即ち、余りＭが表示画面の横サイズの半分よい大きい場合、画像データ３０′を、横サイズｂ（画素数）ずつ、Ｃ個の分割画像３１に等分割するとともに、残りの領域を横サイズがＭ（画素数）の分割画像３１とする。一方、余りＭが上記式（１５）を満足する場合、即ち、余りＭが表示画面の横サイズの半分以下の場合は、前述した第１の方法と同様に、前出の式（１３）を基に、画像データ３０′を、横サイズがＤ（画素数）のＣ個の分割画像３１と、横サイズ（Ｄ＋Ｎ）（画素数）の１個の分割画像３１とに分割する。
When the remainder M satisfies the above formula (14), that is, when the remainder M is half as large as the horizontal size of the display screen, the
以上何れかの方法で得られた分割画像３１の分割数を、メモリ１１の分割数領域１５１ｆに設定しておく。なお、以上のように全ての分割画像３１が必ずしも等間隔に分割されるとは限らないため、等分割された分割画像３１の横サイズと、最後にサイズ調整された分割画像３１の横サイズとを画像情報格納領域１５１に設定できるようにしてもよい。また、上記では横スクロールの場合の分割方法について説明したが、縦スクロールの場合も、縦横の方向は異なるが、横スクロールの場合と同様の分割方法を用いることができ、画像データ３０′を縦方向に分割して、複数の分割画像３１を形成する。
The division number of the divided image 31 obtained by any of the above methods is set in the
次に、注目領域検出部１８により、画像データからの注目領域の検出処理が行われる（ステップＳ１６０）。この注目領域検出処理（ステップＳ１６０）の詳細については後述する。この処理に入力される画像データは、スクロールが必要なものでは上記で分割された分割画像３１である。これに対して、前出の式（３）を満足することで、画像データのスクロールの必要がないと判断されたものについては、画像データ３０の分割を行っていないため、オリジナルサイズの画像データ３０そのものが入力される。
Next, the attention
この注目領域検出部１８から、戻り値として注目領域の左上座標（ｌｅｆｔ，ｔｏｐ）と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）とが返される。表示画像生成部１７では、この戻り値を、メモリ１１に展開した画像情報格納領域１５１の注目領域情報領域１５１ｇにおける、当該分割画像３１に対応する左上座標領域１５１ｈ及び右下座標領域１５１ｉに格納する。なお、分割しない画像データ３０場合は、１つ目の領域にこれらを格納する。例えば、図４（ｄ）に示す分割画像３１ａでは、実線で囲まれた部分が注目領域ＲＯＩ１として検出される。
The attention
以上のように１つの分割画像３１（分割しない場合は、１つの画像データ３０）について注目領域の検出処理が終わると、制御部１６は、次の分割画像３１が存在するか否かを判断し（ステップＳ１７０）、存在する場合は、ステップＳ１６０の注目領域の検出処理を繰り返す。一方、分割画像３１全ての注目領域の検出が終了した場合は、記憶部更新処理（ステップＳ１８０）に進む。
As described above, when the region-of-interest detection process is completed for one divided image 31 (one
次の記憶部更新処理（ステップＳ１８０）では、メモリ１１上の各領域（１５１ｅ〜１５１ｇ）に設定された縮小後サイズ、分割数、注目領域情報などを、記憶部１５に書き込んで更新する。なお、スクロールの必要がなく、分割が行われなかった画像データ３０の場合には、スクロール方向領域１５１ｃには、空白が、分割数領域１５１ｆには「１」が設定され、注目領域情報領域１５１ｇの１つ目の左上座標領域１５１ｈ及び右下座標領域１５１ｉに注目領域情報が設定されることとなる。また、画像データ３０′を複数に分割した場合、分割数領域１５１の分割数に対応した数の注目領域情報（左上座標領域１５１ｈ及び右下座標領域１５１ｉ）が設定されることとなる。
In the next storage unit update process (step S180), the reduced size, the number of divisions, attention area information, and the like set in each area (151e to 151g) on the
次に、表示画像生成部１７により、表示部１４や外部モニタ１００などの表示画面２０への画像の表示処理が行われる（ステップＳ１９０）。この表示は、公知のスライドショーの演出技術などを用いて行うことができる。このとき、元の画像データ３０が表示画面２０に収まる場合は、スクロールすることなくそのまま表示する。また、スクロールする必要がある場合は、スクロール方向領域１５１ｃに設定されたスクロール方向に従って、画像データ３０（リサイズされた場合は縮小後の画像データ３０′）をスクロール表示する。なお、表示画面２０に表示する画像の縦又は横サイズが表示画面２０の縦又は横サイズより小さくて、表示画面２０と画像との間に空間を生じる場合、この空間を所定の色（例えば黒色）や模様等で塗り潰し、レターボックスにしてもよい。
Next, the display
また、この画像の表示の際には、ステップＳ１６０で検出された注目領域ＲＯＩを拡大表示したり、表示時間を延長するなどの効果処理が施される。以下、この効果処理の一例について図４（ｃ）及び（ｄ）を用いて説明する。ここでは、図４（ｃ）に示すように、画像データ３０′が４つの分割画像３１ａ〜３１ｄに分割され、各々において実線で囲った部分が注目領域ＲＯＩ１〜ＲＯＩ４として検出されたものとする。まず、画像データ３０′の画像中、一つ目の分割画像３１ａに相当する領域を表示画面２０にスクロール表示する場合、当該分割画像３１ａの注目領域情報（一つ目の左上座標領域１５１ｈ及び右下座標領域１５１ｉからの情報）を基に、表示画面２０の面積に対する注目領域ＲＯＩ１の面積の比を計算する。
Further, when this image is displayed, an effect process such as enlarging the region of interest ROI detected in step S160 or extending the display time is performed. Hereinafter, an example of this effect process will be described with reference to FIGS. Here, as shown in FIG. 4C, it is assumed that the
この面積比が、閾値（例えば、１／２）以下であるか否かで施す効果の種類を選択して表示する。例えば、注目領域ＲＯＩ１の面積比が閾値以下であるとすると、この場合は注目領域ＲＯＩ１を拡大して表示する（図４（ｄ）のＲＯＩ１′）。この拡大は、縦横で等倍とするとともに、ＲＯＩ１の縦又は横サイズの何れかが、表示画面２０の縦又は横サイズと略同一になるように行う。ただし、注目領域ＲＯＩ１のオリジナルサイズを拡大の上限とし、それ以上大きくは拡大しないものとする。なお、最大に拡大しても注目領域ＲＯＩ１′のサイズが表示画面２０のサイズより小さく空間を生じる場合は、表示画面２０が埋まるように注目領域ＲＯＩ１の外周付近の画像も含めて拡大表示してもよい。また、表示画面２０には、注目領域ＲＯＩ１を拡大した状態（ＲＯＩ１′）で表示して、これをスクロール表示してもよいし、初めは通常のサイズで表示し、スクロールの進行にしたがって徐々に注目領域ＲＯＩ１を拡大表示するようにしてもよい。
The type of effect to be applied is selected and displayed depending on whether the area ratio is equal to or less than a threshold value (for example, 1/2). For example, if the area ratio of the attention area ROI1 is equal to or smaller than the threshold value, the attention area ROI1 is enlarged and displayed in this case (ROI1 ′ in FIG. 4D). This enlargement is performed at the same size in the vertical and horizontal directions, and so that either the vertical or horizontal size of the
次に、面積比が閾値を超えた場合について、２つめの分割画像３１ｂを用いて説明する。この分割画像３１ｂでは、ほぼ全体が注目領域ＲＯＩ２で占められているので、拡大表示は行わず、スクロールを一時停止したり、スクロール速度を遅くするなどにより、分割画像３１ｂの表示時間を延長する。
Next, the case where the area ratio exceeds the threshold will be described using the second divided
以上のように、分割画像３１ｂに相当する領域のスクロール表示が終わると、分割画像３１ｃ，３１ｄに相当する領域が前の分割画像につながって順次スクロール表示されるが、これらの領域の注目領域ＲＯＩ３，ＲＯＩ４のサイズ比は、閾値より小さいため、効果処理として拡大表示が行われる。なお、スクロール表示しない画像データ３０を表示する際にも、注目領域の拡大表示や表示時間の延長などの効果処理を施して表示してもよい。以上のように、閲覧者の興味を引く注目領域に効果処理を施すことで、より見易く、閲覧者の感性に合致した好ましい画像表示が可能となる。
As described above, when the scroll display of the area corresponding to the divided
上記のように１つの画像データについて画像の表示処理が終わると、制御部１６は、次の処理対象の画像データが存在するか否かを判定し（ステップＳ２００）、処理対象の画像データ存在する場合には、ステップＳ１００以降の処理を繰り返す。一方、処理対象画像データが存在しない場合は、画像表示処理全体を終了する。
When the image display process is completed for one image data as described above, the
なお、以上の説明では、画像表示指示を受けると、画像データを読み出す毎に、スクロール方向の決定、リサイズ、分割、注目領域検出、画像表示などの一連の処理を行っているが、本願はこれに限定されることはない。例えば、画像表示指示を受けたら、最初に全ての画像データについて注目領域検出までの処理を行い、その後、これらの処理で得られた情報を基に、全ての画像データについて順次、効果処理を施して表示画像を生成し表示するような処理構成としてもよい。または、撮影された画像データを記憶部１５に記憶する際に、注目領域検出までの処理を行い、この注目領域情報などの各種情報を画像データと関連付けて記憶部１５に記憶しておく。そして、画像の表示指示を受けた際には、記憶部１５に記憶されたこれらの情報を基に、効果処理を施して表示画像を生成し表示するような処理構成としてもよい。 In the above description, when an image display instruction is received, each time image data is read, a series of processes such as determination of the scroll direction, resizing, division, attention area detection, and image display are performed. It is not limited to. For example, when an image display instruction is received, processing up to the region of interest detection is first performed for all image data, and thereafter, effect processing is sequentially performed for all image data based on information obtained by these processing. The processing configuration may be such that a display image is generated and displayed. Alternatively, when the captured image data is stored in the storage unit 15, processing up to the attention area detection is performed, and various types of information such as the attention area information are associated with the image data and stored in the storage unit 15. Then, when an image display instruction is received, a processing configuration may be adopted in which a display image is generated and displayed by performing an effect process based on the information stored in the storage unit 15.
また、本実施形態では、表示画面２０より大きいためにスクロール表示を行う画像データ３０，３０′を複数の分割画像３１に分割し、各分割画像３１について注目領域検出処理を行っているが、本願がこれに限定されることはない。例えば、後述する第２の注目領域検出方法で注目領域を検出する場合、画像データ３０，３０′を分割することなく、そのまま注目領域検出部１８に入力して、当該画像データ３０，３０′から複数の注目領域を検出するような構成とすることができる。この場合、注目領域検出部１８に、１つの画像データ３０，３０′から複数の注目領域を検出するよう指示する必要がある。その指示方法及び注目領域検出方法は、後述の第２の注目領域検出処理で説明する。また、このように分割しない場合は、画像情報格納領域１５１には、分割数領域１５１ｆを設ける必要はなく、その代わりに、検出された注目領域の数を記憶する領域を設けてもよい。そして、当該画像データ３０，３０′の表示の際には、スクロール表示中に各注目領域が表示画面２０内に現れた際に、前述のような拡大表示、表示時間延長などの効果処理を施して表示することにより、閲覧者の感性に合致した好ましい画像表示が可能となる。
Further, in the present embodiment, since the
（注目領域検出処理）
それでは、図７〜図９のフローチャートを用いて、注目領域検出部１８で実行される注目領域検出処理（ステップＳ１６０）として、３種類の処理手順について以下に説明する。なお、以降においては、ステップＳ１００で読み出された１つの画像データ３０，３０′又は分割画像３１に対する注目領域の検出処理について説明する。以下、画像データ３０，３０′及び分割画像３１を「被検出画像」と呼ぶ。また、この被検出画像は、輝度（Ｙ）及び２つの色度（Ｃｂ，Ｃｒ）で表現されたデジタル画像、すなわち、ＹＣｂＣｒ表色系で表現されたデジタル画像であるとする。
(Attention area detection processing)
Now, using the flowcharts of FIGS. 7 to 9, three types of processing procedures will be described below as attention region detection processing (step S <b> 160) executed by the attention
（第１の注目領域検出処理）
図７に示すように、注目領域検出部１８では、最初に、注目度マップ作成処理が行われる（ステップＳ１６０１）。この注目度マップ作成処理では、まず、被検出画像のリサイズ（縮小）処理が行われる。具体的には、この被検出画像（以下、「入力画像ｉｍｇ１」と呼ぶ）に対して、横方向及び縦方向（以下、「幅方向」及び「高さ方向」と呼ぶ）にそれぞれ１／２及び１／４にリサイズした画像を生成する。以下、１／２にリサイズされた画像を「入力画像ｉｍｇ２」と呼び、１／４にリサイズされた画像を「入力画像ｉｍｇ３」と呼ぶ。
(First attention area detection processing)
As shown in FIG. 7, the attention
そして、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、ラプラシアン（Ｌａｐｌａｃｉａｎ）処理が行われる。ここで、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンを、以下の式（ａ１）〜（ａ３）のように定義する。なお、（ｘ，ｙ）は画素の座標を示し、ｘ軸、ｙ軸の定義は上述した通りである。 Then, a Laplacian process is performed on each YCbCr plane of the input images img1 to img3. Here, each plane of YCbCr of the input images img1 to img3 is defined as the following expressions (a1) to (a3). Note that (x, y) indicates pixel coordinates, and the definitions of the x-axis and the y-axis are as described above.
次に、下記式（ｂ１）〜（ｂ９）を用いて、上記で定義した入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３，ΔＣｂ１〜３，ΔＣｒ１〜３）を求める。 Next, using the following formulas (b1) to (b9), an 8-neighbor Laplacian filter Δ (x, x, as shown in FIG. 5A is applied to each YCbCr plane of the input images img1 to img3 defined above. The Laplacian images (ΔY1-3, ΔCb1-3, ΔCr1-3) are obtained by performing a convolution operation on y).
上記式（ｂ１）〜（ｂ９）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。 In the above formulas (b1) to (b9), the operator “*” means a convolution operation. When calculating the filter for the pixels at the top and bottom edges and the left and right edges of the image, the image is expanded by copying the rows and columns at the top and bottom edges, or the rows and columns at the left and right edges, and the computation is executed. It shall be.
そして、以上のようにして求めた各プレーンのラプラシアン画像に対して、以下に示す式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各プレーンのエッジ成分（隣接画素とのコントラスト）に、予め決められた係数を乗じた上で、３つのプレーンの対応する各画素の値を加算する。これにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。 Then, for the Laplacian image of each plane obtained as described above, the following formulas (c1) to (c3) are used to calculate the edge component (contrast with adjacent pixels) of each plane for each plane. After multiplying by a predetermined coefficient, the values of the corresponding pixels of the three planes are added. Thereby, Laplacian images Δimg1, Δimg2, and Δimg3 corresponding to the input images img1 to img3 are obtained.
上記式（ｃ１）〜（ｃ３）中、演算子「×」は各画像の画素値に共通の係数（ｗＹ，ｗＣｂ，ｗＣｒ）を乗算することを意味する。なお、この係数（ｗＹ，ｗＣｂ，ｗＣｒ）は、それぞれΔＹ，ΔＣｂ，ΔＣｒ各々に対する重み付け係数（スカラ値）であり、Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３の計算時においては、共通の値が用いられる。また、係数ｗＭを乗じている３つの項目は、各プレーンの画素数から、各プレーンの平均値（ｍｅａｎ（＊）で表す）を減算した値の絶対値（ａｂｓ（＊）で表す）に、各々ｗＭ＿Ｙ等の係数を乗算し、さらに、その総和に係数ｗＭを乗算しているが、これは次段の処理で得られる注目度マップ算出の際に、背景画像からの影響を除去する効果を期待して付け加えられている。 In the above formulas (c1) to (c3), the operator “x” means that the pixel value of each image is multiplied by a common coefficient (wY, wCb, wCr). The coefficients (wY, wCb, wCr) are weighting coefficients (scalar values) for ΔY, ΔCb, ΔCr, respectively, and a common value is used when calculating Δimg1, Δimg2, and Δimg3. Three items multiplied by the coefficient wM are obtained by subtracting the average value (represented by mean (*)) of each plane from the number of pixels of each plane (represented by abs (*)). Each coefficient is multiplied by a coefficient such as wM_Y, and the sum is multiplied by a coefficient wM. This is effective in removing the influence from the background image when calculating the attention level map obtained in the subsequent processing. It is added in anticipation.
さらに、以下に示す式（ｄ１）〜（ｄ３）を用いて、上述の処理で求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め定義されてこの画像表示装置２に設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、注目度マップＳａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして、対応する画素毎に加算することにより、画素毎の注目度から構成される当該入力画像の注目度マップＳａｌを得る。 Further, the attention area weighting map wMap defined in advance and set in the image display device 2 for the Laplacian images Δimg1 to Δimg3 obtained by the above-described processing using the following expressions (d1) to (d3). To obtain attention map Sal1 to Sal3 for each Laplacian image. Thereafter, using the equation (d4) shown below, the attention level maps Sal1 to Sal3 are weighted by wd1 to wd3 and added for each corresponding pixel, whereby the input image composed of the attention level for each pixel. Is obtained.
なお、上記式（ｄ１）〜（ｄ３）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズ（元の画像サイズに復元）する関数を意味する。すなわち、式（ｄ２），（ｄ３）では、入力画像ｉｍｇ１の次元に対して、それぞれ１／２及び１／４にリサイズされているため、これらのラプラシアン画像Δｉｍｇ２，Δｉｍｇ３を元の画像の次元にリサイズしている。また、ｗＭａｐは注目領域重み付けマップであり、Δｉｍｇ１と次元数を等しくした行列である。例えば、Δｉｍｇ１の次元（すなわち、入力画像ｉｍｇ１の次元）が８０×１２０（画素）の場合には、ｗＭａｐは同様に８０×１２０（画素）の次元を有する。なお、ｗＭａｐは以下に示す式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである。また、Ｓａｌ１〜Ｓａｌ３の定義式（ｄ１）〜（ｄ３）に現れる行列に対する演算子「×」は当該演算子の両側にある行列の各要素を各々乗算することを意味する。そのため、必然的に、２つの行列の次元は一致している必要がある。また、式（ｄ４）中、ｗｄ１〜ｗｄ３はＳａｌ１〜Ｓａｌ３に対する重み付け因子（スカラ値）である。 In the above formulas (d1) to (d3), resize (*, *) is a function for resizing (restoring to the original image size) the matrix (pixel) of the first argument by the magnification of the second argument. means. That is, in the formulas (d2) and (d3), the sizes of the input image img1 are resized to 1/2 and 1/4, respectively, so that these Laplacian images Δimg2 and Δimg3 are set to the dimensions of the original image. It is resizing. WMap is a region-of-interest weight map, and is a matrix having the same number of dimensions as Δimg1. For example, when the dimension of Δimg1 (that is, the dimension of the input image img1) is 80 × 120 (pixels), wMap similarly has a dimension of 80 × 120 (pixels). Note that wMap is a mixed Gaussian map represented by the following equations (d5) and (d6). In addition, the operator “x” for the matrix appearing in the defining expressions (d1) to (d3) of Sal1 to Sal3 means that each element of the matrix on both sides of the operator is multiplied. Therefore, inevitably, the dimensions of the two matrices must match. In the formula (d4), wd1 to wd3 are weighting factors (scalar values) for Sal1 to Sal3.
上記式（ｄ５）及び（ｄ６）中、μn及びｇｗnは、ｗＭａｐを形成する各ガウシアン（ｎでインデクス付けしている）の平均ベクトル、及び、共分散行列Σの重み付け係数をそれぞれ示す。ここで、この注目領域重み付けマップｗＭａｐの例を図６に示す。この図６に示す注目領域重み付けマップｗＭａｐは、５つのガウシアン分布を組み合わせた場合を示している。なお、この注目領域重み付けマップｗＭａｐは、例えば、サンプル画像を収集して解析することにより生成される。 In the above formula (d5) and (d6), mu n and gw n represents the average vector of each Gaussian (as put index at n) to form the WMAP, and the weighting coefficients of the covariance matrix Σ respectively. Here, an example of this attention area weighting map wMap is shown in FIG. The attention area weighting map wMap shown in FIG. 6 shows a case where five Gaussian distributions are combined. The attention area weighting map wMap is generated, for example, by collecting and analyzing sample images.
上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０２）が行われる。具体的には、以下に示す式（ｅ１）を用いて、作成された注目度マップから、所定の閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを注目点（ＰＯＩ）として定義する。 When the attention level map is created as described above, a point of interest (POI) extraction process (step S1602) is performed next. Specifically, using the following formula (e1), points (pixels) having an attention level equal to or higher than a predetermined threshold th are extracted from the generated attention level map, and these are used as the attention point (POI). Define.
注目点（ＰＯＩ）の抽出が完了すると、次に、注目領域（ＲＯＩ）決定処理（ステップＳ１６０３）が行われる。まず、上記注目点（ＰＯＩ）抽出処理で求められたＰＯＩを全て内包する領域、すなわち、画像中の全注目点（ＰＯＩ）を含む最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求め、この領域を最終的な注目領域（ＲＯＩ）とする。具体的には、以下の式（ｆ１）〜（ｆ５）で定義された手順を順次実行する。下記式中、ｘ，ｙは、注目点のｘ座標、ｙ座標を表し、添え字ｎは抽出された注目点のＩＤを表す。 When extraction of the point of interest (POI) is completed, a region of interest (ROI) determination process (step S1603) is performed next. First, an upper left coordinate (left, top) and a lower right coordinate of a region including all the POIs obtained by the attention point (POI) extraction process, that is, a minimum rectangular region including all the attention points (POI) in the image ( right, bottom), and this region is set as a final region of interest (ROI). Specifically, the procedures defined by the following formulas (f1) to (f5) are sequentially executed. In the following formula, x and y represent the x and y coordinates of the target point, and the subscript n represents the ID of the extracted target point.
上記式（ｆ２）〜（ｆ５）で求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）の値が、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０４）、第１の注目領域検出処理が終了する。
The values of the upper left coordinates (left, top) and lower right coordinates (right, bottom) of the region of interest (ROI) obtained by the above formulas (f2) to (f5) are returned to the display
以上のように、一つの被検出画像をリサイズ（縮小）した２つのリサイズ画像を生成して次元の異なる３つの画像とし、それぞれの画像を構成する３つのプレーンに対してエッジ抽出処理をして重み付けをした上で合成し、また、次元の異なる３つの画像の各々に対して注目領域重み付けマップｗＭａｐで重み付けをして、さらにこれらの３つの画像を重み付けして合成して注目マップＳａｌを生成することにより、注目領域の検出の精度を向上させることができる。 As described above, two resized images obtained by resizing (reducing) one detected image are generated as three images having different dimensions, and edge extraction processing is performed on the three planes constituting each image. Combine the images after weighting them, weight each of the three images with different dimensions with the attention area weighting map wMap, and generate the attention map Sal by weighting and combining these three images. By doing so, the detection accuracy of the attention area can be improved.
（第２の注目領域検出処理）
次に、第２の注目領域検出処理について説明する。この方法は、上述の第１の注目領域検出処理と同様の手順で注目領域を大まかに抽出し（以下、「ラフ抽出処理」と呼ぶ）、その後、抽出された注目領域を基に、再度注目領域の抽出処理を行って（以下「ファイン抽出」と呼ぶ）、注目領域の検出処理の高精度化を図っている。また、この第２の注目領域検出処理では、表示画像生成部１７からの指示により、注目領域を１つのみ検出することも、複数検出することも可能なように構成することができる。例えば、引数などを用いて、分割画像やスクロールの必要がない画像データが入力された際には、注目領域を１つのみ検出し、スクロールが必要であるが分割されていない画像データがそのまま入力された際には、注目領域を複数検出するよう構成する。
(Second attention area detection processing)
Next, the second attention area detection process will be described. In this method, the attention area is roughly extracted in the same procedure as the first attention area detection process described above (hereinafter referred to as “rough extraction process”), and then the attention area is extracted again based on the extracted attention area. Region extraction processing is performed (hereinafter referred to as “fine extraction”) to increase the accuracy of the region of interest detection processing. Further, the second attention area detection process can be configured such that only one attention area or a plurality of attention areas can be detected according to an instruction from the display
この第２の注目領域検出処理の詳細を、図８のフローチャートを用いて説明する。この図８に示すように、まず、注目領域検出部１８によって、ラフ抽出処理（ステップＳ１６０１′〜Ｓ１６０３′）が行われる。この処理では、最初に注目度マップ作成処理が行われる（ステップＳ１６０１′）。この処理の詳細は、第１の注目領域検出処理と同様であり、記憶部１５からメモリ１１上に画像データが読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が作成される。そして、これらの入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、前出の式（ａ１）〜（ａ３）を用いて、ラプラシアン処理が行われる。
The details of the second attention area detection process will be described with reference to the flowchart of FIG. As shown in FIG. 8, first, rough extraction processing (steps S1601 ′ to S1603 ′) is performed by the attention
さらに、第１の注目領域検出処理と同様に、前出の式（ｂ１）〜（ｂ９）を用いて、上記で定義された入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３、ΔＣｂ１〜３、ΔＣｒ１〜３）が求められる。 Further, similarly to the first attention area detection processing, the above-described equations (b1) to (b9) are used to determine the YCbCr planes of the input images img1 to img3 defined above with reference to FIG. The Laplacian images (ΔY1 to 3; ΔCb1 to 3; ΔCr1 to 3) are obtained by performing a convolution operation on an 8-neighbor Laplacian filter Δ (x, y) as shown in FIG.
そして、このようにして求めた各プレーンのラプラシアン画像に対して、前出の式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各画素に対して予め決められた係数を乗じた上で、各値を加算することにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。その後、前出の式（ｄ１）〜（ｄ６）を用いて、入力画像の第１の注目度マップＳａｌが求められる。 Then, the Laplacian image of each plane obtained in this way is multiplied by a predetermined coefficient for each pixel for each plane using the above formulas (c1) to (c3). Thus, by adding each value, Laplacian images Δimg1, Δimg2, and Δimg3 corresponding to the input images img1 to img3 are obtained. Thereafter, the first attention level map Sal of the input image is obtained using the above-described equations (d1) to (d6).
上述のようにして第１の注目度マップＳａｌが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０２′）が行われる。この処理も、第１の注目領域検出処理と同様に、前出の式（ｅ１）を用いて、閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを第１の注目点（ＰＯＩ）と定義する。そして、次の注目領域（ＲＯＩ）決定処理（ステップＳ１６０３′）では、この抽出された第１の注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、第１の注目領域が求められる。なお、このラフ抽出処理にて求められた第１の注目領域を、以下、「ＲＯＩrough」と呼ぶ。 When the first attention level map Sal is created as described above, the attention point (POI) extraction process (step S1602 ') is performed next. Similarly to the first attention area detection processing, this processing also extracts points (pixels) having an attention degree equal to or higher than the threshold th using the above-described equation (e1), and extracts them as the first attention points ( POI). Then, in the next attention area (ROI) determination process (step S1603 ′), the above-described equations (f1) to (f5) are used based on the extracted first attention point (POI). One attention area is obtained. The first region of interest obtained by this rough extraction process is hereinafter referred to as “ROI rough ”.
次に、ファイン抽出処理（ステップＳ１６０４′〜Ｓ１６０６′）について説明する。上記のラフ抽出処理で抽出された第１の注目領域ＲＯＩroughを基に、ファイン抽出処理が行われる。この処理では、まず、注目度マップの再生成処理が行われる（ステップＳ１６０４′）。この場合、入力画像ｉｍｇ１から第１の注目領域ＲＯＩroughに対応する領域を切り出して、この領域をファイン抽出処理用の入力画像ｉｍｇ１fineとする。この際、ＲＯＩroughで既定される領域の幅及び高さが４の倍数ではない場合は、下端行及び右端列をそれぞれコピーたしたものをｉｍｇ１fineに付与することとする。なお、右下隅についてはコピー元の右下隅の情報を用いることができる。この入力画像ｉｍｇ１fineを基に、ラフ抽出処理と同様に、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズ（復元）した入力画像ｉｍｇ２fine及び入力画像ｉｍｇ３fineが生成される。これらを基に、前出の式（ｄ１）〜（ｄ４）を用いて、入力画像の第２の注目度マップＳａｌが求められる。この一連の処理は、基本的にはラフ抽出処理と同様の処理となるが、各式中のパラメータはラフ抽出処理とは異なる値となる。また、前出の注目度マップＳａｌ１〜Ｓａｌ３を求める式（ｄ１）〜（ｄ３）の注目領域重み付けマップｗＭａｐ（ｘ，ｙ）は、ｘ，ｙの値によらず全て１とする（すなわち、このファイン抽出処理では、注目領域重み付けマップｗＭａｐによる重み付けは行わない）。 Next, the fine extraction process (steps S1604 ′ to S1606 ′) will be described. Fine extraction processing is performed based on the first region of interest ROI rough extracted by the rough extraction processing. In this processing, first, attention level map regeneration processing is performed (step S1604 ′). In this case, a region corresponding to the first region of interest ROI rough is cut out from the input image img1, and this region is set as an input image img1 fine for fine extraction processing. At this time, if the width and height of the region defined by ROI rough are not a multiple of 4, a copy of the lower end row and the right end column is assigned to img1 fine . For the lower right corner, information on the lower right corner of the copy source can be used. Based on the input image img1 fine , the input image img2 fine and the input image img3 fine resized (restored) to 1/2 and 1/4 in the width direction and the height direction, respectively, are generated in the same manner as the rough extraction process. . Based on these, the second attention level map Sal of the input image is obtained using the above-described equations (d1) to (d4). This series of processing is basically the same processing as the rough extraction processing, but the parameters in each equation have different values from the rough extraction processing. In addition, the attention area weighting maps wMap (x, y) in the expressions (d1) to (d3) for obtaining the attention degree maps Sal1 to Sal3 are all set to 1 regardless of the values of x and y (that is, this In the fine extraction process, weighting by the attention area weighting map wMap is not performed).
第２の注目度マップの再生成が終了すると、次に、この第２の注目度マップの２値化処理が行われる（ステップＳ１６０５′）。すなわち、上記注目度マップの再生成処理を行った結果得られた第２の注目度マップＳａｌ（以下、「Ｓａｌfine」と呼ぶ）に対して、所定の閾値ｔｈfineを基に、以下に示す式（ｇ１）〜（ｇ２）を用いて、２値化処理を行うことにより（注目度マップの各画素の値が、閾値ｔｈfine以上のときは「１」とし、それより小さいときは「０」とする）、２値化注目度マップ（以下、「Ｓａｌbin」と呼ぶ）を生成する。 When the regeneration of the second attention level map is completed, the second attention level map is binarized (step S1605 '). That is, for the second attention level map Sal (hereinafter referred to as “Sal fine ”) obtained as a result of performing the attention level map regeneration process, the following is shown based on a predetermined threshold th fine. By performing binarization processing using the expressions (g1) to (g2) (when the value of each pixel in the attention level map is equal to or greater than the threshold th fine, “1” is set, and when smaller than that, “0” is set. And a binarized attention map (hereinafter referred to as “Sal bin ”).
注目度マップの２値化処理では、次に、上記式（ｇ１）又は（ｇ２）で生成されたＳａｌbinに対して、図５（ｂ）に示すような４近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、２値化注目度マップＳａｌbinのエッジ成分（輪郭成分にほぼ等しい）の抽出が行われる。そして、この畳み込み演算の結果が０ではない優位な値を持つ画素に対して、以下に示す手順（１）〜（３）によりラベリング処理が行われる。 In the binarization processing of the attention degree map, next, the 4-neighbor Laplacian filter Δ (x, y as shown in FIG. 5B is applied to the Sal bin generated by the above formula (g1) or (g2). by) to the convolution operation, the extraction of binary saliency map Sal bin edge component (substantially equal to the contour component) is performed. Then, a labeling process is performed on the pixels having a superior value whose result of the convolution operation is not 0 by the following procedures (1) to (3).
（１）ラベル値をλと定義し、このλ＝０を初期値として、Ｓａｌbin上の左上から順方向ラスタ走査を行う。
（２）走査の過程で、ラベル値が付与されておらず、画素値が０でない画素を発見した時、当該画素にラベル付けを行う。この際、既走査の８近傍画素に付与されているラベル値に応じて、以下の通り、付与するラベル値λを変化させる。
（ｉ）既走査の８近傍画素の全ての画素値が０であった場合、ラベル値λを１カウントアップ（λ＝λ＋１）して、当該画素にラベル値λを付与する。
（ii）ラベル値が１種類の場合は、λの更新を行わず、当該画素にラベル値λを付与する。
（iii）ラベル値が２種類（λ，λ′，λ＜λ′）の場合は、当該画素にラベル値λを付与し、さらに、既走査画素においてλ′のラベル値が付与されている画素を全てラベル値λに変更する。
（３）上記（２）の処理を、Ｓａｌbin上の全ての画素に対して行う。
(1) A label value is defined as λ, and λ = 0 is an initial value, and forward raster scanning is performed from the upper left on Sal bin .
(2) When a pixel having no label value and a pixel value other than 0 is found in the scanning process, the pixel is labeled. At this time, the label value λ to be applied is changed as follows according to the label value assigned to the already scanned eight neighboring pixels.
(I) When the pixel values of all the eight neighboring pixels that have been scanned are 0, the label value λ is incremented by 1 (λ = λ + 1), and the label value λ is given to the pixel.
(Ii) When there is only one type of label value, the label value λ is given to the pixel without updating λ.
(Iii) When there are two types of label values (λ, λ ′, λ <λ ′), a label value λ is assigned to the pixel, and further, a pixel to which a label value of λ ′ is assigned to the scanned pixel Are all changed to the label value λ.
(3) The process of (2) is performed on all pixels on Sal bin .
次に、注目度マップの２値化処理において、ラベリング結果の評価が行われる。まず、上記のようにＳａｌbin上の０でない全画素を対象にラベリング処理を行った後、ラベル値ごとに、付与されている画素の個数ｎλをカウントする。このｎλを所定の閾値ｔｈλにより評価し、ｎλがｔｈλよりも大きいラベルを抽出する。その後、当該ラベルが付与されている画素（の集合）を、注目領域部分領域ＰＯＩfineと定義する。 Next, in the binarization process of the attention level map, the labeling result is evaluated. First, after the labeling process for all pixels not zero on Sal bin as described above, for each label value, it counts the number n lambda of pixels that are granted. This n λ is evaluated by a predetermined threshold th λ , and a label in which n λ is larger than th λ is extracted. Thereafter, the pixel (set) to which the label is assigned is defined as the attention area partial area POI fine .
注目度マップの２値化処理が終了すると、次に、注目領域（ＲＯＩ）の決定処理（ステップＳ１６０６′）が行われる。ここで、注目領域を１つのみ検出する場合及び複数検出する場合のそれぞれの処理手順について、以下に説明する。まず、注目領域を１つのみ検出する場合の注目領域決定処理を説明する。この場合、上述の通り求めた注目領域部分領域ＰＯＩfineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められ、この領域が第２の注目領域検出処理における最終的な１つの注目領域（ＲＯＩ）となる。具体的には、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行されることにより求められる。 When the binarization processing of the attention level map ends, next, the attention region (ROI) determination processing (step S1606 ′) is performed. Here, each processing procedure when only one region of interest is detected and when a plurality of regions of interest are detected will be described below. First, the attention area determination process when only one attention area is detected will be described. In this case, the upper left coordinates (left, top) and lower right coordinates (right, bottom) of the minimum rectangular area that includes all the attention area partial area POI fine obtained as described above are obtained, and this area is the second attention area. This is one final region of interest (ROI) in the detection process. Specifically, it is obtained by sequentially executing the procedures defined in the above formulas (f1) to (f5).
次に、注目領域を２以上検出する場合の注目領域決定処理を説明する。上述の通り求めた注目領域部分領域ＰＯＩfineについて更にグルーピングを行う。それには、付与されたラベルを基に各ＰＯＩfine間のユークリッド距離を求め、このユークリッド距離に応じて、階層的クラスタリングなどのクラスタリング手法を用いて、注目領域部分領域ＰＯＩfineをグルーピングしてＰＯＩfineの系統図を生成する。この系統図を予め決められた閾値で切断する事により、注目領域部分領域ＰＯＩfineのグループを複数生成することができる。そして、生成されたグループ毎に、当該グループに所属する注目領域部分領域ＰＯＩfineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求められ、この最小矩形領域を当該グループの注目領域（ＲＯＩ）とする。具体的には、グループ毎に、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行される。以上の処理を全てのグループについて行うことにより、第２の注目領域検出処理における最終的な複数の注目領域（ＲＯＩ）を得ることができる。なお、この方法でも、グループが１つしか生成されなかった場合は、得られる注目領域は１つである。 Next, attention area determination processing when two or more attention areas are detected will be described. The attention area partial area POI fine obtained as described above is further grouped. It obtains the Euclidean distance between the POI fine based on applying labels, according to the Euclidean distance, using a clustering method such as hierarchical clustering, POI fine by grouping the attention area partial area POI fine Generate a system diagram. By cutting this system diagram at a predetermined threshold, a plurality of groups of attention area partial areas POI fine can be generated. Then, for each generated group, an upper left coordinate (left, top) and a lower right coordinate (right, bottom) of the minimum rectangular area including all the attention area partial areas POI fine belonging to the group are obtained. The rectangular area is set as the attention area (ROI) of the group. Specifically, for each group, the procedure defined by the above formulas (f1) to (f5) is sequentially executed. By performing the above processing for all the groups, a plurality of final regions of interest (ROI) in the second region of interest detection process can be obtained. Even in this method, when only one group is generated, only one attention area is obtained.
以上のようにして求められた１つ又は２以上の左上座標（ｌｅｆｔ，ｔｏｐ）と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）とが、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０７′）、第２の注目領域検出処理が終了する。この第２の注目領域検出処理によると、注目領域検出処理をラフ抽出処理とファイン抽出処理の２段階で行うことで、注目領域の検出をより高精度に行うことが可能となる。
One or more upper left coordinates (left, top) and lower right coordinates (right, bottom) obtained as described above are returned to the display
（第３の注目領域検出処理）
次に、第３の注目領域検出処理について説明する。第１の注目領域検出処理では、注目度マップを作成する際に、ＹＣｂＣｒの３つのプレーン全てを評価していたが、第３の注目領域検出処理では、ＹＣｂＣｒの何れか１つのプレーンのみを処理対象として、注目度マップを作成した上で、注目領域の検出を行っている。これにより、第３の注目領域検出処理では、注目領域の検出処理の高速化を図っている。
(Third attention area detection processing)
Next, the third attention area detection process will be described. In the first attention area detection process, all three YCbCr planes were evaluated when the attention level map was created. However, in the third attention area detection process, only one of the YCbCr planes was processed. As a target, after creating an attention level map, the attention area is detected. Thereby, in the third attention area detection process, the attention area detection process is speeded up.
以下、注目領域検出部１８における注目領域検出処理について、図９のフローチャートを用いて説明する。この図９に示すように、まず、注目領域検出部１８によって、変動係数の計算及び処理対象プレーンの選択処理（ステップＳ１６０１″）が行われる。この処理では、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、各プレーンの変動係数が算出される。ここで、Ｙプレーンの変動係数をＶY、Ｃｂプレーンの変動係数をＶCb、Ｃｒプレーンの変動係数をＶCrと定義したとき、これらの変動係数は、以下に示す式（ｈ１）〜（ｈ３）を用いて求められる。
The attention area detection processing in the attention
上記式（ｈ１）〜（ｈ３）中、ｓｄ（＊）は当該プレーンにおける画素のエッジ成分の標準偏差を求める演算を意味し、ｍｅａｎ（＊）は当該プレーンにおける画素のエッジ成分の平均値を求める演算を意味する。 In the above formulas (h1) to (h3), sd (*) means an operation for obtaining the standard deviation of the edge component of the pixel in the plane, and mean (*) obtains the average value of the edge component of the pixel in the plane. Means an operation.
このように変動係数が求まったら、以下に示す式（ｉ１）を用いて、処理対象プレーンＳＰの選択を行う。 When the variation coefficient is obtained in this way, the processing target plane SP is selected using the following equation (i1).
上記式（ｉ１）中、ｍａｘ（＊）は引数で最大の要素を返す関数であり、ａｒｇはｍａｘ（＊）の返り値がＶY，ＶCb，ＶCrいずれのプレーンであるかを判定する演算子である。すなわち、変動係数が最も大きなプレーンが処理対象プレーンとして選択される。例えば、ＶY，ＶCb，ＶCrのうち、Ｙプレーンの変動係数ＶYが最も大きな値であった場合、処理対象プレーンはＹプレーンとなる。以下、この処理対象プレーンを、「ＳＰ」と呼ぶが、例えば、入力画像ｉｍｇ１に対して選択された処理対象プレーンを、「ＳＰ１」と呼ぶ。 In the above formula (i1), max (*) is a function that returns the maximum element as an argument, and arg determines whether the return value of max (*) is a plane of V Y , V Cb , or V Cr. It is an operator. That is, the plane with the largest variation coefficient is selected as the processing target plane. For example, when the variation coefficient V Y of the Y plane is the largest value among V Y , V Cb , and V Cr , the processing target plane is the Y plane. Hereinafter, this processing target plane is referred to as “SP”. For example, the processing target plane selected for the input image img1 is referred to as “SP1”.
処理対象プレーンＳＰの選択が終了すると、次に、この処理対象プレーンＳＰに対して注目度マップ作成処理が行われる（ステップＳ１６０２″）。まず、入力画像のリサイズが行われるが、処理対象として指定された入力画像ｉｍｇ１に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が生成される。なお、入力画像ｉｍｇ２及び入力画像ｉｍｇ３の処理対象プレーンは、それぞれ「ＳＰ２」、「ＳＰ３」と呼ぶ。 When the selection of the processing target plane SP is completed, next, the attention level map creation processing is performed on the processing target plane SP (step S1602 ″). First, the input image is resized but designated as the processing target. An input image img2 and an input image img3 which are resized to ½ and ¼ in the width direction and the height direction, respectively, are generated with respect to the input image img1. The target planes are called “SP2” and “SP3”, respectively.
次に、以下に示す式（ｂ１′）〜（ｂ３′）を用いて、入力画像ｉｍｇ１〜ｉｍｇ３の処理対象プレーンＳＰ１〜ＳＰ３に対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＳＰ１〜ΔＳＰ３）を求める。 Next, an 8-neighbor Laplacian filter Δ as shown in FIG. 5A is applied to the processing target planes SP1 to SP3 of the input images img1 to img3 using the following expressions (b1 ′) to (b3 ′). A Laplacian image (ΔSP1 to ΔSP3) is obtained by performing a convolution operation on (x, y).
上記式（ｂ１′）〜（ｂ３′）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。 In the above formulas (b1 ′) to (b3 ′), the operator “*” means a convolution operation. When calculating the filter for the pixels at the top and bottom edges and the left and right edges of the image, the image is expanded by copying the rows and columns at the top and bottom edges, or the rows and columns at the left and right edges, and the computation is executed. It shall be.
そして、以下に示す式（ｄ１′）〜（ｄ３′）を用いて、上述のようにして求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、Ｓａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして画素毎に加算することにより、入力画像全体の注目度マップＳａｌを得る。 Then, by using the following formulas (d1 ′) to (d3 ′), the Laplacian images Δimg1 to Δimg3 obtained as described above are multiplied by a preset attention area weighting map wMap, Attention level maps Sal1 to Sal3 for each Laplacian image are obtained. Thereafter, using the equation (d4) shown below, Sal1 to Sal3 are weighted by wd1 to wd3 and added for each pixel, thereby obtaining an attention level map Sal for the entire input image.
上記式（ｄ１′）〜（ｄ３′）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズする関数を意味する。すなわち、第１の注目領域検出処理では、被検出画像である入力画像ｉｍｇ１の次元にリサイズしていたが、この第３の注目領域検出処理では、次元の最も小さい入力画像ｉｍｇ３を基準画像とし、残りの入力画像ｉｍｇ１，ｉｍｇ２をこの基準画像の次元にリサイズしている。そのため、注目領域重み付けマップｗＭａｐは、基準画像（Δｉｍｇ３）と次元数を等しくした行列となる。例えば、Δｉｍｇ３の次元（すなわち、入力画像ｉｍｇ３の次元）が２０×３０（画素）の場合には、ｗＭａｐは同様に２０×３０（画素）の次元を有する。各式の演算子の意味については、前出の式（ｄ１）〜（ｄ４）の説明で述べた通りである。なお、ｗＭａｐは前出の式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである（図６参照）。 In the above formulas (d1 ′) to (d3 ′), “resize (*, *)” means a function for resizing the matrix (pixel) of the first argument by the magnification of the second argument. That is, in the first attention area detection process, the input image img1 as the detected image is resized to the dimension, but in the third attention area detection process, the input image img3 having the smallest dimension is used as a reference image. The remaining input images img1 and img2 are resized to the dimensions of this reference image. Therefore, the attention area weighting map wMap is a matrix having the same number of dimensions as the reference image (Δimg3). For example, when the dimension of Δimg3 (that is, the dimension of the input image img3) is 20 × 30 (pixels), wMap similarly has a dimension of 20 × 30 (pixels). The meaning of the operator of each expression is as described in the description of the expressions (d1) to (d4). Note that wMap is a mixed Gaussian map represented by the above equations (d5) and (d6) (see FIG. 6).
上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０３″）が行われる。下記式（ｅ１′）を用いて、生成した注目度マップＳａｌから、予め決定しておいた閾値ｔｈSP以上の注目度を持つ点を抽出し、それらを注目点（ＰＯＩ）と定義する。 When the attention level map is created as described above, the attention point (POI) extraction process (step S1603 ″) is performed. From the generated attention level map Sal using the following equation (e1 ′). Then, points having a degree of attention equal to or greater than a predetermined threshold th SP are extracted and defined as points of interest (POI).
なお、閾値ｔｈSPは、選択された処理対象プレーンがＹ，Ｃｂ，Ｃｒ何れかによって、それぞれ異なる値が用いられる。この閾値ｔｈSPは、プレーンごとに予め決められた固定値であってもよいし、以下に示す式（ｊ１）及び（ｊ２）を用いて動的に求めてもよい。なお、上記式（ｊ１）中、ＶSPはＳに対応した変動係数であり、ｐａｒａｍSPは以下の式（ｊ２）で表され、ＳＰに応じて固定値を持つ、予め決められたパラメータを意味する。 Note that the threshold th SP has a different value depending on whether the selected processing target plane is Y, Cb, or Cr. This threshold th SP may be a fixed value determined in advance for each plane, or may be obtained dynamically using equations (j1) and (j2) shown below. In the above formula (j1), V SP is a coefficient of variation corresponding to S, and param SP is expressed by the following formula (j2) and means a predetermined parameter having a fixed value according to SP. To do.
上記注目点（ＰＯＩ）の抽出処理が完了すると、次の注目領域（ＲＯＩ）決定処理（ステップＳ１６０４″）では、この抽出された注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、注目領域ＲＯＩの左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められる。なお、上述のように、基準画像（次元の最も小さい画像であって、上述の場合は入力画像ｉｍｇ３）の次元にリサイズされているため、基準画像と被検出画像（入力画像ｉｍｇ１）の次元が異なる場合には、注目領域ＲＯＩの座標を被検出画像の次元に変換する必要がある。 When the extraction process of the attention point (POI) is completed, in the next attention area (ROI) determination process (step S1604 ″), based on the extracted attention point (POI), the expression (f1) ˜ (F5) is used to determine the upper left coordinates (left, top) and lower right coordinates (right, bottom) of the region of interest ROI, as described above, and the reference image (the image with the smallest dimension), In the above case, since the dimensions of the input image img3) are resized, if the dimensions of the reference image and the detected image (input image img1) are different, the coordinates of the region of interest ROI are converted to the dimensions of the detected image. There is a need.
このようにして求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）の値が、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０５″）、第３の注目領域検出処理が終了する。この第３の注目領域検出処理によると、ＹＣｂＣｒの１つのプレーンのみを処理対象とすることで、注目領域の検出をより高速に行うことが可能となる。
The values of the upper left coordinates (left, top) and lower right coordinates (right, bottom) of the region of interest (ROI) thus determined are returned to the display
以上で説明した本実施形態の画像表示装置２では、画像データの縮小後サイズ、分割数、注目領域情報、その他の情報を、メモリ１１に設定して各部での情報受け渡しを行っているが、これらの情報を記憶部１５に記憶し、この記憶部１５にアクセスすることで、各部での情報受け渡しを行うよう構成してもよい。
In the image display apparatus 2 according to the present embodiment described above, the size after image reduction, the number of divisions, attention area information, and other information are set in the
なお、本実施形態の画像表示装置２は、中央演算装置（ＣＰＵ）やメモリ等を有し、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法は、このＣＰＵで実行されるプログラムとして実装することができる。ここで、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、特別のＣＰＵやメモリ等を設けずに、以上の処理をＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。 The image display device 2 of the present embodiment includes a central processing unit (CPU), a memory, and the like, and the above-described image display processing and the image display method executed in this image display processing are executed by this CPU. Can be implemented as a program. Here, this program is stored in a storage medium or storage device such as a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, or a hard disk. In some cases, it may be distributed as a digital signal via a network or the like. At this time, intermediate processing results are temporarily stored in a storage device such as a main memory. Alternatively, the above processing can be configured as a logic circuit in an ASIC, DSP, or the like without providing a special CPU or memory.
また、本願は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、これに限定されることはない。 In addition, the present application may be implemented in various other forms without departing from the spirit or the main features thereof. Therefore, the above-described embodiment is merely an example in all respects, and the present invention is not limited to this.
１ デジタルカメラ（撮像装置） ２ 画像表示装置 １４ 表示部
１５ 記憶部 １６ 制御部 ２０ 表示画面 ３０ 画像データ
DESCRIPTION OF
Claims (9)
前記画像データ及び当該画像データを表示する表示部の縦方向のサイズ比及び横方向のサイズ比を求め、当該サイズ比の何れもが１以下の場合は、当該画像データのスクロール表示を行わないと決定し、当該サイズ比の少なくとも一方が１より大きい場合は、当該画像データのスクロール表示を行うと決定するステップと、
スクロール表示を行うと決定したときに、当該画像データ及び前記表示部の縦方向のサイズ比が横方向のサイズ比より小さい場合に、当該画像データのスクロール方向を横方向と決定し、縦方向のサイズ比が横方向のサイズ比より大きい場合に、前記画像データのスクロール方向を縦方向と決定するステップと、
スクロール表示を行うと決定したときに、当該画像データのスクロール方向と直交する方向のサイズが、前記表示部の当該サイズより大きい場合に、前記直交する方向のサイズが前記表示部の当該サイズと略同一となるよう、当該画像データをリサイズするステップと、
当該画像データから、注目領域を検出するステップと、
前記注目領域に効果処理を施しながら、前記画像データを前記表示部に表示するステップと、を有する画像表示方法。 An image display method for displaying image data using a computer,
The size ratio in the vertical direction and the size ratio in the horizontal direction of the image data and the display unit that displays the image data are obtained. If both of the size ratios are 1 or less, the image data is not scrolled and displayed. Determining that if at least one of the size ratios is greater than 1, scrolling display of the image data; and
When it is determined that the scroll display is performed, if the vertical size ratio of the image data and the display unit is smaller than the horizontal size ratio, the scroll direction of the image data is determined as the horizontal direction, and the vertical direction Determining the scroll direction of the image data as the vertical direction when the size ratio is larger than the size ratio in the horizontal direction;
When it is determined that the scroll display is performed, if the size of the image data in the direction orthogonal to the scroll direction is larger than the size of the display unit, the size in the orthogonal direction is substantially the same as the size of the display unit. Resizing the image data to be identical,
Detecting a region of interest from the image data;
And displaying the image data on the display unit while performing an effect process on the region of interest.
前記画像データを複数の分割画像に分割するステップ、を更に有し、
前記分割画像毎に、前記注目領域を検出するステップを行って、前記注目領域を検出するように構成された請求項１に記載の画像表示方法。 When it is determined to perform scroll display, between the step of resizing the image data and the step of detecting a region of interest from the image data,
Further dividing the image data into a plurality of divided images;
The image display method according to claim 1, wherein the step of detecting the attention area is performed for each divided image to detect the attention area.
前記画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、前記画像データの画素毎に、前記画像データのエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
前記画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記画像データの対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
前記画像データにおいて、前記注目度が所定の閾値より大きい画素の全てを内包する領域を前記注目領域として抽出するステップと、を有する請求項１〜３何れか一項に記載の画像表示方法。 Detecting the region of interest includes:
An edge component of the image data is extracted for each pixel of the image data from each of the three planes corresponding to luminance and two chromaticities of the image data, and each of the three planes is extracted for each pixel. Calculating the edge amount for each pixel by weighting and adding the edge components of:
Each of the elements of the attention area weighting map having elements corresponding to the number of pixels of the image data and having a weight value set in advance for each element is multiplied by the edge amount of the corresponding pixels of the image data. And calculating a degree of attention for each pixel;
4. The image display method according to claim 1, further comprising: extracting, as the region of interest, a region including all pixels having the degree of attention larger than a predetermined threshold in the image data. 5.
前記エッジ量を算出するステップの前に実行されるステップであって、前記画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、
前記エッジ量を算出するステップは、前記画像データ及び前記リサイズ画像毎に、前記エッジ量を算出するように構成され、
前記注目度を算出するステップは、さらに、
前記リサイズ画像から算出された前記エッジ量を、前記画像データの画素数と同一次元に復元するステップと、
前記画像データから算出された前記エッジ量及び前記リサイズ画像から算出されてリサイズされた前記エッジ量の各々に、前記注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、を有する請求項４に記載の画像表示方法。 Detecting the region of interest includes:
A step executed before the step of calculating the edge amount, further comprising: generating a resized image obtained by resizing the image data in at least one or more different dimensions;
The step of calculating the edge amount is configured to calculate the edge amount for each of the image data and the resized image,
The step of calculating the attention level further includes:
Restoring the edge amount calculated from the resized image in the same dimension as the number of pixels of the image data;
Each of the edge amount calculated from the image data and the edge amount calculated from the resized image and resized is multiplied by each of the elements of the attention area weighting map, and the attention area weighting map further includes: The image display method according to claim 4, further comprising: multiplying each of the multiplied edge amounts by a preset weight and adding the weight for each pixel to calculate the degree of attention for each pixel. .
さらに、
前記画像データから、前記注目領域として抽出するステップにおいて抽出された前記領域を切り出すステップと、
前記切り出された前記画像データを、少なくとも１つ以上の異なるサイズにリサイズするステップと、
前記切り出された画像データ及び前記切り出された画像データをリサイズした画像毎に前記エッジ量を算出するステップと、
前記切り出された画像データをリサイズした画像から算出されたエッジ量を、前記切り出された画像データの次元に復元するステップと、
前記切り出された画像データから算出された前記エッジ量及び前記切り出された画像データをリサイズした画像から算出され、さらにリサイズされた前記エッジ量を、予め設定された重みを乗じて前記画素毎に加算して、前記切り出された画像データの注目度を算出するステップと、
前記切り出された画像データの前記注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、
前記二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれる前記グループを注目領域部分領域として決定するステップと、
当該注目領域部分領域を、互いの距離に応じて１つ又は２以上に更にグループ化し、得られたグループ毎に、当該グループに所属する注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有する請求項５に記載の注目領域抽出方法。 Detecting the region of interest includes:
further,
Cutting out the region extracted in the step of extracting the region of interest from the image data;
Resizing the clipped image data to at least one different size;
Calculating the edge amount for each image obtained by resizing the clipped image data and the clipped image data;
Restoring the edge amount calculated from the resized image of the cut-out image data to the dimension of the cut-out image data;
The edge amount calculated from the cut-out image data and the re-sized edge amount calculated from the image obtained by resizing the cut-out image data, and multiplied by a preset weight, are added for each pixel. And calculating the attention level of the clipped image data;
Binarizing the degree of attention of the clipped image data with 1 when the degree of attention is greater than or equal to a predetermined threshold and 0 when smaller than the predetermined threshold;
Grouping adjacent pixels set to 1 in the binarized attention level and determining the group including a predetermined number of pixels or more as a target region partial region; and
The attention area partial areas are further grouped into one or two or more according to the distance from each other, and for each obtained group, an area including all of the attention area partial areas belonging to the group is a new attention area. The region of interest extraction method according to claim 5, further comprising:
表示部と、
前記記憶部から前記画像データを読み出して、請求項１〜６いずれか一項に記載の画像表示方法により前記表示部に表示する制御部と、を有する画像表示装置。 A storage unit storing image data;
A display unit;
An image display apparatus comprising: a control unit that reads the image data from the storage unit and displays the image data on the display unit by the image display method according to claim 1.
光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を前記記憶部に記憶させる撮像部と、を有する撮像装置。 An image display device according to claim 8,
An imaging apparatus comprising: an optical system and an imaging unit that includes an imaging element that detects an image formed by the optical system, and stores an image detected by the imaging element in the storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202446A JP2011053456A (en) | 2009-09-02 | 2009-09-02 | Image display method, program, image display device, and imaging apparatus with the image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202446A JP2011053456A (en) | 2009-09-02 | 2009-09-02 | Image display method, program, image display device, and imaging apparatus with the image display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011053456A true JP2011053456A (en) | 2011-03-17 |
Family
ID=43942513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009202446A Pending JP2011053456A (en) | 2009-09-02 | 2009-09-02 | Image display method, program, image display device, and imaging apparatus with the image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011053456A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104170667A (en) * | 2014-08-25 | 2014-12-03 | 小米科技有限责任公司 | Plant cultivating method and device |
| JP2015210640A (en) * | 2014-04-25 | 2015-11-24 | 富士電機株式会社 | Display device, monitoring system, display method, and display program |
| JP2019080252A (en) * | 2017-10-26 | 2019-05-23 | 株式会社リコー | Program, image display method, image display system, and information processing device |
-
2009
- 2009-09-02 JP JP2009202446A patent/JP2011053456A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015210640A (en) * | 2014-04-25 | 2015-11-24 | 富士電機株式会社 | Display device, monitoring system, display method, and display program |
| CN104170667A (en) * | 2014-08-25 | 2014-12-03 | 小米科技有限责任公司 | Plant cultivating method and device |
| JP2019080252A (en) * | 2017-10-26 | 2019-05-23 | 株式会社リコー | Program, image display method, image display system, and information processing device |
| US11140324B2 (en) | 2017-10-26 | 2021-10-05 | Ricoh Company, Ltd. | Method of displaying wide-angle image, image display system, and information processing apparatus |
| JP7031228B2 (en) | 2017-10-26 | 2022-03-08 | 株式会社リコー | Program, image display method, image display system, information processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101820349B1 (en) | Picture presentation method and apparatus | |
| KR101036787B1 (en) | Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device | |
| US7606441B2 (en) | Image processing device and a method for the same | |
| US10679326B2 (en) | Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data | |
| JP2002135592A (en) | Image processing apparatus and recording medium | |
| US20120014453A1 (en) | Image processing apparatus and image processing method | |
| US11076140B2 (en) | Information processing apparatus and method of controlling the same | |
| JP5653104B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4990876B2 (en) | Image processing device | |
| JP5385059B2 (en) | Image display method, program, image display apparatus, and imaging apparatus | |
| WO2011074121A1 (en) | Device and method for detecting motion vector | |
| JP5853466B2 (en) | Image processing system and image processing program | |
| JP2011053456A (en) | Image display method, program, image display device, and imaging apparatus with the image display device | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| JP5158974B2 (en) | Attention area extraction method, program, and image evaluation apparatus | |
| JP5232107B2 (en) | Image display method, program, image display apparatus, and imaging apparatus | |
| JPH05114045A (en) | Area separating method and image processor | |
| JP4696239B2 (en) | Method and apparatus for correcting inclination of character string | |
| JP5734080B2 (en) | Information processing apparatus, processing method thereof, and program | |
| JP5563390B2 (en) | Image processing apparatus, control method therefor, and program | |
| US20190206025A1 (en) | Image magnifying apparatus | |
| JP5593778B2 (en) | Image processing apparatus and method, and program | |
| JP2014053022A (en) | Image display method, program, image display device, and image pickup device | |
| JP2005217721A (en) | Apparatus and method for generating still picture | |
| JP6762779B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs |