JPH09114846A - Brousing display method and image display system - Google Patents
Brousing display method and image display systemInfo
- Publication number
- JPH09114846A JPH09114846A JP7267151A JP26715195A JPH09114846A JP H09114846 A JPH09114846 A JP H09114846A JP 7267151 A JP7267151 A JP 7267151A JP 26715195 A JP26715195 A JP 26715195A JP H09114846 A JPH09114846 A JP H09114846A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- display
- displayed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、電子化された多数
の画像を１つ又は複数ずつ順に表示するブラウジング表
示方法、及びブラウジング表示を行う画像表示システム
に関し、画像データベースや画像ライブラリなどに利用
される。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a browsing display method for sequentially displaying a large number of digitized images one by one or a plurality, and an image display system for performing browsing display, and is used for an image database, an image library, and the like. It
【０００２】近年、写真や絵画などのカラー画像が電子
化され、画像データの属性に色の要素が加わっている。
画像データベースの利用者は、多数の画像の中から所望
のカラー情報を有した画像を見つけ出すのにしばしば苦
労する。In recent years, color images such as photographs and paintings have been digitized, and color elements have been added to the attributes of image data.
Users of image databases often find it difficult to find an image with the desired color information among a large number of images.
【０００３】[0003]
【従来の技術】コンピュータで管理される画像データベ
ースの多くは、画像の分類や画像番号をキーとする検索
が可能に構築されている。１次検索又はｎ次検索（ｎ≧
２）において、検索条件を満足する画像は番号順に表示
対象として登録される。その後に、表示対象の画像に対
して例えば昇番順のブラウジング表示が実行される。通
常、表示の切換えはデータベースの利用者による指示操
作に呼応して行われる。一定時間が経過する毎に自動的
に表示が切り換わる場合もある。2. Description of the Related Art Most image databases managed by a computer are constructed so as to be searchable using image classifications and image numbers as keys. Primary search or n-th search (n ≧
In 2), images satisfying the search condition are registered as display targets in numerical order. After that, for example, browsing display in ascending order is executed on the image to be displayed. Usually, the display switching is performed in response to an instruction operation by the database user. The display may be automatically switched every time a certain period of time elapses.
【０００４】[0004]
【発明が解決しようとする課題】従来では、予め定めら
れた順序で表示対象の画像が表示されていた。昇番順・
降番順・一定番号置きといった表示選択が可能な場合も
あるが、基本的に画像の表示順序は固定であった。この
ため、表示対象の画像が多数の場合には、利用者が所望
の画像を見つけ出すのに長時間を要したり、似通った画
像を一通り見た上で最良のものを選ぼうとしても現実的
な時間で作業を終えることができなかったりするという
問題があった。In the past, the images to be displayed were displayed in a predetermined order. Ascending order
In some cases, it is possible to select the display order such as descending order or fixed number, but basically the display order of images was fixed. Therefore, when the number of images to be displayed is large, it takes a long time for the user to find a desired image, or even if the user looks at a series of similar images and selects the best one, it is a reality. There was a problem that the work could not be completed in a certain time.
【０００５】この問題に対しては、所望の画像に似た画
像が表示された状態において利用者が特定の指示を表示
システムに与えることとし、指示を受けた表示システム
が画像の特徴を判別して以降の表示対象を絞り込むよう
にすることが考えられる。To solve this problem, the user gives a specific instruction to the display system in the state where the image similar to the desired image is displayed, and the display system receiving the instruction determines the feature of the image. It is conceivable to narrow down the subsequent display targets.
【０００６】しかし、利用者が“所望する画像に似てい
る”と感じる毎に指示操作を意識的に行うのでは、利用
者の負担が大きい。特に、表示されている画像の全体で
はなく一部分が所望の画像と似ている場合には、似てい
る部分の位置情報を入力する必要があるので、操作が甚
だ面倒になる。However, if the user consciously performs the instruction operation every time the user feels that the image resembles a desired image, the user's burden is heavy. In particular, when a part of the displayed image is similar to the desired image, the positional information of the similar part needs to be input, which makes the operation very troublesome.
【０００７】本発明は、上述の問題に鑑みてなされたも
ので、ブラウジング表示における操作の負担を増大する
ことなく、利用者にとってより有用な画像を他の画像よ
りも早く表示する画像表示システムの実現を目的として
いる。The present invention has been made in view of the above problems, and provides an image display system for displaying a more useful image for a user earlier than other images without increasing the burden of operation in browsing display. It is aimed at realization.
【０００８】[0008]
【課題を解決するための手段】画面を見る利用者の視線
の動きを追跡することにより、利用者が画像の何処に視
線を向けているかを検知することができる（特開平６−
１４９５２９号）。一定時間（数秒程度）にわたって視
線がほぼ一点に向けられている場合は、利用者がその凝
視点の付近の画像情報に興味をもっていると見做せる。
つまり、利用者は画像の一部に注目している。By tracking the movement of the line of sight of the user who looks at the screen, it is possible to detect where the user is looking at the image (Japanese Patent Laid-Open No. 6-
149529). When the line of sight is directed to a single point for a certain period of time (several seconds), it can be considered that the user is interested in the image information near the fixation point.
That is, the user pays attention to a part of the image.
【０００９】画像表示システムは、注目された部分の画
像データを解析することにより、又は予め画像内の位置
に対応づけられている属性データを取り込むことによ
り、利用者が注目している部分の特徴を示す情報を、利
用者の意識的な情報入力操作に依らずに獲得することが
できる。特徴には、形状、色、配色パターン（色分布）
といった画素構成パターンとともに、画像の表す物体
（オブジェクト）が何であるのかという人為的に分類さ
れた属性が含まれる。The image display system analyzes the image data of the part of interest, or takes in the attribute data associated with the position in the image in advance, so that the feature of the part of interest to the user can be obtained. Can be obtained without depending on the user's conscious information input operation. Features include shape, color, and color pattern (color distribution)
In addition to such a pixel configuration pattern, an attribute artificially classified as to what the object (object) represented by the image is.
【００１０】獲得した特徴に基づいて画像表示システム
が以降の表示対象の画像を絞り込むことにより、すなわ
ち獲得した特徴と一致又は類似した特徴を有する画像を
表示対象として選択することにより、利用者は効率的に
所望の画像情報を得ることができる。The image display system narrows down subsequent images to be displayed based on the acquired features, that is, by selecting an image having a feature that is the same as or similar to the acquired features as a display target, the user can improve the efficiency. It is possible to obtain desired image information.
【００１１】請求項１の発明の方法は、表示切換え要求
の発生毎に、画像データに変換された複数の画像を記憶
するメモリから一定数の前記画像を読み出して画面上に
出力する画像表示システムのためのブラウジング表示方
法であって、予め前記各画像の特徴を当該各画像と対応
づけて記憶しておき、前記画像表示システムの利用者の
視線方向を検出することによって、前記画面上に表示さ
れている画像における前記利用者の注目部分を判定し、
表示されている画像を除く前記画像の中から注目部分の
特徴と一致又は類似した特徴を有する画像を選択し、選
択した画像を他の画像よりも順序の上で優先させて表示
するものである。According to a first aspect of the present invention, an image display system for reading out a predetermined number of the images from a memory storing a plurality of images converted into image data and outputting the images on the screen each time a display switching request is generated. Is stored in advance in association with each of the images, and is displayed on the screen by detecting the direction of the line of sight of the user of the image display system. The attention part of the user in the image being displayed,
An image having a feature that is the same as or similar to the feature of the part of interest is selected from the images excluding the displayed image, and the selected image is displayed with priority over the other images in order. .
【００１２】請求項２の発明の画像表示システムは、画
像データに変換された複数の画像を記憶するメモリと、
前記画像を画面上で再現する表示装置と、表示切換え要
求の発生毎に前記メモリから一定数の前記画像を読み出
して前記表示装置によって表示するブラウジング制御装
置とを備えたシステムであって、前記各画像における特
定範囲の領域の画像情報を符号化した特徴データを、当
該各画像と対応づけるテーブルファイルと、当該画像表
示システムの利用者の視線方向を検出する手段と、前記
視線方向の検出結果に基づいて、前記画面上に表示され
ている画像の一部であって前記利用者が一定時間にわた
って視線を向けた領域を含む特定サイズの部分画像を注
目画像として判定する手段と、前記注目画像の画像情報
を符号化した注目情報データを出力する手段とを有し、
前記ブラウジング制御装置が、前記テーブルファイルを
参照することによって、表示されている画像を除く前記
画像の中から前記特徴データの値が前記注目情報データ
の値を含む一定範囲内の値である部分を有した画像を選
択し、選択した画像を他の画像よりも順序の上で優先さ
せて表示するように構成されている。According to another aspect of the image display system of the present invention, a memory for storing a plurality of images converted into image data,
A system comprising: a display device for reproducing the image on a screen; and a browsing control device for reading out a predetermined number of the images from the memory and displaying the image on the display device each time a display switching request is generated. Characteristic data obtained by encoding image information of an area of a specific range in an image is associated with each of the images, a table file, means for detecting the direction of the line of sight of the user of the image display system, and the detection result of the direction of the line of sight. Based on the part of the image displayed on the screen, the partial image of a specific size including a region in which the user has directed his or her eyes for a certain period of time, as a target image, And means for outputting attention information data that is encoded image information,
The browsing control device refers to the table file to display a portion where the value of the characteristic data is a value within a certain range including the value of the attention information data from among the images excluding the displayed image. It is configured to select a held image and display the selected image with priority over other images in order.
【００１３】請求項３記載の画像表示システムは、複数
の画像のそれぞれが表す物体の分類を符号化した属性デ
ータと、当該各画像における前記物体の描画領域を示す
位置データとを、当該各画像と対応づけるテーブルファ
イルと、当該画像表示システムの利用者の視線方向を検
出する手段と、前記視線方向の検出結果に基づいて、前
記画面上に表示されている画像における前記利用者が一
定時間にわたって視線を向けた領域を注目領域として判
定する手段と、前記テーブルファイルの検索によって、
表示されている画像に対応し且つ前記注目領域の位置に
該当する位置データの有無を判別し、該当する位置デー
タが存在する場合にそれに対応した属性データを注目属
性データとして出力する手段とを有し、前記ブラウジン
グ制御装置が、前記テーブルファイルを参照することに
よって、表示されている画像を除く前記画像の中から前
記属性データの値が前記注目属性データの値を含む一定
範囲内の値である物体を表す画像を選択し、選択した画
像を他の画像よりも順序の上で優先させて表示するよう
に構成されている。According to another aspect of the image display system of the present invention, the attribute data obtained by encoding the classification of the object represented by each of the plurality of images and the position data indicating the drawing area of the object in each image are displayed. A table file associated with, a means for detecting the line-of-sight direction of the user of the image display system, and based on the detection result of the line-of-sight direction, the user in the image displayed on the screen for a certain period of time. By means of determining the area where the line of sight is directed as the area of interest, and by searching the table file,
A unit for determining whether or not there is position data corresponding to the displayed image and corresponding to the position of the attention area, and outputting the attribute data corresponding to the position data as the attention attribute data when the corresponding position data exists. However, the browsing control device refers to the table file, so that the value of the attribute data is a value within a certain range including the value of the attribute data of interest from among the images excluding the displayed image. An image representing an object is selected, and the selected image is displayed with priority over other images in order.
【００１４】[0014]
【発明の実施の形態】図１は本発明に係る画像表示シス
テム１のブロック図、図２は視線ｇと注目画像Ｇ１ｐと
の関係を示す図である。1 is a block diagram of an image display system 1 according to the present invention, and FIG. 2 is a diagram showing a relationship between a line of sight g and an image of interest G1p.
【００１５】画像表示システム１は、画像データに変換
された多数の画像を記憶するメモリ装置１０、画面（ス
クリーン）２１上で画像を再現する表示装置２０、プロ
グラムに従ってブラウジング表示を実現するブラウジン
グ制御装置３０、指示操作のためのキーボード４０、及
び当該画像表示システムの利用者の視線方向を検出する
視線方向検出装置５０から構成されている。視線方向検
出装置５０は、利用者の角膜の動きを光学的に捉えるア
イカメラ法によって視線方向を検出する。The image display system 1 includes a memory device 10 for storing a large number of images converted into image data, a display device 20 for reproducing an image on a screen (screen) 21, and a browsing control device for realizing browsing display according to a program. 30, a keyboard 40 for instructing operations, and a line-of-sight direction detection device 50 that detects the line-of-sight direction of the user of the image display system. The line-of-sight direction detecting device 50 detects the line-of-sight direction by an eye camera method that optically captures the movement of the cornea of the user.
【００１６】メモリ装置１０には、画像データを格納し
た画像ファイルＦ１とともに、各画像とそれらの特徴と
を対応づけるテーブルファイルＦ２（詳細は後述）が設
けられている。メモリ装置１０の記憶媒体は例えば磁気
ディスクである。The memory device 10 is provided with an image file F1 storing image data and a table file F2 (details will be described later) for associating each image with their characteristics. The storage medium of the memory device 10 is, for example, a magnetic disk.
【００１７】ブラウジング制御装置３０は、注目範囲設
定部３１、特徴抽出部３２、及び検索部３３を有してい
る。これらの各部は、コンピュータとソフトウェアとに
よって実現されている。The browsing control device 30 has an attention range setting section 31, a feature extraction section 32, and a search section 33. Each of these units is realized by a computer and software.
【００１８】注目範囲設定部３１は、視線方向検出装置
５０の出力信号Ｓ５０に基づいて画面２１上の視線位置
（視線が向けられた点）を算定し、画面２１上に表示さ
れている画像（以下、表示中画像という）Ｇ１の一部で
あって利用者が一定時間にわたって視線を向けた領域Ａ
ｘを含む特定サイズの部分画像を注目画像Ｇ１ｐとして
判定する。The attention range setting section 31 calculates the line-of-sight position on the screen 21 (the point to which the line of sight is directed) based on the output signal S50 of the line-of-sight direction detecting device 50, and the image (the image displayed on the screen 21) Area A, which is a part of G1 (hereinafter referred to as the displayed image) and in which the user looks at the user for a certain period of time
A partial image of a specific size including x is determined as the target image G1p.
【００１９】特徴抽出部３２は、画像ファイルＦ１から
表示中画像Ｇ１の画像データを読み込み、注目画像Ｇ１
ｐの画像情報を符号化した注目情報データＤ３２を検索
部３３へ出力する。特徴抽出部３２には、注目範囲設定
部３１から注目画像Ｇ１ｐの位置を示すデータＤ３１が
与えられる。The feature extraction unit 32 reads the image data of the image G1 being displayed from the image file F1 and reads the image of interest G1.
The attention information data D32 obtained by encoding the image information of p is output to the search unit 33. The feature extraction unit 32 is provided with the data D31 indicating the position of the target image G1p from the target range setting unit 31.
【００２０】検索部３３は、表示順序を示す順序テーブ
ルＴ３３を有しており、キーボード４０から切換え要求
信号Ｓ４０が入力される毎に、画像ファイルＦ１から表
示順序に従って１つずつ画像を読み出して表示する。こ
こで重要な点は、表示順序が利用者の視線位置に応じて
変更される点である。検索部３３は、注目情報データＤ
３２が入力されると、テーブルファイルＦ２を検索する
ことによって、画像ファイルＦ１内の表示中画像Ｇ１以
外の画像（以下、表示予定画像という）の中から、注目
画像Ｇ１ｐの特徴と類似した特徴を有する画像（厳密に
は画像番号ＧＮ）を選択する。そして、選択した画像の
表示順位が上位になるように順序テーブルＴ３３を更新
する。このような表示順位の変更は、注目情報データＤ
３２が入力される毎に実行される。The search unit 33 has an order table T33 indicating the display order, and every time the switching request signal S40 is input from the keyboard 40, the images are read out from the image file F1 one by one according to the display order and displayed. To do. Here, the important point is that the display order is changed according to the position of the line of sight of the user. The search unit 33 receives attention information data D
When 32 is input, by searching the table file F2, a feature similar to the feature of the focused image G1p is selected from the images other than the currently displayed image G1 in the image file F1 (hereinafter, referred to as a display scheduled image). The image to be possessed (strictly, the image number GN) is selected. Then, the order table T33 is updated so that the display order of the selected image becomes higher. Such a change of the display order is made by the attention information data D.
It is executed every time 32 is input.
【００２１】図３は画像表示システム１の動作を示すフ
ローチャート、図４は画像と特徴データＤＣとの関係を
示す図である。利用者がキーボード４０の操作によって
画像表示システム１に対して表示の開始を指示すると、
画面２１には１つの画像Ｇ１が表示される（＃１）。こ
のとき表示される画像Ｇ１は、順序テーブルＴ３３の表
示順位における最上位の画像である。初期化状態の表示
順序は画像番号順である。FIG. 3 is a flowchart showing the operation of the image display system 1, and FIG. 4 is a diagram showing the relationship between the image and the characteristic data DC. When the user instructs the image display system 1 to start displaying by operating the keyboard 40,
One image G1 is displayed on the screen 21 (# 1). The image G1 displayed at this time is the highest image in the display order of the order table T33. The display order of the initialized state is the image number order.
【００２２】利用者が例えば数秒程度の時間にわたって
表示中画像Ｇ１を凝視した場合は、注目画像Ｇ１ｐを特
定する（＃２，＃３）。凝視とは、視線位置が予め定め
た小面積の領域Ａｘ内にある状態を意味する。When the user gazes at the displayed image G1 for a time of, for example, several seconds, the image of interest G1p is specified (# 2, # 3). Gaze means a state in which the line-of-sight position is within a predetermined small area Ax.
【００２３】注目画像Ｇ１ｐの特徴として画素単位の色
の頻度分布を算定し、その結果を注目情報データＤ３２
の値とする（＃４）。つまり、再現可能な色範囲をｎ個
に区分した各色毎に、画素数を数えて総画素数で除した
値を各色の頻度値とする。これにより、注目画像Ｇ１ｐ
の特徴は、各色の頻度値を要素とする（１）式のｎ次元
ベクトルＦとして得られる。As a feature of the image of interest G1p, a frequency distribution of colors in pixel units is calculated, and the result is obtained as attention information data D32.
(# 4). That is, for each color obtained by dividing the reproducible color range into n, the number of pixels is counted and divided by the total number of pixels to obtain the frequency value of each color. As a result, the target image G1p
The characteristic of is obtained as the n-dimensional vector F of the equation (1) having the frequency value of each color as an element.
【００２４】 Ｆ＝（ｐ１／Ｐ，ｐ２／Ｐ，…ｐｎ／Ｐ） …（１） ｐｉ（ｉ＝１〜ｎ）：ある色の画素数、Ｐ：総画素数 テーブルファイルＦ２を検索し、注目情報データＤ３２
の値との差が一定値以下である特徴データＤＣ、すなわ
ち注目情報データＤ３２と類似した特徴データＤＣを選
択する。選択した特徴データＤＣに対応づけられている
表示予定画像に対して、類似度の大きい順に表示の優先
順位を設定する（＃５）。F = (p1 / P, p2 / P, ... pn / P) (1) pi (i = 1 to n): number of pixels of a certain color, P: total number of pixels table file F2 is searched, Attention information data D32
The characteristic data DC whose difference from the value of is less than a fixed value, that is, characteristic data DC similar to the attention information data D32 is selected. For the display-scheduled images associated with the selected feature data DC, display priorities are set in descending order of similarity (# 5).
【００２５】ここで、テーブルファイルＦ２には、予め
画像ファイルＦ１の各画像の一部又は全体の色の頻度分
布を示す特徴データＤＣが、画像番号ＧＮに対応づけて
格納されている。画像表示システム１では、図４のよう
に画像Ｇを４×４個の領域Ｂｉｊ（ｉ，ｊ＝１〜４）に
区画し、個々の領域Ｂｉｊが対応する計１６個の部分画
像と、隣接する２×２個の領域Ｂｉｊが対応する計９個
の部分画像と、全ての領域Ｂｉｊが対応する画像Ｇの全
体とについて、色の頻度分布が求められている。つま
り、１つの画像Ｇに対して計２６（＝１６＋９＋１）個
の特徴データＤＣが存在する。２６個の特徴データＤＣ
の内、１つでも注目情報データＤ３２と類似するものが
あれば、その画像Ｇに優先順位が設定される。注目情報
データＤ３２と注目情報データＤ３２との間の類似度
は、例えばｎ次元ベクトルどうしの間のユークリッド距
離を最大距離から差し引く演算により算出される。Here, in the table file F2, characteristic data DC indicating the color frequency distribution of a part or the whole of each image of the image file F1 is stored in advance in association with the image number GN. In the image display system 1, as shown in FIG. 4, the image G is divided into 4 × 4 areas Bij (i, j = 1 to 4), and each area Bij corresponds to a total of 16 partial images and adjacent to each other. The color frequency distribution is obtained for a total of 9 partial images corresponding to 2 × 2 areas Bij and the entire image G corresponding to all areas Bij. That is, there are a total of 26 (= 16 + 9 + 1) pieces of feature data DC for one image G. 26 feature data DC
Among them, if even one is similar to the attention information data D32, the priority order is set to the image G. The similarity between the attention information data D32 and the attention information data D32 is calculated by subtracting the Euclidean distance between the n-dimensional vectors from the maximum distance, for example.
【００２６】このようにして順序テーブルＴ３３を変更
した後、表示切換え要求があれば、表示順位が最上位の
表示予定画像を表示中画像Ｇ１に代えて表示する（＃
６，＃７）。表示の切換えの以前の表示中画像Ｇ１の表
示順位は最下位とされるが、表示の履歴が記憶されるの
で、表示の逆戻りは可能である。利用者は以前に表示さ
れた画像を再び見ようと思えば、逆戻りを指示すればよ
い。表示切換え要求がなければ、ステップ＃２に戻って
凝視の有無をチェックする。終了指示操作が行われるま
で、表示切換え要求が発生する毎に１つずつ画像を表示
する（＃８）。利用者が異なる部分を凝視する毎に順序
テーブルＴ３３が変更される。After the order table T33 is changed in this way, if there is a display switching request, the display-scheduled image having the highest display order is displayed instead of the currently displayed image G1 (#
6, # 7). The display order of the displayed image G1 before the switching of the display is the lowest, but the display history is stored, so that the display can be returned. If the user wishes to see the previously displayed image again, he may indicate a reversal. If there is no display switching request, the process returns to step # 2 to check whether or not there is gaze. Until the end instruction operation is performed, one image is displayed each time a display switching request is generated (# 8). The order table T33 is changed every time the user stares at a different portion.
【００２７】画像表示システム１では、注目画像Ｇ１ｐ
に類似した画像情報をもつ画像が優先的に表示されるの
で、利用者は多数の画像の中から所望の画像を効率的に
見つけ出すことができる。類似点及び類似部分の位置を
意識的に入力する必要がなく、利用者に操作の負担がか
からない。指定の困難な色分布を画像の特徴として判別
するので、例えばカラーデザインの参考情報として特定
の色模様の画像を検索するといった用途に利用すること
ができる。In the image display system 1, the target image G1p
Since the image having the image information similar to that is preferentially displayed, the user can efficiently find a desired image from a large number of images. It is not necessary to consciously input the positions of the similar points and the similar parts, and the user is not burdened with the operation. Since the color distribution that is difficult to specify is determined as the feature of the image, it can be used for the purpose of searching an image of a specific color pattern as reference information of the color design.
【００２８】図５は第２の画像表示システム２のブロッ
ク図、図６は画像Ｇの一例を示す図である。図５におい
て図１と同一の機能を有する構成要素には同一の符号を
付してある。FIG. 5 is a block diagram of the second image display system 2, and FIG. 6 is a diagram showing an example of the image G. 5, components having the same functions as those in FIG. 1 are designated by the same reference numerals.
【００２９】画像表示システム２は、メモリ装置１０、
表示装置２０、ブラウジング制御装置６０、キーボード
４０、及び視線方向検出装置５０から構成されている。
メモリ装置１０には、画像データを格納した画像ファイ
ルＦ１ととともに、テーブルファイルＦ３が設けられて
いる。テーブルファイルＦ３は、画像が表すオブジェク
トの分類を符号化した属性データＤＡと、各画像におけ
るオブジェクトの描画領域を示す位置データＤＰとを、
各画像の画像番号ＧＮに対応づけて記憶する。図６の例
の画像Ｇでは、「木」及び「山」の２つのオブジェクト
が描かれている。この場合、「木」の描画領域の左上端
の点Ｐ１１及び右下端の点Ｐ１２の各座標が「木」に対
応した位置データＤＰとされ、「木」の分類コードが属
性データＤＡとされる。属性データＤＡには、「木」の
種類（杉、松といった名称）、高さ、樹齢などの情報を
含めることもできる。「山」についても同様に、描画領
域の左上端及び右下端の点Ｐ２１，Ｐ２２の各座標が位
置データＤＰとされ、「山」の分類コードが属性データ
ＤＡとされる。The image display system 2 includes a memory device 10,
The display device 20, the browsing control device 60, the keyboard 40, and the line-of-sight direction detection device 50 are included.
The memory device 10 is provided with a table file F3 as well as an image file F1 storing image data. The table file F3 includes attribute data DA that encodes the classification of the object represented by the image and position data DP that indicates the drawing area of the object in each image.
It is stored in association with the image number GN of each image. In the image G of the example of FIG. 6, two objects of “tree” and “mountain” are drawn. In this case, the coordinates of the point P11 at the upper left end and the point P12 at the lower right end of the "tree" drawing area are the position data DP corresponding to the "tree", and the classification code of the "tree" is the attribute data DA. . The attribute data DA can also include information such as the type of “tree” (names such as cedar and pine), height, and tree age. Similarly, for the “mountain”, the coordinates of the points P21 and P22 at the upper left corner and the lower right corner of the drawing area are the position data DP, and the classification code of the “mountain” is the attribute data DA.
【００３０】ブラウジング制御装置６０は、注目範囲設
定部６１、特徴抽出部６２、及び検索部６３を有してい
る。注目範囲設定部６１は、視線方向検出装置５０の出
力信号Ｓ５０に基づいて画面２１上の視線位置を算定
し、表示中画像Ｇ１における利用者が一定時間にわたっ
て視線を向けた領域を注目領域Ａｘとして判定する（図
２参照）。そして、注目領域Ａｘの中心を示す注目位置
データＤ６１を特徴抽出部６２へ出力する。The browsing control device 60 has an attention range setting section 61, a feature extraction section 62, and a search section 63. The attention range setting unit 61 calculates the line-of-sight position on the screen 21 based on the output signal S50 of the line-of-sight direction detection device 50, and sets the region in the displayed image G1 in which the user has directed the line of sight as the attention region Ax. Judge (see FIG. 2). Then, attention position data D61 indicating the center of the attention area Ax is output to the feature extraction unit 62.
【００３１】特徴抽出部６２は、テーブルファイルＦ３
の検索によって、表示中画像Ｇ１に対応し且つ注目領域
Ａｘの中心位置を内包する領域に該当する位置データＤ
Ｐの有無を判別し、該当する位置データＤＰが存在する
場合にそれに対応した属性データＤＡを注目属性データ
Ｄ６２として検索部６３へ出力する。The feature extraction unit 62 uses the table file F3.
Of the position data D corresponding to the displayed image G1 and corresponding to the area including the center position of the attention area Ax.
The presence or absence of P is determined, and when the corresponding position data DP exists, the attribute data DA corresponding to it is output to the search unit 63 as the attribute data D62 of interest.
【００３２】検索部６３は、表示順序を示す順序テーブ
ルＴ６３を有しており、キーボード４０から切換え要求
信号Ｓ４０が入力される毎に、画像ファイルＦ１から表
示順序に従って１つずつ画像を読み出して表示する。た
だし、表示順序は適宜変更される。検索部３３は、注目
属性データＤ６２が入力されると、テーブルファイルＦ
３を検索することによって、画像ファイルＦ１内の表示
予定画像の中から、注目属性データＤ６２と類似した属
性を有する画像（厳密には画像番号）を選択する。そし
て、選択した画像の表示順位が上位になるように順序テ
ーブルＴ６３を更新する。The search unit 63 has an order table T63 indicating the display order, and each time the switching request signal S40 is input from the keyboard 40, the images are read from the image file F1 one by one according to the display order and displayed. To do. However, the display order is appropriately changed. When the attention attribute data D62 is input, the search unit 33 receives the table file F.
By searching 3 for the image to be displayed in the image file F1, an image (strictly speaking, an image number) having an attribute similar to the attribute data D62 of interest is selected. Then, the order table T63 is updated so that the display order of the selected images is high.
【００３３】図７は第２の画像表示システム２の動作を
示すフローチャートである。利用者がキーボード４０の
操作によって画像表示システム２に対して表示の開始を
指示すると、画面２１に順序テーブルＴ６３におけるそ
の時点の表示順位の最上位の画像を表示する（＃１
１）。FIG. 7 is a flow chart showing the operation of the second image display system 2. When the user instructs the image display system 2 to start the display by operating the keyboard 40, the highest-rank image of the display order at that time in the order table T63 is displayed on the screen 21 (# 1).
1).
【００３４】利用者が例えば数秒程度の時間にわたって
表示中画像Ｇ１を凝視した場合は、注目領域Ａｘの中心
位置を求める。すなわち利用者が注目しているオブジェ
クトを特定する（＃１２，＃１３）。When the user gazes at the displayed image G1 for a time of, for example, several seconds, the center position of the attention area Ax is obtained. That is, the object the user is paying attention to is specified (# 12, # 13).
【００３５】注目オブジクトの属性データＤＡを注目属
性データＤ６２としてテーブルファイルＦ３から読み出
す（＃１４）。テーブルファイルＦ３を検索し、注目属
性データＤ６２の値との差が一定値以下である属性デー
タＤＡ、すなわち注目属性データＤ６２と類似した属性
データＤＡを選択する。そして、選択した属性データＤ
Ａに対応づけられている表示予定画像に対して、類似度
の大きい順に表示の優先順位を設定する（＃１５）。オ
ブジェクトの分類が異なる場合は類似度は０となる。オ
ブジェクトの分類が同一の場合は、名称・形状・寸法な
どの他の要素の属性値の差によって類似度が定まる。属
性値が色や名称などのように文字列で表現される場合、
文字列として一致しているときの類似度は１、不一致の
ときの類似度は０である。属性値が寸法のように数値で
表現される場合、注目オブジェクトとの間の差を１で正
規化した値を１から差し引いた結果がその属性値の類似
度となる。The attribute data DA of the object of interest is read from the table file F3 as the attribute data of interest D62 (# 14). The table file F3 is searched, and the attribute data DA whose difference from the value of the attribute data D62 of interest is a fixed value or less, that is, the attribute data DA similar to the attribute data D62 of interest is selected. Then, the selected attribute data D
For the display-scheduled images associated with A, display priorities are set in descending order of similarity (# 15). When the object classifications are different, the degree of similarity is 0. When the objects are classified into the same category, the similarity is determined by the difference between the attribute values of other elements such as name, shape and size. If the attribute value is expressed as a character string such as color or name,
The similarity is 1 when they match as a character string, and 0 when they do not match. When the attribute value is represented by a numerical value like a dimension, the result obtained by subtracting a value obtained by normalizing the difference from the target object by 1 from 1 is the similarity of the attribute value.
【００３６】このようにして順序テーブルＴ６３を変更
した後、表示切換え要求があれば、表示順位が最上位の
表示予定画像を表示中画像Ｇ１に代えて表示する（＃１
６，＃１７）。表示の切換えの以前の表示中画像Ｇ１の
表示順位は最下位とされる。表示切換え要求がなけれ
ば、ステップ＃１２に戻って凝視の有無をチェックす
る。終了指示操作が行われるまで、表示切換え要求が発
生する毎に１つずつ画像を表示する（＃１８）。After changing the order table T63 in this way, if there is a display switching request, the display scheduled image with the highest display order is displayed instead of the currently displayed image G1 (# 1).
6, # 17). The display order of the displayed image G1 before the switching of the display is the lowest. If there is no display switching request, the process returns to step # 12 to check whether or not there is gaze. Until the end instruction operation is performed, one image is displayed each time a display switching request is generated (# 18).
【００３７】以上の説明では、表示中画像Ｇ１と類似し
た特徴（属性を含む）を有する表示予定画像に対して順
位設定を行うものとしたが、類似していない表示予定画
像よりも順位を上位に設定するだけで、類似した表示予
定画像を画像番号順に表示するようにしてもよい。操作
によらず一定の時間が経過する毎に表示を切り換えるよ
うに構成することもできる。In the above description, it is assumed that the display scheduled images having similar characteristics (including attributes) to the displayed image G1 are set in order, but the ranking is set higher than the dissimilar display scheduled images. The similar display scheduled images may be displayed in the order of the image numbers only by setting to. It is also possible to configure so that the display is switched every time a certain period of time has passed regardless of the operation.
【００３８】属性の類似判別と色分布の類似判別の両方
を行うことによって、優先表示の対象を絞り込むように
してもよい。その他、凝視判定の基準時間、類似判別の
基準値などの動作条件は、画像の種類などの状況に応じ
て適宜選定すればよい。The priority display targets may be narrowed down by performing both the attribute similarity determination and the color distribution similarity determination. In addition, the operating conditions such as the reference time for the gaze determination and the reference value for the similarity determination may be appropriately selected according to the situation such as the type of image.
【００３９】[0039]
【発明の効果】請求項１の発明によれば、ブラウジング
表示における操作の負担を増大することなく、利用者に
とってより有用な画像を他の画像よりも早く表示する画
像表示システムを実現することができる。According to the first aspect of the present invention, it is possible to realize an image display system which displays an image more useful for the user earlier than other images without increasing the operation load in browsing display. it can.
【００４０】請求項２及び請求項３の発明によれば、ブ
ラウジング表示における操作の負担を増大することな
く、利用者にとってより有用な画像を他の画像よりも早
く表示することができる。According to the inventions of claims 2 and 3, it is possible to display an image more useful to the user earlier than other images without increasing the burden of operation in browsing display.
【図１】本発明に係る画像表示システムのブロック図で
ある。FIG. 1 is a block diagram of an image display system according to the present invention.
【図２】視線と注目画像との関係を示す図である。FIG. 2 is a diagram showing a relationship between a line of sight and a target image.
【図３】画像表示システムの動作を示すフローチャート
である。FIG. 3 is a flowchart showing an operation of the image display system.
【図４】画像と特徴データとの関係を示す図である。FIG. 4 is a diagram showing a relationship between an image and characteristic data.
【図５】第２の画像表示システムのブロック図である。FIG. 5 is a block diagram of a second image display system.
【図６】画像の一例を示す図である。FIG. 6 is a diagram showing an example of an image.
【図７】第２の画像表示システムの動作を示すフローチ
ャートである。FIG. 7 is a flowchart showing an operation of the second image display system.
１，２ 画像表示システム Ｓ４０ 切換え要求信号（表示切換え要求） Ｇ 画像 １０ メモリ装置（メモリ） ２０ 表示装置 ２１ 画面 ３０ ブラウジング制御装置 ３１ 注目範囲設定部（注目画像を判定する手段） ３２ 特徴抽出部（注目情報データを出力する手段） ５０ 視線方向検出装置（利用者の視線方向を検出する
手段） ６０ ブラウジング制御装置 ６１ 注目範囲設定部（注目領域を判定する手段） ６２ 特徴抽出部（注目属性データを出力する手段） Ａｘ 注目領域（注目部分） ＤＡ 属性データ ＤＣ 特徴データ ＤＰ 位置データ Ｄ３２ 注目情報データ Ｄ６２ 注目属性データ Ｆ２，Ｆ３ テーブルファイル Ｇ１ 表示中画像（画面上に表示されている画像） Ｇ１ｐ 注目画像（注目部分） Ｓ５０ 出力信号（視線方向の検出結果）1, 2 image display system S40 switching request signal (display switching request) G image 10 memory device (memory) 20 display device 21 screen 30 browsing control device 31 attention range setting unit (means for determining attention image) 32 feature extraction unit ( (Means for outputting attention information data) 50 line-of-sight direction detection device (means for detecting user's line-of-sight direction) 60 browsing control device 61 attention range setting unit (means for determining attention region) 62 feature extraction unit (concerning attention attribute data Outputting means) Ax attention area (attention portion) DA attribute data DC feature data DP position data D32 attention information data D62 attention attribute data F2, F3 table file G1 displayed image (image displayed on screen) G1p attention image (Attention part) S50 output signal (result of detection of line-of-sight direction)
Claims (3)
変換された複数の画像を記憶するメモリから一定数の前
記画像を読み出して画面上に出力する画像表示システム
のためのブラウジング表示方法であって、 予め前記各画像の特徴を当該各画像と対応づけて記憶し
ておき、 前記画像表示システムの利用者の視線方向を検出するこ
とによって、前記画面上に表示されている画像における
前記利用者の注目部分を判定し、 表示されている画像を除く前記画像の中から注目部分の
特徴と一致又は類似した特徴を有する画像を選択し、 選択した画像を他の画像よりも順序の上で優先させて表
示することを特徴とするブラウジング表示方法。1. A browsing display method for an image display system for reading out a predetermined number of images from a memory storing a plurality of images converted into image data and outputting the images on a screen each time a display switching request is generated. Then, the characteristics of each image are stored in advance in association with each image, and the use in the image displayed on the screen is detected by detecting the line-of-sight direction of the user of the image display system. The user's attention part is determined, and an image having a feature that is the same as or similar to the feature of the attention part is selected from the images excluding the displayed image, and the selected image is arranged in order from the other images. Browsing display method characterized by prioritizing display.
するメモリと、前記画像を画面上で再現する表示装置
と、表示切換え要求の発生毎に前記メモリから一定数の
前記画像を読み出して前記表示装置によって表示するブ
ラウジング制御装置と、を備えた画像表示システムであ
って、 前記各画像における特定範囲の領域の画像情報を符号化
した特徴データを、当該各画像と対応づけるテーブルフ
ァイルと、 当該画像表示システムの利用者の視線方向を検出する手
段と、 前記視線方向の検出結果に基づいて、前記画面上に表示
されている画像の一部であって前記利用者が一定時間に
わたって視線を向けた領域を含む特定サイズの部分画像
を注目画像として判定する手段と、 前記注目画像の画像情報を符号化した注目情報データを
出力する手段と、 を有し、 前記ブラウジング制御装置は、前記テーブルファイルを
参照することによって、表示されている画像を除く前記
画像の中から前記特徴データの値が前記注目情報データ
の値を含む一定範囲内の値である部分を有した画像を選
択し、選択した画像を他の画像よりも順序の上で優先さ
せて表示することを特徴とする画像表示システム。2. A memory for storing a plurality of images converted into image data, a display device for reproducing the images on a screen, and a predetermined number of the images read from the memory each time a display switching request is issued. An image display system comprising: a browsing control device for displaying by the display device, wherein the characteristic data obtained by encoding the image information of the area of the specific range in each image is a table file associated with each image, Means for detecting the line-of-sight direction of the user of the image display system, based on the detection result of the line-of-sight direction, which is a part of the image displayed on the screen, the user can see the line of sight for a certain period of time. Means for determining a partial image of a specific size including a directed area as an attention image; and means for outputting attention information data obtained by encoding image information of the attention image And the browsing control device refers to the table file so that the value of the feature data is within a certain range including the value of the attention information data from among the images excluding the displayed image. An image display system characterized by selecting an image having a portion that is a value of, and displaying the selected image with priority over other images in order.
するメモリと、前記画像を画面上で再現する表示装置
と、表示切換え要求の発生毎に前記メモリから一定数の
前記画像を読み出して前記表示装置によって表示するブ
ラウジング制御装置と、を備えた画像表示システムであ
って、 前記各画像が表す物体の分類を符号化した属性データ
と、当該各画像における前記物体の描画領域を示す位置
データとを、当該各画像と対応づけるテーブルファイル
と、 当該画像表示システムの利用者の視線方向を検出する手
段と、 前記視線方向の検出結果に基づいて、前記画面上に表示
されている画像における前記利用者が一定時間にわたっ
て視線を向けた領域を注目領域として判定する手段と、 前記テーブルファイルの検索によって、表示されている
画像に対応し且つ前記注目領域の位置に該当する位置デ
ータの有無を判別し、該当する位置データが存在する場
合にそれに対応した属性データを注目属性データとして
出力する手段と、 を有し、 前記ブラウジング制御装置は、前記テーブルファイルを
参照することによって、表示されている画像を除く前記
画像の中から前記属性データの値が前記注目属性データ
の値を含む一定範囲内の値である物体を表す画像を選択
し、選択した画像を他の画像よりも順序の上で優先させ
て表示することを特徴とする画像表示システム。3. A memory for storing a plurality of images converted into image data, a display device for reproducing the images on a screen, and a fixed number of the images read from the memory each time a display switching request is generated. An image display system comprising: a browsing control device for displaying by the display device; attribute data encoding a classification of an object represented by each image; and position data indicating a drawing area of the object in each image. And a table file for associating each image with the image, a means for detecting the line-of-sight direction of the user of the image display system, based on the detection result of the line-of-sight direction, in the image displayed on the screen A means for determining an area in which the user's gaze is directed for a certain period of time as an area of interest, and an image displayed by searching the table file. Means for determining the presence or absence of position data corresponding to the image and corresponding to the position of the region of interest and outputting attribute data corresponding to the position data as the attribute data of interest when the position data exists, The browsing control device refers to the table file to represent an object whose value of the attribute data is a value within a certain range including the value of the attribute data of interest from among the images excluding the displayed image. An image display system characterized in that an image is selected, and the selected image is displayed with priority over other images in order.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26715195A JP3724859B2 (en) | 1995-10-16 | 1995-10-16 | Image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26715195A JP3724859B2 (en) | 1995-10-16 | 1995-10-16 | Image display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09114846A true JPH09114846A (en) | 1997-05-02 |
| JP3724859B2 JP3724859B2 (en) | 2005-12-07 |
Family
ID=17440804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26715195A Expired - Fee Related JP3724859B2 (en) | 1995-10-16 | 1995-10-16 | Image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3724859B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003522485A (en) * | 2000-02-01 | 2003-07-22 | スイスコム モービル アーゲー | System and method for delivering image objects |
| JP2005182819A (en) * | 2003-12-18 | 2005-07-07 | Palo Alto Research Center Inc | Method and system for estimation of user interest |
| WO2008072739A1 (en) * | 2006-12-15 | 2008-06-19 | Visual Interactive Sensitivity Research Institute Co., Ltd. | View tendency managing device, system, and program |
| JP2009251303A (en) * | 2008-04-07 | 2009-10-29 | Sony Corp | Image signal generating apparatus, image signal generation method, program, and storage medium |
| JP2012068982A (en) * | 2010-09-24 | 2012-04-05 | Fujitsu Ltd | Retrieval result output device, retrieval result output method and retrieval result output program |
| JP2013045445A (en) * | 2011-08-26 | 2013-03-04 | Toyota Motor Engineering & Manufacturing North America Inc | Segmenting spatiotemporal data based on user gaze data |
| JP2014059840A (en) * | 2012-09-19 | 2014-04-03 | Research Organization Of Information & Systems | Interactive information search device using line of sight interface |
| WO2015029393A1 (en) | 2013-08-29 | 2015-03-05 | ソニー株式会社 | Information processing device and information processing method |
| JP2020118919A (en) * | 2019-01-28 | 2020-08-06 | 沖電気工業株式会社 | Display controller, method for controlling display, program, and display control system |
| US11659267B2 (en) | 2020-10-22 | 2023-05-23 | Canon Kabushiki Kaisha | Electronic device, control method thereof, and recording medium |
| US11843849B2 (en) | 2022-04-08 | 2023-12-12 | Canon Kabushiki Kaisha | Electronic device, control method thereof, and recording medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63136169A (en) * | 1986-11-28 | 1988-06-08 | Hitachi Ltd | Image retrieving system |
| JPH06149529A (en) * | 1992-11-09 | 1994-05-27 | Nippon Telegr & Teleph Corp <Ntt> | Information display method |
| JPH06162104A (en) * | 1992-11-18 | 1994-06-10 | Hitachi Ltd | Device and method for retrieving document element |
-
1995
- 1995-10-16 JP JP26715195A patent/JP3724859B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63136169A (en) * | 1986-11-28 | 1988-06-08 | Hitachi Ltd | Image retrieving system |
| JPH06149529A (en) * | 1992-11-09 | 1994-05-27 | Nippon Telegr & Teleph Corp <Ntt> | Information display method |
| JPH06162104A (en) * | 1992-11-18 | 1994-06-10 | Hitachi Ltd | Device and method for retrieving document element |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10097887B2 (en) | 2000-02-01 | 2018-10-09 | Swisscom Ag | System and method for distribution of picture objects |
| JP2003522485A (en) * | 2000-02-01 | 2003-07-22 | スイスコム モービル アーゲー | System and method for delivering image objects |
| US9113206B2 (en) | 2000-02-01 | 2015-08-18 | Swisscom Ag | System and method for distribution of picture objects |
| US8099748B2 (en) | 2000-02-01 | 2012-01-17 | Swisscom | System and method for distribution of picture objects |
| JP2005182819A (en) * | 2003-12-18 | 2005-07-07 | Palo Alto Research Center Inc | Method and system for estimation of user interest |
| WO2008072739A1 (en) * | 2006-12-15 | 2008-06-19 | Visual Interactive Sensitivity Research Institute Co., Ltd. | View tendency managing device, system, and program |
| JP2009251303A (en) * | 2008-04-07 | 2009-10-29 | Sony Corp | Image signal generating apparatus, image signal generation method, program, and storage medium |
| JP2012068982A (en) * | 2010-09-24 | 2012-04-05 | Fujitsu Ltd | Retrieval result output device, retrieval result output method and retrieval result output program |
| JP2013045445A (en) * | 2011-08-26 | 2013-03-04 | Toyota Motor Engineering & Manufacturing North America Inc | Segmenting spatiotemporal data based on user gaze data |
| JP2014059840A (en) * | 2012-09-19 | 2014-04-03 | Research Organization Of Information & Systems | Interactive information search device using line of sight interface |
| CN105518666A (en) * | 2013-08-29 | 2016-04-20 | 索尼公司 | Information processing device and information processing method |
| US10019058B2 (en) | 2013-08-29 | 2018-07-10 | Sony Corporation | Information processing device and information processing method |
| WO2015029393A1 (en) | 2013-08-29 | 2015-03-05 | ソニー株式会社 | Information processing device and information processing method |
| CN105518666B (en) * | 2013-08-29 | 2020-01-17 | 索尼公司 | Information processing apparatus, information processing method, and computer program |
| JP2020118919A (en) * | 2019-01-28 | 2020-08-06 | 沖電気工業株式会社 | Display controller, method for controlling display, program, and display control system |
| US11659267B2 (en) | 2020-10-22 | 2023-05-23 | Canon Kabushiki Kaisha | Electronic device, control method thereof, and recording medium |
| US11843849B2 (en) | 2022-04-08 | 2023-12-12 | Canon Kabushiki Kaisha | Electronic device, control method thereof, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3724859B2 (en) | 2005-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6328761B2 (en) | Image-based search | |
| US11386284B2 (en) | System and method for improving speed of similarity based searches | |
| CN108702449B (en) | Image searching method and system | |
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| KR100925081B1 (en) | Method and apparatus for representing and searching for an object using shape | |
| US20040177069A1 (en) | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features | |
| JP2001202523A (en) | Method and device for image processing | |
| JP4374902B2 (en) | Similar image search device, similar image search method, and similar image search program | |
| JP2009509215A (en) | Mutual rank similarity space for navigation, visualization, and clustering in image databases | |
| US7117226B2 (en) | Method and device for seeking images based on the content taking into account the content of regions of interest | |
| JP2001515623A (en) | Automatic text summary generation method by computer | |
| US7308119B2 (en) | Image retrieval apparatus and method, and image display apparatus and method thereof | |
| JP2007317034A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JPH09114846A (en) | Brousing display method and image display system | |
| JP4253498B2 (en) | Image search program, storage medium storing the program, image search device, and image search method | |
| US20220092105A1 (en) | Intelligent Systems and Methods for Visual Search Queries | |
| JP2000242648A (en) | Space display method and device for retrieval image and storage medium stored with program of the method | |
| US20220308742A1 (en) | User interface with metadata content elements for video navigation | |
| JPH09204440A (en) | System and method for retrieving image and recording medium | |
| JP7264171B2 (en) | Image retrieval system, image retrieval method, and program | |
| US6671402B1 (en) | Representing an image with weighted joint histogram | |
| JPH10340272A (en) | Simular picture retrieval device/method | |
| Cinque et al. | Retrieval of images using rich-region descriptions | |
| JPH11134344A (en) | Method for classifying and storing picture and device therefor, and method for retrieving picture and device therefor | |
| JPH01239631A (en) | Electronically prepared document retriever |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |