JPH06176079A - Image reference device - Google Patents
Image reference deviceInfo
- Publication number
- JPH06176079A JPH06176079A JP4326427A JP32642792A JPH06176079A JP H06176079 A JPH06176079 A JP H06176079A JP 4326427 A JP4326427 A JP 4326427A JP 32642792 A JP32642792 A JP 32642792A JP H06176079 A JPH06176079 A JP H06176079A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- markers
- file
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ポインティング手段を
用いた画像の指定・参照方法及び装置に係り、特に、高
精細ディスプレイに表示した医用画像に含まれる着目領
域，属性，形状等を手書き入力装置から線画として入力
し、これを画像の参照キーとして利用する手段と装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image designation / reference method and device using pointing means, and more particularly to handwriting input of a region of interest, attribute, shape, etc. included in a medical image displayed on a high definition display. The present invention relates to a device and a device for inputting a line drawing from an apparatus and using the line drawing as a reference key of an image.
【０００２】[0002]
【従来の技術】従来の画像参照方式では画像ファイルに
名前を付け、この名前を参照キーとしてファイルを検索
するか、画像から圧縮したサブファイル部を読出してマ
ルチウィンドウで表示させて対象を絞り込む（特開平4
−113466 号公報）等の手法がある。また、画像に図形
や色のような視覚的参照条件を選択することで画像デー
タベースを参照する公知例がある（特開平3−260770 号
公報）。画像参照方式ではないが、医用画像の分野にお
いて、処理後の複数画像を概視するために実画像を縮小
した部分画像をマルチウィンドウで複数枚表示する公知
例がある（特開平1−140380号公報）。しかし、画像参
照を手書きマーカで行う公知例は現状では見当らない。2. Description of the Related Art In a conventional image reference method, an image file is named and a file is searched using this name as a reference key, or a compressed sub-file portion is read out from an image and displayed in a multi-window to narrow down the target ( JP 4
-113466 publication). Further, there is a known example in which an image database is referred to by selecting a visual reference condition such as a figure or a color for an image (JP-A-3-260770). Although it is not an image reference method, there is a known example in the field of medical images in which a plurality of partial images obtained by reducing a real image to display a plurality of processed images are displayed in a multi-window (JP-A-1-140380). Gazette). However, there is no known example in which the image reference is performed with a handwritten marker at present.
【０００３】[0003]
【発明が解決しようとする課題】ファイル名での参照方
式を用いた場合、医用画像参照はファイル名を選択しす
べてファイルをロードしてフルサイズ画像を表示させた
後、もし所望のファイルでなければ再びファイル名を指
定して同様の手順を繰り返さねばならなかった。特に、
医用画像の場合は画像サイズが１０２４×１０２４，２
０４８×２０４８といったサイズであるため画像の読出
時間が無視できない。多忙な診療現場でこの読出し時間
は診療行為そのものを中断する。この様な難点を解決す
る一つの方法は、関連のある画像ファイルを共通のディ
レクトリにおいて管理するか、ファイル名の指定を工夫
して関連があると判断した画像の名前を似た名前にする
ことである。また、圧縮したサブファイル部を読出しマ
ルチウィンドウで表示させて対象を絞り込む参照方式で
は、１０２４×１０２４程度の高解像度の医用画像を圧
縮するためウィンドウ内に圧縮画像を表示するとそれら
の画像の判別がしにくいという難点があった。When the file name reference method is used, medical image reference should be performed after selecting a file name, loading all files and displaying a full size image, and then selecting a desired file. I had to specify the file name again and repeat the same procedure. In particular,
In the case of medical images, the image size is 1024 × 1024,2
Since the size is 048 × 2048, the image reading time cannot be ignored. This read time interrupts the medical procedure itself in a busy medical field. One way to solve such a difficulty is to manage related image files in a common directory, or devise a file name specification and make the names of images that are judged to be related have similar names. Is. Further, in the reference method in which a compressed sub-file portion is read out and displayed in a multi-window to narrow down an object, a high-resolution medical image of about 1024 × 1024 is compressed, so that when the compressed image is displayed in the window, the images are discriminated. It was difficult to do.
【０００４】[0004]
【課題を解決するための手段】これらの課題を解決する
ために、本発明においては次の手段を使用した。In order to solve these problems, the following means were used in the present invention.
【０００５】(1) ファイルをロードして画像を表示させ
た後、もし所望のファイルでなければ再びファイル名を
指定して同様の手順を繰り返さねばならない難点を解決
し、確実にファイルが選択できるようにまず各画像ファ
イルに画像より小容量のマーカファイルを対応させる。
次に使用者がマーカに所望の線画や記号等を入力あるい
は選択する。このため原画像を表示した画像表示装置面
をポインティング手段で指定しながら手書きマーカファ
イルを作成する。また、マーカの画面上の幾何学的類似
性や相関値を画像参照キーとして利用する。これによ
り、画像の原データを画面に表示させる前に所望の画像
を参照し、参照効率を向上させる。(1) After a file is loaded and an image is displayed, if a desired file is not specified, the file name is designated again and the same procedure is repeated to solve the difficulty, and the file can be reliably selected. First, each image file is associated with a marker file having a smaller capacity than the image.
Next, the user inputs or selects a desired line drawing or symbol on the marker. Therefore, a handwritten marker file is created while designating the surface of the image display device displaying the original image with the pointing means. Further, the geometrical similarity or the correlation value of the marker on the screen is used as an image reference key. This improves the reference efficiency by referring to the desired image before displaying the original data of the image on the screen.
【０００６】(2) 高解像度を必要とする画像を圧縮表示
しても区別できるように、ウィンドウ内には画像と共に
マーカを同時に表示し、解像度が不足していてもマーカ
を頼りに画像を区別できる表示方式とする。(2) A marker is displayed at the same time as the image in the window so that the image requiring a high resolution can be distinguished even if it is compressed and displayed. Even if the resolution is insufficient, the marker is used to distinguish the image. Use a display method that is possible.
【０００７】[0007]
【作用】本発明はまず、各画像ファイルにマーカファイ
ルを対応させることで、使用者が画像のどこに着目すれ
ばよいのか画面上で一目でわかる作用を持つ。また、画
像参照に際して各画像ファイルに対応したマーカ間の相
関量をキーとしているので、画像の原データを画面に表
示する前に所望の画像を選択できる参照効率向上作用を
具備する。さらに、参照画像を小ウィンドウで一覧表示
した時、ウィンドウサイズが小さいため解像度が不足し
ていてもマーカを頼りに画像を区別できる作用がある。According to the present invention, first, by associating each image file with a marker file, the user can recognize at a glance on the screen where in the image the user should pay attention. In addition, since the amount of correlation between markers corresponding to each image file is used as a key when referring to an image, a reference image improving effect can be provided in which a desired image can be selected before the original data of the image is displayed on the screen. Further, when the reference images are displayed as a list in a small window, the images can be distinguished by relying on the marker even if the resolution is insufficient because the window size is small.
【０００８】[0008]
【実施例】本発明はあらゆる種類の画像に応用可能であ
るがここでは医用画像を表示するＤＲ（デジタルラジオ
グラフィ）システムに用いた適用例を示す。BEST MODE FOR CARRYING OUT THE INVENTION The present invention can be applied to all kinds of images, but here, an example of application to a DR (digital radiography) system for displaying a medical image will be shown.
【０００９】図１は本発明の一実施例を示す装置全体の
ブロック図である。原画像となるＤＲ画像は画像ファイ
ル記憶装置１０１から読出す。この内容は重畳装置１０
２を経由してＤＲ画像表示装置１０３上に表示される。
さらに、ポインティング位置取込み装置１０４によって
ポインティング手段１０５の画面上の位置データを取込
む。取込んだ位置座標データはマーカファイル記憶装置
１０６に格納される。記憶装置１０６は重畳装置１０２
の二つの入力の一方となっている。一方、原画像の参照
をする時にはマーカファイル記憶装置１０６からマーカ
を読出し演算装置１０７でマーカ間の相関度評価演算を
行った後、その相関度演算結果をマーカ間の距離尺度と
して距離尺度格納装置１０８に格納する。この結果を参
照画像の検索装置１０９の参照キーとしており、その参
照キーに対応した画像を画像ファイル記憶装置１０１か
ら読出す。FIG. 1 is a block diagram of the entire apparatus showing an embodiment of the present invention. The DR image as the original image is read from the image file storage device 101. This content is the superposition device 10
It is displayed on the DR image display device 103 via 2.
Further, the pointing position fetching device 104 fetches position data on the screen of the pointing means 105. The captured position coordinate data is stored in the marker file storage device 106. The storage device 106 is the superimposing device 102.
It is one of the two inputs. On the other hand, when the original image is referred to, the marker is read from the marker file storage device 106, the correlation degree evaluation calculation between the markers is performed by the calculation device 107, and the correlation calculation result is used as the distance measure between the distance scale storage devices. Store in 108. This result is used as a reference key of the reference image search device 109, and the image corresponding to the reference key is read from the image file storage device 101.
【００１０】画像表示装置１０３としては高解像度ＣＲ
Ｔ表示装置の他に対応液晶表示装置を用いることができ
る。また、画像ファイル記憶装置１０１とマーカファイ
ル記憶装置１０６と距離尺度格納装置１０８は同じデバ
イス内でメモリを共有してもよい。また、ポインティン
グ手段１０５で書込んだマーカは必ずしも画像表示装置
１０３面上にポインティング手段１０５と連動して表
示、あるいはマーカ作成終了後に表示される必要はな
く、原画像とマーカの位置関係がわかる表示方法であれ
ば原画像を画像表示装置１０３面に、マーカを手書き入
出力専用の液晶タブレットに出す表示方式も可能であ
る。図１破線内に示したように画像表示装置１０３の代
わりに、画像表示専用装置１１０と手書き入出力装置１
１１を用いることも可能である。The image display device 103 has a high resolution CR.
In addition to the T display device, a corresponding liquid crystal display device can be used. Further, the image file storage device 101, the marker file storage device 106, and the distance scale storage device 108 may share the memory in the same device. Further, the marker written by the pointing means 105 does not necessarily need to be displayed on the surface of the image display device 103 in conjunction with the pointing means 105 or displayed after the marker creation is completed, and a display that shows the positional relationship between the original image and the marker is displayed. If it is a method, a display system in which an original image is displayed on the surface of the image display device 103 and a marker is displayed on a liquid crystal tablet dedicated to handwriting input / output is possible. Instead of the image display device 103 as shown in a broken line in FIG. 1, an image display dedicated device 110 and a handwriting input / output device 1
It is also possible to use 11.
【００１１】図２は図１の装置の操作手順の一例を示
す。図２において、まず起動画面２０では原画像指定，
他の画像記憶装置間とのファイル転送，終了の３機能の
選択をする。原画像指定機能を選択した場合には原画像
表示２１の後、マーカ検索／マーカ編集画面２１０を表
示する。ファイル転送機能を選択した場合には画像記憶
装置１０１に対して通信回線を通じて画像ファイルをロ
ード，セーブする。終了機能を選択した場合にはオペレ
ーティングシステムに戻る。FIG. 2 shows an example of the operating procedure of the apparatus shown in FIG. In FIG. 2, first, on the start screen 20, an original image is designated,
Selects three functions: file transfer between other image storage devices and termination. When the original image designation function is selected, the marker search / marker edit screen 210 is displayed after the original image display 21. When the file transfer function is selected, the image file is loaded and saved in the image storage device 101 through the communication line. If you select the exit function, you are returned to the operating system.
【００１２】マーカ検索／マーカ編集画面２１０では、
マーカ作成／編集機能と各ファイルのマーカから計算し
たマーカ間の相関値を検索キーとした画像参照機能の２
機能を選択できる。On the marker search / marker edit screen 210,
2 of the marker creation / editing function and the image reference function that uses the correlation value between the markers calculated from the markers of each file as the search key
You can select the function.
【００１３】マーカ作成／編集機能を選択した場合には
画像表示装置上にマーカ座標取込み用ウィンドウ２１１
を開く。ここでは原画像の任意の場所にマーカを付けら
れるように画面上のサイズは原画像とウィンドウ２１１
では同じとする。書込めるマーカの個数は単数あるいは
複数でも可能である。ウィンドウ２１１は画像表示面に
重ねて表示する透明なウィンドウであるが、もちろん不
透明なウィンドウでもマーカを書き終わった後に原画像
上との位置関係を表示するという代案で対応可能であ
る。ウィンドウ２１１が原画像サイズより小さいサイズ
の場合には、原画像のどの位置にもウィンドウ２１１が
移動できるように表示開始位置，ウィンドウ移動量を指
定する手順を追加する代案で対応可能である。この場合
でも一つのウィンドウごとに単数あるいは複数のマーカ
が書込まれていてもよい。When the marker creating / editing function is selected, the marker coordinate capturing window 211 is displayed on the image display device.
open. Here, the size on the screen is the original image and the window 211 so that a marker can be attached to an arbitrary position of the original image.
Then the same. The number of writable markers may be single or plural. The window 211 is a transparent window that is displayed so as to be superimposed on the image display surface, but of course an opaque window can be handled by an alternative method in which the positional relationship with the original image is displayed after the marker is written. If the window 211 has a size smaller than the original image size, it is possible to cope with it by adding a procedure for designating the display start position and the window movement amount so that the window 211 can be moved to any position of the original image. Also in this case, one or more markers may be written for each window.
【００１４】ウィンドウ２１１が開く際には、ポインテ
ィングデバイス１０５からの座標取込みのための手順が
座標取込み装置１０４より起動されて、マーカファイル
記憶装置１０６に逐次座標を取込む。この時のマーカ記
入領域は図中の２１２である。また、この座標を重畳装
置１０２によって画像表示装置１０３に同時に表示す
る。マーカ作成／編集時にマーカ作成を終了，中止，中
断したい時にはウィンドウ２１１中の定められた領域２
１３をポインティングデバイスで指定し、この時選択用
ウィンドウ２１４が開く。ウィンドウ２１４は、マーカ
を消去する消しゴム，ペン幅，マーカ保存，保存しない
で戻る、既に作成しているマーカのロードの５機能を持
つ。When the window 211 is opened, a procedure for taking in coordinates from the pointing device 105 is activated by the coordinate taking-in device 104 to take in coordinates into the marker file storage device 106 sequentially. The marker writing area at this time is 212 in the figure. Also, the coordinates are simultaneously displayed on the image display device 103 by the superimposing device 102. Defined area 2 in window 211 when you want to stop, stop, or stop marker creation during marker creation / editing
13 is designated by a pointing device, and at this time, a selection window 214 opens. The window 214 has five functions: an eraser for deleting a marker, a pen width, marker saving, returning without saving, and loading a marker that has already been created.
【００１５】一方、画像参照機能を選択した場合には、
原画像と他の参照画像おのおのに対応するマーカ間の相
関値のソート順に画像を読出し、その順に参照画像ウィ
ンドウ２１５に検索した単数あるいは複数の画像を小ウ
ィンドウで、対応するマーカファイルと共に圧縮して表
示する。参照画像ウィンドウ２１５の小ウィンドウはポ
インティングデバイスでそれぞれ参照画像を原サイズで
表示するためのアイコンとなっており、例えば、５番目
の小ウィンドウ中の画像がそのマーカ形状から判断して
使用者の希望する画像であるとすると、このアイコンを
選択した場合にはウィンドウ２１６が開く。On the other hand, when the image reference function is selected,
The images are read out in the order in which the correlation values between the markers corresponding to each of the original image and other reference images are sorted, and the single or plural images retrieved in the reference image window 215 are compressed in the small window together with the corresponding marker files. indicate. The small windows of the reference image window 215 serve as icons for displaying the reference images in the original size on the pointing device. For example, the image in the fifth small window is judged by the marker shape and the user's desire. If this icon is selected, a window 216 opens.
【００１６】既に作成してあるマーカファイルは、ビッ
トマップで展開した文字，記号，線画であるが、２ファ
イルの相関値が計算でき画像ファイルとの対応関係テー
ブルが作成可能であればよいため一般の時系列データで
もよい。The marker file that has already been created is characters, symbols, and line drawings expanded by a bitmap, but it is generally required that the correlation value of two files can be calculated and a correspondence table with an image file can be created. Time series data may be used.
【００１７】図３はマーカがポインティングデバイスか
ら入力した手書き線画である時のファイル格納形式を示
した図である。ファイル構造は、マーカファイル名を格
納するレコード３０，マーカとリンクした画像ファイル
の格納アドレスを示すポインタレコード３１，線画デー
タ開始を表すコード用レコード３２，マーカ線画の画面
座標ｘ，ｙを格納するレコード３３，線画のポインティ
ング一時終了を表す線画区切りコード用レコード３４、
及び３２，３３，３４の複数回の繰返しの後にファイル
の終了を表すコード用レコード３５からなる。なお、ポ
インティングの開始，一時終了の指定は図１中のポイン
ティング座標取込み装置の座標取込み状態変数の変化に
よる。FIG. 3 is a diagram showing a file storage format when the marker is a handwritten line drawing input from a pointing device. The file structure is a record 30 that stores the marker file name, a pointer record 31 that indicates the storage address of the image file linked to the marker, a code record 32 that indicates the start of line drawing data, and a record that stores the screen coordinates x and y of the marker line drawing. 33, a line drawing delimiter code record 34 representing a temporary end of the line drawing pointing,
And 32, 33, and 34, a code record 35 indicating the end of the file after a plurality of repetitions. It should be noted that the designation of the start and the temporary end of pointing depends on the change of the coordinate fetching state variable of the pointing coordinate fetching device in FIG.
【００１８】図４（ａ）はその状態変数値割当てと座標
取込み装置の取込みモードの対応関係、図４（ｂ）は状
態変数の変化とマーカファイルへの書込みコードの関係
を示した図、図４（ｃ）はマーカ描画面と終了コードの
位置関係を示した図である。ポインティングデバイス状
態はペンアップ，ペンダウンの２値とし、それぞれに
１，０を割当てるが、ここでのペンアップ，ペンダウン
とは必ずしもポインティング手段が画像表示装置面に接
しているか否かを意味するものではない。FIG. 4 (a) is a diagram showing the correspondence between the state variable value assignment and the capture mode of the coordinate capture device, and FIG. 4 (b) is a diagram showing the relationship between the change of the state variable and the code written in the marker file. 4C is a diagram showing the positional relationship between the marker drawing surface and the end code. The pointing device state is a binary value of pen-up and pen-down, and 1 and 0 are assigned to each of them, but pen-up and pen-down here do not necessarily mean whether or not the pointing means is in contact with the surface of the image display device. Absent.
【００１９】例えば、ポインティング手段１０５の先端
から出た指向性のある光を画面上で検出できるか否かを
図４（ａ）のペン状態変数とすることも可能である。図
４（ｂ）では、デバイス状態変数の変化に伴ってマーカ
ファイルへコード３２，３４を自動書込みする場合の対
応関係である。図４（ｂ）中では開始，一時終了コード
のみであるが、マーカ描画終了時には図４（ｃ）で示す
ように通常のポインティング領域２１１の右上に設けた
終了コード指定領域２１２を選択する。この時にマーカ
ファイルにファイル終了コード３５を自動書込みすると
同時に、マーカとリンクした画像ファイルの格納アドレ
スを示すポインタレコード３１に書込みを行う。For example, whether or not the directional light emitted from the tip of the pointing means 105 can be detected on the screen can be used as the pen state variable in FIG. 4 (a). FIG. 4B shows a correspondence relationship when the codes 32 and 34 are automatically written to the marker file according to the change of the device state variable. Although only the start and temporary end codes are shown in FIG. 4B, the end code designation area 212 provided at the upper right of the normal pointing area 211 is selected when the marker drawing is completed, as shown in FIG. 4C. At this time, the file end code 35 is automatically written in the marker file, and at the same time, the pointer record 31 indicating the storage address of the image file linked with the marker is written.
【００２０】それと同時にマーカファイル作成終了時に
は以下の図６の評価手順を起動する。なお、レコード３
２−３４が１マーカ単位であり、マーカ個数が単数でも
複数でも対応可能である構造である。またマーカ座標を
格納するレコード３３は、ｘ，ｙ座標が交互に格納され
たレコード構造になっている。なお、レコード３３には
音声データ，音楽データ，心電図等の測定データを用い
ることも可能であり、その場合にはｘとしてデータのサ
ンプリング時間、ｙとして音声，音楽，測定波形信号レ
ベルを用いることが可能である。At the same time, when the marker file creation is completed, the following evaluation procedure shown in FIG. 6 is started. In addition, record 3
2-34 is a unit of one marker, and the structure is compatible with a single marker or a plurality of markers. The record 33 that stores the marker coordinates has a record structure in which the x and y coordinates are alternately stored. It should be noted that it is possible to use measurement data such as voice data, music data, and electrocardiogram for the record 33. In this case, data sampling time can be used as x and voice, music, and measured waveform signal level can be used as y. It is possible.
【００２１】図５は、原画面全領域を複数個の矩形領域
２１７に分割し、領域２１１をポインティングデバイス
を用いて指定することでマーカとして指定領域番号の重
心座標ｘ，ｙを対応させる図４（ａ）中のマーカ入力方
式の代案である。画面の右上の領域２１２は図４（ｃ）
の終了指定領域に相当した領域である。各領域２１７は
ポインティングデバイスによる指定でその矩形領域の重
心座標を返してレコード３３に書込む関数である。In FIG. 5, the entire area of the original screen is divided into a plurality of rectangular areas 217, and the area 211 is designated by using a pointing device so that the barycentric coordinates x and y of the designated area number correspond to each other as a marker. This is an alternative to the marker input method in (a). The area 212 on the upper right of the screen is shown in FIG.
It is an area corresponding to the end designation area. Each area 217 is a function for returning the barycentric coordinates of the rectangular area by the designation by the pointing device and writing it in the record 33.
【００２２】図６はマーカ間の類似度参照をするため参
照キーを各マーカの重心間の距離とした時の評価手順を
示したフローチャートである。この手順はマーカファイ
ル作成終了時に自動的に起動される。この当該モジュー
ルは、 (1) 原画像のマーカファイル番号をｐ，参照マーカファ
イルのファイル番号ｑに１を設定する（手順６０１） (2) ファイル中の各マーカごとの重心座標配列ＸＭ１，
ＹＭ１，ＸＭ２，ＹＭ２を初期化する（手順６０２） (3) ｐ番目のマーカファイルを読出す（手順６０３） (4) ＸＭ１（ｊ），ＹＭ１（ｊ）を計算する（ｊ＝１，
２，…，Ｎ１）（手順６０４） (5) ｑ番目のマーカファイルを読出す（手順６０５） (6) ＸＭ２（ｊ），ＹＭ２（ｊ）を計算する（ｊ＝１，
２，…，Ｎ２）（手順６０６） (7) ｐ，ｑの重心座標尺度Ｌｐｑを次の式で評価する
（手順６０７）FIG. 6 is a flow chart showing an evaluation procedure when the reference key is used as the distance between the centers of gravity of the markers for referring to the similarity between the markers. This procedure is automatically started at the end of marker file creation. This module (1) sets the marker file number of the original image to p and sets the file number q of the reference marker file to 1 (procedure 601) (2) Center of gravity coordinate array XM1, for each marker in the file
Initialize YM1, XM2, YM2 (procedure 602) (3) Read the p-th marker file (procedure 603) (4) Calculate XM1 (j), YM1 (j) (j = 1, 1)
2, ..., N1) (Procedure 604) (5) Read the qth marker file (Procedure 605) (6) Calculate XM2 (j), YM2 (j) (j = 1,
2, ..., N2) (Procedure 606) (7) The barycentric coordinate scale Lpq of p and q is evaluated by the following formula (Procedure 607).
【００２３】[0023]
【数１】 [Equation 1]
【００２４】ここでＳｑｒは、ルート演算、Ｎ１とＮ２
はそれぞれｐ番目，ｑ番目のマーカファイル中のマーカ
個数である。Here, Sqr is a route calculation, N1 and N2
Are the numbers of markers in the p-th and q-th marker files, respectively.
【００２５】(8) Ｌｐｑを格納する（手順６０８） (9) ｑを一つ増加させ手順６０１から繰り返す（手順６
０９） (10)ｑとマーカファイル個数を比較し、ｑが小さければ
手順６０５に戻る（手順６１０）の九つの手順からな
る。(8) Store Lpq (procedure 608) (9) Increase q by 1 and repeat from procedure 601 (procedure 6)
09) (10) The number of marker files is compared with q, and if q is small, the procedure returns to step 605 (step 610), which consists of nine steps.
【００２６】図７はこうして格納したＬｐｑを用いて画
像参照する場合のフローチャートである。当該モジュー
ルは、 (1) ｐに原画像番号をセット（手順７０１） (2) すべてのｑについてＬｐｑの値の昇べきの順にソー
トする（手順７０２） (3) ｑ1，ｑ2，ｑ3 …番目に対応した参照用画像ファイ
ルをロードする（手順７０３） の３つの手順からなる。FIG. 7 is a flowchart for referring to an image using the Lpq stored in this way. The module sets (1) the original image number in p (procedure 701) (2) sorts all the qs in order of increasing power of Lpq (procedure 702) (3) q 1 , q 2 , q 3 The third step consists of loading the reference image file corresponding to ... (Procedure 703).
【００２７】以上の参照手順から明らかなようにＬｐｑ
の計算はｐ，ｑ番目の画像が類似しているかしていない
かにかかわらず行われるので、使用者が画像とは全く独
立にマーカを決定可能であるため類似画像検索以外の目
的にも使用可能である。例えば、患者が胸部ＤＲ撮影と
同日に常に尿検査を受けており、この検査でクロの判定
を受けたときの画像に腎臓マークを付けておくと、この
腎臓マークから尿検査でクロの時の胸部ＤＲ撮影画像を
検索することが可能である。As is clear from the above reference procedure, Lpq
Calculation is performed regardless of whether the p-th and q-th images are similar or not, so the user can determine the marker completely independently of the images, so it can be used for purposes other than similar image search. Is. For example, if a patient has a urine test always taken on the same day as chest radiographing, and if a kidney mark is added to the image when a black judgment is made in this test, the kidney mark from the kidney mark It is possible to search the chest DR imaged image.
【００２８】また、上記の参照手順から明らかなように
マーカとリンクした画像ファイル全てに対して一回ごと
に参照を行っている。これを効率化させる代案として、
すでに参照を行った原画像に対してテーブルを用意して
おき、原画像に対する参照画像番号をＬｐｑの順にこの
テーブル内に格納し、次回の参照時にはこのテーブルの
参照画像番号から参照画像を読出すことも可能である。Further, as is apparent from the above-mentioned reference procedure, all the image files linked with the markers are referenced once. As an alternative to make this more efficient,
A table is prepared for the original images that have already been referred to, reference image numbers for the original images are stored in this table in the order of Lpq, and the reference images are read from the reference image numbers of this table at the next reference. It is also possible.
【００２９】図８は図７で決定した参照画像順に画像を
ロードするためのデータ構造を示した図である。参照画
像ロード順テーブル８１は、ソートしたマーカファイル
番号の項目８１０とそのファイルの格納アドレス８１１
を対応させたテーブルである。例えば、ｑ1 番目の項目
が選択された場合にはその格納アドレスからマーカファ
イル８２のファイル名８２０を指定する。この時、その
画像ファイル格納アドレス８２１を参照してｑ1 に対応
する画像ファイル８３を呼出す。以上の手順をテーブル
８１０の項目について順に繰返す。ただし、この画像フ
ァイルとマーカファイルの対応関係は１対１になるもの
とする。同一のマーカで複数の画像に対応させるときに
はマーカファイルをあらかじめコピーしておき、それぞ
れに画像を対応させるものとする。FIG. 8 is a diagram showing a data structure for loading images in the order of reference images determined in FIG. The reference image load order table 81 includes a sorted marker file number item 810 and a storage address 811 of the file.
It is a table corresponding to. For example, when the q 1st item is selected, the file name 820 of the marker file 82 is designated from the storage address thereof. At this time, the image file storage address 821 is referred to call the image file 83 corresponding to q 1 . The above procedure is sequentially repeated for the items of the table 810. However, the correspondence between the image file and the marker file is one-to-one. When associating a plurality of images with the same marker, the marker file is copied in advance and the images are associated with each other.
【００３０】図９は画像とマーカを画面表示装置面の小
ウィンドウに表示する方法を示した図である。表示に際
して、(1) 画像とマーカは同時にウインドウ内に圧縮表
示。この場合、マーカ形状の差が判別できる解像度でウ
ィンドウ内に表示、(2) 同ウィンドウをポインティング
手段により指定するとウィンドウ内に表示されている医
用画像を圧縮なしで画面表示、の特徴を持ち、この小ウ
ィンドウから使用者が所望の参照画像を選択可能とす
る。FIG. 9 is a diagram showing a method of displaying an image and a marker in a small window on the screen of the screen display device. At the time of display, (1) The image and the marker are compressed and displayed in the window at the same time. In this case, the feature is that it is displayed in the window with a resolution that allows the difference in the marker shape to be identified, and (2) the medical image displayed in the window is displayed on the screen without compression when the window is specified by the pointing means. The user can select a desired reference image from the small window.
【００３１】ｑ番目のマーカファイル読出し手順６０５
から対応する参照画像の読出し手順７０３を起動し、マ
ーカファイルと参照画像ファイルを重畳装置１０２で加
算した後、画像圧縮演算手順９０１で小ウィンドウ内に
収まるサイズに変換する。次に、画面上に小ウィンドウ
で圧縮した画像を表示する手順２１５を起動する。ポイ
ンティングデバイスによってこの小ウィンドウを指定す
ると、読出す手順703が起動し、参照画像を表示する
（２１６）。Qth marker file reading procedure 605
Then, the corresponding reference image reading procedure 703 is activated, the marker file and the reference image file are added by the superimposing device 102, and then converted into a size that fits within the small window in the image compression calculation procedure 901. Next, the procedure 215 of displaying the compressed image in the small window on the screen is activated. When this small window is designated by the pointing device, the reading procedure 703 is activated to display the reference image (216).
【００３２】なお図中の破線内に示したように、あらか
じめ圧縮画像をバッファ９０３に用意しておき、このバ
ッファ９０３から小ウィンドウ内の画像表示を行うこと
も可能であり、この時バッファの性能上高速に読出しが
可能である。It is also possible to prepare a compressed image in the buffer 903 in advance and display an image in a small window from this buffer 903 as shown by the broken line in the figure. High-speed reading is possible.
【００３３】図１０（ａ）は実際の小ウィンドウの表示
法の１例である。一般に図７での参照画像の個数は、ソ
ートされた画像を順に読込むため実質的にマーカが作成
されている画像ファイルすべてとなる。これでは画像表
示上に数多くのウィンドウを開く必要があるが、画像フ
ァイルを患者ごと、疾病ごとのディレクトリ管理するこ
とで同一ディレクトリ内のファイル参照に限ることは容
易に可能である。この場合、ディレクトリ内のファイル
は参照対象となる画像とマーカの範囲であり、科単位，
医師単位，疾病名単位，患者単位とするが、画像の属性
と全く関係ないディレクトリ単位でも一向に差し支えな
いとする。図１０ではＬｐｑの値の昇べき順に画像ファ
イルとマーカを小ウィンドウ表示した例を示した。FIG. 10A shows an example of an actual method of displaying a small window. Generally, the number of reference images in FIG. 7 is substantially all image files in which markers are created because the sorted images are read in order. In this case, it is necessary to open a large number of windows on the image display, but it is possible to easily limit the file reference to the same directory by managing the image file directory for each patient and each disease. In this case, the files in the directory are the range of images and markers to be referenced,
Although it is a doctor unit, a disease name unit, or a patient unit, it is safe to use a directory unit that has nothing to do with image attributes. FIG. 10 shows an example in which the image files and the markers are displayed in a small window in the ascending order of the value of Lpq.
【００３４】図１０（ｂ）は圧縮手段９０１である。こ
こでは原画像を１／４の大きさに縮小する例を示した。
ただし、マーカファイルのサイズは原画像サイズの１／
４とする。圧縮前画像の画素濃度をＤｉ（ｉ＝１，２，
３，４）、マーカ濃度をＭとして圧縮後画像の画素濃度
Ｄはこの時数２とする。FIG. 10B shows the compression means 901. Here, an example is shown in which the original image is reduced to a size of 1/4.
However, the size of the marker file is 1 / of the original image size.
Set to 4. The pixel density of the uncompressed image is set to Di (i = 1, 2,
3 and 4), the pixel density D of the image after compression is set to 2 at this time with M as the marker density.
【００３５】[0035]
【数２】 Ｄ＝（Ｄ1＋Ｄ2＋Ｄ3＋Ｄ4）／４＋Ｍ …（数２） 以上、本発明を実施例に沿って説明したが、本発明はこ
れらの利用分野に限定されるものではなくいろいろな変
形が可能である。例えば、今回の実施例ではＤＲ装置で
の医用画像参照機能への適用例として説明したが、医用
画像以外でも応用が可能である。その例として、(1) ビ
デオ画像の１画面に使用者がつけた手書き文字を検索す
る。例えば、ホームビデオフィルムの子供が登場する場
面に赤ちゃんの絵をマークしておき、この画面がついて
いる画面をシーケンシャルに自動検索する、(2) 音楽と
連動して動画を作成した場合、動画のあるシーンだけに
特定の音を入れておきそれを検索することで画面をシー
ケンシャルに自動検索する。例えば、映画のパトカーの
音が出る場面だけを検索したい場合、あらかじめ用意し
たパトカーの音と音声トラックの相関から該当する場面
をシーケンシャルに自動検索する、(3) 医用画像とその
患者の撮影時の心電図をリンクさせておき、心拍数を指
定して対応する医用画像を検索する、といった適用が考
えられる。[Number 2] D = (D 1 + D 2 + D 3 + D 4) / 4 + M ... ( Equation 2) Although the present invention has been described with reference to examples, but the present invention is limited to these fields of application are Various modifications are possible. For example, although the present embodiment has been described as an application example to the medical image reference function in the DR device, the application can be applied to other than medical images. As an example, (1) Search for handwritten characters added by the user on one screen of a video image. For example, mark a picture of a baby on the scene where a child of a home video film appears, and automatically search the screen with this screen sequentially, (2) If you create a video linked to music, The screen is automatically searched sequentially by inserting a specific sound only in a certain scene and searching for it. For example, if you want to search only the scenes where the police car sounds in a movie, you can automatically search for the corresponding scenes sequentially based on the correlation between the sound of the police car and the audio track prepared in advance. (3) Medical images and their patients One possible application is to link the electrocardiograms, specify the heart rate, and search for the corresponding medical image.
【００３６】[0036]
【発明の効果】本発明によれば、各画像ファイルにマー
カファイルを対応させることで、使用者が画像のどこに
着目すればよいのか画面上で一目でわかる効果を持つ。
また、画像参照に際して各画像ファイルに対応したマー
カ間の相関量をキーとしているので、画像の原データを
画面表示する前に所望の画像を選択でき、参照速度を向
上させる。さらに、参照画像を小ウィンドウで一覧表示
した時、ウィンドウサイズが小さいため解像度が不足し
ていてもマーカを頼りに画像を区別できる。According to the present invention, by associating each image file with a marker file, it is possible to see at a glance on the screen where the user should pay attention to the image.
In addition, since the amount of correlation between markers corresponding to each image file is used as a key when referring to an image, a desired image can be selected before the original data of the image is displayed on the screen, and the reference speed is improved. Further, when the reference images are displayed as a list in a small window, the images can be distinguished by relying on the marker even if the resolution is insufficient because the window size is small.
【図１】本発明による装置のブロック図。1 is a block diagram of an apparatus according to the present invention.
【図２】本発明による画面展開の１例を示したフローチ
ャート。FIG. 2 is a flowchart showing an example of screen development according to the present invention.
【図３】本発明において使用するマーカファイルの格納
形式を示した説明図。FIG. 3 is an explanatory diagram showing a storage format of a marker file used in the present invention.
【図４】本発明においてポインティング座標取込み変数
の変域と座標取込み装置の説明図。FIG. 4 is an explanatory diagram of a domain of a pointing coordinate capture variable and a coordinate capture device in the present invention.
【図５】本発明において、原画面全領域を複数個の矩形
領域５０に分割し、マーカとして指定領域番号の重心座
標ｘ，ｙを対応させる図３中のレコード３３格納データ
の代案を示す説明図。FIG. 5 is an explanatory view showing an alternative of the data stored in the record 33 in FIG. 3 in which the entire area of the original screen is divided into a plurality of rectangular areas 50 and the barycentric coordinates x and y of the designated area number are made to correspond as markers in the present invention. Fig.
【図６】本発明において、マーカ間の類似度を評価する
ため参照キーを各マーカの重心間の画面上の距離とした
時の評価手順を示したフローチャート。FIG. 6 is a flowchart showing an evaluation procedure when the reference key is the distance between the centers of gravity of the markers on the screen in order to evaluate the similarity between the markers in the present invention.
【図７】本発明において、格納したＬｐｑを用いて画像
参照する場合のフローチャート。FIG. 7 is a flowchart for referring to an image using a stored Lpq in the present invention.
【図８】本発明において、決定した参照画像順に画像フ
ァイルをロードするためのデータ構造を示したフローチ
ャート。FIG. 8 is a flowchart showing a data structure for loading image files in the determined reference image order in the present invention.
【図９】本発明において、画像とマーカを画面表示装置
面の小ウィンドウに表示する方法を示したフローチャー
ト。FIG. 9 is a flowchart showing a method of displaying an image and a marker in a small window on the screen of the screen display device according to the present invention.
【図１０】本発明による実際の参照画像を表示する小ウ
ィンドウの１例（ａ）と画像圧縮の１例（ｂ）の説明
図。FIG. 10 is an explanatory diagram of an example (a) of a small window displaying an actual reference image and an example (b) of image compression according to the present invention.
１０１…画像ファイル記憶装置、１０２…重畳装置、１
０３…画像表示装置、１０４…ポインティング位置取込
み装置、１０５…ポインティング手段、１０６…マーカ
ファイル記憶装置、１０７…演算装置、１０８…距離尺
度格納装置、１０９…参照画像の検索装置、１１０…画
像表示専用装置、１１１…手書き専用入出力装置。101 ... Image file storage device, 102 ... Superimposing device, 1
Reference numeral 03 ... Image display device, 104 ... Pointing position capturing device, 105 ... Pointing means, 106 ... Marker file storage device, 107 ... Calculation device, 108 ... Distance scale storage device, 109 ... Reference image retrieval device, 110 ... Image display dedicated Device, 111 ... Handwriting input / output device.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 橋詰 明英 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Akihide Hashizume 1-280, Higashi Koigokubo, Kokubunji, Tokyo Metropolitan Research Center, Hitachi Ltd.
Claims (12)
画像を参照する装置において、各画像と対応させてマー
カを作成しておき、前記マーカ間の相関値順に参照画像
を前記マーカと共に一覧表示し、この一覧から画像を選
択することを特徴とする画像参照装置。1. A device for referencing an image related to an original image displayed on an image display device, wherein markers are created in association with each image, and reference images are listed together with the markers in the order of correlation values between the markers. An image referencing device characterized by displaying and selecting an image from this list.
画像を参照する装置において、前記原画像を表示した前
記画像表示装置の面をポインティング手段で指定しなが
ら作成したマーカに画像を対応させ、前記マーカ間の幾
何形状の類似度を参照キーとして原画像から関連のある
他の画像を選択することを特徴とする画像参照装置。2. An apparatus for referencing an image related to an original image displayed on an image display apparatus, wherein an image is made to correspond to a marker created while designating a surface of the image display apparatus displaying the original image by pointing means. An image reference apparatus, wherein another related image is selected from the original image using the similarity of the geometric shape between the markers as a reference key.
示する場合、画像をマーカと共にウィンドウ内に圧縮表
示し、さらにこのウィンドウを選択することで所望の画
像を画面表示し、参照する目的の画像を効率よく見つけ
ることを可能にする画像参照装置。3. The display of the reference image list according to claim 1, wherein the images are compressed and displayed in a window together with markers, and a desired image is displayed on the screen by selecting the window for reference. An image reference device that enables you to find images efficiently.
れ対応する画像を圧縮表示及び指定する領域となってお
り、これにより目的のフルサイズ画像を効率よく見つけ
ることを可能にする画像参照装置。4. The image reference apparatus according to claim 3, wherein each of the small windows is an area for displaying and designating a corresponding image in a compressed manner, thereby making it possible to efficiently find an intended full-size image.
を編集して使用者がカスタマイズしてマーカを使用する
ことが可能で、マーカを変更した場合には変更に伴って
マーカ間の相関値を評価し直す画像参照装置。5. The marker according to claim 1, wherein the marker created can be edited and customized by the user to use the marker. When the marker is changed, the correlation value between the markers is changed according to the change. Image referencing device to be re-evaluated.
付けるためのポインティングデバイスと、前記ポインテ
ィングデバイスのポインティングデータを取り込むデバ
イス位置取込み装置と、前記ポインティングデータを画
像のマーカファイルとして記憶するマーカファイル記憶
装置を用い、マーカファイル記憶装置からマーカを読出
しそれらのマーカ間の相関値を計算する演算部と、それ
らの相関値を記憶する記憶部と、現在表示している原画
像からマーカ相関値のソート順に単数または複数の参照
画像ファイルを読出す画像読出部と、読出した参照画像
を一覧表示しさらにこれを選択することで画像を表示さ
せる制御手段を有する画像参照装置。6. A pointing device for attaching a reference marker to an image, a device position capturing device for capturing pointing data of the pointing device, and a marker file for storing the pointing data as an image marker file. A storage unit is used to read out the markers from the marker file storage unit, calculate a correlation value between the markers, a storage unit that stores the correlation values, and a marker correlation value from the currently displayed original image. An image reference device having an image reading unit for reading a single or a plurality of reference image files in a sort order, and a control unit for displaying a list of read reference images and selecting the selected reference image to display the image.
置はポインティング状態と連動しており、デバイス位置
データ発生によってその位置に対応した画像表示装置上
の画面位置にデータを発生する画像参照装置。7. The image reference device according to claim 6, wherein the device position capturing device is interlocked with the pointing state and generates data at a screen position on the image display device corresponding to the position by device position data generation.
は必ずしもデバイスは画像表示装置面に接している必要
はなく、その際にはデバイス位置と画像表示面間の位置
関係から画面上の対応する位置データが決まる画像参照
装置。8. The device according to claim 7, when the position data is taken in, the device is not necessarily in contact with the image display device surface, and in that case, the corresponding position on the screen is determined from the positional relationship between the device position and the image display surface. Image reference device for which data is determined.
スから入力した手書き線画、あるいはあらかじめマーカ
ファイル記憶装置上に用意した配列あるいは時系列デー
タをマーカとして用いる画像の着目領域指定手段を有す
る画像参照装置。9. The image reference apparatus according to claim 6, further comprising a hand-drawn line drawing input from a pointing device, or an area-of-interest designating unit for an image using an array or time-series data prepared in advance in a marker file storage device as a marker.
なくともマーカ作成機能とマーカをキーとする検索機能
を持ち、マーカ作成機能を選択した場合にはポインティ
ング手段による画像表示装置からの座標取込みが可能に
なり、検索機能を選択した場合には原画像のマーカと他
の画像のマーカとの相関値順に画像とそれに対応するマ
ーカを記憶装置から呼び出す手段を有する画像参照装
置。10. The image reference function according to claim 6, wherein the image reference function has at least a marker creating function and a search function using the marker as a key. When the marker creating function is selected, coordinates can be captured from the image display device by the pointing means. An image reference apparatus having a means capable of calling an image and a marker corresponding thereto from a storage device in an order of correlation values of a marker of an original image and a marker of another image, which is enabled.
領域内に表示している画像に作成したマーカをマーカフ
ァイル作成終了時に自動的にリンクさせて使用者の指定
を不要とした手段を有する画像参照装置。11. The method according to claim 10, further comprising means for automatically linking the marker created on the image currently displayed in the specified area on the screen when the marker file is created so that the user does not need to specify the marker file. Image referencing device.
カは画像間の相関度と無関係に使用者が指定可能であ
り、類似画像参照とは別の目的でもマーカによる参照操
作が可能な画像参照装置。12. The image reference according to claim 2, wherein a marker serving as a reference key can be designated by a user regardless of the degree of correlation between images, and a reference operation using the marker can be performed for a purpose other than similar image reference. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4326427A JPH06176079A (en) | 1992-12-07 | 1992-12-07 | Image reference device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4326427A JPH06176079A (en) | 1992-12-07 | 1992-12-07 | Image reference device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06176079A true JPH06176079A (en) | 1994-06-24 |
Family
ID=18187680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4326427A Pending JPH06176079A (en) | 1992-12-07 | 1992-12-07 | Image reference device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06176079A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000105772A (en) * | 1998-07-28 | 2000-04-11 | Sharp Corp | Information managing device |
| JP4560175B2 (en) * | 2000-06-12 | 2010-10-13 | キヤノン株式会社 | Radiation imaging equipment |
| WO2019065345A1 (en) * | 2017-09-28 | 2019-04-04 | 日本電気株式会社 | Sound recording/reproduction system, sound recording/reproduction method, sound recording device, recording medium, and image recording device |
-
1992
- 1992-12-07 JP JP4326427A patent/JPH06176079A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000105772A (en) * | 1998-07-28 | 2000-04-11 | Sharp Corp | Information managing device |
| JP4560175B2 (en) * | 2000-06-12 | 2010-10-13 | キヤノン株式会社 | Radiation imaging equipment |
| WO2019065345A1 (en) * | 2017-09-28 | 2019-04-04 | 日本電気株式会社 | Sound recording/reproduction system, sound recording/reproduction method, sound recording device, recording medium, and image recording device |
| JPWO2019065345A1 (en) * | 2017-09-28 | 2020-11-19 | 日本電気株式会社 | Recording device, recording control program and recording device |
| US11403834B2 (en) | 2017-09-28 | 2022-08-02 | Nec Corporation | Sound recording device, recording medium, and image recording device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8463071B2 (en) | Navigating images using image based geometric alignment and object based controls | |
| US8811775B1 (en) | Visualizing digital images on a map | |
| US5819103A (en) | Information recording/reproducing apparatus and method | |
| US5093907A (en) | Graphic file directory and spreadsheet | |
| JP4835135B2 (en) | Image display device, image display method, and program | |
| US5608858A (en) | Method and system for registering and filing image data | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| JPH07192118A (en) | Processor control system | |
| JPH10233985A (en) | Image reproducing method and image data managing method | |
| JPH07168855A (en) | Information recording/reproducing device | |
| JP2000512410A (en) | How to index image information using a reference model | |
| EP1089161A2 (en) | Object processing apparatus and object attribute changing methods | |
| CN101107603A (en) | User interface for image browse | |
| JP3915106B2 (en) | Image search device | |
| US4965558A (en) | Method and apparatus for image retrieval | |
| JP2001119653A (en) | Multimedia information processing unit and image information processing unit | |
| JP2004213429A (en) | Image processor, image processing program, storage medium, and image processing method | |
| JPH06176079A (en) | Image reference device | |
| JP2000112342A (en) | Processing method for map information | |
| JP3542362B2 (en) | Still video camera | |
| JPH08235344A (en) | Scenario editor | |
| CN113392230A (en) | Method for processing and operating labeled data, labeled platform and database | |
| CN111916187B (en) | Medical image cell position auxiliary user positioning method, system and device | |
| JP2020119368A (en) | Video information management system and video information management method | |
| JPH01284973A (en) | Picture recording and reproducing device |