JP6915387B2 - 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法 - Google Patents

医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法 Download PDF

Info

Publication number
JP6915387B2
JP6915387B2 JP2017109751A JP2017109751A JP6915387B2 JP 6915387 B2 JP6915387 B2 JP 6915387B2 JP 2017109751 A JP2017109751 A JP 2017109751A JP 2017109751 A JP2017109751 A JP 2017109751A JP 6915387 B2 JP6915387 B2 JP 6915387B2
Authority
JP
Japan
Prior art keywords
mark
touch
movement
medical image
touch position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017109751A
Other languages
English (en)
Other versions
JP2018201795A (ja
Inventor
悠介 田辺
悠介 田辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017109751A priority Critical patent/JP6915387B2/ja
Priority to US15/967,741 priority patent/US10628026B2/en
Publication of JP2018201795A publication Critical patent/JP2018201795A/ja
Application granted granted Critical
Publication of JP6915387B2 publication Critical patent/JP6915387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法に関し、特に、医用画像を表示するタッチパネルを備える医用画像表示装置、当該医用画像表示装置におけるタッチパネルのタッチ操作を制御するタッチ操作制御プログラム及びタッチ操作制御方法に関する。
近年のタッチパネルの普及により、超音波診断装置などの医用画像表示装置においてもタッチパネルを採用した装置が増加しており、タッチパネルを操作して、医用画像の各種情報を計測したり、医用画像に注釈を付与したりすることにより、各種診断が行われる。
このような医用画像表示装置におけるタッチ操作に関して、例えば、下記特許文献１には、超音波を送受して得られた受信信号に基づいて診断画像を形成する診断画像形成部と、前記診断画像内において、操作の対象となる箇所を示す対象点マーカと、当該対象点マーカに対応付けられた操作ボタンと、を設けた表示画像を形成する表示画像形成部と、前記表示画像を表示して当該表示画像に対するタッチ操作を感知する表示部と、前記対象点マーカに対応付けられた操作ボタンに対するタッチ操作を介して、当該対象点マーカに対する操作を受け付ける制御部と、を有する超音波診断装置が開示されている。
また、医用画像表示装置に関する技術ではないが、情報処理装置におけるタッチ操作に関して、例えば、下記特許文献２には、表示画面に表示されたオブジェクトを該表示画面上で移動させる情報処理装置であって、前記表示画面に対して指示された座標を入力する入力手段と、前記入力手段により入力された入力座標に対応する前記表示画面上の座標位置に表示されたオブジェクトを選択する選択手段と、前記入力座標に基づいて、前記選択手段により選択されたオブジェクトに対するドラッグ操作を検出する検出手段と、前記検出手段により前記ドラッグ操作が検出された場合、前記選択手段により選択された前記オブジェクトの座標位置と前記ドラッグ操作が検出された後の入力座標との距離が、所定の距離を越えているか否かを判定する判定手段と、前記選択手段により選択されたオブジェクトを前記ドラッグ操作に追従させて移動させる移動制御手段とを具備し、前記移動制御手段は、前記距離が前記所定の距離を越えていなければ、前記選択手段により選択されたオブジェクトの移動量を前記ドラッグ操作の移動量よりも小さくする構成が開示されている。
特開２０１２−０１９８２４号公報 特許第５３７１７９８号公報
タッチパネルを備えるタブレットなどの通常の装置とは異なり、医用画像表示装置では、計測やアノテーションなどの機能を使用する上で精密なタッチ操作が必要とされるが、タッチ操作にて医用画像上で各種マークを移動させる際に、対象物（マークやマーク近傍の医用画像）が指などのタッチ手段で隠れてしまい、対象物の視認性が下がることが重大な問題になっている。そこで、タッチパネルを搭載している医用画像表示装置では、対象物の視認性を確保した上で、かつ精密な操作が可能なタッチ操作方法が強く求められている。
この問題に対して、特許文献１では、対象点マーカの近傍に操作ボタンを設けることによって対象物が指で隠れることを防いでいる。しかしながら、この方法では対象点マーカの近傍に設けた操作ボタンによって対象物が一部隠れてしまうために視認性が下がるという問題がある。特に、画面上に文字や矢印などの注釈が複数存在する場合にはこの問題が顕著に現れる。また、特許文献２では、対象物の周りに範囲を定め、その範囲の中では対象物が移動しない（もしくは少しのみ移動する）方法を提案しており、これにより、ドラッグを行う指に遅れて対象物が移動する振る舞いとなり、対象物の視認性を向上させることができる。しかしながら、この方法ではドラッグする指が範囲から出る際に対象物の移動量が急激に変化するために対象物の微調整が難しいという問題がある。すなわち、計測などのタッチ操作の精密性が要求される場面では、この方法は適切ではない。
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、タッチ操作における対象物の視認性の低下を抑制し、機能に応じて適切にタッチ操作を制御することができる医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法を提供することにある。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置であって、前記タッチパネルの操作を受け付け、複数の機能の中から選択された機能に対応するマークに対するドラッグ操作を検出する操作制御部と、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出するマーク位置算出部と、前記タッチパネルに前記医用画像と前記マークとを表示させると共に、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる表示制御部と、を備え、前記操作制御部は、アノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記マーク位置算出部は、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出することを特徴とする。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置であって、前記タッチパネルの操作を受け付け、複数の機能の中から選択された機能に対応するマークに対するドラッグ操作を検出する操作制御部と、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出するマーク位置算出部と、前記タッチパネルに前記医用画像と前記マークとを表示させると共に、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる表示制御部と、を備え、前記操作制御部は、操作者の利き手の設定操作を受け付けると共に、前記タッチ位置の移動方向を検出し、アノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記マーク位置算出部は、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、ことを特徴とする医用画像表示装置。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置で動作するタッチ操作制御プログラムであって、前記医用画像表示装置の制御部に、前記タッチパネルに前記医用画像を表示させる第１ステップ、複数の機能の中から所望の機能の選択操作を受け付ける第２ステップ、選択された機能に対応するマークを前記医用画像上に表示させる第３ステップ、前記マークに対するドラッグ操作を検出する第４ステップ、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップ、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップ、を実行させ、前記第２ステップでアノテーション機能が選択された場合は、前記第４ステップでは、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出する、ことを特徴とする。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置で動作するタッチ操作制御プログラムであって、前記医用画像表示装置の制御部に、前記タッチパネルに前記医用画像を表示させる第１ステップ、複数の機能の中から所望の機能の選択操作を受け付ける第２ステップ、選択された機能に対応するマークを前記医用画像上に表示させる第３ステップ、前記マークに対するドラッグ操作を検出する第４ステップ、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップ、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップ、を実行させ、前記医用画像表示装置の制御部に、更に、操作者の利き手の設定操作を受け付けるステップを実行させ、前記第４ステップでは、前記タッチ位置の移動方向を検出し、前記第２ステップでアノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、ことを特徴とするタッチ操作制御プログラム。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置におけるタッチ操作制御方法であって、前記タッチパネルに前記医用画像を表示させる第１ステップと、複数の機能の中から所望の機能の選択操作を受け付ける第２ステップと、選択された機能に対応するマークを前記医用画像上に表示させる第３ステップと、前記マークに対するドラッグ操作を検出する第４ステップと、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップと、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップと、を実行し、前記第２ステップでアノテーション機能が選択された場合は、前記第４ステップでは、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出することを特徴とする。
本発明の一側面は、医用画像を表示するタッチパネルを備える医用画像表示装置におけるタッチ操作制御方法であって、前記タッチパネルに前記医用画像を表示させる第１ステップと、複数の機能の中から所望の機能の選択操作を受け付ける第２ステップと、選択された機能に対応するマークを前記医用画像上に表示させる第３ステップと、前記マークに対するドラッグ操作を検出する第４ステップと、前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップと、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップと、を実行し、更に、操作者の利き手の設定操作を受け付けるステップを実行し、前記第４ステップでは、前記タッチ位置の移動方向を検出し、前記第２ステップでアノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、ことを特徴とするタッチ操作制御方法。
本発明の医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法によれば、タッチ操作における対象物の視認性の低下を抑制し、機能に応じて適切にタッチ操作を制御することができる。
その理由は、医用画像を表示するタッチパネルを備える医用画像表示装置は、タッチパネルに医用画像を表示させ、機能の選択操作を受け付けて選択された機能に対応するマークを医用画像上に表示させ、マークに対するドラッグ操作を検出したら、ドラッグ操作におけるタッチ位置の座標に基づき、選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、タッチ位置の移動軌跡とマークの移動軌跡とが異なるように、マークの移動位置を算出し、算出した移動位置に基づいて、医用画像上でマークを移動させる制御を行うからである。
本発明の一実施例に係る医用画像表示装置を示す外観図である。 本発明の一実施例に係る医用画像表示装置の構成を示すブロック図である。 本発明の一実施例に係る医用画像表示装置の動作を示すフローチャート図である。 本発明の一実施例に係る医用画像表示装置の動作（マークの移動量算出処理）を示すフローチャート図である。 本発明の一実施例に係る医用画像表示装置の動作（マークの移動量算出処理）を示すフローチャート図である。 本発明の一実施例に係る医用画像表示装置の動作を示すフローチャート図である。 本発明の一実施例に係る医用画像表示装置の動作を示すフローチャート図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルに表示される表示画面例である。 本発明の一実施例に係る医用画像表示装置の機能に応じたマークの一例である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（アノテーション機能選択時のマーク）の表示例である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（計測機能選択時のマーク）の表示例である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるタッチ位置の移動軌跡とマークの移動軌跡を示す模式図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（アノテーション機能選択時の矢印マーク）の移動量の変化を説明する図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（アノテーション機能選択時のプローブマーク）の移動量の変化を説明する図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるドラッグ方向に応じたマークの移動量の変化を説明する図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマークからの距離に応じたマークの移動量の変化を説明する図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（計測機能選択時のキャリパー）の移動方法を説明する模式図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（計測機能選択時のキャリパー）の移動方法を説明する模式図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（計測機能選択時のキャリパー）の移動量の変化を説明する図である。 本発明の一実施例に係る医用画像表示装置のタッチパネルにおけるマーク（計測機能選択時のキャリパー）の表示例である。
背景技術で示したように、タッチパネルを採用した医用画像表示装置が増加しているが、タッチパネルを備えるタブレットなどの通常の装置とは異なり、医用画像表示装置では計測やアノテーションなどの機能を使用する上で精密なタッチ操作が必要とされる。しかしながら、タッチ操作にて医用画像上で機能に対応するマークを移動させる際に、対象物（マークやマーク近傍の医用画像）が指などのタッチ手段で隠れてしまい、対象物の視認性が下がることが重大な問題になっている。
この問題に対して、特許文献１では、対象点マーカの近傍に操作ボタンを設けることによって対象物が指で隠れることを防いでいるが、この方法では操作ボタンによって対象物が一部隠れてしまうために視認性が下がってしまい、特に、画面上に文字や矢印などの注釈が複数存在する場合にはこの問題が顕著に現れる。また、特許文献２では、対象物の周りに範囲を定め、その範囲の中では対象物の移動を制限することにより対象物の視認性を向上させているが、この方法ではドラッグする指が範囲から出る際に対象物の移動量が急激に変化するために対象物の微調整が難しく、計測などのタッチ操作の精密性が要求される場面ではこの方法を使用することができない。
そこで、本発明の一実施の形態では、使用する機能や対象物、使用者などのシーンに応じてタッチ操作の振る舞いを変更することで、対象物（マークやマーク近傍の医用画像）の視認性を向上させる。具体的には、タッチパネル上に医用画像と各種機能に対応するマークとが表示されており、タッチ操作により医用画像上でマークを移動させる際に、マークに対するドラッグ操作を検出したら、ドラッグ操作におけるタッチ位置の座標に基づき、タッチ位置の移動軌跡とマークの移動軌跡とが異なるように、マークの移動位置を算出し、算出した移動位置に基づいて、医用画像上でマークを移動させて、対象物の視認性を向上させる。その際、使用する機能や対象物、使用者によって精密性を重視すべきか否かが異なる。特に計測機能においては精密性が最も重要であり、視認性が向上しても精密性が低下してしまっては意味がない。そこで、使用している機能、対象物、使用者の少なくとも１つに応じてタッチ操作の振る舞いを変更することで、シーンに適したタッチ操作を可能にする。
例えば、アノテーション機能に対応するマークが表示されている場合は、マーク上のタッチ位置をドラッグ操作の起点として、タッチ位置の移動距離よりもマークの移動距離の方が小さくなるようにマークの移動位置を算出する。その際、マークとタッチ手段（指）とが近いときほど、対象物の視認性は悪くなる。そこで、タッチ位置がマークの中心から所定の範囲内の場合は、タッチ位置の移動距離よりもマークの移動距離の方が小さくなるようにする。これにより、マークと指とが近い際にはマークと指とが離れやすくなり、対象物が指で隠れることを抑制することができ、また、マークと指とが遠い際にはマークの移動量が大きくなるため、操作者はマークの移動量を感覚的に掴みやすくなり、操作性を向上させることが可能となる。また、使用者の利き手によって対象物の視認性が低下するドラッグ方向が異なることから、タッチ位置がタッチパネルの上方向かつ利き手と左右反対方向に移動する場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにする。これにより、操作者に応じてタッチ操作を適切に制御することができる。
また、計測機能に対応するマークが表示されている場合において、マーク上のタッチ位置に対応付けられた位置（マークへのタッチを検出した後、予め定めた時間が経過する前にタッチ位置が移動した場合はその移動先、マーク上のタッチ位置が移動した後、予め定めた時間が経過するまでタッチ位置が移動していない場合はその移動先）をドラッグ操作の起点として、タッチ位置の移動に応じてマークが移動するようにする。その際、ドラッグ操作の起点を設定してからの経過時間が短いときほど、対象物の視認性は悪くなる。そこで、ドラッグ操作の起点を設定した後、予め定めた時間が経過するまでは、タッチ位置の移動量よりもマークの移動量の方が小さくなるように、マークの移動位置を算出する。これにより、マークと指とが近い際にはマークと指とが離れやすくなり、対象物が指で隠れることを抑制することができ、また、マークと指とが遠い際にはマークの移動量が大きくなるため、操作者はマークの移動量を感覚的に掴みやすくなり、操作性を向上させることが可能となる。また、タッチ操作を時間で制御する場合は経過時間が分かりにくいため、経過時間に応じてマークの表示形態を変更する。これにより、マークを見てタッチ操作が可能か否かを判断することができるため、誤操作を未然に防止することができる。
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法について、図１乃至図２０を参照して説明する。図１は、本実施例の医用画像表示装置を示す外観図であり、図２は、医用画像表示装置の構成を示すブロック図である。また、図３乃至図７は、医用画像表示装置の動作を示すフローチャート図であり、図８は、医用画像表示装置のタッチパネルに表示される表示画面例である。また、図９は、医用画像表示装置の機能に応じたマークの一例であり、図１０乃至図２０は、医用画像表示装置の機能に応じたマークの動作を説明する図である。
図１に示すように、本実施例の医用画像表示装置１０は、例えば、超音波を送受信するプローブを用いて患者を測定した画像を取得する超音波診断装置などであり、医用画像に対して注釈を付与するアノテーション機能や医用画像の各種情報を計測する計測機能などの複数の機能を備え、機能に応じたマークを表示可能に構成される。
なお、本実施例では、医用画像表示装置１０を単体の装置として説明するが、医用画像を取得する測定装置と医用画像を表示する表示装置とを別々に構成し、これらの装置をイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）等の通信ネットワークを介して接続し、測定装置で取得した医用画像のデータを表示装置が受信／表示して患者の診断を行うことも可能である。また、測定装置で取得した医用画像のデータをＵＳＢ（Universal Serial Bus）メモリなどを介して表示装置が取得／表示することも可能である。
上記医用画像表示装置１０は、図２（ａ）に示すように、制御部１１と記憶部１５とネットワークＩ／Ｆ部１６と表示操作部（タッチパネル）１７などで構成される。
制御部１１は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３やＲＡＭ（Random Access Memory）１４などのメモリとで構成され、これらはバスを介して接続されている。ＲＯＭ１３は、プログラムなどを記憶する。ＲＡＭ１４は、ＣＰＵ１２による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。そして、ＣＰＵ１２は、ＲＯＭ１３や記憶部１５に記憶した制御プログラムをＲＡＭ１４に展開して実行することにより、医用画像表示装置１０全体の動作を制御する。
上記制御部１１は、図２（ｂ）に示すように、操作制御部１１ａ、マーク位置算出部１１ｂ、表示制御部１１ｃなどとして機能する。
操作制御部１１ａは、タッチ手段（以下、指とする。）による表示操作部（タッチパネル）１７のタッチ操作を受け付け、医用画像に対する機能の選択、選択された機能に対応するマークの特定、操作者の利き手の設定、マークに対するドラッグ操作の起点の設定、ドラッグ操作の検出、ドラッグ操作におけるタッチ位置の移動方向の検出などを行う。また、操作制御部１１ａは、マークの移動軌跡をタッチ位置の移動軌跡に対してどのように変化させるかを、機能ごと、対象物ごと、使用者ごとに設定可能にする。
マーク位置算出部１１ｂは、ドラッグ操作におけるタッチ位置の座標に基づき、選択された機能、対象物、使用者の少なくとも１つに応じたルールに従ってマークの移動位置を算出する。例えば、アノテーション機能が選択されている場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したり、タッチ位置がマークの中心から所定の範囲内の場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したり、タッチ位置がタッチパネルの上方向かつ操作者の利き手と左右反対方向の場合は、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したりする。また、計測機能が選択されている場合は、タッチ位置の移動に応じてマークが移動するようにマークの移動位置を算出したり、ドラッグ操作の起点が設定された後、予め定めた時間が経過するまでは、タッチ位置の移動量よりもマークの移動量の方が小さくなるようにマークの移動位置を算出したりする。
表示制御部１１ｃは、表示操作部１７に医用画像を表示させると共に、医用画像上に選択された機能に対応するマークを表示させる。そして、操作制御部１１ａがドラッグ操作を検出したら、マーク位置算出部１１ｂが算出した移動位置に基づいて、医用画像上でマークを移動させる。
なお、上記操作制御部１１ａ、マーク位置算出部１１ｂ、表示制御部１１ｃはハードウェアとして構成してもよいし、制御部１１を操作制御部１１ａ、マーク位置算出部１１ｂ、表示制御部１１ｃとして機能させるソフトウェア（タッチ操作制御プログラム）として構成し、当該タッチ操作制御プログラムをＣＰＵ１２に実行させるようにしてもよい。
記憶部１５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ１２が各部を制御するためのプログラム、自装置の処理機能に関する情報、医用画像のデータ、機能とマークとを対応付けるテーブルなどを格納する。
ネットワークＩ／Ｆ部１６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、必要に応じて設けられ、通信ネットワークを介して繋がっている測定装置などとの接続を確立し、医用画像のデータなどを受信する。
表示操作部１７は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどの表示部上に、透明電極が格子状に配列されたタッチセンサなどの操作部を備えるタッチパネルなどであり、医用画像やマークの表示、機能の選択、操作者の利き手の設定、機能に応じたマークのドラッグ操作などを可能にする。
なお、図１及び図２は本実施例の医用画像表示装置１０の一例であり、その構成や制御内容は適宜変更可能である。
以下、医用画像表示装置１０の具体的な動作について説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶したタッチ操作制御プログラムをＲＡＭ１４に展開して実行することにより、図３乃至図７のフローチャート図に示す各ステップの処理を実行する。
図３に示すように、医用画像表示装置１０の制御部１１（表示制御部１１ｃ）は、プローブなどを用いて患者を測定した医用画像（又は、測定装置を用いて患者を測定した医用画像）を取得して、例えば、図８に示すような表示画面２０を表示操作部１７に表示させる（Ｓ１０１）。この表示画面２０は、例えば、医用画像を表示する画像表示欄２１、機能の選択や濃度調整、倍率調整などを行う設定欄２２などで構成される。
次に、制御部１１（操作制御部１１ａ）は、表示画面２０の設定欄２２などによる機能の選択操作を受け付ける（Ｓ１０２）。本実施例では、医用画像表示装置１０の機能として、医用画像に対して注釈を付与するアノテーション機能、身体のどの部位を診断したのか表す図を付与するボディーマーク機能、医用画像の各種情報を計測する計測機能とを含み、操作者はタッチパネルをタッチしたりトラックボールを操作したりして、所望の機能を選択する。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者による表示画面２０の画像表示欄２１のタッチ操作を検出すると（Ｓ１０３）、制御部１１（表示制御部１１ｃ）は、タッチ位置にＳ１０２で選択された機能に対応するマークを表示させる（Ｓ１０４）。図９は、機能に対応するマークの一例であり、アノテーション機能が選択された場合は、図１０に示すようにタッチ位置に矢印マーク又は任意の文字列が表示され、ボディーマーク機能が選択された場合には、生体を表す図の中に横長の矩形のマーク（プローブマークと呼ぶ。）が表示され、計測機能が選択された場合は、図１１に示すようにタッチ位置に十字マーク（キャリパーと呼ぶ。）が表示される。なお、ここではタッチ操作を検出したら、タッチ位置にマークを表示させたが、Ｓ１０２で機能を選択したら、所定位置にマークを表示してもよい。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者による画像表示欄２１上でのドラッグ操作を検出したかを判断し（Ｓ１０５）、ドラッグ操作を検出した場合は（Ｓ１０５のＹｅｓ）、制御部１１（マーク位置算出部１１ｂ）は、タッチ位置の座標からタッチ位置の移動量を算出し（Ｓ１０６）、タッチ位置の移動量から、選択された機能に応じたルールに従って、マークの移動量（移動位置）を算出する（Ｓ１０７）。
図１２（ａ）は、医用画像の中の着目領域２５の左下をタッチ手段２４（ここでは指）でタッチし、タッチ位置を右上方に移動させた場合を例示しており、図１２（ｂ）に示すように、タッチ手段２４のタッチ位置はＰ１→Ｐ２→Ｐ３→Ｐ４の順番で移動する。ここで、通常はタッチ位置の移動に追従してマーク２３の位置も移動するが、タッチ手段２４がマーク２３上にあると、タッチ手段２４がマーク２３及びマーク２３近傍の着目領域２５を隠してしまうため、着目領域２５上のマーク２３の位置が分かりにくくなり、着目領域２５上でマーク２３を正確に操作することができなくなる。そこで、本実施例では、タッチ手段２４のタッチ位置の移動軌跡（Ｐ１→Ｐ２→Ｐ３→Ｐ４）とマーク２３の移動軌跡（Ｍ１→Ｍ２→Ｍ３→Ｍ４）とが異なるように、マーク２３の移動量（移動位置）を算出する。
その際、タッチ手段２４のタッチ位置の移動量に対してマーク２３の移動量を小さくすれば、マーク２３とタッチ手段２４との距離が大きくなるため、着目領域２５上のマーク２３の位置が認識しやすくなる。一方、タッチ手段２４のタッチ位置の移動量に対してマーク２３の移動量が小さいと、マーク２３を移動させるためにタッチ手段２４のタッチ位置を大きく移動させなければならず、操作性が悪化する。
そこで、本実施例では、図１２（ｂ）に示すように、ドラッグ操作の初期段階においては、タッチ手段２４のタッチ位置の移動に対してマーク２３の移動量を小さく（Ｍ１→Ｍ２の移動量を小さく）し、ドラッグ操作の初期段階以降においては、タッチ手段２４のタッチ位置の移動に対してマーク２３の移動量を大きく（Ｍ２→Ｍ３やＭ３→Ｍ４の移動量を大きく）する。
例えば、アノテーション機能に対応するマーク２３（矢印マーク）を操作する場合は、図１３（ａ）に示すように、マーク２３の中心からの距離がｒ０の範囲を設定し、マーク２３とタッチ手段２４（指）との距離をｒ、定数をａとして、
マーク２３（矢印マーク）の移動距離＝Ａ×タッチ位置の移動距離 … （１）
Ａ＝１／（１＋ａｒ０―ｒ） … （２）
に従ってマーク２３の移動距離を算出する。
（２）式の場合、ｒとＡとの相関は図１３（ｂ）のようになり、ｒがｒ０よりも小さい（すなわち、タッチ手段２４が図１３（ａ）の円で囲んだ領域内にある）場合、Ａが小さくなって（０に近づいて）マーク２３の移動距離が小さくなり、ｒがｒ０よりも大きい（すなわち、タッチ手段２４が図１３（ａ）の円で囲んだ領域から外れた）場合、Ａが大きくなって（１に近づいて）マーク２３の移動距離が大きくなる。また、定数ａの値を調整することにより、ｒ０近傍のＡの変化の具合を調整することができる。例えば、定数ａの値を大きくした場合は、図の実線で示すようにｒ０近傍でＡの値を急激に変化させることができ、定数ａの値を小さくした場合は、図の粗い破線で示すようにｒ０近傍でＡの値を緩やかに変化させることができる。
同様に、アノテーション機能に対応するマーク２３（プローブマーク）を操作する場合は、図１４（ａ）に示すように、マーク２３の中心からのｘ方向の距離がｘ０、ｙ方向の距離がｙ０の範囲を設定し、マーク２３とタッチ手段２４との距離をｘ（又はｙ）、定数をａとして、
マーク２３（プローブマーク）の移動距離＝Ａ×タッチ位置の移動距離 … （３）
Ａ＝１／（１＋ａｘ０―ｘ）又はＡ＝１／（１＋ａｙ０―ｙ） … （４）
に従ってマーク２３の移動距離を算出する。
（４）式の場合、ｘ（又はｙ）とＡとの相関は図１４（ｂ）のようになり、ｘ（又はｙ）がｘ０（又はｙ０）よりも小さい（すなわち、タッチ手段２４が図１４（ａ）の矩形の領域内にある）場合、Ａが小さくなって（０に近づいて）マーク２３の移動距離が小さくなり、ｘ（又はｙ）がｘ０（又はｙ０）よりも大きい（すなわち、タッチ手段２４が図１４（ａ）の矩形の領域から外れた）場合、Ａが大きくなって（１に近づいて）マーク２３の移動距離が大きくなる。また、定数ａの値を調整することにより、ｘ０（又はｙ０）近傍のＡの変化の具合を調整することができる。例えば、定数ａの値を大きくした場合は、図の実線で示すようにｘ０（又はｙ０）近傍でＡの値を急激に変化させることができ、定数ａの値を小さくした場合は、図の粗い破線で示すようにｘ０（又はｙ０）近傍でＡの値を緩やかに変化させることができる。
図３に戻って、制御部１１（表示制御部１１ｃ）は、マーク位置算出部１１ｂが算出したマーク２３の移動量（移動位置）に従ってマーク２３を移動させ（Ｓ１０８）、Ｓ１０５に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら（Ｓ１０５のＮｏ）、一連の処理を終了する。
以上、本実施例のタッチ操作の一例について説明したが、マーク２３を着目領域２５に向かって移動させる場合は、タッチ手段２４によりマーク２３が隠れてしまい、着目領域２５とマーク２３の関係が分かりにくくなる。また、ユーザの利き手により、着目領域２５とマーク２３との位置関係も変化する。具体的には、図１５（ａ）に示すように、操作者が右利きの場合、タッチ位置を左上方向に移動させるとタッチ手段２４によって着目領域２５とマーク２３との関係が不明確になり易いが、右下方向に移動させてもそのような問題は生じ難い。また、図１５（ｂ）に示すように、操作者が左利きの場合、タッチ位置を右上方向に移動させるとタッチ手段２４によって着目領域２５とマーク２３との関係が不明確になり易いが、左下方向に移動させてもそのような問題は生じ難い。そこで、操作者に利き手に応じて方向を定め、方向に応じて定数ａやｒ０の値を設定することもできる。
図４は、その場合のマークの移動量算出処理（Ｓ１０７）の詳細を示しており、操作者は表示操作部１７を操作して利き手を設定し、制御部１１（操作制御部１１ａ）は、操作者の利き手情報を取得する（Ｓ１１０）。そして、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、タッチ位置の移動方向が、上方向かつ利き手と左右反対方向であるかを判断する（Ｓ１１１）。タッチ位置の移動方向が上方向かつ利き手と左右反対方向（右利きの場合は左上方、左利きの場合は右上方）の場合は、タッチ手段２４により着目領域２５とマーク２３の関係が分かりにくくなるため、制御部１１（マーク位置算出部１１ｂ）は、（２）式又は（４）式の定数ａの値を大きく（若しくはｒ０の値を大きく）設定した第１式に従ってマーク２３の移動量を算出する（Ｓ１１２）。一方、タッチ位置の移動方向が下方向及び／又は利き手方向の場合は、制御部１１（マーク位置算出部１１ｂ）は、（２）式又は（４）式の定数ａの値を小さく（若しくはｒ０の値を小さく）設定した第２式に従ってマーク２３の移動量を算出する（Ｓ１１３）。
また、上記では、マーク２３をタッチ位置の移動量に応じて移動させたが、ドラッグ操作の初期段階では、マーク２３がタッチ手段２４で隠れているため、タッチ手段２４をマーク２３から速やかに離す必要がある。そこで、ドラッグ操作の初期段階では、タッチ位置を移動させてもマーク２３が移動しないようにすることもできる。その場合は、例えば、図１６に示すように、マーク２３の周囲にマーク２３の移動不可能領域を設け、更にその外側に移動量減少領域を設け、マーク２３とタッチ手段２４との距離に応じて、マーク２３の移動の具合を変化させることもできる。
図５は、その場合のマークの移動量算出処理（Ｓ１０７）の詳細を示しており、まず、制御部１１（操作制御部１１ａ）は、タッチ位置が予め設定した範囲内であるかを判断する（Ｓ１２０）。そして、制御部１１（マーク位置算出部１１ｂ）は、タッチ位置が予め設定した範囲内の場合は（Ｓ１２０のＹｅｓ）、マーク２３の移動量を０に設定し（Ｓ１２１）、タッチ位置が予め設定した範囲外の場合は（Ｓ１２０のＮｏ）、予め設定した式（（１）及び（２）式又は（３）及び（４）式）に従ってマーク２３の移動量を算出する（Ｓ１２２）。
上記では、マーク２３の移動量をタッチ位置の移動量よりも小さくすることによって、タッチ手段２４をマーク２３から離して、着目領域２５とマーク２３との関係を把握できるようにしたが、ドラッグ操作の起点となるタッチ位置の近傍では、タッチ手段２４がマーク２３を隠してしまうため、正確な操作を行いたい場合に不便である。その場合は、マーク２３から離した位置をドラッグ操作の起点として、タッチ位置の移動軌跡に応じてマーク２３を移動させることもでき、この方法によっても、着目領域２５とマーク２３との関係を把握できるようにすることができる。
図６はその場合の動作を示しており、まず、図３と同様に、制御部１１（表示制御部１１ｃ）は、患者等を測定して得た医用画像を取得して、図８に示すような表示画面２０を表示操作部１７に表示させる（Ｓ２０１）。次に、制御部１１（操作制御部１１ａ）は、表示画面２０の設定欄２２などによる機能の選択操作を受け付ける（Ｓ２０２）。ここでは、医用画像の各種情報を計測するための計測機能の選択操作を受け付ける。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者による表示画面２０の画像表示欄２１のタッチ操作を検出すると（Ｓ２０３）、制御部１１（表示制御部１１ｃ）は、タッチ位置にＳ２０２で選択された機能に対応するマーク２３（ここでは、計測機能に対応するキャリパー）を表示させる（Ｓ２０４）。なお、ここではタッチ操作を検出したらタッチ位置にマーク２３を表示させたが、図３と同様に、機能を選択したら所定位置にマークを表示してもよい。
次に、制御部１１（操作制御部１１ａ）は、予め定めた所定時間内にタッチ位置が移動したかを判断する（Ｓ２０５）。所定時間内にタッチ位置が移動しなかった場合は（Ｓ２０５のＮｏ）、一連の処理を終了し、所定時間内にタッチ位置が移動した場合は（Ｓ２０５のＹｅｓ）、制御部１１（操作制御部１１ａ）は、移動先をドラッグ操作の起点に設定する（Ｓ２０６）。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者によるドラッグ操作を検出したかを判断し（Ｓ２０７）、ドラッグ操作を検出したら（Ｓ２０７のＹｅｓ）、制御部１１（マーク位置算出部１１ｂ）は、タッチ位置の座標の変化量からマーク２３の移動位置を算出する（Ｓ２０８）。そして、制御部１１（表示制御部１１ｃ）は、マーク位置算出部１１ｂが算出したマーク２３の移動位置に基づいて、タッチ位置の座標の変化量分、マーク２３を移動させ（Ｓ２０９）、Ｓ２０７に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら（Ｓ２０７のＮｏ）、一連の処理を終了する。
図１７は、この動作を模式的に示しており、図１７（ａ）に示すようにマーク２３をタッチして選択し、図１７（ｂ）に示すように、所定時間内にタッチ手段２４を移動させた場合、その移動先をドラッグ操作の起点に設定する。そして、図１７（ｃ）に示すように、ドラッグ操作を検出したら、タッチ位置の移動量に応じてマーク２３を移動させる。
図７は、別の動作を示しており、まず、図３と同様に、制御部１１（表示制御部１１ｃ）は、患者等を測定して得た医用画像を取得して、図８に示すような表示画面２０を表示操作部１７に表示させる（Ｓ３０１）。次に、制御部１１（操作制御部１１ａ）は、表示画面２０の設定欄２２などによる機能の選択操作を受け付ける（Ｓ３０２）。ここでも、医用画像の各種情報を計測するための計測機能の選択操作を受け付ける。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者による表示画面２０の画像表示欄２１のタッチ操作を検出すると（Ｓ３０３）、制御部１１（表示制御部１１ｃ）は、タッチ位置にＳ３０２で選択された機能に対応するマーク（ここでも、計測機能に対応するキャリパー）を表示させる（Ｓ３０４）。なお、ここではタッチ操作を検出したらタッチ位置にマーク２３を表示させたが、図３と同様に、機能を選択したら所定位置にマークを表示してもよい。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、タッチ位置の移動を検出したら（Ｓ３０５）、タッチ位置が移動せずに所定時間が経過したかを判断する（Ｓ３０６）。所定時間が経過した場合は（Ｓ３０６のＹｅｓ）、制御部１１（操作制御部１１ａ）は、移動先をドラッグ操作の起点に設定する（Ｓ３０７）。
次に、制御部１１（操作制御部１１ａ）は、表示操作部１７からの出力信号を監視し、操作者によるドラッグ操作を検出したかを判断し（Ｓ３０８）、ドラッグ操作を検出したら（Ｓ３０８のＹｅｓ）、制御部１１（マーク位置算出部１１ｂ）は、タッチ位置の座標の変化量からマーク２３の移動位置を算出する（Ｓ３０９）。そして、制御部１１（表示制御部１１ｃ）は、マーク位置算出部１１ｂが算出したマーク２３の移動位置に基づいて、タッチ位置の座標の変化量分、マーク２３を移動させ（Ｓ３１０）、Ｓ３０８に戻って同様の処理を繰り返し、ドラッグ操作を検出しなくなったら（Ｓ３０８のＮｏ）、一連の処理を終了する。
図１８は、この動作を模式的に示しており、図１８（ａ）に示すようにマーク２３をタッチして選択し、図１８（ｂ）に示すように、タッチ手段２４を移動させた後、タッチ手段２４が停止した状態で所定時間が経過した場合、その移動先をドラッグ操作の起点に設定する。そして、図１８（ｃ）に示すように、ドラッグ操作を検出したら、タッチ位置の移動量に応じてマーク２３を移動させる。
なお、ドラッグ操作の起点を設定した後に、タッチ位置の移動量に応じてマーク２３を移動させる場合、タッチ位置の移動量とマーク２３の移動量との比率は一定にしてもよいが、ドラッグ操作の初期段階ではマーク２３の近傍にタッチ手段２４があるため、タッチ手段２４によって着目領域２５とマーク２３との関係が分かりにくくなる可能性がある。そのような場合は、図１９に示すように、ドラッグ操作の起点を設定してから所定時間（ｔ０）までは定数Ａを小さくし（マーク２３があまり動かないようにし）、所定時間経過後、定数Ａを一定にする（タッチ位置の移動に合わせてマーク２３を大きく動かす）ようにしてもよい。
また、図１７及び図１８の場合、ドラッグ操作の起点が設定されたかどうか（所定時間内にタッチ位置を移動させたか、タッチ位置を移動してから所定時間が経過したか）が分かりにくいため、ドラッグ操作の起点が設定されたらマーク２３の表示形態を変更してもよい。例えば、所定時間内にタッチ位置が移動しなかった場合やタッチ位置が移動してから所定時間が経過していない場合は、マーク２３の移動ができないため、図２０（ａ）に示すようにマーク２３の表示形態を変えず、所定時間内にタッチ位置が移動した場合やタッチ位置が移動してから所定時間が経過した場合は、マーク２３の移動が可能になるため、図２０（ｂ）に示すようにマーク２３の表示形態を変えるようにしてもよい。又は、所定時間内にタッチ位置が移動しなかった場合やタッチ位置が移動してから所定時間が経過していない場合は、マーク２３を点滅させるなどしてマーク２３の表示形態を変えるようにしてもよい。
以上説明したように、医用画像を表示するタッチパネルを備える医用画像表示装置１０は、選択された機能に対応するマーク２３に対するドラッグ操作を検出したら、ドラッグ操作におけるタッチ位置の座標に基づき、タッチ位置の移動軌跡とマークの移動軌跡とが異なるようにマーク２３の移動位置を算出し、算出した移動位置に基づいて、医用画像上でマーク２３を移動させることにより、対象物（マーク２３やマーク２３近傍の医用画像）の視認性を向上させることができ、マーク２３を医用画像上で正確に操作することができる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、医用画像表示装置１０の構成や制御内容は適宜変更可能である。
例えば、上記実施例では、医用画像表示装置１０の機能としてアノテーション機能及び計測機能を例示したが、他の機能に対しても、本発明のタッチ操作制御方法を同様に適用することができる。
また、上記実施例では、マーク２３として、矢印マークとプローブマークとキャリパーとを例示したが、任意の機能に対応する任意のマークなどのオブジェクトに対して、本発明のタッチ操作制御方法を同様に適用することができる。
また、アノテーション機能に対応するマーク２３の移動距離を算出する際の式は例示であり、マーク２３とタッチ手段２４（指）とが近いときにマーク２３の移動量が少なくなるように設定可能な任意の式を用いることができる。
本発明は、医用画像を表示するタッチパネルを備える医用画像表示装置、当該医用画像表示装置におけるタッチパネルのタッチ操作を制御するタッチ操作制御プログラム、当該タッチ操作制御プログラムを記録した記録媒体及びタッチ操作制御方法に利用可能である。
１０ 医用画像表示装置
１１ 制御部
１１ａ 操作制御部
１１ｂ マーク位置算出部
１１ｃ 表示制御部
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ 記憶部
１６ ネットワークＩ／Ｆ部
１７ 表示操作部
２０ 表示画面
２１ 画像表示欄
２２ 設定欄
２３ マーク
２４ タッチ手段
２５ 着目領域

Claims (21)

  1. 医用画像を表示するタッチパネルを備える医用画像表示装置であって、
    前記タッチパネルの操作を受け付け、複数の機能の中から選択された機能に対応するマークに対するドラッグ操作を検出する操作制御部と、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出するマーク位置算出部と、
    前記タッチパネルに前記医用画像と前記マークとを表示させると共に、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる表示制御部と、を備え、
    前記操作制御部は、アノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記マーク位置算出部は、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出する、
    ことを特徴とする医用画像表示装置。
  2. 前記操作制御部は、前記マークの移動軌跡を前記タッチ位置の移動軌跡に対してどのように変化させるかを、機能ごと、対象物ごと、使用者ごとに設定可能にする、
    ことを特徴とする請求項１に記載の医用画像表示装置。
  3. 医用画像を表示するタッチパネルを備える医用画像表示装置であって、
    前記タッチパネルの操作を受け付け、複数の機能の中から選択された機能に対応するマークに対するドラッグ操作を検出する操作制御部と、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出するマーク位置算出部と、
    前記タッチパネルに前記医用画像と前記マークとを表示させると共に、算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる表示制御部と、を備え、
    前記操作制御部は、操作者の利き手の設定操作を受け付けると共に、前記タッチ位置の移動方向を検出し、アノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記マーク位置算出部は、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とする医用画像表示装置。
  4. 前記操作制御部は、計測機能が選択された場合は、前記マーク上のタッチ位置に対応付けられた位置を前記ドラッグ操作の起点に設定し、
    前記マーク位置算出部は、前記ドラッグ操作における前記タッチ位置の移動に応じて前記マークが移動するように、前記マークの移動位置を算出する、
    ことを特徴とする請求項１又は２に記載の医用画像表示装置。
  5. 前記操作制御部は、前記マークへのタッチを検出した後、予め定めた時間が経過する前に前記タッチ位置が移動したかを判断し、予め定めた時間が経過する前に前記タッチ位置が移動した場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項４に記載の医用画像表示装置。
  6. 前記操作制御部は、前記マーク上のタッチ位置の移動を検出した後、予め定めた時間が経過するまで前記タッチ位置が移動していないかを判断し、予め定めた時間が経過するまで前記タッチ位置が移動していない場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項４に記載の医用画像表示装置。
  7. 前記マーク位置算出部は、前記ドラッグ操作の起点が設定された後、予め定めた時間が経過するまでは、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とする請求項４乃至６のいずれか一に記載の医用画像表示装置。
  8. 医用画像を表示するタッチパネルを備える医用画像表示装置で動作するタッチ操作制御プログラムであって、
    前記医用画像表示装置の制御部に、
    前記タッチパネルに前記医用画像を表示させる第１ステップ、
    複数の機能の中から所望の機能の選択操作を受け付ける第２ステップ、
    選択された機能に対応するマークを前記医用画像上に表示させる第３ステップ、
    前記マークに対するドラッグ操作を検出する第４ステップ、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップ、
    算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップ、を実行させ、
    前記第２ステップでアノテーション機能が選択された場合は、
    前記第４ステップでは、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出する、
    ことを特徴とするタッチ操作制御プログラム。
  9. 前記医用画像表示装置の制御部に、更に、
    前記マークの移動軌跡を前記タッチ位置の移動軌跡に対してどのように変化させるかを、機能ごと、対象物ごと、使用者ごとに設定する操作を受け付けるステップを実行させる、
    ことを特徴とする請求項８に記載のタッチ操作制御プログラム。
  10. 医用画像を表示するタッチパネルを備える医用画像表示装置で動作するタッチ操作制御プログラムであって、
    前記医用画像表示装置の制御部に、
    前記タッチパネルに前記医用画像を表示させる第１ステップ、
    複数の機能の中から所望の機能の選択操作を受け付ける第２ステップ、
    選択された機能に対応するマークを前記医用画像上に表示させる第３ステップ、
    前記マークに対するドラッグ操作を検出する第４ステップ、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップ、
    算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップ、を実行させ、
    前記医用画像表示装置の制御部に、更に、
    操作者の利き手の設定操作を受け付けるステップを実行させ、
    前記第４ステップでは、前記タッチ位置の移動方向を検出し、前記第２ステップでアノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とするタッチ操作制御プログラム。
  11. 前記第２ステップで計測機能が選択された場合は、
    前記第４ステップでは、前記マーク上のタッチ位置に対応付けられた位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記ドラッグ操作における前記タッチ位置の移動に応じて前記マークが移動するように、前記マークの移動位置を算出する、
    ことを特徴とする請求項８又は９に記載のタッチ操作制御プログラム。
  12. 前記第４ステップでは、前記マークへのタッチを検出した後、予め定めた時間が経過する前に前記タッチ位置が移動したかを判断し、予め定めた時間が経過する前に前記タッチ位置が移動した場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項１１に記載のタッチ操作制御プログラム。
  13. 前記第４ステップでは、前記マーク上のタッチ位置の移動を検出した後、予め定めた時間が経過するまで前記タッチ位置が移動していないかを判断し、予め定めた時間が経過するまで前記タッチ位置が移動していない場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項１１に記載のタッチ操作制御プログラム。
  14. 前記第５ステップでは、前記ドラッグ操作の起点が設定された後、予め定めた時間が経過するまでは、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とする請求項１１乃至１３のいずれか一に記載のタッチ操作制御プログラム。
  15. 医用画像を表示するタッチパネルを備える医用画像表示装置におけるタッチ操作制御方法であって、
    前記タッチパネルに前記医用画像を表示させる第１ステップと、
    複数の機能の中から所望の機能の選択操作を受け付ける第２ステップと、
    選択された機能に対応するマークを前記医用画像上に表示させる第３ステップと、
    前記マークに対するドラッグ操作を検出する第４ステップと、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップと、
    算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップと、を実行し、
    前記第２ステップでアノテーション機能が選択された場合は、
    前記第４ステップでは、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、かつ前記タッチ位置が前記マークの中心から所定の範囲内の場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように前記マークの移動位置を算出する一方で、前記タッチ位置が前記マークの中心から前記所定の範囲外の場合は、前記所定の範囲内の場合のよりも前記マークの移動量が大きくなるように、前記マークの移動位置を算出する、
    ことを特徴とするタッチ操作制御方法。
  16. 更に、前記マークの移動軌跡を前記タッチ位置の移動軌跡に対してどのように変化させるかを、機能ごと、対象物ごと、使用者ごとに設定する操作を受け付けるステップを実行する、
    ことを特徴とする請求項１５に記載のタッチ操作制御方法。
  17. 医用画像を表示するタッチパネルを備える医用画像表示装置におけるタッチ操作制御方法であって、
    前記タッチパネルに前記医用画像を表示させる第１ステップと、
    複数の機能の中から所望の機能の選択操作を受け付ける第２ステップと、
    選択された機能に対応するマークを前記医用画像上に表示させる第３ステップと、
    前記マークに対するドラッグ操作を検出する第４ステップと、
    前記ドラッグ操作におけるタッチ位置の座標に基づき、前記選択された機能、対象物、使用者の少なくとも１つに応じたルールに従って、前記マークの移動位置を算出する第５ステップと、
    算出された前記移動位置に基づいて、前記医用画像上で前記マークを移動させる第６ステップと、を実行し、
    更に、操作者の利き手の設定操作を受け付けるステップを実行し、
    前記第４ステップでは、前記タッチ位置の移動方向を検出し、前記第２ステップでアノテーション機能が選択された場合は、前記マーク上のタッチ位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記タッチ位置の移動軌跡と前記マークの移動軌跡とが異なり、前記タッチ位置が前記タッチパネルの上方向かつ前記利き手と左右反対方向に移動する場合は、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とするタッチ操作制御方法。
  18. 前記第２ステップで計測機能が選択された場合は、
    前記第４ステップでは、前記マーク上のタッチ位置に対応付けられた位置を前記ドラッグ操作の起点に設定し、
    前記第５ステップでは、前記ドラッグ操作における前記タッチ位置の移動に応じて前記マークが移動するように、前記マークの移動位置を算出する、
    ことを特徴とする請求項１５又は１６に記載のタッチ操作制御方法。
  19. 前記第４ステップでは、前記マークへのタッチを検出した後、予め定めた時間が経過する前に前記タッチ位置が移動したかを判断し、予め定めた時間が経過する前に前記タッチ位置が移動した場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項１８に記載のタッチ操作制御方法。
  20. 前記第４ステップでは、前記マーク上のタッチ位置の移動を検出した後、予め定めた時間が経過するまで前記タッチ位置が移動していないかを判断し、予め定めた時間が経過するまで前記タッチ位置が移動していない場合は、移動先を前記ドラッグ操作の起点に設定する、
    ことを特徴とする請求項１８に記載のタッチ操作制御方法。
  21. 前記第５ステップでは、前記ドラッグ操作の起点が設定された後、予め定めた時間が経過するまでは、前記タッチ位置の移動量よりも前記マークの移動量の方が小さくなるように、前記マークの移動位置を算出する、
    ことを特徴とする請求項１８乃至２０のいずれか一に記載のタッチ操作制御方法。
JP2017109751A 2017-06-02 2017-06-02 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法 Active JP6915387B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017109751A JP6915387B2 (ja) 2017-06-02 2017-06-02 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法
US15/967,741 US10628026B2 (en) 2017-06-02 2018-05-01 Medical image display device, touch operation control program, and touch operation control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017109751A JP6915387B2 (ja) 2017-06-02 2017-06-02 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法

Publications (2)

Publication Number Publication Date
JP2018201795A JP2018201795A (ja) 2018-12-27
JP6915387B2 true JP6915387B2 (ja) 2021-08-04

Family

ID=64459695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017109751A Active JP6915387B2 (ja) 2017-06-02 2017-06-02 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法

Country Status (2)

Country Link
US (1) US10628026B2 (ja)
JP (1) JP6915387B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053960A1 (ja) * 2017-09-14 2019-03-21 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US11269479B2 (en) 2019-12-31 2022-03-08 Google Llc Automatic focus detection with relative threshold-aware cell visibility for a scrolling cell collection
CN111542036B (zh) * 2020-04-30 2021-04-20 浙江大学 一种用于麻醉监护仪的无线传输组件及其传输方法
CN112698771B (zh) * 2020-12-29 2023-02-03 维沃移动通信（杭州）有限公司 显示控制方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) * 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
JP5248146B2 (ja) * 2008-03-07 2013-07-31 パナソニック株式会社 超音波診断装置
JP5371798B2 (ja) * 2010-01-12 2013-12-18 キヤノン株式会社 情報処理装置、その情報処理方法及びプログラム
JP2012019824A (ja) * 2010-07-12 2012-02-02 Hitachi Aloka Medical Ltd 超音波診断装置
US20130324850A1 (en) * 2012-05-31 2013-12-05 Mindray Ds Usa, Inc. Systems and methods for interfacing with an ultrasound system
JP6530240B2 (ja) * 2015-05-28 2019-06-12 株式会社日立製作所 医用画像表示装置及び超音波診断装置
JP6228267B2 (ja) * 2016-06-20 2017-11-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム

Also Published As

Publication number Publication date
US20180348983A1 (en) 2018-12-06
JP2018201795A (ja) 2018-12-27
US10628026B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
JP6915387B2 (ja) 医用画像表示装置、タッチ操作制御プログラム及びタッチ操作制御方法
CN105243676B (zh) 显示超声图像的方法及其所用的超声设备
US10420533B2 (en) Ultrasound diagnosis apparatus and control method thereof
EP3009074B1 (en) Method of providing information using plurality of displays and ultrasound apparatus therefor
US20200004487A1 (en) Object moving program
JP5434767B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
CN107003404B (zh) 使用多个显示器提供信息的方法和超声波设备
EP2700364A2 (en) Method and apparatus for managing and displaying ultrasound image
JP2009080708A (ja) 情報表示装置
EP2629190A1 (en) Supporting touch input and key input in an electronic device
JP2020204914A5 (ja)
US20160093068A1 (en) Image measurement apparatus and guidance display method of image measurement apparatus
JP2009110519A (ja) ソフトボタンを提供する映像装置及びソフトボタンの属性の変更方法
JP6524762B2 (ja) コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム
JP6501525B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6197559B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2014173872A (ja) 波形表示装置、及びプログラム
KR20160052305A (ko) 초음파 진단 장치 및 이의 제어 방법
JP2014153315A (ja) 波形表示装置、及びプログラム
JP5165964B2 (ja) 生体情報処理装置及び生体情報処理方法
WO2018145264A1 (zh) 超声医学检测设备及成像控制方法、成像***、控制器
JP2012032944A (ja) 情報処理装置及びその制御方法
JP7371136B2 (ja) ポインティングデバイスの感度適応方法、コンピュータプログラム及び画像評価装置
JP2015207133A (ja) 表示装置及びそのプログラム
JP2011177200A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191119

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R150 Certificate of patent or registration of utility model

Ref document number: 6915387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150