JP7282541B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7282541B2
JP7282541B2 JP2019026581A JP2019026581A JP7282541B2 JP 7282541 B2 JP7282541 B2 JP 7282541B2 JP 2019026581 A JP2019026581 A JP 2019026581A JP 2019026581 A JP2019026581 A JP 2019026581A JP 7282541 B2 JP7282541 B2 JP 7282541B2
Authority
JP
Japan
Prior art keywords
display
condition
index
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019026581A
Other languages
English (en)
Other versions
JP2020135291A (ja
Inventor
彰市 星野
優和 真継
裕輔 御手洗
敦史 野上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019026581A priority Critical patent/JP7282541B2/ja
Priority to US16/783,048 priority patent/US11408831B2/en
Priority to CN202010098832.7A priority patent/CN111586328B/zh
Publication of JP2020135291A publication Critical patent/JP2020135291A/ja
Priority to US17/683,147 priority patent/US11927540B2/en
Application granted granted Critical
Publication of JP7282541B2 publication Critical patent/JP7282541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
橋梁等の構造物壁面の点検、部品や製品外装の外観検査等では、調査技術者がひび割れや欠陥等の変状を目視で確認することが行われている。このような近接目視と呼ばれる点検作業は、作業コストが高いため、近年、検査対象を撮影した画像から変状を検出する手法が提案されている。例えば、特許文献１には、撮影されたコンクリート表面に、実際のひび割れと類似した汚れや染み、撮影ムラ、型枠跡等が存在する場合でも、実際のひび割れのみを検出することのできるひび割れ検出方法が開示されている。
このような手法においては、誤検知や未検知が発生する場合がある。そのため、専門家が検知した結果を基に画像を確認し、必要に応じて修正を行うこととなる。この確認・修正作業では、検査結果画像中の変状を詳細に閲覧するため、画像の拡大縮小や座標変更操作等が繰り返し行われる。例えば、画像中の注目している部分が拡大して表示された画面を確認した後に元の画面へ復帰して閲覧作業を継続したり、表示変更途中の画面に復帰して別の変状を閲覧したりすることが行われる。しかし、画面復帰を行うためには、拡大縮小や座標変更操作を行う必要があり、ユーザは、煩雑な操作を行う手間がかかる。このような手間を解消するための技術が提案されている。例えば、特許文献２には、事前に画面復帰したい場所をユーザ指示に基づいて記憶させておき、その後ユーザ指示のもと、表示復帰する技術が開示されている。
特開２０１４－２２８３５７号公報 特許第５２８１５３３号公報
しかし、従来技術では、復帰したい画面の情報をユーザが指示して記憶させておく必要があった。例えば、画面上に遍在している数多くの変状を確認する画像点検作業においては、変状確認後に復帰したい画面位置や表示倍率が毎回異なるため、復帰先の画面の情報を記憶させるためのユーザによる作業が煩雑となり、ユーザの負荷が過大であった。
そこで、本発明は、ユーザの負荷を低減することを目的とする。
本発明の情報処理装置は、表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、を有し、前記指標取得手段は、前記条件取得手段により取得された前記表示条件と予め定められた他の表示条件とに基づく、前記閲覧データの表示内容の変化量を示すコンテンツ変化量と、前記条件取得手段により取得された前記表示条件と前記他の表示条件とに基づく、前記条件取得手段により取得された前記表示条件の前記他の表示条件に対する変化の度合を示す条件変化量と、のいずれかを指標として取得する。
本発明によれば、ユーザの負荷を低減することができる。
情報処理装置の処理の一例の概要を説明する図である。 情報処理装置の処理の一例の概要を説明する図である。 情報処理装置のハードウェア構成等の一例を示す図である。 表示条件等の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 表示される画像の一例について説明する図である。 コンテンツ変化量の一例について説明する図である。 一覧の更新の一例について説明する図である。 閲覧の状況の一例について説明する図である。 情報処理装置の機能構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 注視状態を判定する方法の一例について説明する図である。 情報処理装置の処理の一例を説明する図である。 閲覧の状況の一例について説明する図である。
以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。
＜実施形態１＞
本実施形態における情報処理装置１００は、閲覧データの画像を図３で後述する表示部１５５に表示する。閲覧データとは、ユーザによる閲覧の対象となるデータであり、本実施形態では、２次元の可視光画像（ＲＧＢ画像）である。ただし、他の例として、閲覧データは、赤外線カメラで撮影された熱画像やラインセンサカメラで撮影された画像等の他の画像であってもよい。
また、以下では、情報処理装置１００が閲覧データを表示部１５５に表示する際に、実際に表示部１５５に表示されている画像を表示画像とする。即ち、表示画像は、閲覧画像の全部又は一部が含まれる画像となる。また、以下では、閲覧データのうち表示画像に写る領域を、注目領域とする。例えば、本実施形態では、コンクリート構造物の壁面に生じた変状（ひび割れ等）の点検目的で閲覧される画像データ（コンクリート構造物を撮影した写真や、その写真をもとに生成された画像、画像から検知されたひび割れを表す画像等）が閲覧データとなる。ユーザは、このような画像を拡大表示したり、動かしたり（スクロール）しながら、注目領域内の点検を行ったりひび割れの修正を指示することができる。ただし、本実施形態はこのような変状点検以外の目的にも適用可能である。例えば画像に映った所定の対象物を計数するような場面でも利用できる。
また、以下では、閲覧画像の表示部１５５への表示に関する条件を、表示条件とする。表示条件には、注目領域を特定するための座標情報、注目領域の中心の座標、画像の傾き角度、画像の表示倍率等がある。表示条件には、画像を表示させる際に用いられる条件であれば、どのような条件も含まれる。
まず、図１、２を用いて、本実施形態の処理の概要を説明する。
図１（ａ）には、表示部１５５に表示されるウインドウ１２０に、閲覧データの一部が表示された状態が示されている。ウインドウ１２０は、表示画像（注目領域の画像）の表示に用いられるウインドウである。図１（ａ）の例では、ウインドウ１２０には、欠陥や劣化、損傷その他の変状である変状１１０～１１２が表示されている。ユーザ（例えば、データの確認者、調査責任者等）は、変状（例えば、ひび割れ）が発生しているか否か、ウインドウ１２０を確認する作業を行う。ユーザは、変状の詳細な状態を確認するため、例えば、図１（ｂ）のように、変状１１０の部分を拡大表示させたり、周辺の部分を表示させたりする。
図１の例では、ユーザは、図１（ｂ）の状態のウインドウ１２０を確認し、変状１１０の詳細な確認が終了したら、図１（ａ）の表示状態に復帰して、閲覧データの確認作業を継続する。
ここで、ユーザがより少ない手間で表示状態の復帰を行えるよう、情報処理装置１００は、以下のようにする。即ち、情報処理装置１００は、図１（ｃ）のように表示状態の復帰用のオブジェクトの一覧を含むオブジェクトである一覧１３０を表示しておき、一覧１３０から選択されたオブジェクトに応じた表示状態に復帰できるようにする。図１（ｃ）の状況において、ユーザが一覧１３０の中から復帰先に応じたオブジェクト（図１（ｃ）の例では、ボタンオブジェクトであるオブジェクト１３１）を選択すると、情報処理装置１００は、選択されたオブジェクトに応じた表示状態への復帰を行う。
一覧１３０には、ユーザが復帰したい表示状態か否かの判断の助けになる情報が含まれることが望ましい。例えば、図１（ｄ）のように、情報処理装置１００は、一覧１３０内の各オブジェクトに併せて、各オブジェクトに対応する復帰先の表示状態の画面サムネイルや位置座標、表示倍率、表示角度等の情報を併記して表示するのが望ましい。
ただし、図１（ｄ）のように、一覧１３０内に複数の復帰先に対応するオブジェクトを表示するためには、復帰したい表示状態に対応する表示条件の情報を予め記憶しておく必要がある。そこで、本実施形態では、情報処理装置１００は、閲覧データの表示条件を記憶するか否かを決定するために用いられる指標を取得し、取得した指標に基づいて、その表示条件を記憶するか否かを決定し、記憶することが決定された場合に記憶する処理を行う。これにより、情報処理装置１００は、ユーザの手間を要することなく、閲覧データの表示状態の復帰に用いられる情報を記憶できるようになる。以下では、表示条件を記憶するか否かを決定するために用いられる指標を、決定指標とする。
図２の状況は、ウインドウ１２０に、閲覧データの一部が表示された状況である。
本実施形態では、情報処理装置１００は、表示部１５５に表示された閲覧データの表示内容（コンテンツ）の変化量に基づいて、決定指標を取得する。以下では、閲覧データの表示内容の変化量を示す指標を、コンテンツ変化量とする。コンテンツ変化量には、例えば、図７で後述する指標等がある。
閲覧データの表示内容の変化量について説明する。表示内容の変化量とは、ユーザが閲覧中の表示画像の、過去に記憶された表示条件で閲覧データが表示された際の表示画像に対する変化の程度を示す指標である。
図２（ａ）の表示画像は、過去に記憶された表示条件で閲覧データが表示された表示画像である。変状２１０を含む変状パターンが表示されている。また、図２（ｂ）の表示画像は、ユーザが閲覧中のウインドウ１２０に表示された表示画像である。変状２１０が、図２（ａ）の表示画像に比べて、拡大して表示されていることが分かる。このように、ウインドウ１２０の表示内容の変化が一定の度合以上である場合に、情報処理装置１００は、ユーザが閲覧中のウインドウ１２０に表示された表示画像についての表示条件を記憶する。一方、表示内容の変化が一定の度合よりも小さい場合には、情報処理装置１００は、ユーザが閲覧中のウインドウ１２０に表示された表示画像についての表示条件を記憶する処理を行わない。
図２（ｃ）の表示画像は、閲覧データにおける図２（ａ）の表示画像の領域から右方向へ一定距離移動した領域を示す画像である。図２（ｃ）の表示画像の図２（ａ）の表示画像からの変化の度合は、図２（ｂ）の表示画像の図２（ａ）の表示画像からの変化の度合よりも小さい。このような場合、情報処理装置１００は、例えば、図２（ｂ）の表示画像についての表示条件を記憶し、図２（ｃ）の表示画像についての表示条件については、記憶しないこととする。
情報処理装置１００は、ウインドウ１２０に、表示画像と重複して、過去の表示条件での表示状態への復帰の指示に用いられるオブジェクトを含む一覧１３０を表示する。図２（ｄ）には、過去に記憶された表示条件での表示状態への復帰の指示に用いられるオブジェクトを含む一覧１３０が表示されている状況が示されている。情報処理装置１００は、表示条件を記憶していき、最新の予め定められた個数の表示条件に対応するオブジェクトを、一覧１３０内に表示することとする。
図３（ａ）は、情報処理装置１００のハードウェア構成の一例を示す図である。本実施形態では、情報処理装置１００は、パーソナルコンピュータ（ＰＣ）である。ただし、他の例として、情報処理装置１００は、サーバ装置、タブレット装置、組み込み型のコンピュータ等の他の情報処理装置であることとしてもよい。
情報処理装置１００は、ＣＰＵ１５１、主記憶装置１５２、補助記憶装置１５３、操作部１５４、表示部１５５、ネットワークＩ／Ｆ１５６を含む。各要素は、システムバス１５７を介して相互に通信可能に接続されている。
ＣＰＵ１５１は、情報処理装置１００を制御する中央演算装置である。主記憶装置１５２は、ＣＰＵ１５１のワークエリア、データの一時的な記憶領域等として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置１５３は、各種プログラム、各種設定情報、各種表示条件、閲覧データ等を記憶する記憶装置である。補助記憶装置１５３は、例えば、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。主記憶装置１５２、補助記憶装置１５３それぞれは、記憶部の一例である。
操作部１５４は、マウス、キーボード、タッチパッド、タッチパネル、ペンタブレッド等の情報処理装置１００への情報の入力に用いられる入力装置である。表示部１５５は、モニタ、ディスプレイ、タッチパネルの表示部等の表示装置である。ネットワークＩ／Ｆ１５６は、外部の装置との間であのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ１５１が補助記憶装置１５３に記憶されたプログラムにしたがって処理を実行することで、図３（ｂ）、１０で後述する機能、及び、図５、１１で後述するフローチャートの処理等が実現される。
本実施形態では、操作部１５４と表示部１５５とは、別個の構成要素であるとした。ただし、他の例として、操作部１５４と表示部１５５とは、タッチパネル、タブレット等の入力装置と表示装置との双方の機能を有する単一の構成要素であることとしてもよい。
図３（ｂ）は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、データ管理部１０１、表示データ作成部１０３、表示条件設定部１０４、決定部１０５、表示条件管理部１０６を含む。
データ管理部１０１は、補助記憶装置１５３に記憶された閲覧データを管理する。表示データ作成部１０３は、表示部１５５に表示される表示画像を作成する。表示条件設定部１０４は、指定された表示条件を設定したり、表示部１５５に表示されている表示画像についての表示条件を取得したりする。決定部１０５は、表示条件設定部１０４により取得された表示条件を記憶するか否かを決定する。表示条件管理部１０６は、決定部１０５により記憶すると決定された表示条件を補助記憶装置１５３に記憶し、管理する。
図４（ａ）に、表示条件の管理に用いられるテーブルの一例を示す。以下では、表示条件の管理に用いられるテーブルを、管理テーブルとする。管理テーブルは、補助記憶装置１５３に記憶されている。管理テーブルは、予め定められた表示条件の情報を含み、本実施形態では、注目領域座標、表示中心座標、表示倍率、角度それぞれの情報を含む。本実施形態では、管理テーブルには、表示条件を識別するためのＩＤと、表示条件に含まれる各条件と、表示条件が記憶された日時が格納される。また、管理テーブルには、表示条件が記憶された順番の情報等が格納されることとしてもよい。
図４（ａ）の例では、ＩＤがＩＤ００１の表示条件についての注目領域座標は、注目領域を示す座標である。注目領域座標である（Ｘ００１＿１、Ｙ００１＿１）から（Ｘ００１＿ｎ、Ｙ００１＿ｎ）のｎ点で囲われた領域が、対応する注目領域となる。また、表示中心座標は、閲覧データにおける注目領域の中心の座標を示す。表示倍率は、注目領域の表示画像が表示される際の表示倍率を示す。角度は、注目領域の表示画像が表示される際の傾きを示す。日時情報は、表示条件が記憶された日時情報を示す。
図４（ｂ）に、表示画像が表示部１５５に表示される状況の一例を示す。画像３００は、検査対象物が撮影された画像（例えば、１０万×１０万画素以上の画像等）であり、本実施形態における閲覧データである。画像３００には、ｘ軸とｙ軸とで定まる画像座標系が設定されている。画像３００中には、変状Ｃ００１～Ｃ００３が存在している。情報処理装置１００は、画像３００に含まれる微細な変状の確認のために、ウインドウ１２０に、画像３００の一部の拡大画像を、表示画像として表示する。
図４（ｂ）の例では、注目領域（ウインドウ１２０に表示されている領域）は、点線で示す領域３１０である。また、図４（ｂ）に、表示条件ＩＤ００１に対応する注目領域を示す。情報処理装置１００は、閲覧データ中における表示条件に含まれる注目領域座標の座標で特定される領域を、注目領域として、注目領域の画像を示すウインドウを表示部１５５に表示することとなる。
図５を用いて、本実施形態の情報処理装置１００の処理の一例について説明する。
Ｓ５０１において、表示データ作成部１０３は、補助記憶装置１５３から、閲覧データと予め定められた表示条件とを読み込み、取得する。
Ｓ５０２において、表示データ作成部１０３は、Ｓ５０１で取得した閲覧データにおける予め定められた領域（本実施形態では、左上端の所定のサイズの領域）の画像を、表示画像として表示部１５５に表示する。また、表示データ作成部１０３は、Ｓ５０１で取得した表示条件に基づいて、各表示条件に対応する表示状態への復帰の指示に用いられるオブジェクトの一覧である一覧１３０を作成し、表示部１５５に表示する。表示データ作成部１０３は、一覧１３０に含まれるオブジェクトの選択を検知した場合、選択されたオブジェクトに対応する表示条件で、閲覧データを表示部１５５に表示する。
図６に、Ｓ５０２の処理で表示画像がウインドウ１２０に表示された状況の一例を示す。図６（ａ）の例では、表示データ作成部１０３は、一覧１３０に、ユーザが復帰したい表示状態か否か判断しやすくするための情報として、対応する表示条件で表示される表示画像のサムネイルと表示条件の情報とを含ませている。
なお、表示データ作成部１０３は、一覧１３０に含ませるオブジェクトを、対応する表示条件が記憶された時刻が最新のものから順番に並べることとする。ただし、他の例として、表示データ作成部１０３は、一覧１３０に含ませるオブジェクトを、対応する表示条件で表示される閲覧データの領域と、ウインドウ１２０に表示されている領域と、の距離が近い順に並べてもよい。
また、図６（ｂ）の例では、表示データ作成部１０３は、一覧１３０に、閲覧データ全体の俯瞰画像６２０と、復帰先の候補となる表示状態の表示条件に対応するオブジェクト６２１、６２２と、を含ませる。オブジェクト６２１、６２２それぞれは、閲覧データ内における対応する注目領域を示す枠型のオブジェクトである。例えば、表示データ作成部１０３は、操作部１５４の操作等によるオブジェクト６２１の選択を検知すると、オブジェクト６２１に対応する表示条件で閲覧データを表示する。これにより閲覧データにおけるオブジェクト６２１が示す領域の画像が、表示画像として、表示部１５５に表示される。
情報処理装置１００は、一覧１３０に閲覧データの俯瞰画像６２０を含めることで、ユーザが閲覧データ全体に対する復帰先の表示状態で表示される領域の位置関係を容易に把握できるようにすることができる。また、図６（ｂ）のように、表示データ作成部１０３は、一覧１３０内の俯瞰画像６２０上に、ウインドウ１２０に処理時点で表示されている表示画像に対応する位置を示すオブジェクト６２３を表示させてもよい。これにより、ユーザは、現在の注目領域と復帰先候補の注目領域との距離関係をより容易に把握できる。
図５の説明に戻る。
Ｓ５０３において、表示条件設定部１０４は、表示部１５５に表示されている表示画像の表示条件を、この表示画像に対応する表示条件として、取得する。
より具体的には、表示条件設定部１０４は、表示部１５５に表示されている表示画像についての、注目領域座標、表示中心座標、表示倍率、角度の情報を、表示条件として取得する。Ｓ５０３の処理は、条件取得処理の一例である。
Ｓ５０４において、決定部１０５は、ウインドウ１２０に表示される表示画像の表示内容の変化量（コンテンツ変換量）に基づいて、決定指標を取得する。即ち、決定部１０５は、異なる２つの表示条件で表示される２つの表示画像に基づいて、決定指標を取得することとなる。
より具体的には、決定部１０５は、コンテンツ変化量を、２つの表示条件を用いて算出する。１つ目の表示条件は、Ｓ５０３で取得された表示条件であり、記憶するか否かを決定する対象の表示条件である。２つ目の表示条件は、過去に補助記憶装置１５３に記憶された表示条件から選択された表示条件である。以下では、Ｓ５０３で取得された表示条件を候補表示条件とする。また、以下では、過去に補助記憶装置１５３に記憶された表示条件から選択された表示条件を、記憶済表示条件とする。決定部１０５は、補助記憶装置１５３に記憶された表示条件から１つ以上を記憶済表示条件として選択する。本実施形態では、決定部１０５は、補助記憶装置１５３に記憶された表示条件から予め定められた１つ以上の表示条件をそれぞれ記憶済表示条件として選択する。ただし、他の例として、決定部１０５は、補助記憶装置１５３に記憶された表示条件からランダムに選択した１つ以上の表示条件をそれぞれ記憶済表示条件としてもよい。
図７を用いて、コンテンツ変化量の一例について説明する。
図７（ａ）の状況は、記憶済表示条件に基づいて、ウインドウ１２０に表示画像が表示された状況である。この際の注目領域は、点線で示す領域７２１であり、領域７２１上に変状７１１、７１２が存在している。ここで、表示内容を変化させるために、閲覧データにおける表示位置を平行移動させる。移動の例として、図７（ａ）から左方向に移動させた状況を、図７（ｂ）に示す。
ウインドウ１２０の表示画像が図７（ｂ）に示す表示画像が変更された場合、図７（ｂ）における注目領域が点線で示す領域７２２となり、図７（ｂ）の表示画像から取得された表示条件が候補表示条件となる。このとき、領域７２１と領域７２２とのオーバーラップ（重複）している領域は、実線で囲われた領域７２３である。
コンテンツ変化量をＣとおく。本実施形態では、コンテンツ変化量Ｃは、以下の式１、２で定義される指標であるとする。
Figure 0007282541000001
式１中のＳ1は、記憶済表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域を示し、図７（ａ）、（ｂ）の例では、領域７２１となる。また、Ｓは、候補表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域であり、図７（ａ）、（ｂ）の例では、領域７２２となる。Ｓ∧Ｓ1は、Ｓ1とＳとがオーバーラップする部分の面積であり、図７の例では、領域７２３の面積となる。図７の例では、領域７２３が小さくなるほど、コンテンツ変化量Ｃは、大きな値となる。即ち、このコンテンツ変化量Ｃは、候補表示条件に対応する表示画像と、記憶済表示条件に対応する表示画像と、の重複している部分が小さい程、大きくなる指標となる。ＳとＳ1とにオーバーラップしている領域がない場合、Ｃは、式２で示すように定数αとなる。ここで、式２のαは、予め定められた閾値よりも大きな任意の定数である。
情報処理装置１００は、式１、２で定義される指標を、コンテンツ変化量Ｃとして、用いることで、記憶されている表示条件に対応する注目領域とより異なる注目領域を表示するための表示条件を記憶できるようになる。
本実施形態では、コンテンツ変化量Ｃは、式１、２で定義される指標であるとした。ただし、他の例として、コンテンツ変化量Ｃは、式１、２で定義される指標と異なる指標であるとしてもよい。以下では、図７（ｃ）、（ｄ）を用いて、式１、２で定義される指標と異なる指標である場合のコンテンツ変化量について説明する。より具体的には、コンテンツ変化量Ｃが、画像を拡大表示した場合、所定の注目領域の表示面積の変化の度合に基づいて定義された指標である場合について説明する。
図７（ｃ）の状況は、記憶済表示条件に基づいてウインドウ１２０に表示画像が表示されて状況である。図７（ｃ）の例では、注目領域は、点線で示す領域７２４であり、領域７２４上に変状７１３、７１４が存在している。ここで、ユーザが、変状７１３を詳細に確認するために、図７（ｃ）の範囲７３１を拡大表示するよう情報処理装置１００に指示したとする。この指示に応じて、情報処理装置１００が、ウインドウ１２０に表示した表示画像を、図７（ｄ）に示す。図７（ｄ）の例における注目領域は、点線で示される領域７２５である。領域７２５のうちの実線で囲われた領域７２６は、図７（ｃ）の領域７２４の一部である。図７（ｃ）の状況から図７（ｄ）の状況に遷移した場合、図７（ｄ）の表示画像から取得される表示条件が候補表示条件となる。このような場合、情報処理装置１００は、コンテンツ変化量Ｃとして、以下の式３、４で定義された指標を用いてもよい。
Figure 0007282541000002
式３のＳ1は、式１と同様に、記憶済表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域を示し、図７（ｃ）、（ｄ）の例では、領域７２４となる。また、ｄ1は、記憶済表示条件が示す表示倍率である。また、Ｓは、式１と同様に、候補表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域を示し、図７（ｃ）、（ｄ）の例では、領域７２５となる。また、ｄは、候補表示条件が示す表示倍率である。
また、βは、１より大きい任意の定数である。Ｓ∧Ｓ1が０の場合（表示内容が一切重複しない場合）、コンテンツ変化量Ｃは、式（４）で示すように定数αとなる。
また、画像が縮小表示（ｄ＞ｄ1）される場合、表示倍率を考慮する必要性が低くなる。そのため、このような場合に対応するため、情報処理装置１００は、コンテンツ変化量Ｃとして、以下の式５で定義された指標を用いてもよい。
Figure 0007282541000003
以上、コンテンツ変化量について説明した。
図５の説明に戻る。
本実施形態では、決定部１０５は、式１、２で定義されたコンテンツ変化量Ｃを用いる。決定部１０５は、Ｓ５０４で、記憶済表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域をＳ1として特定し、候補表示条件に基づいてウインドウ１２０に表示される表示画像が示す注目領域をＳとして特定する。そして、決定部１０５は、特定したＳとＳ1と予め定められたαとに基づいて、式１、２を用いて、コンテンツ変化量Ｃを取得する。
また、決定部１０５は、記憶済表示条件として、１つ以上の表示条件（ｎ（ｎ：１以上の整数）個の表示条件とする）を選択している。そこで、決定部１０５は、選択したｎ個の記憶済表示条件それぞれについて、コンテンツ変化量Ｃを求める。これにより、決定部１０５は、ｎ個のコンテンツ変化量Ｃを取得する。このｎ個のコンテンツ変化量Ｃを、まとめてＣＮ＝｛Ｃ１、Ｃ２、・・・、Ｃｎ｝とする。そして、決定部１０５は、このＣＮを決定指標として取得する。Ｓ５０４の処理は、指標取得処理の一例である。
本実施形態では、決定部１０５は、式１、２で定義されたコンテンツ変化量Ｃを用いることとした。ただし、他の例として、決定部１０５は、他の定義づけがされたコンテンツ変化量Ｃを用いてもよい。例えば、決定部１０５は、式３、４で定義されたコンテンツ変化量Ｃを用いることとしてもよい。その場合、決定部１０５は、特定したＳとＳ1と候補表示条件が示す表示倍率ｄと記憶済表示条件が示す表示倍率ｄ1と予め定められたαとβとに基づいて、式３、４を用いて、コンテンツ変化量Ｃを取得する。また、決定部１０５は、式５で定義されたコンテンツ変化量Ｃを用いることとしてもよい。その場合、決定部１０５は、特定したＳとＳ1と予め定められたβとに基づいて、式５を用いて、コンテンツ変化量Ｃを取得する。
Ｓ５０５において、決定部１０５は、Ｓ５０４で取得した決定指標Ｃｎに基づいて、候補表示条件を記憶するか否かを決定する。本実施形態では、決定部１０５は、ＣＮの要素全て（Ｃ１～Ｃｎ）が、予め定められた閾値以上である場合、候補表示条件を記憶することを決定し、処理をＳ５０６に進める。この閾値は、例えば、実験を行い見出された適切な値であるとする。
また、決定部１０５は、ＣＮの要素の中に予め定められた閾値未満のものがある場合、候補表示条件を記憶しないことを決定し、処理をＳ５０８に進める。
本実施形態では、決定部１０５は、ＣＮの要素全て（Ｃ１～Ｃｎ）が、予め定められた閾値以上である場合、候補表示条件を記憶することを決定するとした。ただし、他の例として、決定部１０５は、ＣＮの要素（Ｃ１～Ｃｎ）のうち予め定められた閾値以上である要素の個数が予め定められた個数以上である場合、候補表示条件を記憶することを決定することとしてもよい。
Ｓ５０６においては、表示条件管理部１０６は、Ｓ５０３で取得された候補表示条件を、補助記憶装置１５３に記憶する。Ｓ５０６の処理は、記憶制御処理の一例である。
Ｓ５０７において、表示データ作成部１０３は、Ｓ５０２で作成した一覧１３０を更新し、更新した一覧１３０を、表示部１５５に表示する。より具体的には、表示データ作成部１０３は、Ｓ５０６で記憶された候補表示条件に対応するオブジェクトを、一覧１３０に追加することで、一覧１３０を更新する。Ｓ５０７の処理は、表示制御処理の一例である。
図８を用いて、一覧１３０の更新処理の一例について説明する。図８（ａ）に示す一覧１３０は、更新前の一覧１３０の一例である。図８（ｂ）に示す一覧１３０は、図８（ａ）に示す一覧１３０が更新された一覧１３０である。
本実施形態では、表示データ作成部１０３は、一覧１３０に各表示条件に対応するオブジェクトを、記憶された時点が新しい順に、上から配置する。Ｓ５０６で候補表示条件が記憶されると、候補表示条件での表示状態への復帰を指示するためのオブジェクトを作成し、一覧１３０の一番上に配置させる。そして、表示データ作成部１０３は、更新前の一覧１３０に列挙されていたオブジェクトのうち最も下のオブジェクトを削除し、残りのオブジェクトの位置を新たに配置したオブジェクトの下に配置する。その結果、一覧１３０は、図８（ｂ）のように更新される。
本実施形態では、図８のように、表示データ作成部１０３は、一覧１３０に５つの表示条件それぞれに対応する５つのオブジェクトを配置することとする。ただし、他の例として、表示データ作成部１０３は、一覧１３０に４つ以下の表示条件それぞれに対応する４つ以下のオブジェクトを配置することとしてもよいし、６つ以上の表示条件それぞれに対応する６以上のオブジェクトを配置することとしてもよい。
表示データ作成部１０３は、直近に記憶された表示条件に対応するオブジェクトであることを示すために以下のようにしてもよい。即ち、表示データ作成部１０３は、一覧１３０内のオブジェクトのうち直近に記憶された所定数の表示条件に対応するオブジェクトについて、マークを重畳したり、表示色を変更したりして、ユーザにとって視認しやすくしてもよい。
本実施形態では、表示データ作成部１０３は、Ｓ５０７で説明した処理を、Ｓ５０６の処理が完了した際に実行することとする。ただし、他の例として、表示データ作成部１０３は、他のタイミングで、Ｓ５０７で説明した処理を実行することとしてもよい。また、表示データ作成部１０３は、Ｓ５０６の処理の完了のタイミングに加えて他のタイミングそれぞれで、Ｓ５０７で説明した処理を実行することとしてもよい。
例えば、表示データ作成部１０３は、Ｓ５０６の処理が完了した後で、ユーザによる操作部１５４を介した、ウインドウ１２０内の表示画像の表示条件の変更操作が開始されたたイミングで、Ｓ５０７で説明した処理を実行することとしてもよい。これは、ユーザが表示条件を変更し始めたら、直前の表示を記憶する動作を想定している。また、例えば、表示データ作成部１０３は、Ｓ５０６の処理が完了して一定時間が経過したら、Ｓ５０７で説明した処理を実行することとしてもよい。
Ｓ５０８において、表示データ作成部１０３は、ユーザによる操作部１５４を介した操作に基づいて、閲覧データの閲覧を終了する命令を受け付けた場合、図５の処理を終了する。また、表示データ作成部１０３は、閲覧データの閲覧を終了する命令を受け付けていない場合、処理をＳ５０９に進める。
Ｓ５０９において、表示条件設定部１０４は、ユーザによる操作部１５４を介した操作に基づいて、表示条件を変更する指示を受付けた場合、指示に応じた表示条件で、ウインドウ１２０に表示する表示画像を更新し、処理をＳ５０３に進める。
以上、本実施形態の処理により、情報処理装置１００は、ユーザから復帰を所望する表示状態に対応する表示条件の記憶の指示を受けることなく、復帰候補となる表示状態に対応する表示条件を記憶することができる。したがって、情報処理装置１００は、ユーザの負荷を低減することができる。
また、情報処理装置１００は、ユーザが復帰したい画面を予め判断することができない場合であっても、復帰先の候補となる表示状態に対応する表示条件を記憶できる。
＜変形例１＞
変形例１では、情報処理装置１００は、表示条件の変化量に基づいて、決定指標を取得する。変形例１の情報処理装置１００のハードウェア構成、及び機能構成は、実施形態１と同様である。変形例１の処理は、実施形態１と比べて図５におけるＳ５０４とＳ５０５との処理が異なる。以下では、変形例１の処理のうち、実施形態１と異なる点について説明する。
Ｓ５０４において、決定部１０５は、ウインドウ１２０に表示される表示画像に対応する表示条件の変化量（以下では、条件変換量とする）に基づいて、決定指標を取得する。条件変化量は、候補表示条件の記憶済表示条件に対する変化の度合を示す指標である。
変形例１では、決定部１０５は、条件変化量としては、以下で説明するような指標を用いる。条件変化量をＤとおく。変形例１では、条件変化量Ｄは、以下の式６、７で定義される指標である。
Figure 0007282541000004
式６、７の（ｘ、ｙ）は、候補表示条件が示す表示中心座標である。また、（ｘ1、ｙ1）は、記憶済表示条件が示す表示中心座標である。また、ｄは、候補表示条件が示す表示倍率である。また、ｄ1は、記憶済表示条件が示す表示倍率である。また、γは、予め定められた１より大きな任意の値である。式６、７は、それぞれ表示中心座標と表示倍率との変化が大きくなるにつれて、条件変化量Ｄが大きな値となることを示す。
変形例１では、条件変化量Ｄは、式６、７で定義される指標とした。ただし、条件変化量Ｄは、表示条件に関する任意の情報を用いて定められた指標であれば、他の指標であってもよい。
決定部１０５は、候補表示条件が示す中心座標、表示倍率を、それぞれ（ｘ、ｙ）、ｄとして特定し、記憶済表示条件が示す中心座標、表示倍率を、それぞれ（ｘ1、ｙ1）、ｄ1として特定する。そして、決定部１０５は、特定した（ｘ、ｙ）、ｄ、（ｘ1、ｙ1）、ｄ1と、予め定められたγと、に基づいて、式６，７を用いて条件変化量Ｄを求める。決定部１０５は、選択したｎ個の記憶済表示条件それぞれについて、条件変化量Ｄを求める。これにより、決定部１０５は、ｎ個の条件変化量Ｄを取得する。このｎ個の条件変化量Ｄを、まとめてＤＮ＝｛Ｄ１、Ｄ２、・・・、Ｄｎ｝とする。そして、決定部１０５は、このＤＮを決定指標として取得する。
Ｓ５０５において、決定部１０５は、Ｓ５０４で取得した決定指標Ｄｎに基づいて、候補表示条件を記憶するか否かを決定する。変形例１では、決定部１０５は、ＤＮの要素全て（Ｄ１～Ｄｎ）が、予め定められた閾値以上である場合、候補表示条件を記憶することを決定し、処理をＳ５０６に進める。この閾値は、例えば、実験を行い見出された適切な値であるとする。また、決定部１０５は、ＣＮの要素の中に予め定められた閾値未満のものがある場合、候補表示条件を記憶しないことを決定し、処理をＳ５０８に進める。
変形例１では、決定部１０５は、ＤＮの要素全て（Ｄ１～Ｄｎ）が、予め定められた閾値以上である場合、候補表示条件を記憶することを決定するとした。ただし、他の例として、決定部１０５は、ＤＮの要素（Ｄ１～Ｄｎ）のうち予め定められた閾値以上である要素の個数が予め定められた個数以上である場合、候補表示条件を記憶することを決定することとしてもよい。
以上、変形例１の処理により、情報処理装置１００は、実施形態１と同様の効果を奏することができる。
＜変形例２＞
変形例２では、閲覧データが、時系列データである動画データである場合について説明する。変形例２では、表示条件には、動画データのうちのどの時刻のフレームであるかを示す撮影時刻の情報が含まれる。変形例２の情報処理装置１００のハードウェア構成、及び機能構成は、実施形態１と同様である。変形例２では、情報処理装置１００は、輝度値と撮影時刻とに基づいて、決定指標を取得する。
図９を用いて、変形例２の処理の概要について説明する。
閲覧データが動画の場合、フレーム（撮影時刻）を変化させながら、確認作業が行われる。変形例２では、閲覧データは、ネットワークカメラ等を用いて取得された動画データであるとする。図９（ａ）の状況は、屋内が撮影された動画フレームの表示画像が表示部１５５に表示されている状況である。図９（ａ）の例では、注目領域は、点線で示す領域９１１である。
動画の閲覧においては、表示座標や表示倍率が固定であっても、撮影時刻が変化すると、撮影対象物の経時変化や天候といった外的要因等により、表示画像の表示内容が変化する場合がある。
図９（ａ）の状況から、表示条件のうち撮影時刻のみが変化したとする。この状況を、図９（ｂ）に示す。図９（ｂ）の表示画像は、図９（ａ）の表示画像の撮影時刻から一定時刻経過した時刻に、同様の場所が撮影された画像である。図９（ｂ）における注目領域は、点線で示す領域９１２となる。
領域９１１と領域９１２との表示範囲は固定であり、表示内容の変化もわずかである。より具体的には、図９（ｂ）上でドア９２１が開いている点のみの変化である。変形例２では、情報処理装置１００は、このような変化を、捉えるために、注目領域の輝度値を用いる。情報処理装置１００は、更に、表示画像の撮影時刻の情報を用いる。より具体的には、変形例２では、情報処理装置１００は、以下の式８で定義されるコンテンツ変化量Ｃを用いて、決定指標を取得する。
Figure 0007282541000005
式８のｔ1は、記憶済表示条件が示す撮影時刻である。また、ｔは、候補表示条件が示す撮影時刻である。また、γは、予め定められた１より大きい任意の定数である。また、ｐは、表示画像の画素を識別するインデックスである。Ｉ1pは、記憶済表示条件でウインドウ１２０に表示された表示画像の各画素値である。Ｉpは、候補表示条件でウインドウ１２０に表示された表示画像の各画素値である。情報処理装置１００は、式８のコンテンツ変化量Ｃを用いることで、時間変化を考慮した表示内容の変化量の指標を求めることができる。
変形例２の処理の詳細について説明する。
変形例２の処理は、実施形態１と比べて、閲覧データが動画データである点と、図５におけるＳ５０４の処理と、が異なる。以下では、変形例２の処理のうち、実施形態１と異なる点について説明する。
Ｓ５０４において、決定部１０５は、記憶済表示条件で表示された表示画像の各画素の輝度値をＩ1pとして特定する。そして、決定部１０５は、候補表示条件で表示された表示画像の各画素の輝度値をＩpとして特定する。また、決定部１０５は、記憶済表示条件が示す撮影時刻をｔ1として特定する。そして、決定部１０５は、候補表示条件が示す撮影時刻をｔとして特定する。決定部１０５は、特定したＩ1p、Ｉp、ｔ1、ｔと、予め定められたγと、に基づいて、式８を用いて、コンテンツ変化量Ｃを求める。
決定部１０５は、選択したｎ個の記憶済表示条件それぞれについて、コンテンツ変化量Ｃを求める。これにより、決定部１０５は、ｎ個のコンテンツ変化量Ｃを取得する。このｎ個のコンテンツ変化量Ｃを、まとめてＣＮ＝｛Ｃ１、Ｃ２、・・・、Ｃｎ｝とする。そして、決定部１０５は、このＣＮを決定指標として取得する。
変形例２では、情報処理装置１００は、コンテンツ変化量に基づいて、決定指標を取得した。ただし、他の例として、情報処理装置１００は、実施形態２で説明したように、条件変化量に基づいて、決定指標を取得してもよい。また、情報処理装置１００は、条件変化量と、表示条件の撮影時刻と、に基づいて、決定指標を取得してもよい。
以上、変形例２の処理により、情報処理装置１００は、閲覧データが時系列データである場合でも、ユーザからの指示を受けることなく、復帰候補となる表示状態に対応する表示条件を記憶することができる。
＜変形例３＞
ユーザが閲覧データの一部を注意深く確認する場合、表示内容や表示条件が固定されることが望ましい場合がある。例えば、部品や製品外装の画像を用いた外観検査では、輝度変化の微小な傷や欠陥等の変状パターンを確認するため、注目している箇所の画像が表示されるように、ユーザは、表示条件を静止させたり、又は、緩やかに変更させたりしながら、画像を確認する。このような場合、表示内容や表示条件の変動が微小となり、コンテンツ変化量、表示条件変化量が微小となる場合がある。そのため、コンテンツ変化量、表示条件変化量に基づいて、表示条件を記憶するか否かを決定することが困難となる可能性がある。
そこで、変形例３の情報処理装置１００は、ユーザが表示画像をどれくらい注視しているかを示す指標である注視度を求めて、注視度に基づいて決定指標を取得する。これにより、情報処理装置１００は、ユーザが画面を注視しているか否かを基準に、その際の表示状態に対応する表示条件を記憶する否かを制御できる。
変形例３の情報処理装置１００のハードウェア構成は、実施形態１と同様である。
また、変形例３では、情報処理装置１００は、ネットワークＩ／Ｆ１５６を介して、外部の撮影装置（以下では、接続撮影装置）と接続されている。変形例３では、接続撮影装置は、ユーザの顔を撮影可能な位置に配置された、赤外光センサを含む赤外線カメラであり、赤外光を照射しながら、閲覧データを閲覧しているユーザの顔を撮影する。情報処理装置１００は、接続撮像装置から、接続撮像装置により撮影された画像を取得する。
図１０は、変形例３の情報処理装置１００の機能構成の一例を示す図である。変形例３の情報処理装置１００の機能構成は、図３（ｂ）の機能構成と比べて、注視情報検出部１００１と注視情報管理部１００２とを含む点で異なる。
また、変形例３の決定部１０５は、注視情報管理部１００２により管理されるユーザの注視点の位置（以下では、注視点位置とする）を取得し、取得した注視点位置に基づいて、ユーザの注視状態を解析する。注視点とは、ユーザが注視している点である。
注視情報検出部１００１は、接続撮影装置から送信された動画像から、公知の方法を用いて、ユーザの目の位置と視線とを検出し、検出した目の位置と視線とに基づいて、注視点位置を取得する。
ユーザの目の位置と視線とを検出する公知の方法には、例えば、以下の方法がある。即ち、動画像の各フレームにｃａｎｎｙ等のエッジ検出手法を適用し、検出したエッジ情報を用いたパターンマッチングにより目及び瞳孔を検出する。続いて、動画像の輝度情報を用いて、瞳孔付近の角膜反射光（プルキニエ像）を検出する。その後、瞳孔とプルキニエ像の位置関係に基づく角膜反射法により、視線情報を算出する。以上の方法である。
また、注視点位置を取得する方法には、例えば、事前のキャリブレーションにより、ユーザに特定位置のデータを注視させ、動画像フレーム上の目の座標位置と視線と注視点との対応関係を取得し、取得した対応関係を用いる方法がある。
注視情報管理部１００２は、注視情報検出部１００１により取得された注視点位置を補助記憶装置１５３に記憶し、管理する。
図１１は、変形例３の情報処理装置１００の処理の一例を示すフローチャートである。図１１の処理は、図５の処理と比べて、Ｓ５０４～Ｓ５０５の処理の代わりに、Ｓ５１０～Ｓ５１１の処理がある点で異なる。図１１のＳ５０１～Ｓ５０３、Ｓ５０６～Ｓ５０９それぞれの処理は、図５と同様である。図１１の処理のうち、図５と異なる点について説明する。
Ｓ５１０において、決定部１０５は、注視情報管理部１００２により管理される注視点情報を取得し、注視点位置の遷移状況を示す遷移情報を取得する。遷移状況とは、注視点の位置が時間の経過に応じてどのように遷移するかを示す情報である。そして、決定部１０５は、取得した遷移情報に基づいて、ユーザの注視点が表示画像内で停留している期間を特定する。停留とは、注視点が一定期間以上、予め定められた広さの範囲を超えない位置に存在し続けることである。決定部１０５は、特定した期間を決定指標として取得する。
図１２を用いて、ユーザの注視点位置が停留している状況の一例について説明する。
図１２のプロット図は、一定期間内に注視情報検出部１００１により取得された注視点を、二次元座標上にプロットした図である。注視点１２０１は、この一定期間の開始時点におけるユーザの注視点である。時間の経過に併せて、ユーザの注視点は、矢印の方向へ移動する。注視点１２０２は、一定時間経過の時点におけるユーザの注視点である。ユーザが関心の高い箇所のデータを閲覧している場合、ユーザの注視点が停留する傾向がある。変形例３では、情報処理装置１００は、この特性を用いて、ユーザの注視点が、表示部１５５における表示画像内の位置で、一定の広さの範囲（図１２の例では、範囲１２１０）に収まっている期間を決定指標として取得する。そして、情報処理装置１００は、取得した決定指標が閾値以上か否かでユーザが閲覧データの何れかの位置を注視しているか否かを判定することとなる。
Ｓ５１１において、決定部１０５は、Ｓ５１０で取得した決定指標が、予め定められた閾値値以上である場合、ユーザが表示画像上の位置を注視しており、その表示画像に対応する表示条件を記憶することを決定して、処理をＳ５０６に進める。決定部１０５は、Ｓ５１０で取得した決定指標が、予め定められた閾値値未満である場合、ユーザが表示画像上の位置を注視しておらず、その表示画像に対応する表示条件を記憶しないと決定して、処理をＳ５０８に進める。
変形例３では、ユーザが注視している時間が長くなると、同一の表示条件、又は非常に類似した表示条件が、繰り返し記憶されてしまう可能性がある。そのため、情報処理装置１００は、無駄な表示条件の記憶を防ぐ処理を行うのが望ましい。例えば、情報処理装置１００は、Ｓ５１１の処理の完了後、一定期間、待機することとしてもよい。これにより、情報処理装置１００は、無駄な表示条件を記憶することを抑制することができる。
以上、変形例３の処理により、情報処理装置１００は、ユーザが実際に注視した際の表示状況に対応する表示条件を記憶することで、よりユーザが重視する表示条件を記憶することができる。
＜変形例４＞
類似パターンを多く含む閲覧データを閲覧している場合、拡大縮小や移動等の表示条件の変更が繰り返されると、ユーザは、閲覧データのどの範囲まで閲覧したか見失いやすい。例えば、コンクリート構造物の壁面画像点検では、画像の一部を拡大表示させて、コンクリート壁面に遍在するひび割れ等の変状を確認する。ユーザは、この確認作業を、表示範囲を変更しながら閲覧データ全体にわたって網羅的に行うこととなる。しかし、コンクリート壁面は、類似した模様を多く含むため、拡大縮小や座標移動等の表示条件の変更を繰り返すと、ユーザが閲覧データ中のどの範囲まで閲覧したか見失いやすい。
変形例４では、このような用途における操作を支援する処理を行う。
変形例４の情報処理装置１００のハードウェア構成、及び機能構成は、実施形態１と同様である。
図１３を用いて、変形例４の処理の一例について説明する。図１３（ａ）に示すコンクリート壁面の画像である画像１３１０は、変形例４の閲覧データの一例である。
表示データ作成部１０３は、閲覧データを、一定サイズで区分する。区分サイズは、例えば、８００×６００画素等、閲覧しやすいサイズとして、予め定められたサイズである。
図１３（ａ）には、閲覧データである画像１３１０と、画像１３１０を区分するグリッド１３２０と、が示されている。画像１３１０の中央部の区分された４つの領域を、それぞれ領域１３３１、１３３２、１３３３、１３３４とする。
表示データ作成部１０３は、画像１３１０である閲覧データについての表示画像を、ウインドウ１２０内に表示する。図１３（ｂ）の状況は、ウインドウ１２０に、画像１３１０の中央部が表示されている状況である。図１３（ｂ）の例では、ウインドウ１２０に、領域１３３１、１３３２、１３３３、１３３４、グリッド１３２０の一部が表示されている。
情報処理装置１００は、ウインドウ１２０の表示内容に基づいて、領域１３３１、１３３２、１３３３、１３３４の何れかを選択する。情報処理装置１００は、例えば、表示面積が最大の領域を選択する。図１３（ｂ）の例では、領域１３３３が選択される。
その後、情報処理装置１００は、選択した領域１３３３から、復帰先の候補となる表示状態に対応する表示条件を取得し、記憶する処理を行う。図１３（ｃ）には、一覧１３０に領域１３３３を表示する表示状態への復帰の指示に用いられるオブジェクト１３５１が含まれている様子が示される。この場合、オブジェクト１３５１が選択されると、情報処理装置１００は、オブジェクト１３５１に対応する表示条件を用いて、領域１３３３を示す表示画像を表示部１５５に表示する。
続いて、表示条件の変更操作により、注目領域が変更された場合の処理について説明する。ここで、図１３（ｃ）の状態から、平行移動が行われたとする。図１３（ｅ）の状況は、図１３（ｃ）から、注目領域を右方向へ移動させた際の状況である。図１３（ｅ）の例では、ウインドウ１２０に、領域１３３１、１３３２、１３３３、１３３４、グリッド１３２０の一部が表示されている。この際に、情報処理装置１００は、表示面積が最大の領域である領域１３３４を選択する。情報処理装置１００は、選択した領域１３３４から、復帰先の候補となる表示状態に対応する表示条件を取得し、記憶する。そして、情報処理装置１００は、一覧１３０に領域１３３４を表示する表示状態への復帰の指示に用いられるオブジェクト１３５２を含ませる。図１３（ｅ）には、オブジェクト１３５２が一覧１３０に含まれている状況が示されている。
変形例４の処理の詳細について説明する。変形例４の処理は、実施形態１と比べて、閲覧データが類似パターンの頻出する画像データである点と、図５における、Ｓ５０３～Ｓ５０６の処理と、が異なる。以下では、変形例４の処理のうち、実施形態１と異なる点について説明する。
Ｓ５０３において、表示条件設定部１０４は、表示部１５５に表示されている表示画像に基づいて、閲覧データに予め設定された複数の領域のうち、この表示画像に含まれてい１つ以上の領域を特定する。そして、表示条件設定部１０４は、特定した１つ以上の領域それぞれについて、その領域を表示するための表示条件を特定する。表示条件設定部１０４は、特定した１つ以上の表示条件それぞれを、その表示画像に対応する候補表示条件として取得する。
Ｓ５０４において、決定部１０５は、Ｓ５０３で取得された１つ以上の候補表示条件それぞれについて、表示部１５５に表示されている表示画像に含まれている表示条件に対応する領域の面積を特定する。決定部１０５は、この１つ以上の表示条件それぞれについて特定した１つ以上の面積を、この１つ以上の表示条件それぞれについての決定指標として取得する。
Ｓ５０５において、決定部１０５は、Ｓ５０４で特定した１つ以上の決定指標のうち、最大のものを特定し、特定した決定指標に対応する候補表示条件を記憶することを決定する。ただし、他の例として、決定部１０５は、Ｓ５０４で特定した１つ以上の決定指標のうち、最大のものから予め定められた２つ以上の個数の決定指標を特定し、特定した決定指標それぞれに対応する候補表示条件を記憶することを決定してもよい。そして、決定部１０５は、処理をＳ５０６に進める。
Ｓ５０６において、表示条件管理部１０６は、Ｓ５０５で記憶することが決定された候補表示条件を、補助記憶装置１５３に記憶する。これにより、情報処理装置１００は、Ｓ５０６で記憶された表示条件に対応するオブジェクトを、一覧１３０内に表示できるようになる。
以上のように、情報処理装置１００は、ユーザが閲覧している表示画像内で主要な部分を占める領域を表示するための表示条件を記憶することとした。一覧１３０には、この領域を表示するための表示条件に対応するオブジェクトが表示されることとなる。これにより、情報処理装置１００は、一覧１３０に記憶されたオブジェクトの選択に応じて、ユーザが閲覧していた注目領域に近い領域の表示を再現することができる。
複数の領域をまたぐ長いひび割れを確認するような場合、次々と注目領域が変更となるため、ユーザ戻りたい画面位置に対応するオブジェクトが一覧１３０に埋もれてしまう可能性がある。そのような場合に対応して、情報処理装置１００は、ユーザの操作内容に合わせて表示条件の記憶処理を制御することとしてもよい。例えば、情報処理装置１００は、一定倍率以上拡大表示しながら平行移動した場合には表示条件の記憶処理しないようにする。このようにすることで、拡大表示してひび割れを詳細に確認している最中は一覧１３０の内容が更新されなくなる。情報処理装置１００は、拡大表示前に記憶したオブジェクトそのまま表示することで、ユーザが戻りたい表示状態に復帰しやすくできる。
以上、変形例４の処理により、情報処理装置１００は、閲覧データに類似するパターンが頻出する場合であっても、適切な表示条件を記憶して、記憶した表示条件に対応するオブジェクトを一覧１３０に表示し、ユーザに提示できる。これにより、閲覧データ中の類似パターンの多寡によらず、特定の表示画面に復帰できるようになるため、ユーザは、どの範囲まで閲覧したのか見失いにくくなる。
＜変形例５＞
変形例５では、閲覧データが三次元データである場合について説明する。
閲覧データが三次元データの場合、三次元座標を変化させながら、閲覧データの閲覧作業が行われる。変形例５では、閲覧データは、医療画像診断に用いられるＣＴスキャン等の医療診断装置により取得された三次元データであるとする。
変形例５の処理は、実施形態１と比べて、閲覧データが三次元データである点と、Ｓ５０４の処理と、が異なる。実施形態１と異なる点について説明する。
図１４を用いて、変形例５の処理の概要を説明する。
図１４（ａ）の状況は、閲覧データである患者の血管の三次元データの一部の領域である血管領域１４００が切り出され、ボクセルデータとして表示部１５５に表示されている状況である。
図１４（ａ）の表示状態を、記憶済表示条件に基づく表示とする。図１４の例では、注目領域は、血管領域１４００を示すボクセルのうち、斜線で示す表面のボクセル１４０１の領域である。三次元データの閲覧では、視点を変更しながら、閲覧作業が行われる。
例えば、図１４（ａ）から、閲覧データに対する視点を９０度回転させたときの状況を、図１４（ｂ）に示す。図１４（ｂ）における注目領域は、図１４（ａ）の場合とは異なり、ボクセル１４０２である。ここで、図１４（ｃ）の状況、別の視点から血管領域１４００が表示された状態を示す。図１４（ｃ）上の枠１４１０、１４１１は、それぞれ、図１４（ａ）と図１４（ｂ）とにおける視点を示す。ボクセル１４０１とボクセル１４０２とのオーバーラップ部分は、図１４（ｃ）におけるボクセル１４０３の領域である。ここで、図１４（ｂ）の表示画像から取得された表示条件を、候補表示条件とする。ボクセル１４０１をＳ1とし、ボクセル１４０２をＳとすれば、式１、２を用いて、ボクセルのオーバーラップの度合を示すコンテンツ変化量Ｃを求めることができる。
変形例５のＳ５０４の処理の詳細を説明する。
変形例５のＳ５０４の処理は、決定部１０５が、記憶済表示条件で表示される表示画像に含まれる閲覧データのボクセルをＳ1とし、候補表示条件で表示される表示画像に含まれる閲覧データのボクセルをＳとして、用いる点で、実施形態１と異なる。他の点については、実施形態１と同様である。
以上、変形例５の処理により、情報処理装置１００は、閲覧データが３次元データである場合でも、ユーザからの指示を受けることなく、復帰候補となる表示状態に対応する表示条件を記憶することができる。したがって、情報処理装置１００は、ユーザの負荷を低減することができる。
＜その他の実施形態＞
実施形態１とその変形例の情報処理装置１００は、検査対象物を撮影した画像確認作業において、ひび割れやキズ等の変状の確認、室内の監視等の場合に有効に適用されることとした。ただし、例えば、工場等で製品の画像からキズ等の欠陥を確認する作業（外観検査）や、病院等で人体の撮影画像から病変を確認する作業（医療診断）等に、適用されることとしてもよい。
また、実施形態１とその変形例では、情報処理装置１００は、１名のユーザがデータを閲覧しているときに取得可能な情報に基づいて、復帰候補となる表示状態に対応する表示条件を記憶することとした。ただし、情報処理装置１００は、例えば、複数のユーザがデータを閲覧しているときに、多くのユーザが閲覧している画面の表示状態を記憶するようにしてもよい。また、情報処理装置１００は、データの閲覧に不慣れなユーザがデータを閲覧している場合、重要性の低い画面の表示状態を多く記憶することになる恐れがある。そのような場合、情報処理装置１００は、ユーザのスキルセットに応じて、表示状態の記憶判定処理を変更してもよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態、及び変形例を任意に組み合わせる等してもよい。
１００ 情報処理装置
１５１ ＣＰＵ

Claims (17)

  1. 表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有し、
    前記指標取得手段は、前記条件取得手段により取得された前記表示条件と予め定められた他の表示条件とに基づく、前記閲覧データの表示内容の変化量を示すコンテンツ変化量と、前記条件取得手段により取得された前記表示条件と前記他の表示条件とに基づく、前記条件取得手段により取得された前記表示条件の前記他の表示条件に対する変化の度合を示す条件変化量と、のいずれかを指標として取得する
    情報処理装置。
  2. 前記記憶制御手段により記憶された前記表示条件に基づいて、前記表示条件での前記閲覧データの前記表示部への表示の指示に用いられるオブジェクトを、前記表示部に表示する表示制御手段を更に有する請求項１に記載の情報処理装置。
  3. 前記表示制御手段は、前記オブジェクトを前記閲覧データに重畳して前記表示部に表示する請求項２に記載の情報処理装置。
  4. 前記指標取得手段は、前記条件取得手段により取得された前記表示条件で前記表示部に表示される前記閲覧データの表示画像に基づいて、前記指標を取得する請求項１乃至３の何れか１項に記載の情報処理装置。
  5. 前記指標取得手段は、前記条件取得手段により取得された前記表示条件で前記表示部に表示される前記閲覧データの表示画像と、前記他の表示条件で前記表示部に表示される前記閲覧データの表示画像と、に基づいて、前記指標を取得する請求項４に記載の情報処理装置。
  6. 前記指標取得手段は、前記表示条件と、予め定められた他の表示条件と、に基づいて、前記指標を取得する請求項１乃至３の何れか１項に記載の情報処理装置。
  7. 前記指標取得手段は、前記表示条件が示す注目領域の位置、及び、前記表示条件が示す表示倍率と、前記他の表示条件が示す注目領域の位置、及び、前記他の表示条件が示す表示倍率と、に基づいて、前記指標を取得する請求項６に記載の情報処理装置。
  8. 前記条件取得手段は、表示部に表示された閲覧データの表示画像に対応する１つ以上の表示条件を取得し、
    前記指標取得手段は、前記条件取得手段により取得された前記１つ以上の前記表示条件それぞれについて、前記表示画像における前記表示条件での表示により前記表示部に表示される前記閲覧データの領域の面積に基づいて、前記指標を取得し、
    前記決定手段は、前記指標取得手段により前記１つ以上の前記表示条件それぞれについて取得された１つ以上の前記指標に基づいて、前記１つ以上の前記表示条件それぞれを記憶するか否かを決定する決定手段と、
    前記記憶制御手段は、前記１つ以上の前記表示条件のうち前記決定手段により記憶することが決定された前記表示条件を前記記憶部に記憶する請求項１乃至３の何れか１項に記載の情報処理装置。
  9. 情報処理装置が実行する情報処理方法であって、
    表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得ステップと、
    前記条件取得ステップにより取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得ステップと、
    前記指標取得ステップで取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定ステップと、
    前記決定ステップで前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御ステップと、
    を含み、
    前記指標取得ステップは、前記条件取得ステップにおいて取得された前記表示条件とあらかじめ定められた他の表示条件とに基づく、前記閲覧データの表示内容の変化量を示すコンテンツ変化量と、前記条件取得ステップにおいて取得された前記表示条件と前記他の表示条件とに基づく、前記条件取得ステップにおいて取得された前記表示条件の前記他の表示条件に対する変化の度合を示す条件変化量と、のいずれかを指標として取得する
    情報処理方法。
  10. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。
  11. 表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有し、
    前記指標取得手段は、前記条件取得手段により取得された前記表示条件で前記表示部に表示される前記閲覧データの表示画像と、予め定められた他の表示条件で前記表示部に表示される前記閲覧データの表示画像と、の重複の度合に基づいて、前記指標を取得する
    情報処理装置。
  12. 表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有し、
    前記指標取得手段は、前記条件取得手段により取得された前記表示条件で前記表示部に表示される前記閲覧データの表示画像の輝度値と、予め定められた他の表示条件で前記表示部に表示される前記閲覧データの表示画像の輝度値と、に基づいて、前記指標を取得する
    情報処理装置。
  13. 前記閲覧データは、時系列データであり、
    前記指標取得手段は、前記条件取得手段により取得された前記表示条件で前記表示部に表示される前記閲覧データの表示画像の輝度値と、前記他の表示条件で前記表示部に表示される前記閲覧データの領域の輝度値と、前記表示条件が示す前記閲覧データにおける時刻と、前記他の表示条件が示す前記閲覧データにおける時刻と、に基づいて、前記指標を取得する請求項１２に記載の情報処理装置。
  14. 表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有し、
    前記閲覧データは、三次元データであり、
    前記指標取得手段は、前記表示条件で前記表示部に表示される前記閲覧データの表示画
    像に含まれるボクセルと、予め定められた他の表示条件で前記表示部に表示される前記閲覧データの表示画像に含まれるボクセルと、に基づいて、前記指標を取得する
    情報処理装置。
  15. 表示部に表示されたコンクリート構造物の壁面を撮影した画像に基づく閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有する情報処理装置。
  16. 表示部に表示された閲覧データの表示画像に対応する表示条件を取得する条件取得手段と、
    前記条件取得手段により取得された前記表示条件を記憶するか否かの決定に用いられる指標を取得する指標取得手段と、
    前記指標取得手段により取得された前記指標に基づいて、前記表示条件を記憶するか否かを決定する決定手段と、
    前記決定手段により前記表示条件を記憶することが決定された場合、前記表示条件を記憶部に記憶する記憶制御手段と、
    を有し、
    前記指標取得手段は、前記表示部を閲覧するユーザの注視点位置に基づいて前記指標を取得する
    情報処理装置。
  17. 前記指標取得手段は、前記ユーザの注視点位置が停留している期間に基づいて、前記指標を取得する請求項１６に記載の情報処理装置。
JP2019026581A 2019-02-18 2019-02-18 情報処理装置、情報処理方法及びプログラム Active JP7282541B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019026581A JP7282541B2 (ja) 2019-02-18 2019-02-18 情報処理装置、情報処理方法及びプログラム
US16/783,048 US11408831B2 (en) 2019-02-18 2020-02-05 Information processing apparatus, information processing method, and recording medium
CN202010098832.7A CN111586328B (zh) 2019-02-18 2020-02-18 信息处理装置、信息处理方法和记录介质
US17/683,147 US11927540B2 (en) 2019-02-18 2022-02-28 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019026581A JP7282541B2 (ja) 2019-02-18 2019-02-18 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020135291A JP2020135291A (ja) 2020-08-31
JP7282541B2 true JP7282541B2 (ja) 2023-05-29

Family

ID=72040601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019026581A Active JP7282541B2 (ja) 2019-02-18 2019-02-18 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (2) US11408831B2 (ja)
JP (1) JP7282541B2 (ja)
CN (1) CN111586328B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022083601A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像受信装置、画像送信装置、方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183346A (ja) 2001-10-15 2002-06-28 Kokusai Kogyo Co Ltd 壁面の画像・損傷・修復情報登録管理システム
JP2002274218A (ja) 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP2007264752A (ja) 2006-03-27 2007-10-11 Brother Ind Ltd 表示制御装置及び表示プログラム
JP2011076381A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 画像表示装置、方法およびプログラム
JP2012115554A (ja) 2010-12-02 2012-06-21 Olympus Corp 内視鏡画像処理装置及びプログラム
JP2012212340A (ja) 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP2012230528A (ja) 2011-04-26 2012-11-22 Canon Inc 画像処理装置および画像処理装置の制御方法
JP2013101609A (ja) 2012-10-30 2013-05-23 Casio Comput Co Ltd クライアント装置およびクライアント制御プログラム
WO2016147576A1 (ja) 2015-03-13 2016-09-22 パナソニックＩｐマネジメント株式会社 電子機器及びその制御方法
US20170322706A1 (en) 2013-06-28 2017-11-09 Rakuten, Inc. Display system, display method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5129459B2 (ja) * 2006-04-25 2013-01-30 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP4914378B2 (ja) * 2008-01-22 2012-04-11 キヤノン株式会社 情報処理装置及び方法、プログラム、記憶媒体
JP5617233B2 (ja) 2009-11-30 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP6099479B2 (ja) 2013-05-21 2017-03-22 大成建設株式会社 ひび割れ検出方法
JP2015172836A (ja) * 2014-03-11 2015-10-01 キヤノン株式会社 表示制御装置及び表示制御方法
JP6986214B2 (ja) * 2017-03-13 2021-12-22 株式会社リコー 表示システム及び表示装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274218A (ja) 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP2002183346A (ja) 2001-10-15 2002-06-28 Kokusai Kogyo Co Ltd 壁面の画像・損傷・修復情報登録管理システム
JP2007264752A (ja) 2006-03-27 2007-10-11 Brother Ind Ltd 表示制御装置及び表示プログラム
JP2011076381A (ja) 2009-09-30 2011-04-14 Fujifilm Corp 画像表示装置、方法およびプログラム
JP2012115554A (ja) 2010-12-02 2012-06-21 Olympus Corp 内視鏡画像処理装置及びプログラム
JP2012212340A (ja) 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP2012230528A (ja) 2011-04-26 2012-11-22 Canon Inc 画像処理装置および画像処理装置の制御方法
JP2013101609A (ja) 2012-10-30 2013-05-23 Casio Comput Co Ltd クライアント装置およびクライアント制御プログラム
US20170322706A1 (en) 2013-06-28 2017-11-09 Rakuten, Inc. Display system, display method, and program
WO2016147576A1 (ja) 2015-03-13 2016-09-22 パナソニックＩｐマネジメント株式会社 電子機器及びその制御方法

Also Published As

Publication number Publication date
US20220187215A1 (en) 2022-06-16
JP2020135291A (ja) 2020-08-31
US20200264108A1 (en) 2020-08-20
US11408831B2 (en) 2022-08-09
US11927540B2 (en) 2024-03-12
CN111586328B (zh) 2023-08-04
CN111586328A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US11105749B2 (en) Information processing apparatus, information processing method and program
JP2019194562A (ja) 情報処理装置、情報処理方法及びプログラム
WO2010024331A1 (ja) 画像処理装置、及び画像処理方法
US10852939B2 (en) Medical image display apparatus and recording medium
JP2014010098A (ja) 計測装置、計測方法、およびプログラム
JPWO2007141995A1 (ja) 表示処理装置
JP2016224919A (ja) データ閲覧装置、データ閲覧方法、及びプログラム
CN106797429A (zh) 控制装置、对控制装置进行控制的方法和程序
US8917921B2 (en) Image processing apparatus and method with control of image transfer priority
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017099907A (ja) 診断支援装置および診断支援方法
JP2016224173A (ja) 制御装置及び制御方法
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
JP7282541B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2007111123A (ja) 医用画像表示装置
US10324582B2 (en) Medical image display apparatus, method for controlling the same
JP7049220B2 (ja) 画像取得装置および画像取得装置の作動方法
JP2008067915A (ja) 医用画像表示装置
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
JP7020636B2 (ja) 光干渉断層撮影スキャン制御
JP2006304840A (ja) 医用画像表示システム
JP2006026396A (ja) 画像処理装置及び方法、制御プログラム並びに記憶媒体
JP2019188031A (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7005799B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230517

R151 Written notification of patent or utility model registration

Ref document number: 7282541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151