JP7403895B1 - 施術動画のタグ付け装置 - Google Patents

施術動画のタグ付け装置 Download PDF

Info

Publication number
JP7403895B1
JP7403895B1 JP2023078206A JP2023078206A JP7403895B1 JP 7403895 B1 JP7403895 B1 JP 7403895B1 JP 2023078206 A JP2023078206 A JP 2023078206A JP 2023078206 A JP2023078206 A JP 2023078206A JP 7403895 B1 JP7403895 B1 JP 7403895B1
Authority
JP
Japan
Prior art keywords
treatment
video
tag
medical device
treatment video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023078206A
Other languages
English (en)
Inventor
隼一 大谷
Original Assignee
株式会社クオトミー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クオトミー filed Critical 株式会社クオトミー
Priority to JP2023078206A priority Critical patent/JP7403895B1/ja
Application granted granted Critical
Publication of JP7403895B1 publication Critical patent/JP7403895B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】施術画像に、タグを自動的に設けることができる装置を提供する。【解決手段】施術動画が入力される施術動画入力部と、施術動画に含まれる医療機器である使用医療機器を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるタグ設置部と、を有し、タグを設けられた施術動画であるタグ付き施術動画は、タグが設けられた部分から頭出しできるようになる、施術動画のタグ付け装置。【選択図】図1

Description

この発明は、施術動画のタグ付け装置などに関する。
特開2006-43209号公報には、外科手術の動画記録装置が記載されている。この装置は、外科手術の施術行為または器具の名称データを格納し、インデックスタイトル格納部に存在する特定の施術行為または器具を選択指定し、操作タイミングに対応するインデックス画像を記録する。この装置は、外科手術の記録動画を速やかに検索可能な状態で保存可能とする。このため、この装置は、施術動画を検索可能とし、さらにインデックス画像を表示できるので有益である。しかしながら、この装置は、動画をひとつひとつ人が検索可能な状態とする必要がある。このため、この装置は、大量の施術動画を処理できない。
特許第5044069号公報には、医用画像診断装置が記載されている。この装置は、時間スケール上の任意のタイミングで種類の栞データが関連付けられた施術動画を得ることができる。この栞は、動画にアクセスするためのマーカーである。この装置は、人が各動画について栞データを手入力する必要がある。このため、この装置は、大量の施術動画を処理できない。
特開2006-43209号公報 特許第5044069号公報
この発明は、施術動画に自動的にタグを設けることができる装置を提供することを目的とする。
この発明は、施術動画の個人を特定する画像部位を視認できないようにできる装置を提供することを上記とは別の目的とする。
この発明は、基本的には、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができるという知見に基づく。また、この発明は、基本的には、個人を特定する画像部位を、視認できないようにすれば、施術動画をより容易にデータベース化できるため好ましいという知見に基づく。
施術動画のタグ付け装置1は、施術動画入力部3と、タグ設置部5とを有する。施術動画入力部3は、施術動画が装置1に入力されるための要素である。タグ設置部5は、施術動画に含まれる医療機器(「使用医療機器」とよぶ)を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。タグを設けられた施術動画(「タグ付き施術動画」ともよぶ)は、タグが設けられた部分から頭出しできるようになる。
タグ設置部7の好ましい例は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術工程名を用いて、施術動画を実施施術工程に関するタグが設けられた部分から頭出しできる。
タグ設置部7の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加することができるものである。すると、実施施術の術式に関する識別情報を付加した施術動画は、実施施術術式に関する施術術式名を用いて、施術動画を検索できるようなる。
タグ設置部7の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。
施術動画のタグ付け装置1の好ましい例は、人特定部位除去部7をさらに有する。人特定部位7は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。
この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。
この発明によれば、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができる。また、この発明の好ましい態様は、個人を特定する画像部位を、視認できないようにできるので、施術動画をより容易にデータベース化できる。
図1は、施術動画のタグ付け装置を説明するためのブロック図である。 図2は、施術動画に対してタグ付けを行う際の例を示すフローチャートである。 図3は、タグが付与された施術動画の例を示す概念図である。 図4は、施術動画における医療機器部分に医療機器に関する情報へアクセスするための情報が付与された例を示す概念図である。
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
図1は、施術動画のタグ付け装置を説明するためのブロック図である。図1に示されるように、この施術動画のタグ付け装置1は、施術動画入力部3と、タグ設置部5とを有する。この装置1は、人特定部位除去部7をさらに有してもよい。この装置1は、医療機器記憶部11、手情報記憶部13、施術工程記憶部15、施術対象部位記憶部17、施術術式記憶部19、及び人特定部位記憶部21のうちいずれか又は2つ以上をさらに有してもよい。施術動画のタグ付け装置1は、コンピュータにより実装される。つまり、施術動画のタグ付け装置1を構成する各要素は、コンピュータにより実装されればよい。
コンピュータは,入力部,出力部,制御部,演算部及び記憶部を有しており,各要素は,バスなどによって接続され,情報の授受を行うことができるようにされている。例えば,記憶部には,制御プログラムが記憶されていてもよいし,各種情報が記憶されていてもよい。入力部から所定の情報が入力された場合,制御部は,記憶部に記憶される制御プログラムを読み出す。そして,制御部は,適宜記憶部に記憶された情報を読み出し,演算部へ伝える。また,制御部は,適宜入力された情報を演算部へ伝える。演算部は,受け取った各種情報を用いて演算処理を行い,記憶部に記憶する。制御部は,記憶部に記憶された演算結果を読み出して,出力部から出力する。このようにして,各種処理や各工程が実行される。この各種処理を実行するものが,各部や各手段である。コンピュータは,プロセッサを有し,プロセッサが各種機能や各種工程を実現するものであってもよい。コンピュータは,スタンドアロンであってもよい。コンピュータは,機能の一部がサーバと端末に分散されていてもよい。その場合サーバと端末とは,インターネットやイントラネットなどのネットワークにより,情報の授受を行うことができるようにされていることが好ましい。コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令を格納しており、命令は、プロセッサによって実行されると、コンピュータに、各種工程を行わせたり、コンピュータを各種要素として機能させるものであってもよい。コンピュータは、各種教師データを与えて学習モデルを構築し、機械学習により各種演算を実現するようにしてもよい。この場合、コンピュータは、AI(人工知能)の機械学習・深層学習により作成された学習モデルを用いて各種解析や分析を実行してもよい。
コンピュータの記憶部には、例えば、動画を解析する際に利用する解析用モデル(学習済モデル)が記憶されていてもよい。解析用モデルは、手術に使用される医療機器(機器の位置変化を含んでよい)と、医療機器が使用される術式、及び施術工程とを学習したモデルであることが好ましい。なお、解析用モデルは、更に、施術動画に含まれる手又は腕の位置(手又は腕の位置変化を含んでよい)と、手又は腕の位置に対応する術式、及び施術工程とを学習したモデルであってもよい。コンピュータは、手術を撮影した施術動画を解析し、施術動画データに含まれる手術の術式の同定及び施術工程の分類の少なくとも一方を行うことが好ましい。コンピュータは、施術動画から、手術で使用される医療機器と、医療器の位置(位置変化を含んでよい)から工程を分類するようにしてよい。また、コンピュータは、手術で使用される医療機器に加えて、医療機器を扱う手又は腕の位置変化から施術工程を分類するようにしてよい。また、順序を含む施術工程の組み合わせから術式を同定することが可能であるため、コンピュータはは、分類した順序を含む工程の組み合わせに基づいて手術の術式を同定してもよい。この際、順序を含む工程の組み合わせと術式とを対応付けた情報を参照して手術の術式を同定してもよい。このようにコンピュータは、機械学習により各種学習モデルを学習させ、学習させたモデルを用いて、各種処理を行うようにしてもよい。
施術動画のタグ付け装置1は、施術動画の所定カ所から施術動画を視聴できるように頭出しするためのタグを施術動画に付与するための装置である。
施術動画は、手術や施術に関する動画であればよい。手術の例は、外科手術である。施術の例は、エステやマッサージである。
タグは、インデックスや栞などともよばれ、タグが付加された部分から動画を視聴できるようにするために動画に付された情報である。なお、この装置1は、施術動画を、タグを利用して検索できるようにすることが好ましい。例えば、ある施術のある工程で、ある医療機器が用いられる際から動画を視聴できるようになる。タグは、例えば、施術動画においてある医療機器が用いられた際の医療機器名と関連して記憶部に記憶されることが好ましい。そして、施術動画の表示には、タグ部分と合わせて、そのタグと関連して記憶された医療機器の名称が表示されるようにしてもよい。タグを設けた施術動画は、使用医療機器に関する医療機器名を用いて、施術動画を使用医療機器に関するタグが設けられた部分から頭出しできるようになる。
施術動画入力部3は、施術動画が入力される要素である。施術動画のタグ付け装置1は、動画を撮影する撮影部(例えば、カメラやビデオカメラ)と接続されており、施術動画が撮影されると、施術動画のタグ付け装置1に、施術動画が入力されてもよい。また、施術動画のタグ付け装置1に、施術動画に関する動画ファイルが、ドラックアンドドロップにぃより、入力されてもよい。さらに、施術動画のタグ付け装置1がインターネット上の施術動画を検索し、ヒットした施術動画を自動的に入力するようにしてもよい。このようにして、施術動画のタグ付け装置1に、施術動画が入力される。
タグ設置部5は、施術動画に含まれる医療機器である使用医療機器を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。この装置1は、医療機器記憶部11をさらに有する。医療機器記憶部11は、医療機器の名称、及び医療機器の画像データを関連付けて記憶する。医療機器記憶部11は、さらに医療機器のIDを記憶してもよい。タグ設置部5は、例えば、各種医療機器に関する画像データを機械学習し、医療機器に関する学習モデルを作成して、記憶部に記憶しておいてもよい。そして、タグ設置部5は、医療機器に関する学習モデルを用いて、施術動画に含まれる医療機器を解析してもよい。タグ設置部5は、例えば、各種施術工程や各種施術に関する動画データを機械学習し、各種施術工程や各種施術に関する学習モデルを作成し、記憶部に記憶しておいてもよい。そして、タグ設置部5は、各種施術工程や各種施術に関する学習モデルを用いて、施術動画における各施術工程や、施術動画に関する実施施術を分析してもよい。
タグ設置部5は、例えば、記憶部から施術動画に含まれる画像(施術画像)を読み出すとともに、医療機器記憶部11から医療機器の画像データを読み出す。そして、タグ設置部5は、施術画像と、第1の医療機器の画像データとを照合する。タグ設置部5は、施術画像に第1の医療機器の画像データが含まれると判断した場合は、第1の医療機器を使用医療機器と判断する。タグ設置部5による施術画像と第1の医療機器の画像データとを用いた照合処理の結果、タグ設置部5が施術画像に第1の医療機器が含まれないと判断した場合、タグ設置部5は、医療機器記憶部11から次の医療機器である第2の医療機器の画像データを読み出す。そして、タグ設置部5は、この施術画像と医療機器の画像データとの照合処理を、繰り返す。このようにすることで、タグ設置部5は、施術動画に含まれる画像における医療機器を特定できる。つまり、タグ設置部5は、施術動画における、あるタイミングで使用された医療機器を特定できる。
タグ設置部5の好ましい例は、施術動画(施術画像)に含まれる施術者の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。例えば、施術動画には、施術に使用されていない医療機器が含まれている場合がある。この例では、そのような場合であっても、施術に実際に使用されている医療機器に関してタグを設けることができる。この例では、施術動画のタグ付け装置1が、手情報記憶部13を有していてもよい。すると、タグ設置部5は、例えば、記憶部から施術動画に含まれる画像(施術画像)を読み出すとともに、手情報記憶部13から手の画像データを読み出す。そして、タグ設置部5は、施術画像と、手の画像データとを照合する。このようにすれば、施術動画に含まれる画像(施術画像)における施術者の手を把握できる。そして、施術動画(施術画像)に複数の医療機器が含まれている場合、タグ設置部5は、施術動画(施術画像)のうち施術者の手に近い医療機器を使用医療機器としてもよい。また、手情報記憶部13が、医療機器を把持している状態の手の画像データを記憶する場合、その状態の手に把持されていると分析される医療機器を使用医療機器としてもよい。
タグ設置部5の好ましい例は、施術動画(施術画像)に含まれる施術者の手と助手の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。タグ設置部5は、例えば、記憶部から施術動画に含まれる画像(施術画像)を読み出すとともに、手情報記憶部13から手の画像データを読み出す。そして、タグ設置部5は、施術画像と、手の画像データとを照合する。タグ設置部5は、施術画像に複数の手が含まれる場合、施術画像における手の位置や、施術画像における手の近くの医療機器に関する情報を用いて、いずれの手が施術者の手であるか分析してもよい。例えば、手情報記憶部13には、右手の画像データと、左手の画像データとが記憶されている。そして、タグ設置部5は、右手の画像データと、左手の画像データとを用いて、施術画像に含まれる手が右手のものか左手のものか分析する。そのうえで、例えば、タグ設置部5は、複数の手の組のうち、画像の中央からの距離が小さい組を、施術者の手(の組)と判断すればよい。また、画面の中央からの距離が大きい組を助手の手(の組)と判断すればよい。そして、タグ設置部5は、施術画像に含まれる施術者の手に近いか、又は施術者の手に把持されていると画像解析される医療機器を、施術者が使用する医療機器と分析し、記憶部に記憶してもよい。また、タグ設置部5は、施術画像に含まれる助手の手に近いか、又は助手の手に把持されていると画像解析される医療機器を、助手が使用する医療機器と分析し、記憶部に記憶してもよい。
タグ設置部7の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加することができるものである。すると、実施施術の術式に関する識別情報を付加した施術動画は、実施施術術式に関する施術術式名を用いて、施術動画を検索できるようなる。
施術工程は、施術における各工程を意味する。施術工程の例は、展開(例:腰椎展開)、固定、スクリュー挿入、除圧、椎間板操作、及び閉創である。施術工程は、これらの例に限られず、各種手術や処置における様々な工程であって良い。
タグ設置部5は、例えば、施術動画(施術画像)に含まれる医療機器の種類に基づいて、施術工程を分析してもよい。タグ設置部5は、例えば、施術動画(施術画像)に含まれる医療機器の動きに基づいて、施術工程を分析してもよい。タグ設置部5は、例えば、施術動画(施術画像)に含まれる医療機器と施術対象部位の種類に基づいて、施術工程を分析してもよい。タグ設置部5は、例えば、施術動画(施術画像)に含まれる医療機器のうち、施術者が使用する医療機器と、助手が使用する医療機器に関する情報から、施術工程を分析してもよい。
施術工程記憶部15は、施術工程と、医療機器とを関連付けて記憶する。タグ設置部5は、記憶部から使用医療機器に関する情報を読み出し、施術工程記憶部15から使用医療機器と関連付けて記憶されている施術工程を読み出せばよい。このように、タグ設置部5は、施術工程を分析するために必要な情報を記憶した施術工程記憶部15から、施術工程を分析するために必要な情報を用いて、施術工程を読み出せばよい。例えば、施術工程記憶部15が、施術者が使用する医療機器と、助手が使用する医療機器と関連して、施術工程を記憶しているとする。この場合、タグ設置部5は、記憶部から施術者が使用する医療機器と、助手が使用する医療機器とを読み出して、施術工程記憶部15が、これらの情報と関連して記憶する施術工程を読み出す。読み出した施術工程は、適宜記憶部に記憶されてもよい。
表1は、施術工程記憶部を説明するための概念図である。表1に示されるように、施術工程記憶部15は、施術工程と、医療機器と関連付けて記憶する。また、表1に示されるように、施術工程記憶部15は、施術工程と、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置1は、医療機器に関する情報を用いて、施術工程記憶部15から、実施施術工程を読み出すことができる。例えば、表1の例では、使用医療機器がA1、A2、A3及びA4の場合、実施施術工程として、Aが読み出されてもよい。また、表1の例では、使用医療機器がA1、A2、A3及びA4であり、対象部位がA5の場合、実施施術工程として、Aが読み出されてもよい。
Figure 0007403895000002
施術対象部位記憶部17は、例えば、施術の際の対象部位と、その対象部位の画像とを関連付けて記憶したものである。タグ設置部5は、例えば、施術動画(施術画像)に含まれる画像と、施術対象部位記憶部17に記憶された対象部位の画像とを照合することで、施術動画(施術画像)に含まれる施術対象部位を特定すればよい。施術対象部位の例は、大腿骨、鎖骨、頭蓋骨、大腸、小腸、及び目である。このような照合作業は、機械学習を用いることで、タグ設置部5が行うことができる。
タグ設置部7の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施術式に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術術式名を用いて、施術動画を検索できるようにできる。施術術式記憶部19は、複数の施術工程と関連して施術術式を記憶してもよい。また、施術術式記憶部19は、複数の施術工程及び複数の医療機器と関連して、施術術式を記憶してもよい。タグ設置部7は、施術術式記憶部19から施術動画に関する施術工程及び複数の医療機器に関する情報を読み出して、施術術式記憶部19と照合し、これらの施術工程や医療機器と関連して記憶されている施術術式を読み出せばよい。読み出した施術術式は、施術動画と関連して、記憶部に記憶されればよい。
表2は、施術術式記憶部を説明するための概念図である。表2に示されるように、施術術式記憶部19は、施術術式と、施術工程及び医療機器とを関連付けて記憶する。また、表2に示されるように、施術術式記憶部19は、施術術式と、施術工程、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置1は、必要な情報を用いて、施術術式記憶部19から、実施施術術式を読み出すことができる。例えば、表2の例では、施術工程がB1、B2、B3及びB4であり、使用医療機器がB5、B6、B7及びB8の場合、実施施術術式として、Bが読み出されてもよい。また、表2の例では、施術工程がB1、B2、B3及びB4であり、使用医療機器がB5、B6、B7及びB8であり、対象部位がB9の場合、実施施術術式として、Bが読み出されてもよい。
Figure 0007403895000003
タグ設置部7の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。施術動画のタグ付け装置1は、例えば、記憶部に、医療機器と関連して、医療機器に関する説明文、説明画像、説明資料、ウェブサイトへのアクセス情報(URL)、購入情報を記憶する。そして、施術動画のタグ付け装置1は、施術動画の施術画像において、医療機器部分を把握する。タッチパネルや、マウスによる指示により、医療機器部分が支持された場合、施術動画のタグ付け装置1に、使用医療機器を指示する入力がなされる。すると、施術動画のタグ付け装置1は、記憶部から記憶された使用医療機器に関するリンク情報を読み出し、リンク情報と関連するデータを読み出したり、リンク情報と関連したウェブサイトへアクセスできるようにされる。すると、ユーザの表示部に、使用医療機器に関する情報が表示されることとなる。このようにすれば、例えば、施術動画を視認したユーザが、実際に使用された医療機器の情報を受け取ったり、すぐにその医療機器を購入したりできることとなる。
施術動画のタグ付け装置1の好ましい例は、人特定部位除去部7をさらに有する。人特定部位7は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。人特定部位除去部7をさらに有するため、施術動画(施術画像)に、患者の顔、入れ墨、医療従事者の顔、ネームプレート、病院名、などが含まれている場合に、これをマスクしたり、モザイクをかけたりして、匿名性を担保することができる。このようにすれば、大量の動画を、匿名性を高めたうえで、データベース化できることとなる。人特定部位の例は、患者の顔、入れ墨、医療従事者の顔、ネームプレート、及び病院名である。
例えば、人特定部位除去部7は、過去の施術動画と、施術動画の人特定部位を特定した例、施術動画における人特定部位を視認できないように加工した例を教師データとして、学習モデルを構築し、機械学習する。そして、人特定部位除去部7は、機械学習により得られた学習モデルを用いて、入力された施術動画について、施術動画の人特定部位を特定し、施術動画における人特定部位を視認できないように加工すればよい。施術動画のタグ付け装置1は、加工後の施術動画を適宜記憶部に記憶すればよい。
人特定部位記憶部21は、上記した施術動画の人特定部位を特定するための学習モデルを記憶してもよい。また、人特定部位記憶部21は、人特定部位に関する画像データを記憶してもよい。この場合、人特定部位除去部7は、入力された施術動画(施術画像)について、人特定部位記憶部21に記憶された人特定部位に関する画像データと照合し、入力された施術動画(施術画像)に人特定部位に関する画像部分が含まれている場合、その部分を人特定部位として特定してもよい。そして、人特定部位除去部7は、施術動画(施術画像)に含まれる人特定部位に関する画像部分を、他社が視認できないように画像処理をすればよい。画像処理の例は、モザイクをかける、ブルワー(ぼやかし)処理をする、マスク画像を画像部分に上書きするというものである。
施術動画のタグ付け装置1は、タグ付けした施術動画について、実施施術術式、実施施術工程、使用医療機器、といった情報を含むデータベースを作成し、これらの情報により施術動画を検索可能にしてもよい。このようにすれば、使用医療機器などをインデックス化でき、容易に必要な施術動画を視聴できるようになる。
この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。記録媒体の例は、ハードディスク、CD、CD-ROM、フロッピーディスク、ブルーレイディスク、USBメモリ及びSDカードである。
コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令(プログラム)を格納しており、命令は、プロセッサによって実行されると、コンピュータに、施術動画が入力され、施術動画に含まれる医療機器である使用医療機器を分析させ、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けさせる。また、プログラムは、コンピュータに、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析しさせ、施術動画に実施施術工程に関するタグをさらに設けさせてもよい。さらに、プログラムは、コンピュータに、施術動画の施術術式である実施施術術式を分析させ、施術動画に実施術式に関する識別情報をさらに付加させてもよい。さらに、プログラムは、コンピュータに、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析させ、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工させてもよい。
図2は、施術動画に対してタグ付けを行う際の例を示すフローチャートである。図中Sは、ステップ(工程)を意味する。
動画入力工程(S101)
施術動画入力部3から施術動画のタグ付け装置1に施術動画が入力される。
使用医療機器分析工程(S102)
タグ設置部7は、施術動画に含まれる各施術画像について、医療機器に関する画像部分が含まれるか解析する。この際に、タグ設置部7は、医療機器に関して機械学習した学習モデルを参照してもよい。また、タグ設置部7は、医療機器に関する画像データを用いて、施術画像に医療機器に関する画像データが含まれるか否か解析することで、施術動画に含まれる医療機器の有無を分析してもよい。施術画像に、医療機器が含まれていないと解析した場合は、医療機器が存在しないという情報を施術画像とともに記憶部に記憶してもよい。また、タグ設置部7が、施術画像に、医療機器が含まれていると解析した場合は、施術画像(及び施術画像の施術動画における時間)とともに、使用医療機器の名称など、使用医療機器に関する情報を記憶部に記憶してもよい。
使用医療機器に関するタグ付与工程(S103)
タグ設置部7が、施術動画に、あらたな医療機器が含まれたと判断した場合(施術画像に初めてある医療機器が含まれた場合)、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。具体的には、タグ設置部7が、その施術画像の識別情報とともにタグ関連させて、記憶部に記憶する。タグには、その使用医療機器に関する情報が関連して記憶されてもよい。このようにして、タグ設置部7が、タグを設けられた施術動画(「タグ付き施術動画」とよぶ)を得ることができる。
実施施術工程分析工程(S104)
タグ設置部7は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設ける。この際に、タグ設置部7は、施術工程に関して機械学習した学習モデルを参照してもよい。また、タグ設置部7は、施術動画(施術画像)に含まれる医療機器又は対象部位に関する情報を用いて、施術工程記憶部15や施術対象部位記憶部17に記憶された情報を参照して、施術工程を分析してもよい。
実施施術工程に関するタグ付与工程(S105)
タグ設置部7が、施術動画に、あらたな実施施術工程が含まれたと判断した場合(施術画像に初めてある実施施術工程が含まれた場合)、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。そのタグには、実施施術工程に関する情報が関連して記憶されてもよい。このようにして、タグ設置部7が、実施施術工程に関するタグを設けられた施術動画を得ることができる。
実施施術術式分析工程(S106)
タグ設置部7が、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加する。この際に、タグ設置部7は、施術術式に関して機械学習した学習モデルを参照してもよい。また、タグ設置部7は、実施施術工程に関する情報を用いて、実施施術術式記憶部19に実施施術工程と関連して記憶されている実施施術術式を読み出してもよい。
実施施術術式情報付与工程(S107)
装置1(タグ設置部7)は、施術動画に関連して、実施施術の術式に関する識別情報を施術動画に付加し、記憶部に記憶してもよい。この実施施術の術式に関する識別情報も、検索可能な情報であるので、タグの一種として扱ってもよい。
人特定部位判断工程(S108)
人特定部位除去部7は、機械学習により得られた学習モデルを用いて、入力された施術動画(施術画像)について、施術動画の人特定部位を特定する。人特定部位除去部7が、施術画像に人特定部位が含まれないと判断した場合、人特定部位除去を行わない。一方、人特定部位除去部7が、施術画像に人特定部位が含まれると判断した場合、人特定部位除去を行う。
人特定部位除去工程(S109)
人特定部位除去部7が、施術画像に人特定部位が含まれると判断した場合、施術画像における人特定部位を視認できないように施術画像を加工する。例えば、人特定部位除去部7が、人特定部位をマスク画像にする処理を行えばよい。このようにすれば、施術動画から人特定部位が視認できないように処理されることとなる。
図3は、タグが付与された施術動画の例を示す概念図である。この例では、施術動画の所定のタイミングにおいてタグが表示されている。そして、そのタグをクリック等することで、タグが付された位置から施術動画を閲覧できるようにされている。タグと関連して、使用医療機器が表示されるようにしてもよい。図3の例では、施術工程ごとに代表となる施術画像がサルネイム表示(動画の下部に小さく表示)されている。
図4は、施術動画における医療機器部分に、医療機器に関する情報へアクセスするための情報が付与された例を示す概念図である。
この発明は、医療情報を提供する分野において利用されうる。
1 施術動画のタグ付け装置
3 施術動画入力部
5 タグ設置部
7 人特定部位除去部
11 医療機器記憶部
13 手情報記憶部
15 施術工程記憶部
17 施術対象部位記憶部
19 実施施術術式記憶部
21 人特定部位記憶部


Claims (6)

  1. 施術動画が入力される施術動画入力部と、
    前記施術動画に含まれる医療機器である使用医療機器を分析し、前記使用医療機器に基づいて前記施術動画に前記使用医療機器に関するタグを設けるタグ設置部と、
    を有し、
    前記タグを設けられた施術動画であるタグ付き施術動画は、前記タグが設けられた部分から頭出しできるようになり、
    前記タグ設置部は、前記施術動画における前記使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができる、
    施術動画のタグ付け装置。
  2. 請求項1に記載の装置であって、
    前記施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、前記施術動画に人特定部位が含まれている場合、前記人特定部位を視認できないように前記施術動画を加工する、人特定部位除去部をさらに有する、装置。
  3. 請求項1に記載の装置であって、
    前記タグ設置部は、前記施術動画に基づいて、前記施術動画の施術工程である実施施術工程を分析し、前記施術動画に前記実施施術工程に関するタグをさらに設けることができる、
    装置。
  4. 請求項1に記載の装置であって、
    前記タグ設置部は、前記施術動画に基づいて、前記施術動画の施術術式である実施施術術式を分析し、前記施術動画に前記実施施術術式に関する識別情報をさらに付加することができる、
    装置。
  5. コンピュータを、
    施術動画が入力される施術動画入力部と、
    前記施術動画に含まれる医療機器である使用医療機器を分析し、前記使用医療機器に基づいて前記施術動画に前記使用医療機器に関するタグを設けるタグ設置部と、
    を有し、
    前記タグを設けられた施術動画であるタグ付き施術動画は、前記タグが設けられた部分から頭出しできるようになり、
    前記タグ設置部は、前記施術動画における前記使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができる、
    施術動画のタグ付け装置として機能させるためのプログラム。
  6. 請求項5に記載のプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体。
JP2023078206A 2023-05-10 2023-05-10 施術動画のタグ付け装置 Active JP7403895B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023078206A JP7403895B1 (ja) 2023-05-10 2023-05-10 施術動画のタグ付け装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023078206A JP7403895B1 (ja) 2023-05-10 2023-05-10 施術動画のタグ付け装置

Publications (1)

Publication Number Publication Date
JP7403895B1 true JP7403895B1 (ja) 2023-12-25

Family

ID=89307941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023078206A Active JP7403895B1 (ja) 2023-05-10 2023-05-10 施術動画のタグ付け装置

Country Status (1)

Country Link
JP (1) JP7403895B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
JP2009291308A (ja) 2008-06-03 2009-12-17 Fujifilm Corp 医療機器管理システム
JP2014178458A (ja) 2013-03-14 2014-09-25 Fujifilm Corp 携帯型医療画像表示装置
WO2020039593A1 (ja) 2018-08-24 2020-02-27 オリンパス株式会社 画像記録再生装置及び内視鏡システム
JP2022520701A (ja) 2019-02-21 2022-04-01 シアター・インコーポレイテッド 手術ビデオの解析のためのシステム及び方法
WO2023002661A1 (ja) 2021-07-21 2023-01-26 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
JP2009291308A (ja) 2008-06-03 2009-12-17 Fujifilm Corp 医療機器管理システム
JP2014178458A (ja) 2013-03-14 2014-09-25 Fujifilm Corp 携帯型医療画像表示装置
WO2020039593A1 (ja) 2018-08-24 2020-02-27 オリンパス株式会社 画像記録再生装置及び内視鏡システム
JP2022520701A (ja) 2019-02-21 2022-04-01 シアター・インコーポレイテッド 手術ビデオの解析のためのシステム及び方法
WO2023002661A1 (ja) 2021-07-21 2023-01-26 ソニーグループ株式会社 情報処理システム、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
KR20190100011A (ko) 수술영상을 이용한 수술정보 제공 방법 및 장치
Castner et al. Scanpath comparison in medical image reading skills of dental students: distinguishing stages of expertise development
Jannin et al. Surgical models for computer-assisted neurosurgery
O'Sullivan et al. Operational framework and training standard requirements for AI‐empowered robotic surgery
JP7380557B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
Gholinejad et al. Surgical process modelling strategies: which method to choose for determining workflow?
Schoeb et al. Use of artificial intelligence for medical literature search: randomized controlled trial using the Hackathon format
CN111771244A (zh) 针对手术结果的反馈提供方法以及程序
WO2017151904A1 (en) Methods and systems for anatomical image registration
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
JP7403895B1 (ja) 施術動画のタグ付け装置
JP6473124B2 (ja) 読影訓練支援装置、読影訓練支援方法および読影訓練支援プログラム
Kim et al. Crowdsourcing annotation of surgical instruments in videos of cataract surgery
Kulkarni et al. Scene-dependent, feedforward eye gaze metrics can differentiate technical skill levels of trainees in laparoscopic surgery
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20200381120A1 (en) Implant identification
CN114171145A (zh) 一种富媒体手术记录单生成***和方法
JP6431274B2 (ja) 診療支援システム
US20210193310A1 (en) Platform for handling of medical devices associated with a medical device kit
KR20190133424A (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
Yokoyama et al. Recognition of instrument passing and group attention for understanding intraoperative state of surgical team
Kellermann et al. Improved spine surgery and intervention with virtual training and augmented reality
Javaid et al. Computer Vision to Enhance Healthcare Domain: An Overview of Features, Implementation, and Opportunities
Codex Predictive Evaluation Methods in Microsurgery for Brain Aneurysms: Advancements in Neuroimaging and Virtual Reality Simulation Technology
JP2024046524A (ja) 関連図作成支援システム、支援方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7403895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150