JP7409370B2

JP7409370B2 - 映像処理装置および映像処理方法

Info

Publication number: JP7409370B2
Application number: JP2021509041A
Authority: JP
Inventors: 智之江守
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2019-03-27
Filing date: 2020-03-13
Publication date: 2024-01-09
Anticipated expiration: 2040-03-13
Also published as: EP3934233A4; US11902692B2; EP3934233A1; EP3934233B1; JPWO2020195925A1; US20220232146A1; WO2020195925A1

Description

本開示は、映像処理装置および映像処理方法に関し、特に、各担当者の事前準備を容易にする映像処理装置および映像処理方法に関する。

映画やドラマ、ＣＭ（Commercial Message）などの映像コンテンツは、事前に準備されたシナリオに基づいて制作されるのが一般的であり、そのシナリオに従って複数回の撮影（テイク）が行われる。撮影現場では、映像コンテンツによっては数十名から１００名を超える多数の撮影スタッフが撮影に関わることがある。

撮影現場においては、撮影スタッフ間でシナリオが十分に共有されていない場合や、リハーサル撮影の度にシナリオが更新される場合がある。このような場合、全ての撮影スタッフが次のシーンを十分に理解できていないことから、互いの機材の操作タイミングが合わず、シーンの撮り直しを行うこともある。

これに対して、撮影スタッフ同士が無線音声通信により次のシーンに向けてどのような準備を行うかを口頭で伝え合ったり、各撮影スタッフがカメラから出力される映像を確認しながら次のシーンを予測することで次のシーンに備えることが行われている。

また、特許文献１には、リハーサルモードにおいて撮影装置の動きを記憶し、再現撮影モードにおいて撮影を行う際に、記憶された撮影装置の動きに基づいて、その動かし方を案内する記号を表示する技術が開示されている。

特開２０１４－１１２７５９号公報

シナリオが単純な場合を除いて、次のシーンがどのようなシーンであるかを表す情報があらかじめモニタに表示されていれば、撮影スタッフの事前準備は容易になる。

しかしながら、特許文献１には、カメラ担当スタッフ以外の、マイクロフォン（マイク）を扱う音声スタッフや、照明機器を操作する照明スタッフなど、撮影現場の担当者毎に必要な情報を提示することは開示されていない。

本開示は、このような状況に鑑みてなされたものであり、各担当者の事前準備を容易にすることができるようにするものである。

本開示の映像処理装置は、現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する提示制御部を備える映像処理装置である。

本開示の映像処理方法は、映像処理装置が、現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する映像処理方法である。

本開示においては、現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示される。

本開示に係る技術を適用した映像処理システムの例を示す図である。撮影スタッフの事前準備の例について説明する図である。カメラの機能構成例を示すブロック図である。事前情報生成処理の流れについて説明するフローチャートである。事前情報の生成の例を示す図である。事前情報提示処理の流れについて説明するフローチャートである。事前情報の提示の例を示す図である。メタデータの解析の例を示す図である。本開示に係る技術のユースケースについて説明する図である。本開示に係る技術のユースケースについて説明する図である。表示装置の機能構成例を示すブロック図である。各撮影スタッフの表示装置に表示される事前情報に説明する図である。撮影現場の例を示す図である。撮影現場における事前情報の提示例を示す図である。撮影スタッフ毎の事前準備の例を示す図である。手術室システムの全体構成を概略的に示す図である。集中操作パネルにおける操作画面の表示例を示す図である。手術室システムが適用された手術の様子の一例を示す図である。図１８に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．本開示に係る技術の概要
２．映像処理装置の構成と動作
３．ユースケース
４．撮影現場における事前情報の提示例
５．効果
６．応用例

＜１．本開示に係る技術の概要＞
図１は、本開示に係る技術（本技術）を適用した映像処理システムの例を示す図である。

図１のカメラ１０は、映画やドラマ、ＣＭなどの映像コンテンツの制作のための撮影を行う。カメラ１０は、メモリ１１を備えており、本番撮影の前に行われたリハーサル撮影において撮影されたリハーサル映像が保存された記録メディア２０から、そのリハーサル映像がメモリ１１に読み込まれる。

また、カメラ１０は、本番撮影において現在撮影されている本番映像ＰＶをＳＤＩ（Serial Digital Interface）に対応した各出力系統に出力する。図１の例では、音声スタッフＨ１、照明スタッフＨ２、・・・、そして監督Ｈ３それぞれが確認するモニタに本番映像ＰＶが表示されている。

本番撮影では、リハーサル映像とほぼ同じ条件や設定で撮影が行われるが、演者や撮影スタッフ同士の間の動作に微妙なずれが生じることで、本番撮影をやり直すことがある。

本番撮影においては、カメラアングル、音声記録用の外部マイクでの音声収録、照明の照射、カメラを載せる雲台やクレーン・ドリーなどの操作、演者の動きなど、それぞれの役割の人が互いの動きを合わせることにより、良質な映像コンテンツが制作される。

本技術の映像処理システムにおいては、各担当者（撮影スタッフおよび演者）が、担当者毎のモニタに提示される事前情報を確認することで、各担当者の事前準備を容易にすることができる。事前情報は、本番映像の出力先に対応する各担当者に、所定時間後のシーンに対する動作を促す情報であり、カメラ１０によって、メモリ１１に読み込まれたリハーサル映像が解析されることで生成される。

具体的には、音声スタッフＨ１が確認するモニタにおいては、カメラ１０から出力される本番映像ＰＶ上に、所定時間後にカメラが右にパンすることを示す事前情報ｄ１が提示されている。また、照明スタッフＨ２が確認するモニタにおいては、カメラ１０から出力される本番映像ＰＶ上に、所定時間後のＦ値を示す事前情報ｄ２が提示されている。

このような事前情報により、各担当者は、所定時間後のシーンに対する動作の事前準備を行うことができる。

なお、監督Ｈ３は、映像自体に集中できればよいことから、監督Ｈ３が確認するモニタに表示される本番映像ＰＶ上には、いずれの事前情報も提示されていない。

図２は、音声スタッフＨ１と照明スタッフＨ２が事前情報を確認することで事前準備を行う例を示す図である。

音声スタッフＨ１は、カメラ内蔵のマイクではなく外部マイクによって音声収録を行う際、外部マイクが本番映像に映り込まないように、常に注意を払う必要がある。

図２に示されるように、時刻ｔ１にカメラが右にパンするシーンがある場合、時刻ｔ０において、音声スタッフＨ１が確認している本番映像ＰＶ０上に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ１１が提示される。

これにより、音声スタッフＨ１は、本番映像の右側に外部マイクが映り込まないようにするための事前準備を行うことができる。

照明スタッフＨ２は、反射板で被写体への光の当たり方を調整したり、照明機器で被写体を照らしたりする。

図２に示されるように、時刻ｔ２に光源ＬＳによって被写体（演者）に強い光が照射されるシーンがある場合、時刻ｔ１において、照明スタッフＨ２が確認している本番映像ＰＶ１上に、アイリスが絞られてＦ値がf/16になることを示す事前情報ｄ１２が提示される。事前情報ｄ１２は、図中下方向を時間軸方向としたＦ値の変化を表すグラフとして示され、グラフ曲線上の白丸が現在のＦ値を表し、黒丸が時刻ｔ３におけるＦ値（＝f/16）を表している。

これにより、照明スタッフＨ２は、アイリスが絞られることで被写体の顔の輝度が低くなることを避けるために、反射板で被写体の顔に光が当たるようにするための事前準備を行うことができる。

なお、図２の例において、本番映像ＰＶ０，ＰＶ１，ＰＶ２の右端には、今後のシーンを代表する複数枚の代表フレーム画像ＲＩが提示されている。代表フレーム画像ＲＩは、リハーサル映像から抽出された特定のフレーム画像である。代表フレーム画像ＲＩは、例えば、シーンチェンジが発生したり、被写体に大きな動きがあるタイミングのフレーム画像であってもよいし、所定数フレーム毎のフレーム画像であってもよい。図２の例では、複数枚の代表フレーム画像ＲＩが提示されているが、提示される代表フレーム画像ＲＩは１枚のみであってもよい。

以下においては、上述した事前情報の提示を実現する本技術の映像処理装置の構成と動作について説明する。

＜２．映像処理装置の構成と動作＞
（ブロック構成）
図３は、本技術の映像処理装置としてのカメラ１０の機能構成例を示すブロック図である。

図３のカメラ１０は、メモリ１１、撮像部１２、映像処理部１３、出力部１４、事前情報生成部１５、メタデータ生成部１６、提示制御部１７、重畳部１８、および記録部１９を備えている。

メモリ１１は、記録メディア２０に保存されている、あらかじめ撮影されて記録された記録映像（リハーサル映像）の映像データＤ２１とそのメタデータＤ２２を読み込んで保存する。リハーサル映像において、メタデータＤ２２は、映像データＤ２１とともにフレーム毎に記録されるが、メモリ１１には、映像データＤ２１とメタデータＤ２２とは別個に保存される。メタデータＤ２２には、リハーサル映像に関する時間情報やカメラパラメータ、カメラの姿勢情報、カメラの位置情報、音声情報などが含まれる。

撮像部１２は、ズームレンズやアイリスなどの光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサなどの固体撮像素子から構成される。撮像部１２は、被写体を撮像することで撮影映像（本番映像）を取得し、その撮影映像を表すアナログの映像信号を映像処理部１３に供給する。

映像処理部１３は、撮像部１２からの映像信号をデジタル変換し、ゲインや輝度、色温度などを調整する所定の映像処理を行うことで映像データを生成し、出力部１４に供給する。

出力部１４は、映像処理部１３からの映像データを、ＳＤＩ出力，ＬＣＤ（Liquid Crystal Display）モニタ用出力、ビューファインダ用出力、ストリーミング出力などの出力系統毎のフォーマットに変換して、それぞれの出力先となる表示装置に出力する。

事前情報生成部１５は、メモリ１１に保存されているリハーサル映像の映像データＤ２１とメタデータＤ２２に基づいて、図１や図２を参照して説明したような事前情報を生成する。また、事前情報生成部１５は、メモリ１１に保存されているリハーサル映像の映像データＤ２１とメタデータＤ２２に基づいて、生成された事前情報を提示する提示タイミングを求める。生成された事前情報は、映像データＤ２１とメタデータＤ２２、および、提示タイミングを示す情報とともに、提示制御部１７に供給される。

メタデータ生成部１６は、映像処理部１３によって生成された本番映像の映像データに対応するメタデータを生成する。メタデータには、本番映像に関する時間情報やカメラパラメータ、カメラ１０の姿勢情報、カメラ１０の位置情報などが含まれる。生成されたメタデータは、映像処理部１３からの映像データとともに、提示制御部１７に供給される。

提示制御部１７は、リハーサル映像と本番映像を比較することで、事前情報の提示を制御する。

具体的には、提示制御部１７は、事前情報生成部１５からのリハーサル映像の映像データＤ２１およびメタデータＤ２２と、メタデータ生成部１６からの本番映像の映像データおよびメタデータとを比較する。提示制御部１７は、リハーサル映像と本番映像の比較の結果、上述した提示タイミングで、事前情報が、本番映像の出力先（出力系統）に応じた態様で提示されるように、事前情報の提示を制御する。より詳細には、提示制御部１７は、重畳部１８を制御することで、出力部１４から出力される出力系統毎の映像（映像データ）への事前情報の重畳を制御する。

重畳部１８は、提示制御部１７の制御に基づいて、上述した提示タイミングで提示されるように、出力部１４から出力される出力系統毎の映像に、事前情報を重畳する。

記録部１９は、例えば、磁気テープやハードディスクなどの記録媒体で構成される。記録部１９には、出力部１４から出力される映像が記録される。出力部１４から出力される映像は、カメラ１０が備えるスロットに挿入される記録メディア２０に記録されてもよい。

以上のような構成により、カメラ１０は、リハーサル映像に基づいて事前情報を生成し、適切なタイミングで、本番映像上に事前情報を提示することができる。以下では、上述した構成を備えるカメラ１０の動作について説明する。

（事前情報生成処理の流れ）
まず、図４のフローチャートを参照して、カメラ１０による事前情報生成処理の流れについて説明する。図４の処理は、記録メディア２０に保存されているリハーサル映像がメモリ１１に読み込まれた後、例えばユーザの操作により事前情報の生成が指示されることで開始される。

ステップＳ１１において、事前情報生成部１５は、メモリ１１に保存されているリハーサル映像の映像データＤ２１から、メタデータＤ２２を抽出する。

ステップＳ１２において、事前情報生成部１５は、メモリ１１に保存されているリハーサル映像の映像データＤ２１から、演技開始シーンのタイムコードを検出する。タイムコードは、リハーサル映像全体における各フレーム画像の時間的な位置を示す時間情報である。

演技開始シーンは、リハーサル映像において特定のカットの始まりとなるシーンである。演技開始シーンは、例えば、リハーサル映像において、監督の「アクション」という発声が検出されたシーンや、音の鳴る拍子木部分とショット情報を記載するボード部分からなるカチンコによる演技開始の指示が、映像または音声として検出されたシーンとされる。

ステップＳ１３において、事前情報生成部１５は、演技開始シーン以降のリハーサル映像の映像データＤ２１とメタデータＤ２２を解析する。ここでは、少なくとも、演技開始シーン以降のリハーサル映像のメタデータＤ２２が解析されればよく、リハーサル映像の映像データＤ２１は必ずしも解析されなくてもよい。

映像データＤ２１とメタデータＤ２２の解析により、メタデータＤ２２の変化が検知されると、ステップＳ１４において、事前情報生成部１５は、演技開始シーンを基準としたメタデータ変化シーンのタイムコードを検出する。

ステップＳ１５において、事前情報生成部１５は、変化したメタデータに基づいて、メタデータ変化シーンについての事前情報を生成する。事前情報は、本番映像の出力先に対応するユーザに、メタデータ変化シーンにおける本番映像のメタデータの変化を提示する情報である。事前情報は、数字を含む文字や記号、および図形の少なくともいずれかを含む表示情報として、本番映像が出力される出力系統毎に生成される。

そして、ステップＳ１６において、事前情報生成部１５は、事前情報の提示タイミングを求める。

例えば、図５に示されるように、リハーサル映像において、演技開始シーンＲＶ１０を基準とした時刻ｔ１２においてカメラが右にパンする場合、時刻ｔ１２のシーンが、メタデータ変化シーンＲＶ１２に特定される。

このメタデータ変化シーンＲＶ１２は、例えばリハーサル映像のメタデータのうちのジャイロ情報が解析されることで特定される。これに限らず、例えばリハーサル映像自体の動き解析の解析結果に基づいて、メタデータ変化シーンＲＶ１２が特定されてもよい。

メタデータ変化シーンＲＶ１２が特定されると、その時刻ｔ１２より前の時刻ｔ１１に提示される事前情報が生成される。

図５の例では、時刻ｔ１２においてカメラが右にパンすることを示す事前情報ｄ５１が生成されるが、事前情報ｄ５１の他にも、本番映像の出力先となるモニタを確認するユーザに応じた態様の事前情報が生成される。

また、事前情報の提示タイミングとなる時刻ｔ１１は、メタデータ変化シーンＲＶ１２の時刻ｔ１２から時間Ｔａだけ遡ることで求められる。時間Ｔａの長さは、あらかじめ設定された時間長とするが、本番映像の出力先となるモニタを確認するユーザ毎に異なる時間長に設定されてもよい。すなわち、事前情報の提示タイミングとなる時刻ｔ１１は、本番映像の出力先毎に異なるタイミングに設定されてもよい。

以上のような処理により、事前情報が生成されるとともに、その提示情報の本番映像における提示タイミングが求められる。

なお、撮影現場においては、複数テイクのリハーサル撮影が行われることがある。この場合、事前情報の生成には、直前のテイクのリハーサル撮影において撮影されたリハーサル映像が用いられてもよいし、メニュー画面において、どのテイクのリハーサル映像を用いるかが選択されるようにしてもよい。

（事前情報提示処理の流れ）
次に、図６のフローチャートを参照して、カメラ１０による事前情報提示処理の流れについて説明する。図６の処理は、本番映像の撮影が開始されることで開始される。本番映像の撮影が開始されると、メタデータ生成部１６は、映像処理部１３によって生成された本番映像の映像データに対応するメタデータの生成を開始し、本番映像のフレーム画像とともに提示制御部１７に供給する。

ステップＳ３１において、提示制御部１７は、事前情報生成部１５から、事前情報とその提示タイミングを示す情報を、リハーサル映像の映像データおよびメタデータとともに取得する。

ステップＳ３２において、提示制御部１７は、メタデータ生成部１６からの本番映像において、演技開始シーンが検出されたか否かを判定する。ステップＳ３２の処理は、本番映像において演技開始シーンが検出されたと判定されるまで繰り返される。

そして、本番映像において演技開始シーンが検出されたと判定されると、処理はステップＳ３３に進む。

ステップＳ３３において、提示制御部１７は、本番映像とリハーサル映像を比較する。具体的には、提示制御部１７は、本番映像の演技開始シーン以降の各フレーム画像のメタデータと、リハーサル映像の演技開始シーン以降の各フレーム画像のメタデータの比較を開始する。

ここでは、少なくとも、本番映像の演技開始シーン以降の各フレーム画像のタイムコードと、リハーサル映像の演技開始シーン以降の各フレーム画像のタイムコードが比較される。これにより、本番映像において、リハーサル映像の各シーンに対応するシーンを特定することができる。

また、タイムコード以外にも、本番映像とリハーサル映像それぞれの各フレーム画像のメタデータとして、カメラパラメータ、カメラの姿勢情報、カメラの位置情報、音声情報などが比較されてもよい。

さらに、本番映像とリハーサル映像それぞれの各フレーム画像のメタデータに加え、本番映像とリハーサル映像それぞれの各フレーム画像（映像データ）同士が比較されてもよい。これにより、本番映像において、リハーサル映像の各シーンに対応するシーンを、より確実に特定することができる。

本番映像とリハーサル映像が比較される中、ステップＳ３４において、提示制御部１７は、事前情報の提示タイミングであるか否かを判定する。事前情報の提示タイミングであると判定されるまで、本番映像とリハーサル映像の比較（ステップＳ３３の処理）は繰り返される。

そして、事前情報の提示タイミングであると判定されると、処理はステップＳ３５に進む。

ステップＳ３５において、提示制御部１７は、重畳部１８を制御することで、出力部１４から出力される出力系統毎の映像に、事前情報を重畳する。

その後、ステップＳ３６において、撮影終了指示があったか否かが判定される。撮影終了指示があったと判定されると、図６の処理は終了する。

例えば、図７に示されるように、本番映像において、リハーサル映像の演技開始シーンＲＶ１０に対応する演技開始シーンＰＶ１０が検出されると、本番映像とリハーサル映像の比較が開始される。

演技開始シーンＰＶ１０を基準として、事前情報の提示タイミングとなる時刻ｔ１１になると、本番映像における時刻ｔ１１のシーンＰＶ１１に、時刻ｔ１２においてカメラが右にパンすることを示す事前情報ｄ５１が重畳表示される。

その後、本番映像において、時刻ｔ１２のシーンＰＶ１２で、カメラが右にパンし、演技が終了する。

上述した例では、リハーサル映像のジャイロ情報が解析されることで、本番映像の右側に外部マイクが映り込まないようにする事前準備を行うための事前情報が生成されるものとした。これに限らず、リハーサル映像の各種のメタデータが解析されることで、様々な事前準備を行うための事前情報が生成されるようにもできる。

図８は、メタデータの解析の例を示す図である。

例えば、リハーサル映像のカメラパラメータの一つであるＦ値を解析することで、明るさ、被写界深度、フォーカス合わせが分かることから、反射板や外部照明の調節のタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つであるフォーカスポジションを解析することで、合焦度、手前または奥にピントがあっているか否かが分かることから、人や車、物体が動くタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つであるレンズのズーム倍率を解析することで、画角の変化、広角か望遠かが分かることから、近く／遠くの物体または人が動き出すタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つである電子ズーム倍率を解析することで、画角の変化、広角か望遠かが分かることから、近く／遠くの物体または人が動き出すタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つである色温度を解析することで、色温度はもちろん、屋内／屋外、天候が分かることから、舞台照明、屋内／屋外の光源の切り替えタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つであるＫｎｅｅポイントやＫｎｅｅスロープを解析することで、高輝度部分の画（え）の見え方が分かることから、反射板や外部照明の調節のタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つであるゲインを解析することで、ゲイン設定（明暗、ノイズ感）が分かることから、反射板や外部照明の調節のタイミングを確認するための事前情報を生成することができる。

リハーサル映像のカメラパラメータの一つであるＮＤフィルタやＣＣフィルタの使用有無を解析することで、フィルタ濃度（明暗、色温度）が分かることから、反射板や外部照明の調節のタイミングを確認するための事前情報を生成することができる。

リハーサル映像の時間情報の一つであるタイムコードや時刻を解析することで、現在の撮影時刻と事前情報を表示する時刻との差分を提示するための事前情報を生成することができる。

リハーサル映像の音声情報を解析することで、音声レベルが分かることから、音を入れる、または、音を抜くタイミングを確認するための事前情報を生成することができる。

リハーサル映像撮影時のカメラの位置情報の一つであるＧＰＳ（Global Positioning System）情報を解析することで、撮影位置が分かることから、撮影の邪魔にならないようにするための事前情報や、これから撮影しようとする被写体の準備をするための事前情報を生成することができる。

上述したように、リハーサル映像撮影時のカメラの姿勢情報の一つであるジャイロ情報を解析することで、撮影方向が分かることから、撮影の邪魔にならないようにするための事前情報や、これから撮影しようとする被写体の準備をするための事前情報を生成することができる。

リハーサル映像の顔情報を解析することで、顔の有無、顔の位置、性別、人種が分かることから、演者が映るタイミングや演者が映らなくなるタイミングを確認するための事前情報を生成することができる。

このようにして生成された様々な事前準備を行うための事前情報が、本番映像において演技開始シーンが検出されたことをトリガとして、本番映像の出力先に応じた態様で提示される。すなわち、以上の処理によれば、撮影現場における各担当者の事前準備を容易にすることが可能となる。

＜３．ユースケース＞
本技術を適用した映像処理システムのユースケースについて説明する。

（ユースケース１）
図９に示されるカメラ１０Ａは、映画の制作のための撮影を行う。一般的に、映画制作用のカメラは、ビューファインダ（ＶＦ）用出力やＬＣＤモニタ用出力、本線ＳＤＩ出力やモニタ用ＳＤＩ出力など複数の出力系統への出力が可能であるが、各出力系統のモニタは、異なる担当の撮影スタッフが確認することが多い。

図９の例では、カメラアシスタントＨ１１－１，Ｈ１１－２が、ＶＦやＬＣＤモニタに出力される本番映像ＰＶ３１を確認し、照明スタッフＨ１２が、ＳＤＩモニタに出力される本番映像ＰＶ３１を確認している。また、監督Ｈ１３は、本線系のＳＤＩモニタに表示される本番映像ＰＶ３１を確認している。

カメラアシスタントＨ１１－１，Ｈ１１－２が確認している本番映像ＰＶ３１には、所定時間後にカメラが右にパンすることを示す事前情報ｄ３１が重畳されている。これにより、カメラアシスタントＨ１１－１，Ｈ１１－２は、所定時間後にカメラを右にパンさせるための事前準備を行うことができる。

照明スタッフＨ１２が確認している本番映像ＰＶ３１にも、所定時間後にカメラが右にパンすることを示す事前情報ｄ３１が重畳されている。これにより、照明スタッフＨ１２は、所定時間後にカメラが右にパンすることに対する動作の事前準備を行うことができる。なお、照明スタッフＨ１２が確認している本番映像ＰＶ３１の右端には、今後のシーンを代表する代表フレーム画像ＲＩ３１が重畳されている。

監督Ｈ１３が確認している本番映像ＰＶ３１には、いずれの事前情報も重畳されていない。これにより、監督Ｈ１３は、撮影されている本番映像自体に集中することができる。

（ユースケース２）
図１０に示されるカメラ１０Ｂもまた、映画の制作のための撮影を行う。

図１０の例では、図９と同様に、カメラアシスタントＨ１１－１，Ｈ１１－２が、ＶＦやＬＣＤモニタに出力される本番映像ＰＶ３１を確認し、監督Ｈ１３は、本線系のＳＤＩモニタに表示される本番映像ＰＶ３１を確認している。また、図１０の例では、撮影監督Ｈ２１が、ＳＤＩモニタに出力される本番映像ＰＶ３１を確認している。

撮影監督Ｈ２１が確認している本番映像ＰＶ３１には、所定時間後にカメラを右にパンすることを示す事前情報ｄ３１が重畳されている。これにより、撮影監督Ｈ２１は、所定時間後にカメラを右にパンさせるための事前準備を行うことができる。

これに加え、図１０の例では、撮影現場の各撮影スタッフＨ３０が所持する小型の表示装置のモニタに、本番映像ＰＶ３１がワイヤレスでストリーミング出力されている。本番映像ＰＶ３１は、ハブを介して複数の表示装置にストリーミング出力される。

表示装置のモニタには、本番映像ＰＶ３１の他、各撮影スタッフＨ３０の担当毎のボタンｂ１，ｂ２，ｂ３，ｂ４が表示されている。ボタンｂ１は、音声スタッフのためのボタンであり、ボタンｂ２は、照明スタッフのためのボタンである。また、ボタンｂ３は、演者のためのボタンであり、ボタンｂ４は、クレーン・ドリー操作担当のためのボタンである。

各撮影スタッフＨ３０は、表示装置のモニタにおいて、自分の担当のボタンを選択することで、自身の事前準備に必要な事前情報を確認することができる。

ここで、図１１を参照して、各撮影スタッフＨ３０が所持する表示装置の構成について説明する。

図１１に示される表示装置１１０は、例えばタブレット端末やスマートフォンなどの携帯端末として構成される。

表示装置１１０は、Ｉ／Ｆ部１１１、入力部１１２、提示制御部１１３、およびモニタ１１４を備えている。

Ｉ／Ｆ部１１１は、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの無線通信規格に適応した通信を行う無線インタフェースである。Ｉ／Ｆ部１１１は、カメラ１０からストリーミング出力される本番映像を受信し、提示制御部１１３に供給する。

なお、表示装置１１０には、出力系統それぞれに応じた態様の事前情報が全て重畳された本番映像がストリーミング出力される。

入力部１１２は、モニタ１１４とともにタッチパネルを構成し、そのタッチパネルに対するユーザの操作を受け付ける。例えば、入力部１１２は、モニタ１１４に表示されたボタンｂ１，ｂ２，ｂ３，ｂ４のいずれかの選択操作を受け付け、その操作内容を表す操作信号を提示制御部１１３に供給する。

提示制御部１１３は、入力部１１２からの操作信号に基づいて、事前情報が出力先に応じた態様で提示されるように、事前情報の提示を制御する。具体的には、提示制御部１１３は、モニタ１１４に表示されたボタンを選択するユーザの選択操作に応じて、選択されたボタンに対応する出力系統に応じた態様の事前情報が重畳された本番映像をモニタ１１４に表示させる。

より詳細には、提示制御部１１３は、出力系統それぞれに応じた態様の事前情報が全て重畳された本番映像から、選択されたボタンに対応する出力系統に応じた態様の事前情報以外の事前情報を削除して、モニタ１１４に提示させる。

モニタ１１４は、入力部１１２とともにタッチパネルを構成し、提示制御部１１３の制御に基づいて、選択されたボタンに対応する出力系統に応じた態様の事前情報が重畳された本番映像を表示する。

図１２は、各撮影スタッフＨ３０の表示装置１１０に表示される本番映像について説明する図である。

図１２のＡには、音声スタッフＨ３１が所持する表示装置１１０に表示される本番映像ＰＶ３１が示されている。音声スタッフＨ３１は、表示装置１１０のモニタ１１４に表示されるボタンｂ１を選択することで、所定時間後にカメラが右にパンすることを示す事前情報ｄ３１が重畳された本番映像ＰＶ３１を確認することができる。これにより、音声スタッフＨ３１は、所定時間後に本番映像の右側に外部マイクが映り込まないようにするための事前準備を行うことができる。

図１２のＢには、照明スタッフＨ３２が所持する表示装置１１０に表示される本番映像ＰＶ３１が示されている。照明スタッフＨ３２は、表示装置１１０のモニタ１１４に表示されるボタンｂ２を選択することで、所定時間後にＦ値がf/16になることを示す事前情報ｄ３２が重畳された本番映像ＰＶ３１を確認することができる。これにより、照明スタッフＨ３２は、所定時間後に反射板で被写体の顔に光が当たるようにするための事前準備を行うことができる。

図１２のＣには、演者Ｈ３３が所持する表示装置１１０に表示される本番映像ＰＶ３１が示されている。演者Ｈ３３は、表示装置１１０のモニタ１１４に表示されるボタンｂ３を選択することで、所定時間後に演者Ｈ３３の身体や顔が映る位置を示す事前情報ｄ３３が重畳された本番映像ＰＶ３１を確認することができる。これにより、演者Ｈ３３は、所定時間後に正しい立ち位置で演じるための事前準備を行うことができる。

図１２のＤには、クレーン・ドリー操作担当Ｈ３４が所持する表示装置１１０に表示される本番映像ＰＶ３１が示されている。クレーン・ドリー操作担当は、表示装置１１０のモニタ１１４に表示されるボタンｂ４を選択することで、所定時間後にカメラが右にパンすることを示す事前情報ｄ３１が重畳された本番映像ＰＶ３１を確認することができる。これにより、クレーン・ドリー操作担当は、所定時間後にカメラを右にパンさせるための事前準備を行うことができる。

以上の構成により、各撮影スタッフＨ３０は、表示装置１１０のモニタ１１４において、自分の担当のボタンを選択することで、事前情報を、自身の事前準備に必要な事前情報に切り替えて確認することが可能となる。

なお、上述した説明では、カメラ１０から、各出力系統全ての事前情報が重畳されてストリーミング出力されるものとしたが、本番映像と、各出力系統全ての事前情報とが別個にストリーミング出力されてもよい。この場合、提示制御部１１３は、各出力系統全ての事前情報から、選択されたボタンに対応する出力系統に応じた態様の事前情報を選択し、本番映像に重畳するようになる。

＜４．撮影現場における事前情報の提示例＞
図１３は、撮影現場の例を示す図である。

図１３に示されるように、映画やドラマ、ＣＭなどの映像コンテンツの制作のための撮影を行う撮影現場では、多くの撮影スタッフが制作に関わっている。

図１３の例では、監督を始めとして、撮影監督、プロデューサー、カメラマン、カメラアシスタント、音声スタッフ、照明スタッフ、クレーン・ドリー操作担当、撮影シーンの様子や内容を管理するスクリプターが、撮影スタッフとして撮影現場にいる。これら撮影スタッフの他には、撮影の被写体となる複数の演者はもちろん、映像コンテンツ制作のスポンサーの担当者なども撮影現場にいる。

撮影現場にいる各撮影スタッフや演者は、カメラ１０から複数のモニタそれぞれに出力される映像を確認することができる。

図１３の例では、照明スタッフは、モニタ２１０Ａに出力される映像を確認し、音声スタッフは、モニタ２１０Ｂに出力される映像を確認し、カメラマンは、モニタ２１０Ｃに出力される映像を確認している。また、フォーカスプラー（フォーカス管理担当）のカメラアシスタント＃１は、モニタ２１０Ｄに出力される映像を確認し、レンズ管理担当のカメラアシスタント＃２は、モニタ２１０Ｅに出力される映像を確認し、待機中の演者は、モニタ２１０Ｆに出力される映像を確認している。そして、撮影監督は、モニタ２１０Ｇに出力される映像を確認し、待機中の他の演者、スクリプター、スポンサーの担当者は、モニタ２１０Ｈに出力される映像を確認し、監督は、モニタ２１０Ｉに出力される映像を確認している。

撮影現場にいる各担当者は、それぞれの役割が異なることから、映像において着目する観点も異なる。各担当者が確認するモニタに、適切な事前情報が提示されることで、各担当者は、失敗が許されない本番撮影において、事前準備を間違いなく効率的に行うことができる。

図１４は、図１３に示される撮影現場の各モニタ２１０Ａ乃至２１０Ｈにおける事前情報の提示例を示す図である。各モニタ２１０Ａ乃至２１０Ｈには、それぞれ本番映像の同一シーンが表示されるものとする。

照明スタッフが確認するモニタ２１０Ａには、一定時間後に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ２１１と、Ｆ値がf/16になることを示す事前情報ｄ２１２が提示される。これにより、照明スタッフは、反射板や照明機器を操作するための事前準備を行うことができる。

音声スタッフが確認するモニタ２１０Ｂには、一定時間後に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ２１１と、一定時間後の音声レベルを示す事前情報ｄ２１３が提示される。事前情報ｄ２１３は、図中下方向を時間軸方向とした音声レベルの変化を表すグラフとして示され、グラフ曲線上の白丸が現在の音声レベルを表し、黒丸が一定時間後の音声レベルを表している。これにより、音声スタッフは、外部マイクが映り込まないようにしつつ、音声レベルを適切に調節するための事前準備を行うことができる。

カメラマンが確認するモニタ２１０Ｃには、一定時間後に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ２１１と、画面内の特定の範囲がズーム表示されることを示す矩形枠状の事前情報ｄ２１４が提示される。この場合、一定時間後に、事前情報ｄ２１４で囲まれる範囲の映像が、モニタ２１０Ｃ全体に表示されることになる。これにより、カメラマンは、カメラ１０のズーム操作を行うための事前準備を行うことができる。

カメラアシスタント＃１が確認するモニタ２１０Ｄには、一定時間後に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ２１１と、画面内の特定の範囲がズーム表示されることを示す矩形枠状の事前情報ｄ２１４が提示される。これにより、フォーカスプラーのカメラアシスタント＃１もまた、カメラマンと同様、カメラ１０のズーム操作を行うための事前準備を行うことができる。

カメラアシスタント＃２が確認するモニタ２１０Ｅには、一定時間後に、カメラが右にパンすることを示す右矢印形状の事前情報ｄ２１１が提示される。これにより、レンズ管理担当のカメラアシスタント＃２は、カメラ１０のレンズを適切なレンズに交換するための事前準備を行うことができる。

待機中の演者が確認するモニタ２１０Ｆには、一定時間後に、演者の身体や顔が映る位置を示す事前情報ｄ２１５が提示される。これにより、待機中の演者は、一定時間後に、正しい立ち位置で演じるための事前準備を行うことができる。

撮影監督が確認するモニタ２１０Ｇには、いずれの事前情報も提示されない。これにより、撮影監督は、カメラワークや照明の配置、映像の構図など、撮影作業全体の確認に集中することができる。

待機中の他の演者、スクリプター、スポンサーの担当者が確認するモニタ２１０Ｈには、一定時間後に、演者の身体や顔が映る位置を示す事前情報ｄ２１５が重畳された本番映像が映る画面と、一定時間後までのシーンを代表する複数枚の代表フレーム画像ＲＩ２１０が表示される。これにより、待機中の演者は、一定時間後に、正しい立ち位置で演じるための事前準備を行うことができ、スクリプターは、一定時間後までのシーンの移り変わりを確認することができる。

監督が確認するモニタ２１０Ｉには、本番映像のみが映る画面と、一定時間後までのシーンを代表する複数枚の代表フレーム画像ＲＩ２１０が表示される。監督は、演者の立ち位置を頭の中でイメージすることができるので、モニタ２１０Ｉには、モニタ２１０Ｈのように事前情報ｄ２１５は提示されない。

ここで、図１５を参照して、上述したような撮影スタッフ（演者を含む）毎に提示される事前情報の生成に用いられるメタデータと、各撮影スタッフがその事前情報に基づいて行うことができる事前準備を例示する。

図１４の例では、撮影監督が確認するモニタには事前情報が提示されないものとしたが、Ｆ値、輝度、パン／チルトの撮影方向に基づいて生成される事前情報が提示されてもよい。この場合、撮影監督は、レンズのアイリス、ゲインを変えるタイミングを確認したり、カメラの撮影方向を変えるタイミングを確認することができる。

カメラマンが確認するモニタには、ＧＰＳ情報、ジャイロ情報、レンズズームの倍率、電子ズームの倍率に基づいて生成される事前情報が提示されるようにする。これにより、カメラマンは、カメラをパン／チルトするタイミングを確認したり、レンズズーム、電子ズームを操作するタイミングを確認することができる。

フォーカスプラーやモニタなどの機材の移動を担当するカメラアシスタント＃１が確認するモニタには、フォーカスポジション、ＧＰＳ情報、ジャイロ情報、レンズズームの倍率、電子ズームの倍率に基づいて生成される事前情報が提示されるようにする。これにより、カメラアシスタント＃１は、カメラをパン／チルトするタイミングを確認したり、レンズズーム、電子ズームを操作するタイミングを確認することができる他、カメラの位置を変えるタイミングを確認したり、フォーカスを変えるタイミングを確認することができる。

レンズ交換、撮影条件メモ、モニタ移動、撮影メディア管理を担当するカメラアシスタント＃２が確認するモニタには、ＧＰＳ情報、ジャイロ情報、レンズズームの倍率、電子ズームの倍率に基づいて生成される事前情報が提示されるようにする。これにより、カメラアシスタント＃２は、カメラをパン／チルトするタイミングを確認したり、レンズズーム、電子ズームを操作するタイミングを確認することができる他、カメラの位置を変えるタイミングを確認することができる。

ケーブル、バッテリ、各種アダプタなどのカメラ機材を管理するカメラ機材担当が確認するモニタには、ＧＰＳ情報、ジャイロ情報に基づいて生成される事前情報が提示されるようにする。これにより、カメラ機材担当は、カメラをパン／チルトするタイミングを確認したり、カメラの位置を変えるタイミングを確認することができる。

スクリプターが確認するモニタには、顔情報に基づいて生成される事前情報が提示されるようにする。これにより、スクリプターは、各カットのつながりを事前に確認することができる。

音声スタッフが確認するモニタには、音情報、パン／チルトの撮影方向に基づいて生成される事前情報が提示されるようにする。これにより、音声スタッフは、外付けマイクが映像に映らないようにするタイミングを確認することができる。

演者が確認するモニタには、ジャイロ情報、ＧＰＳ情報、顔情報、ズーム倍率に基づいて生成される事前情報が提示されるようにする。これにより、演者は、映像に映るタイミング、または、映らなくなるタイミングを確認することができる。

クレーン・ドリー操作担当が確認するモニタには、ジャイロ情報、ＧＰＳ情報、顔情報、ズーム倍率に基づいて生成される事前情報が提示されるようにする。これにより、クレーン・ドリー操作担当は、クレーンやドリーを移動するタイミングを確認することができる。

照明スタッフが確認するモニタには、Ｆ値、輝度、色温度に基づいて生成される事前情報が提示されるようにする。これにより、照明スタッフは、反射板や外部照明を操作するタイミングを確認することができる。

セリフ指導のスタッフが確認するモニタには、音声、顔情報に基づいて生成される事前情報が提示されるようにする。これにより、セリフ指導のスタッフは、演者に対してセリフ指導を行うタイミングを確認することができる。

小道具・美術スタッフが確認するモニタには、ＧＰＳ情報、ジャイロ情報に基づいて生成される事前情報が提示されるようにする。これにより、小道具・美術スタッフは、被写体となる小道具や撮影用セットを移動するタイミングを確認することができる。

＜５．効果＞
映画やドラマ、ＣＭなどの映像コンテンツの制作において、監督は、次のシーンをどのようなカメラワークで撮影するかのイメージを頭の中に描いている。一方、それ以外の撮影スタッフであるカメラアシスタント、音声スタッフ、照明スタッフなどは、監督による口頭の指示を聞いたり、ラフスケッチや文章で書かれたシナリオを見たり、撮影中の映像をモニタで見ているだけでは分からないことが多い。本技術によれば、監督以外の撮影スタッフが、次のシーンに向けてどのような事前準備をすればよいかを判断することが容易になる。

例えば、音声スタッフは、カメラ内蔵のマイクとは別の外部マイクを演者に近づけて音声収録を行う際、外部マイクが本番映像に映り込まないように、外部マイクの位置や音声スタッフ自身の立ち位置に気を配る必要がある。このような場合、一定時間後にカメラがパンするかチルトするか、ズームが望遠側になるか広角側になるかを、音声スタッフが事前情報により確認しておくことで、外部マイクが本番映像に映りこまないように、事前準備をしておくことが容易になる。

また、照明スタッフは、反射板を用いて演者の顔に反射光が当たるようにしたり、照明機器を用いて被写体に光が当たるように調節をしたりする。シーンによっては光の当て方が異なるので、一定時間後のカメラアングル、演者の立ち位置、明るさの変化などを、照明スタッフが事前情報により確認しておくことで、反射板の位置や照明機器の操作の事前準備をしておくことが容易になる。

クレーンやドリーは、大型の機材で重量もあるため、クレーン・ドリー操作担当は、複数人でこれらクレーンやドリーを移動させる場合がある。このような場合、一定時間後のシーンでどのような画角で撮影が行われるかを、クレーン・ドリー操作担当が事前情報により確認しておくことで、クレーンやドリーの操作の事前準備をしておくことが容易になる。

また、本番映像をワイヤレスでストリーミング出力し、撮影スタッフそれぞれが所持する複数の小型の表示装置において事前情報を提示することで、撮影スタッフは、それぞれ必要とする事前情報のみを確認することができる。

＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図１６は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１６を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図１６では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図１６では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図１７は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１７では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１７を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図１８は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１６に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１８では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１６に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１８では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１９を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図１９を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本技術は、上述した構成のうち、手術室内の各所に設置される表示装置５１０３Ａ～５１０３Ｄに適用することができる。本技術を、表示装置５１０３Ａ～５１０３Ｄに適用することにより、様々な事前準備を行うための事前情報が、術部画像を確認する術者（表示装置５１０３Ａ～５１０３Ｄそれぞれ）に応じた態様で提示される。

例えば、術部画像における特定のシーンをトリガとして、麻酔医が所持するスマートフォンなどの携帯端末や麻酔医用の表示装置のモニタに、麻酔医が事前準備を行うための事前情報が提示されるようにする。

上述した例は、手術中、麻酔医が終始立ち会う場合や、麻酔医が複数の手術を掛け持ちする場合などに適用することができる。麻酔医が確認するモニタには、事前情報として、手術シーンの情報や手術の残り時間が提示される。また、事前情報として、麻酔器、呼吸器、患者モニタなどのバイタルサインの表示値に基づいて、麻酔医による判断が必要となるタイミングが報知されてもよい。

また、術部画像における特定のシーンをトリガとして、看護師が確認するモニタに、看護師が一定時間経過後の処置を行うための事前情報が提示されるようにしてもよい。

上述した例は、肝がん手術で肝切除を行う場合などに適用することができる。看護師が確認するモニタには、事前情報として、肝臓への血流を例えば１５分間遮断し、５分間解除するなど、血流を遮断／解除するタイミングが提示される。従来、看護師はタイマなどで時間を計測することで、手術中の時間管理を行っていたが、本技術によれば、時間の計測を誤ることなく、正確に時間管理を行うことができる。

さらに、術部画像における特定のシーンをトリガとして、看護師が確認するモニタに、事前情報として、交換が必要な手術器具の種類と、その手術器具を交換するタイミングが提示されるようにしてもよい。例えば、術部画像における特定のシーンをトリガとして、器械出し看護師が確認するモニタに、準備が必要な縫合針や縫合糸についての事前情報が提示されるようにする。縫合針にはあらかじめ縫合糸を通しておく準備が必要となるため、器械出し看護師は、このような事前情報によりスムーズに準備を行うことができる。

同様に、術部画像における特定のシーンをトリガとして、器械出し看護師が確認するモニタに、鉗子、電気メス、ドレーン、ガーゼなど、準備が必要な手術器具や衛生材料についての事前情報が提示されるようにもできる。

また、術部画像における特定のシーンをトリガとして、カメラを操作する術者が確認するモニタに、術式のステップに伴うカメラ操作を行うための事前情報が提示されるようにしてもよい。

上述した例は、術部全体を俯瞰するように撮影しながら、術部周囲の組織を鉗子で把持し、術部の切除や剥離を行う際に、術部をズーム撮影する場合などに適用することができる。例えば、術部画像における特定のシーンをトリガとして、助手が確認するモニタに、術式に合わせて、鉗子、電気メス、ドレーンなどの準備や、腹腔圧の調整についての事前情報が提示されるようにする。スコピストが確認するモニタに、内視鏡のパン・チルト・ズームを指示する事前情報が提示されるようにしてもよい。

本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する提示制御部
を備える映像処理装置。
（２）
前記提示制御部は、前記撮影映像への前記事前情報の重畳を制御する
（１）に記載の映像処理装置。
（３）
前記事前情報は、前記出力先に対応するユーザに、前記第２のシーンに対する動作を促す情報である
（１）または（２）に記載の映像処理装置。
（４）
前記事前情報は、前記ユーザに、前記第２のシーンにおける前記撮影映像のメタデータの変化を提示する情報である
（３）に記載の映像処理装置。
（５）
前記事前情報は、文字、記号、および図形の少なくともいずれかを含む表示情報である
（４）に記載の映像処理装置。
（６）
前記事前情報の提示タイミングは、前記出力先毎に異なるタイミングに設定される
（１）乃至（５）のいずれかに記載の映像処理装置。
（７）
前記撮影映像に対応してあらかじめ撮影された記録映像における前記第１のシーン以降のメタデータに基づいて、前記事前情報を生成する事前情報生成部をさらに備える
（１）乃至（６）のいずれかに記載の映像処理装置。
（８）
前記事前情報生成部は、さらに前記記録映像における前記第１のシーン以降の映像データに基づいて、前記事前情報を生成する
（７）に記載の映像処理装置。
（９）
前記事前情報生成部は、前記記録映像における前記第１のシーン以降のメタデータまたは映像データを解析することで、前記第２のシーンを特定する
（８）に記載の映像処理装置。
（１０）
前記事前情報生成部は、前記記録映像における前記第１のシーン以降に特定された前記第２のシーンの時刻に基づいて、前記提示タイミングを求める
（９）に記載の映像処理装置。
（１１）
前記提示制御部は、前記撮影映像と前記記録映像を比較することで、前記提示タイミングで前記事前情報が提示されるように、前記事前情報の提示を制御する
（１０）に記載の映像処理装置。
（１２）
前記提示制御部は、前記撮影映像における前記第１のシーン以降のメタデータと、前記記録映像における前記第１のシーン以降のメタデータを比較する
（１１）に記載の映像処理装置。
（１３）
前記提示制御部は、前記撮影映像における前記第１のシーン以降のタイムコードと、前記記録映像における前記第１のシーン以降のタイムコードを比較する
（１２）に記載の映像処理装置。
（１４）
前記提示制御部は、前記撮影映像における前記第１のシーン以降の映像データと、前記記録映像における前記第１のシーン以降の映像データをさらに比較する
（１２）または（１３）に記載の映像処理装置。
（１５）
前記メタデータは、時間情報、カメラパラメータ、カメラの姿勢情報、前記カメラの位置、および音声情報の少なくともいずれかを含む
（７）乃至（１４）のいずれかに記載の映像処理装置。
（１６）
前記提示制御部は、前記事前情報に加え、前記出力先に応じて、前記記録映像の前記第１のシーンから前記第２のシーンに含まれる１または複数の代表フレーム画像の提示を制御する
（７）乃至（１５）のいずれかに記載の映像処理装置。
（１７）
前記出力先に応じた態様の前記事前情報を、前記出力先となる表示装置に出力する出力部をさらに備える
（１）乃至（１６）のいずれかに記載の映像処理装置。
（１８）
前記提示制御部は、前記出力先に応じた態様の前記事前情報をモニタに表示する
（１）に記載の映像処理装置。
（１９）
前記提示制御部は、前記出力先を選択するユーザの選択操作に応じて、選択された前記出力先に応じた態様の前記事前情報を前記モニタに表示する
（１８）に記載の映像処理装置。
（２０）
映像処理装置が、
現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する
映像処理方法。

１０カメラ，１１メモリ，１２撮像部，１３映像処理部，１４出力部，１５事前情報生成部，１６メタデータ生成部，１７提示制御部，１８重畳部，１９記録部，１１０表示装置，１１１Ｉ／Ｆ部，１１２入力部，１１３提示制御部，１１４モニタ

Claims

現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する提示制御部
を備える映像処理装置。
前記提示制御部は、前記撮影映像への前記事前情報の重畳を制御する
請求項１に記載の映像処理装置。
前記事前情報は、前記出力先に対応するユーザに、前記第２のシーンに対する動作を促す情報である
請求項１に記載の映像処理装置。
前記事前情報は、前記ユーザに、前記第２のシーンにおける前記撮影映像のメタデータの変化を提示する情報である
請求項３に記載の映像処理装置。
前記事前情報は、文字、記号、および図形の少なくともいずれかを含む表示情報である
請求項４に記載の映像処理装置。
前記事前情報の前記提示タイミングは、前記出力先毎に異なるタイミングに設定される
請求項１に記載の映像処理装置。
前記撮影映像に対応してあらかじめ撮影された記録映像における前記第１のシーン以降のメタデータに基づいて、前記事前情報を生成する事前情報生成部をさらに備える
請求項１に記載の映像処理装置。
前記事前情報生成部は、さらに前記記録映像における前記第１のシーン以降の映像データに基づいて、前記事前情報を生成する
請求項７に記載の映像処理装置。
前記事前情報生成部は、前記記録映像における前記第１のシーン以降のメタデータまたは映像データを解析することで、前記第２のシーンを特定する
請求項８に記載の映像処理装置。
前記事前情報生成部は、前記記録映像における前記第１のシーン以降に特定された前記第２のシーンの時刻に基づいて、前記提示タイミングを求める
請求項９に記載の映像処理装置。
前記提示制御部は、前記撮影映像と前記記録映像を比較することで、前記提示タイミングで前記事前情報が提示されるように、前記事前情報の提示を制御する
請求項１０に記載の映像処理装置。
前記提示制御部は、前記撮影映像における前記第１のシーン以降のメタデータと、前記記録映像における前記第１のシーン以降のメタデータを比較する
請求項１１に記載の映像処理装置。
前記提示制御部は、前記撮影映像における前記第１のシーン以降のタイムコードと、前記記録映像における前記第１のシーン以降のタイムコードを比較する
請求項１２に記載の映像処理装置。
前記提示制御部は、前記撮影映像における前記第１のシーン以降の映像データと、前記記録映像における前記第１のシーン以降の映像データをさらに比較する
請求項１２に記載の映像処理装置。
前記メタデータは、時間情報、カメラパラメータ、カメラの姿勢情報、前記カメラの位置、および音声情報の少なくともいずれかを含む
請求項７に記載の映像処理装置。
前記提示制御部は、前記事前情報に加え、前記出力先に応じて、前記記録映像の前記第１のシーンから前記第２のシーンに含まれる１または複数の代表フレーム画像の提示を制御する
請求項７に記載の映像処理装置。
前記出力先に応じた態様の前記事前情報を、前記出力先となる表示装置に出力する出力部をさらに備える
請求項１に記載の映像処理装置。
前記提示制御部は、前記出力先に応じた態様の前記事前情報をモニタに表示する
請求項１に記載の映像処理装置。
前記提示制御部は、前記出力先を選択するユーザの選択操作に応じて、選択された前記出力先に応じた態様の前記事前情報を前記モニタに表示する
請求項１８に記載の映像処理装置。
映像処理装置が、
現在撮影されている撮影映像の第１のシーンを基準として、前記第１のシーンより後の第２のシーンより前の提示タイミングで、前記第２のシーンについての事前情報が、前記撮影映像の出力先に応じた態様で提示されるように、前記事前情報の提示を制御する
映像処理方法。