JP7235043B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP7235043B2 JP7235043B2 JP2020511612A JP2020511612A JP7235043B2 JP 7235043 B2 JP7235043 B2 JP 7235043B2 JP 2020511612 A JP2020511612 A JP 2020511612A JP 2020511612 A JP2020511612 A JP 2020511612A JP 7235043 B2 JP7235043 B2 JP 7235043B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- event
- image signal
- analysis engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
下記特許文献1では、動画像中のイベントを検出する技術が記載されている。
例えば情報処理装置は、撮像装置によって撮像されたリアルタイム動画としての画像信号について、第1処理として必要な処理を施して、解析エンジンに送信する。
解析エンジンはAIエンジンであって、受信した画像信号からリプレイ画像やハイライト画像に適したイベント発生期間を抽出し、それを示すイベント抽出情報を送信する。
情報処理装置は、第2処理として、解析エンジンからのイベント抽出情報に基づき、イベントを提示する画像としてのクリップ画像の設定情報を生成する。
ここでは例えばbps(bits per second)、通信容量、通信速度などの有線/無線通信路としての伝送路の能力を総括して「帯域」と呼ぶ。いわゆる伝送路の帯域と画像信号の情報量、即ちフレームレートや解像度によっては適切にリアルタイム処理用画像としての通信が実行できない場合も生ずる。そこで必要に応じて情報量削減を行うように判断する。
解析エンジンの解析精度は画像信号の情報量(解像度やフレームレート)に依存する面がある。即ち画像信号の情報量によって解析精度が変動する。画像信号の情報量が少なければそれだけ解析精度も落ちる。そこで、送信先の解析エンジンについて、画像信号の情報量に応じた解析精度の情報を用いて削減の程度を決める。
例えばリアルタイム動画としての画像信号をストリーミング画像信号として送信する。
例えばリアルタイム動画としての画像信号を、例えば5~10秒程度の期間毎のシーンで画像ファイルにエンコードして、順次解析エンジンに送信する。
例えば5~10秒程度の期間の画像ファイルについて、例えば1秒程度、前後の画像ファイルでシーンが重複するようにする。
参照可能な情報を用いて、外部の解析エンジンが提示したイン点/アウト点を変更する。
例えば解析エンジンが提示したイン点/アウト点を含むイベント抽出情報を、接続された画像システム内の機器からの情報を用いて変更する。画像システム内の機器とは、例えばリアルタイム放送のための撮像から画像出力のためのシステムを構成する装置であり、例えば1又は複数の撮像装置、収録装置(画像サーバ)、画像送出制御装置(スイッチング装置)などである。
例えば或るシーンを複数の撮像装置で撮像していた場合、解析エンジンからは、同じイベントについて複数のイベント抽出情報が提供される場合がある。その場合に、同じイベントを対象とする複数のイベント抽出情報を利用して、設定情報を生成する。
画像システム外の機器とは、例えばインターネット等のネットワークにより情報を取得できる装置など、情報処理装置が何らかの手段により情報取得可能な機器である。得られる情報としては本例の画像システム外のあらゆる機器からの情報が想定される。
メタデータ制御情報は、例えば各種情報をメタデータとしてクリップ画像ファイルに付加することを指示する情報やメタデータ内容などである。
これによりメタデータとして、例えばスポーツ放送における選手の情報、シーン種別の情報、経過情報など、各種の情報を付加した画像クリップが生成されるようにする。
例えば評価値としてイベント抽出の確度(適切に有意なイベントが抽出されたものか否かを示す値)を設定情報に付加する。
複数の撮像装置により同じシーンが撮られて、それらが複数のイベント抽出情報として得られた場合、複数の撮像装置で撮像した重要なシーンがイベントとして抽出された可能性が高い。そこで評価値を上昇させる。
例えばイベント抽出情報で指定されたシーンにおける撮像装置の動作情報を参照することで、適切な撮像がなされていたか否かが判定できる。そこで動作情報を参照して評価値を変更する。
例えば画像システムを構成する機器の各種動作に関しての情報を情報処理装置にフィードバックし、情報処理装置の所定の処理に反映させる。
例えばオペレータ等によるクリップ画像の選択情報(使用情報)をフィードバックし、所定の処理に反映させる。
フィードバック情報に基づいて、より適切な撮像装置動作を判定し、撮像装置を制御する。
これによりイベント抽出の効率化と精度向上を実現する。
本技術に係るプログラムは、この情報処理方法の処理を情報処理装置に実行させるプログラムである。
これにより本技術の情報処理装置の実現を容易化する。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.システム構成>
<2.処理概要>
<3.イベント解析のための画像送信>
<4.クリップ設定情報の生成処理>
<5.フィードバック情報を用いた動作>
<6.内視鏡手術システムへの応用例>
<7.移動体への応用例>
<8.まとめ及び変形例>
図1より実施の形態の画像システム10及びその周辺構成を説明する。
なお実施の形態の画像システム10は、例えば放送等で使用できる画像撮像のためのシステムであり、図1の情報処理装置1、収録装置2、撮像装置3、画像送出制御装置4を指すこととする。
もちろんこれは一例であり、他の装置が画像システム10に含まれることもあるし、上記の一部が含まれないこともある。例えば収録装置2と画像送出制御装置4が一体化されている場合もある。さらにこれらに情報処理装置1が一体化されている場合もある。
放送映像収録のために一連の画像信号の転送が行われる機器及びその直接的な制御機器を画像システム10内の機器とする。
リアルタイム撮像された動画映像信号、及び、その動画映像から切り出されたクリップ画像、それらの動画映像の転送状態の信号などを「画像信号」と表記する。
1又は複数の撮像装置3は撮像した画像信号を収録装置2に対して出力する。
このため収録装置2には大容量の記憶部や、画像信号処理プロセッサとしての信号処理部、及び他機器との信号転送及び各種情報通信等を行う制御部としての構成を備えることになる。
画像送出制御装置4は、収録装置2を介してリアルタイム画像として転送されてきた各撮像装置3による画像信号や、収録装置2において生成されたクリップ画像としての画像信号を、オペレータOPの操作に基づいて選択し、図示しない後段に送信する。このため、画像送出制御装置4は、オペレータOP(スイッチングオペレータ)に対する表示機能や操作機能としてのインタフェースや、他の機器との画像信号や各種情報の通信機能を備える。
なお画像送出制御装置4は、放送用のワークステーションとして収録装置2と一体化もしくは一部デバイスの共用化がされたものでもよい。
画像送出制御装置4を操作するオペレータOPは、放送中においては、リアルタイム画像としてどの撮像装置3の画像を放送するかを選択したり、クリップ画像CLを挿入したりする操作を行う。クリップ画像CLは、例えばリプレイシーン、ハイライトシーンなどである。
情報処理装置1は、クリップ画像CLの生成のための処理を行う。特には精度の高い自動的なクリップ画像生成を実現する。
クリップ画像CLは、撮像装置3で得られたリアルタイム画像信号のうちでイベントを抽出し、そのイベント部分を切り出して、ハイライトシーンやリプレイシーンとして放送で使用できるようにしたものである。
このためにはリアルタイム収録される画像信号のうち、特に視聴価値のある場面を精度良くイベントとして抽出し、その抽出されたイベントの区間(画像信号におけるイン点/アウト点)を指定して、クリップ画像として切り出すことが必要である。
ここでいうイベントとは、特に限定されないが、撮像画像内で何かしらの事象が発生したことを示すシーンと定義される。例えば特に視聴価値が高いシーン、競技等の放送対象にとって重要なシーンなどである。即ち撮像画像内で、クリップ画像CLとする候補となる事象、又はそのシーン範囲をイベントと呼んでいる。
イベント抽出のオペレータは、記録されている映像を全て見ながら手打ちで重要なシーンを抜き出す作業を行う。このため、作業を効率的にこなすことが困難である。
また、イベントを画像解析により自動的に抜き出す技術もあるが、画像解析には、ある程度まとまった時間の画像ファイルを使用することになり、放送中のリプレイシーンの切り出し等のために短時間でクリップ切り出しを行うことが困難であった。
さらに、自動的に画像解析を行う場合でも、解析エンジンの抽出結果に頼ると、切り出しの精度を上げることができず、必要なイベントが抽出できなかったり、不要なイベントが大量に検出されたりしてしまうこともある。
特に情報処理装置1は、スポーツ中継などでのリプレイ画像や後のハイライト画像の制作に利用できるアプリケーションソフトウエアがインストールされたコンピュータ装置(演算処理装置)であり、図示するようにイベント解析部1A、フィードバック受信処理部1Bとしての機能を備える。これらの機能については後述する。
また情報処理装置1は画像送出制御装置4から情報を取得する場合もある。
また情報処理装置1は撮像装置3に情報を送信する場合もある。
なお画像送出制御装置4は、放送用のワークステーションとして収録装置2もしくは画像送出制御装置4の一方又は両方と一体化された装置として実現されてもよいし、収録装置2もしくは画像送出制御装置4と一部デバイスの共用化がされたものでもよい。
システム外機器81は、伝送路80で通信可能な各種の機器、情報処理装置、サーバ等を指す。特には、情報処理装置1に対して撮像(放送)対象に関する情報を提供できる機器を想定している。
撮像装置3は、撮像した画像信号PS1を収録装置2に供給する。例えばスポーツ等のライブ映像としての画像信号である。
カメラ制御部31は撮像装置3におけるマイクロコンピュータなどによる制御部を示している。カメラ制御部31はカメラマンの操作や、外部からの制御信号CTRに基づいて撮像装置3の撮像動作を制御する。例えばカメラ制御部31は、制御信号CTRに基づいてフォーカス状態、ズーム状態、撮像方向(パン・チルト)等の制御を行う。
画像蓄積機能21は、撮像装置3からの画像信号PS1を一時的に、もしくはある程度の長期的に蓄積する機能である。
画像出力機能22は、画像信号PS1を情報処理装置1に供給する機能である。
クリップ切り出し機能23は、情報処理装置1からの設定情報CLDに基づいてクリップ画像の切り出しを行う機能である。つまりクリップ切り出し機能23は、画像蓄積機能21により蓄積していた画像信号PS1のうちで、設定情報CLDに含まれるイン点/アウト点に従って切り出しを行い、クリップ画像CLを生成する。
メタデータ付加機能24は、情報処理装置1からの設定情報CLDに含まれるメタデータ制御情報を取得し、これに基づいてメタデータMTをクリップ画像CLに付加する機能である。これにより情報処理装置1が指示したメタデータMTが付加されたクリップ画像CLを生成する。
UI機能41は、表示機能と操作機能を含む。表示機能によりオペレータOPに対して、各撮像装置3からのリアルタイム画像を表示させたり、放送映像として挿入可能に生成されたクリップ画像CLの一覧、或いは再生画像を表示させたりする。また操作機能によりオペレータOPのスイッチング操作やクリップ選択操作等を受け付ける。
後段処理要求機能42は、図示しない後段の装置に対して、放送用の画像信号(クリップ画像CLを含む)を供給するとともに、オペレータOPの操作に基づく必要な処理要求を行う機能である。例えばクリップ画像CLについて、そのまま放送に用いるほか、所定の時間長(尺)で使用する指示や、画質調整、画像エフェクト等の指示などを示すEDL(Edit Decision List)データを後段に送信することで、必要な要求を行う。
なお、画像送出制御装置4は、例えばオペレータOPが選択したクリップ画像CLの情報や使用した長さ情報、EDLデータなどをフィードバック情報FBDとして情報処理装置1に送信できる。
イベント解析部1Aは、ライブで記録されている映像としての画像信号PS1を主な入力として、効果的なクリップ作成を行うための処理を行う。このイベント解析部1Aは、第1処理機能11としての処理と、第2処理機能12としての処理を行う。
第1処理機能11は、受信した画像信号PS1、つまりこの場合は撮像装置3で撮像された画像信号について必要な処理を行い、リアルタイム処理用の画像信号PS2として外部の解析エンジン90に送信する第1処理を行う。
第2処理機能12は、解析エンジン90から受信したイベント抽出情報EVを受信し、該イベント抽出情報を用いて、クリップ画像の設定情報CLDを生成する第2処理を行う。また第2処理機能12は、システム外機器81からの情報や、画像システム10内の機器からの情報を用いてメタデータ制御情報を生成し、これを設定情報CLDの一部として収録装置2に送信する処理も行う。メタデータ制御情報は、例えば各種情報をメタデータとしてクリップ画像ファイルに付加することを指示する情報やメタデータ内容自体などの情報である。
また第2処理機能12は、例えば撮像装置3等、画像システム10内の機器から動作情報を取得し、これを設定情報CLDの生成に反映させることもできる。
そしてフィードバック部1Bは、フィードバック情報FBDをイベント解析部1Aに渡して、メタデータ制御情報(例えばメタデータ内容)の生成に用いることができるようにしたり、例えば制御信号CTRを生成して、撮像装置3の動作制御を行うことなどが可能とされる。
CPU171、ROM172、およびRAM173は、バス174を介して相互に接続されている。このバス174にはまた、入出力インタフェース175も接続されている。
通信部179は、伝送路80として示したインターネット等のネットワークを介しての通信処理を行ったり、画像システム10内の有線/無線通信、バス通信などによる通信を行う。
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア181により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM172や、記憶部178に含まれるハードディスクなどでも構成される。
図4により本実施の形態の処理概要を説明する。この処理概要は、主に、撮像装置3で撮像した画像信号PS1からクリップ画像CLを生成する過程を説明するものである。
図4では、撮像装置3、収録装置2、情報処理装置1、解析エンジン90、システム外機器81、オペレータOP、画像送出制御装置4、及び後段処理として、各部の動作の流れを示している。図の縦方向が時間軸である。
時間軸に沿って各動作又は処理を(ST1)~(ST15)として説明する。
撮像装置3は撮像による画像信号PS1を収録装置2に送信する。なお実際には撮像装置3はライブ動画としての画像信号PS1の撮像を行う場合、この画像信号PS1の収録装置2への送信は、放送中継続して行うことになる。
収録装置2は、画像信号PS1を蓄積する。
また図1のように撮像装置3が複数用いられることを想定すると、その場合、各撮像装置3からの画像信号PS1が、それぞれ収録装置2に送信され、蓄積されることになる。
収録装置2は、撮像装置3からの画像信号PS1をほぼリアルタイムで情報処理装置1に送信する。なお、これも実際には継続的に行われる。また複数の撮像装置3からの画像信号PS1は、それぞれ情報処理装置1にほぼリアルタイムで送信される。
情報処理装置1は、受信した画像信号PS1に対して、リアルタイム処理用の画像信号として外部の解析エンジン90に送信するための処理を行う。リアルタイム性を維持するためには、情報処理装置1は例えば画像信号PS1を送信用のストリーミング画像信号にエンコードする処理、或いは短い所定時間単位の画像ファイルに区切ってエンコードする処理を行う。これらの処理により解析エンジン90に送信する画像信号PS2を生成する。
(ST4)
情報処理装置1は、画像信号PS2を解析エンジン90に送信する。
ここまでの(ST1)~(ST4)は、例えば放送中など、撮像装置3が撮像を行っている期間、継続して行われる。
解析エンジン90は、受信した画像信号PS2に対して解析を行い、イベントを検出する毎に、イベント抽出情報EVを情報処理装置1に送信する。
情報処理装置1はイベント抽出情報EVを受信する。イベント抽出情報EVには画像信号PS2(PS1)に付与されたタイムスタンプによるイン点/アウト点が含まれることで、情報処理装置1はクリップとして切り出す候補となるイベント画像の区間を認識できる。
情報処理装置1はシステム外機器81に対してシステム外データ要求を行う。例えば撮像している試合に関する情報、選手に関する情報など、関連する情報を要求する。
(ST7)
当該要求に対してシステム外機器81からシステム外データを送信してくる。情報処理装置1はこれを受信し、放送内容に関連するデータを取得する。
情報処理装置1はシステム内機器(例えば撮像装置3)に対してシステム内データ要求を行う。例えば撮像装置3から画像信号PS1にかかる撮像動作に関する情報を要求する。撮像動作に関する情報としては、例えばフォーカス状態、ズーム状態、撮像方向、絞り値、情報量(解像度、フレームレート)などの情報が想定される。
(ST9)
当該要求に対してシステム内機器(撮像装置3)からシステム内データを送信してくる。情報処理装置1はこれを受信し、画像信号PS1に関連するデータを取得する。
なお、情報処理装置1は画像送出制御装置4に対して例えばオペレータOPにより画質調整や画像エフェクト等の操作情報、輝度設定情報、などの情報を要求し、これを取得するようにしてもよい。
なお、この例では、上記(ST6)(ST7)の後に(ST8)(ST9)を行っているが、逆の順番でもよい。
情報処理装置1はクリップ画像CLの生成のための設定情報CLDの生成処理を行う。例えばイベント抽出情報EVとしてのイン点/アウト点を用い、又はこれを補正して、クリップ画像CLの切り出しのためのイン点/アウト点を決定する。
またシステム内データを利用して、イベント抽出に関する評価値を設定する。
またシステム外データを利用して、メタデータ内容を含むメタデータ制御情報を生成する。
(ST11)
情報処理装置1は生成した設定情報CLDを収録装置2に送信し、収録装置2にクリップ切り出し要求を行う。設定情報CLDにはメタデータ制御情報や評価値が含まれる場合がある。
(ST12)
収録装置2は、設定情報CLDに基づいてクリップ画像CLの切り出しを行う。収録装置2はメタデータ制御情報に従ってクリップ画像CLとしてのファイルにメタデータMTの付加を行う場合もある。
そして収録装置2は、新たなクリップ画像CLが追加された状態でオペレータOPに提示されるように、画像送出制御装置4に表示更新のための情報を提供する。
オペレータOPは例えばクリップ一覧画面のようなUI画面上で、新たなクリップ画像CLが生成されたことを確認できる。評価値やメタデータMTもオペレータOPに提示される。
オペレータOPは、画像送出制御装置4におけるUI機能41によりクリップ画像を確認し、放送するクリップ画像CLを選択する操作等を行うことができる。
(ST14)
画像送出制御装置4は、オペレータOPの操作に基づいて、後段の装置に放送に用いる画像信号を指定し、収録装置2から読み出して後段の装置に送信するとともに必要な処理を要求する。この処理により、オペレータOPが選択したクリップ画像CLの画像信号が後段の装置に供給されることになる。
(ST15)
オペレータによるクリップ選択が行われた場合、その選択されたクリップを示す選択クリップ情報が画像送出制御装置4から情報処理装置1に送信される。情報処理装置1は選択クリップ情報を例えばオペレータOPのクリップ選択の傾向の分析などに用いることができる。
本実施の形態では、ライブ収録している画像信号PS1から、自動的にイベント抽出を行い、クリップ画像CLの切り出しを行う。生成されたクリップ画像CLは、随時オペレータOPに提示される。例えばオペレータOPに対しては、放送内で生成されたクリップ画像CLの一覧が表示される。
オペレータOPは任意にクリップ画像CLを選択して、放送に用いる画像として後段に送信することが可能となる。
図5は、主に図4の動作の過程で情報処理装置1に対して入出力されるデータの例を一覧で示したものである。
この解析用データは解析エンジン90に送信する目的で情報処理装置1に入力される。
なお、複数の撮像装置3からの画像信号PS1を入力することで、複数のカメラに渡って同じイベントが発生していたら確からしさが上がるなど、イベントの評価に用いることができる。
ここで言うカメラデータとは、例えば絞り値、フォーカス値、撮像方向、情報量(解像度、フレームレート)等である。これらはクリップ切り出し精度の向上に用いることができる。即ち解析エンジン90においてAI処理による解析結果としてのイベント抽出情報EVをリファインする用途に用いることができる。
情報処理装置1は、テレメトリーデータとして、撮像している試合中の各種計測データを用いることで、メタデータ内容を生成し、クリップ画像CLに埋め込ませるようにメタデータ制御情報を生成することができる。
またゲームデータ、即ち撮像している試合に関するデータからイベント時間やスコア、メインプレーヤ等の選手情報などが分かる。これにより情報処理装置1はメタデータ内容を生成したり、或いはクリップ抽出精度の向上に利用できる。
このフィードバック情報FBDとしては、オペレータOPの選択操作などによりシステム後段に送信されたクリップ画像CLの情報や、使用された長さ(いわゆる尺の情報)、EDLデータなどがある。
情報処理装置1は、選択されたクリップ画像CLの情報は、解析精度の向上やオペレータOPの癖のエミュレートに用いることができる。例えばどんなクリップが使われやすいかを学習するために使用できる。
また情報処理装置1は、画像のアングルや映った選手の大きさからオペレータの癖(採用するクリップ画像を決める傾向)をエミュレートすることも可能である。
情報処理装置1は、用いられた長さの情報やEDLデータによれば、編集、修正をクリップ画像CLの設定情報CLDに対するフィードバックが可能である。例えばどういうシーンがどのくらいの長さで使われるかが分かれば切り出し時間も最適化できる。また尺に対して、再生スピード等をどう変更したかをフィードバックすることも考えられる。
設定情報CLDとして、イン点/アウト点がある。これはクリップ切り出し位置の指定情報として収録装置2に送信される。
設定情報CLDにはEDLデータを含むこともできる。例えばオペレータを設定するとそのオペレータの編集をエミュレートするような処理も考えられる。
設定情報CLDには、後段処理要求として、ワークフローを自動化する情報を含むこともできる。例えばアーカイブするかしないかの情報や、アーカイブ先の情報を指定する。
情報処理装置1は、切り出すクリップ画像CLについて、クリップ名や、評価値、ゲームデータ、テレメトリーデータ等のメタデータ内容を含むメタデータ制御情報を設定情報CLDに含むようにする。
これにより、わかりやすいクリップ名を自動付与したり、複数のクリップ画像CLをイベント毎にまとめられるようにして後から検索しやすくすることなどが可能となる。
メタデータ内容として選手情報なども付加することで、人物や背番号などによるクリップ画像の検索性を向上させることもできる。
また情報処理装置1は、設定情報CLDにおいて他のアングルのカメラ画像との組み合わせを提案する情報を含めてもよい。例えば同じイベントを拾った他のカメラアングルの画像を差し込むことを提案する情報である。
また情報処理装置1は、設定情報CLDにおいて、再生スピードの変更の提案の情報を含めても良い。例えば残りの尺に対して再生スピードをどう変えるかを提案する情報である。秒ごとの確からしさから最高確からしさ周辺で再生速度を変更することなどを提案する。
これらの情報は後段のオペレータOPの操作軽減を実現できる情報となる。
例えばクリップ選択結果に応じて撮像装置3のフォーカス状態、絞り、パン・チルトなどを制御することが考えられる。またカメラマンの癖(フォーカスや選手への寄り具合など)を学習し、カメラマンをエミュレートするような制御も可能である。
以下、情報処理装置1の具体的な処理例を説明する。
図6は情報処理装置1がイベント解析部1Aの機能により行う第1処理の例である。即ち収録装置2から受信した画像信号PS1について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する処理の例である。
ステップS102で情報処理装置1は、画像信号PS1を解析して、情報量、即ちフレームレートや解像度を算出する。なお、撮像装置3や収録装置2からフレームレートや解像度の情報が提供されているのであれば画像信号の解析を行ってこれらを算出する必要はない。
なおここでは、例えばbps、通信容量、通信速度などの有線/無線通信路としての伝送路の能力を総括して「帯域」と呼ぶ。
ステップS104で情報処理装置1は、ステップS102で求めた情報量とステップS103で取得した帯域情報に基づいて、リアルタイム性を損なわない速度での画像信号PS2の送信ができるか否かを判断する。
即ち画像信号PS1の情報量から、それをエンコードした画像信号PS2の情報量が求められるため、送信先の解析エンジン90に送信する伝送路80の現在の帯域状況が、画像信号PS2の送信に対して十分であるか否かを判定する。
例えば情報処理装置1は、ストリーミング画像信号として伝送用のエンコード処理を行う。或いは情報処理装置1は、5秒から10秒程度に細かく分割された映像ファイルとしてファイル共有やHTTP(Hypertext Transfer Protocol)、FTP(File Transfer Protocol)転送で解析エンジン90に転送するためのエンコード処理を行う。
これらによりリアルタイムに近い速度で画像信号PS2が解析エンジン90に転送されるようにし、解析エンジン90においてリアルタイム性をもったイベント抽出が行われるようにする。
なおこれらのエンコード処理では、情報処理装置1は、収録装置2からの画像信号PS1をSDI(Serial Digital Interface)信号として受信し、H.264等の汎用的かつ解析エンジン90が受信可能なフォーマットでファイル化を行う。
そして情報処理装置1はステップS108で伝送路80を介して解析エンジン90に画像信号PS2を送信する。
利用可能に提供される解析エンジン90A、90B・・・は、それぞれ解析手法や精度が異なる。そして画像解析に関しては、入力される画像の情報量(解像度やフレームレート)により、解析精度も変化する。
そこで情報処理装置1は、使用する解析エンジン90毎に、画像データの情報量に対する解析精度(この場合はイベント抽出精度)をテーブル情報などとして保持しておくようにする。
そしてステップS105では、今回使用する(つまり送信先とした)解析エンジン90に関してのテーブルデータを参照する。そして現在の伝送路80の帯域と比較して、リアルタイム性を損なわず、一方でデータ削減量を小さくして解析精度を保つ、或いは所定の精度以上となるようなデータ削減量を設定する。
具体的には、現在の伝送路80の帯域で、リアルタイム性を損なわないと考えられる最大の情報量を設定し、その情報量での解析エンジン90の解析精度を確認する。
もし解析精度が所定以上であれば、その情報量を削減処理後の情報量として決定する。
例えば解析エンジン90を変更して、解析精度がより高くなるようにする。
或いは、そのまま解析精度が低いことを許容して送信するが、後述の設定情報CLDの生成の際に評価値を低下させる処理を行う。
或いは、解析精度と帯域のリアルタイム性を勘案しながら、リアルタイム性を若干犠牲にしてもイベント抽出精度を重視して情報量を多少多くしていくことも考えられる。
そしてステップS107,S108の処理を行う。
また帯域状態にかかわらず、常に情報量削減処理をおこなってもよい。例えば画像信号PS1について解像度を1280×720程度に、解析結果に影響ない範囲でデータサイズを落とすことで、解析エンジン90への転送時間を短くすることも考えられる。
この際に、伝送路80の帯域と画像信号PS2の情報量、即ちフレームレートや解像度によっては適切にリアルタイム処理用画像としての通信が実行できない場合も生ずる。そこで必要に応じて情報量削減を行うようにしている。
図7にはあるイベントが発生している期間として時点t1~時点t6を示しているが、このようなイベントを解析エンジン90において正しく抽出させる必要がある。
細かい時間でファイルを分けて送信する場合は、解析エンジン90側が時間軸のつながりを正しく認識できない場合も生ずる。そこで、画像信号PS2としての画像ファイルは、図示するように時点t0~時点t3のシーンである画像ファイルVF1,時点t2~時点t5のシーンである画像ファイルVF2、時点t4~時点t7のシーンである画像ファイルVF3、というようにする
このような画像ファイルVF1,VF2,VF3はそれぞれ時間幅TWとし、その前後は、隣接する期間の画像ファイルと重なり部分(時点t2-t3、時点t4-t5)が設けられるようにしている。
例えば1秒程度の重なりを含めて、このように画像ファイルを形成し、解析エンジン90に渡すことで、複数の画像ファイルに渡るイベントも正確に抽出されるようにする。
なお、各画像ファイルVF1,VF2・・・は一定の時間幅TWとしたが、各画像ファイルVF1,VF2・・・は、一定の時間幅でなく、可変時間幅を含む不定長の時間幅としてもよい。
続いて情報処理装置1がイベント解析部1Aの機能により行う第2処理の例を図8,図9により説明する。即ち情報処理装置1が解析エンジン90から受信したイベント抽出情報EVを用いてクリップ画像CLの生成のための設定情報CLDを作成する処理の例である。
先の図6の第1処理は、情報処理装置1は撮像装置3の撮像中(例えば放送中)に継続的に行っており、解析エンジン90が略リアルタイムで画像信号PS2を受信し解析を行っていくことになる。
その際に、解析エンジン90はイベントを抽出することに応じて、イベント抽出情報EVを生成し、その都度、もしくはある程度のイベント抽出情報EVをまとめたタイミングで、情報処理装置1に送信してくる。従ってステップS201のイベント抽出情報EVの受信は、不定期に行われる。
例えば複数の撮像装置3による画像信号PS1がそれぞれ画像信号PS2とされて解析エンジン90に送信されている。例えばサッカーのゴールシーンを3台の撮像装置3で撮像していた場合、その各撮像装置3による画像信号PS2からそれぞれ同じ時間帯のシーンがイベントとして抽出される可能性がある。ステップS202では、そのように同じ対象のシーンがイベントとして抽出されているか否かを、各イベント抽出情報EVの時刻情報、つまりイン点/アウト点により確認する。
もし、同じイベントのイベント抽出情報EVが他になければ、情報処理装置1はステップS203から図9のステップS210に進む。
例えば時:分:秒:フレームのタイムスタンプが次のようであったとする。
処理対象のイベント抽出情報EVのイン点が00:05:31:10
処理対象のイベント抽出情報EVのアウト点が00:06:29:03
他のイベント抽出情報EVのイン点が00:05:45:00
他のイベント抽出情報EVのアウト点が00:06:18:15
であったとしたら、他のイベント抽出情報EVの範囲は、全て処理対象のイベント抽出情報EVの範囲に含まれている。
従って、処理対象のイベント抽出情報EVのイン点/アウト点を変更しなくとも、他の撮像装置による画像範囲も含まれることになる。
他のイベント抽出情報EVのイン点が00:05:25:51
他のイベント抽出情報EVのアウト点が00:06:18:15
であったとしたら、他のイベント抽出情報EVの範囲は、イン点付近が処理対象のイベント抽出情報EVの範囲に含まれていない。
また「例3」として、
他のイベント抽出情報EVのイン点が00:05:45:00
他のイベント抽出情報EVのアウト点が00:06:35:17
であったとしたら、他のイベント抽出情報EVの範囲は、アウト点付近が処理対象のイベント抽出情報EVの範囲に含まれていない。
もちろん、イン点付近とアウト点付近の両方が処理対象のイベント抽出情報EVに含まれていないこともある。
これらの場合、情報処理装置1はステップS206に進み、他の撮像装置3に係るイベント抽出情報EVのイン点/アウト点を用いて、処理対象のイベント抽出情報EVのイン点/アウト点を変更する。
即ち、他のイベント抽出情報EVの範囲が含まれるように、処理対象のイベント抽出情報EVのイン点/アウト点の一方又は両方を変更する。例えば上記の「例2」の場合、イン点を00:05:25:51に変更したり、「例3」の場合は、アウト点を00:06:35:17に変更したりする処理を行う。
その場合もステップS205,S206により、当該他のイベント抽出情報EVの範囲が含まれるように処理対象のイベント抽出情報EVのイン点/アウト点が確認又は変更される。
またステップS207が行われることで、さらにスコアの加点が行われる。つまり、同じイベントを複数の撮像装置3により撮像しているほど、イベント抽出の確度が高いものと判定される。
そしてステップS212で情報処理装置1は、受信したシステム外データに、処理対象のイベント抽出情報EVに対応する情報が存在するか否かを確認する。
存在した場合は、情報処理装置1はステップS213に進み、当該イベントに対応するメタデータ制御情報の生成処理を行う。
例えば今回の処理対象のイベント抽出情報EVの元となる画像を撮像した撮像装置3から、当該撮像時のカメラデータを取得する。撮像からイベント抽出情報EVの受信までのリアルタイム性が十分に確保されているのであれば、現時点のカメラデータを取得してもよい。
ステップS216で情報処理装置1は、取得したカメラデータにより撮像画像が適切な状態であるか否かを判定する。例えば撮像方向が適切であるか否か、フォーカス状態が適切であるか否か、或いは画像の明るさが適切であるか否か等を判定する。
もし適切でないと評価した場合、ステップS217に進んでスコアを減点する。この場合、あまり適切でない画像区間を抽出したとして、抽出確度を低く評価するものとする。
当該処理対象のイベント抽出情報EVのイン点/アウト点もしくはステップS206で修正されたイン点/アウト点を用いて、切り出し範囲としてのイン点/アウト点を設定する。設定情報として、図5に示したEDLデータ、後段処理選択の情報、オペレータOPの補助のための情報を含む場合もある。
また情報処理装置1はステップS213で生成したメタデータ制御情報も設定情報CLDに含める。また情報処理装置1はステップS207,S217で設定したイベント抽出確度のスコア値も設定情報CLDに含める。
これに応じて収録装置2でクリップ画像CLの切り出しやメタデータ付加等が行われる。
またメタデータMTの内容やスコアの情報、その他の補助データも提供する。
具体的には、複数のカメラ映像で、撮像しているオブジェクトが同じ、もしくは包含関係があるとき、同じようなタイミングで同じイベントを検出した際にはそれぞれの検出結果の確からしさを高いものに変更する(S207)。
撮像オブジェクトについては、撮像装置3の向きやズーム値、フォーカス値を用いて同一のオブジェクトを撮像していることを算出することができる(S202)。
また、イベントの開始時間と終了時間を全てのカメラの論理和とする(S206)。
そして撮像装置3のフォーカス値や向いている方向のデータを使用することで、その撮像装置3からの画像が正しく焦点の合ったものなのかどうか等を判断し、焦点が合っていない映像に対して検出されたイベント等に対しては確からしさのスコアを下げる処理(S217)を行うようにした。
なお、解析エンジン90からのイベント抽出情報EVに、抽出したイベントの確からしさの情報が含まれている場合、それをスコアに反映することもできる。
これにより、後段のオペレータOPが、クリップ検索を容易に行うことができ、操作負担を軽減することができる。
例えばこのクリップ一覧画面70では、個々のクリップ画像CLに対応して、チェックボックス71、クリップ画像ファイルのファイルナンバ72、サムネイル画像73、各種の付加情報74、イン点/アウト点75、撮像時刻情報76等が表示される。
また多数のクリップをページ送りで確認するためのページ送りボタン78や、選択したクリップを後段の装置に送信するセンドボタン77等が表示される。
このようなクリップ一覧画面70により、オペレータは任意のクリップ画像CLを選択することができる。もちろんクリップ画像CL自体を再生させて内容を実際に確認することも可能である。
オペレータOPは選択するクリップ画像CLについてチェックボックス71にチェックを入れる操作を行い、センドボタン77を操作することで、そのクリップ画像CLのデータファイルが後段の装置に送信される。
実施の形態の情報処理装置1は、フィードバック受信処理部1Bの機能により、フィードバック情報FBDを用いた各種処理も行うことができる。
上述のように情報処理装置1は、フィードバック情報FBDとして、オペレータOPのクリップ選択情報や、使用したクリップ長等を取得する。
また情報処理装置1は、利用されたクリップについて、クリップのイン点/アウト点の変更や他の撮像装置3の撮像画像の差し込みなど、オペレータOPが操作した履歴であるEDLデータもフィードバック情報FBDとして取得する。
以下ではこれらのフィードバック情報FBDを用いた各種の処理例を例示する。
使用されたクリップ画像CLから、望ましいクリップ長を判定し、その後の設定情報CLDのイン点/アウト点の補正を行うことが考えられる。
例えば情報処理装置1は、フィードバック情報FBDから放送に使用される頻度が多いカメラアングルやズーム状態を判定しておく。そして例えば3つの撮像装置3で同じイベントが抽出された場合、3つの撮像装置による画像のうちで、これまで使用頻度が高いアングルやズーム状態の画像をメインの画像となるようにして設定情報CLDを作成する。これにより、使用されやすいクリップ画像CLを自動生成していくことができる。
情報処理装置1は、フィードバック情報FBDをオペレータOPの個人毎に記憶しておく。そしてオペレータのクリップ選択の嗜好を判定して、メタデータMTとされる付加情報やお勧め情報を加える。
システム外データを参照して、類似のシーンをお勧めすることなども考えられる。
オペレータOPの選択の傾向が学習できた場合、生成されたクリップ画像CLについて、その傾向との合致度から優先順位をつけてオペレータOPに提示することもできる。
情報処理装置1は、フィードバック情報FBDに基づいてオペレータOPに選択されやすいクリップ画像CLの傾向、例えばカメラアングル、ズーム状態等を判定する。そのカメラアングルやズーム状態となるように制御信号CTRを生成し、撮像装置3の動作を自動制御する。これによりクリップ画像CLの品質/内容をよりよいものとすることができる。
また、情報処理装置1は、解析エンジン90から、画像信号PS2の画像がクリアでないと検出されるなど、何らかの情報を取得して、撮像装置3に対する制御信号CTRを生成し、撮像装置3のフォーカス状態や明るさ(露出値)等を制御することも考えられる。
このように撮像装置3の撮像動作を適正化すると、解析エンジン90による解析精度も高くなり、結果としてイベント抽出精度が向上する。
なお、情報処理装置1は、生成した設定情報CLDを収録装置2には送信せずに、制御信号CTRのみを撮像装置3に送信し、クリップ画像CLを生成せずに撮像装置3の動作のみを自動制御するものであってもよい。また、自動制御されるものは撮像装置3に限定されず、画像信号PS1を解析し、そのイベント抽出情報EVに基づいて制御されるものであれば何でもよく、例えば自動車の自動運転制御などがあげられる。
このようにすることで情報処理装置1が受信するイベント抽出情報EVの精度を向上させることができる。
例えば、情報処理装置1は、放送に使用されやすいイベント、シーン、カメラアングル、ズーム状態等を学習する。例えばイベントをクラスタリングし、クラスタ毎に、選択されやすい傾向を学習していく。そしてその傾向を設定情報に反映させる。例えばイン点/アウト点やメタデータ、お勧めデータの設定に反映させる。
また、予めカメラマンの名前等を設定してシステム運用を行うとともに情報処理装置1が、ズームやパン、チルトなどのカメラデータを取得するようにすれば、イベントに対するカメラワークを対応付けることができる。するとイベント発生時に撮像装置3を自動制御することで、カメラマンを模したカメラワークが実現できる。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
手術を行っている際に出血や穿孔が発生することがあり、この状態に気がつかないまま手術が進むと致命傷に至ることがある。そのため、リアルタイムで撮像している内視鏡11100により得られる撮像画像を制御部11413はリアルタイム処理用の画像信号として解析エンジンに送信し、解析エンジンにて撮像画像内の色等を検出することにより出血等をイベントとしてそのイベント抽出情報を受信し、該イベント抽出情報を用いてリプレイ画像を術者11131に提示されることにより、術者が早急に状況を把握して確実に手術を進めることが可能になる。
さらに本開示に係る技術(本技術)は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
自動運転を目的とした制御を行うためにはリアルタイムで撮像から得られた情報を基に制御が行われている。撮像部12101ないし12104から得られた撮像情報をマイクロコンピュータ12051はリアルタイム処理用の画像信号として解析エンジンに送信し、解析エンジンにて撮像範囲12111ないし12114内における各立体物までの距離や時間的変化を解析する。解析エンジンはこれらの解析結果に基づいて、各立体物までの衝突リスクをイベントとしてそのイベント抽出情報をマイクロコンピュータ12051に送信し、マイクロコンピュータ12051は該イベント抽出情報を用いて、衝突可能性がある状況であるときには、オーディオスピーカー12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。また、運転支援に対して、運転者が異なる操作をした場合などの情報をフィードバック情報として解析エンジンやマイクロコンピュータ12051に蓄積していくことにより、該イベント抽出情報を用いた制御が正しかったか否かを判定し、その都度イベント抽出や該イベント抽出情報を用いた解析アルゴリズムを変更していくことにより、運転支援の精度を上げていくことができる。
以上説明してきた本実施の形態では次のような効果が得られる。
実施の形態の情報処理装置1は、受信した画像信号PS1について、リアルタイム処理用の画像信号PS2として外部の解析エンジン90に送信する第1処理と、解析エンジン90から受信したイベント抽出情報EVを受信し、イベント抽出情報EVを用いて、クリップ画像CLの設定情報CLDを生成する第2処理とを行うイベント解析部1Aを備えている。
情報処理装置1がこれらの第1処理、第2処理を行うことで、リプレイ画像やハイライト用の画像としてのクリップ画像を自動的に切り出すことができ、オペレーションの効率化や放送局での省人化、或いはコストダウンを促進できる。
例えばスポーツ中継放送などの場合に、リアルタイムで撮像していた画像(動画映像)について、リプレイやハイライトシーンを流すためには、放送中に短時間で画像中のイベントを抽出し、クリップ化することが行われる。これをオペレータが記録された動画を確認し、重要なシーンについてクリップとする画像の範囲(イン点/アウト点)を決めるようにすると、その画像抽出作業は簡単ではなく、また迅速性が要求されることから、スタッフの作業負担は非常に大きい。実施の形態の場合、このような人手に頼った作業を解消し、かつ適切なクリップ抽出ができるという点で大きな効果がある。
また外部の解析エンジン90によるイベント抽出情報EVをそのままクリップ画像CLの切り出しのための設定情報CLDとはしていない。即ち解析エンジン90のイベント抽出結果の修正等を行う。これにより解析エンジン90の性能に依存せず、画像の切り出し精度を向上させることができる。
例えばリアルタイム動画としての画像信号のフレームレートや解像度によって決まる情報量と、伝送路の帯域の事情により、リアルタイム性が損なわれてしまうこともあり得る。本実施の形態では、画像信号の情報量の削減と、解析エンジンへの送信を行う伝送路の帯域情報を比較して、画像信号の情報量削減処理(S106)を行うことが必要かどうかを判断する。
必要な場合は情報量削減処理を行うことで、帯域にかかわらずリアルタイム性を維持することができる。
帯域が十分な場合は情報量削減処理を行わないことで、高フレームレート、高解像度のままの画像情報PS2を解析エンジン90に送信すれば良く、情報処理装置1では情報量削減処理による処理負担は生じない。また解析エンジン90側では情報量の多い画像情報を得ることで精度の高いイベント解析が可能となる。
情報量削減を行う場合に、画像信号の情報量に対する解析エンジンの精度の情報を参照し、これと伝送路の帯域情報を勘案して、削減処理の程度を決めることで、リアルタイム性を維持可能な範囲で最も情報量を多くするような削減処理が可能である。さらには、解析エンジンでの解析に支障がない情報量を維持しつつ、伝送路の帯域状況に対応できる。これによって、解析エンジンの情報品質も保ち、結果として精度のよいクリップ画像の自動設定が可能となる。
これによりストリーミング画像信号に対応してイベント抽出を行う解析エンジン90を利用する場合に、リアルタイム性を損なわずに画像信号PS2の転送ができる。
例えばリアルタイム動画としての画像信号を、例えば5~10秒程度の期間毎のシーンで画像ファイルにエンコードして、順次解析エンジンに送信する。
これにより短い期間長の画像としてファイル化された画像信号に対応してイベント抽出を行う解析エンジン90を利用することができるとともに、リアルタイム性を損なわない画像信号PS2の提供が可能となる。
例えば5~10秒程度の期間の画像ファイルについて、例えば1秒程度、前後の画像ファイルでシーンが重複するようにする。
短時間の期間毎の画像をファイル化する場合、画像解析の際に前後のファイルの繋がりが不明確になりやすいが、実施の形態のように一部シーンが重複するようにすることで、複数の画像ファイルに渡るイベントを、解析エンジン90が正確に認識し易いようにすることができる。
これにより、外部の解析エンジン90の性能に頼らずに、画像システム10としてより適切なクリップ生成のための設定情報CLDを生成できる。つまり解析エンジン90に依存せず、画像の切り出し精度を向上させることができる。
画像システム10内の各機器から情報を取得し利用することで、より当該画像システム10に適したクリップ生成のための設定情報CLDを生成できる。つまり解析エンジン90の解析に頼らず、当該画像システム10に適した情報を含む設定情報CLDを生成できる。
例えば或るシーンを複数の撮像装置3で撮像していた場合、解析エンジン90からは、同じイベントについて複数のイベント抽出情報EVが提供される場合がある。その場合に、同じイベントを対象とする複数のイベント抽出情報EVを利用して、設定情報CLDを生成する。
これにより、複数の撮像装置3で撮られた画像に基づき、より精度のよいクリップ設定情報CLDが生成できる。例えば、複数のイベント抽出情報のイン点/アウト点を確認し、それぞれの期間が含まれるようにイン点/アウト点を設定した設定情報を生成できる。これによりイベントを構成するシーンとして漏れのないクリップ画像CLを生成できるなど、クリップ切り出し精度を向上させることができる。
システム外機器81から情報を取得して設定情報CLDに反映させることで、より情報の充実したクリップ画像CLを生成することができる。
なお、システム外機器81からのデータを用いて、解析エンジン90が提示したイベント抽出情報EVを更新することで、より望ましい設定情報CLDを生成できる。例えば解析エンジン90が提示したイン点/アウト点を、システム外機器81からのデータを用いて変更する。
例えば外部の信頼度の高い情報を得ることでイベント発生の時刻を正確に把握して、イン点/アウト点を更新することで、より精度の高いクリップ画像CLのための設定情報CLDが生成できる。
例えば画像クリップに対応してサッカー中継の際の選手の情報や、ゴールシーン/キックオフシーン、終了シーンなどのイベント種別の情報等も付加できる。
これにより、オペレータOPが扱いやすいクリップ画像CLを提供できることにもなる。またオペレータOPの操作負担も低減できる。
オペレータOPは、メタデータMTに基づく情報提示により、各クリップ画像CLの内容を把握でき、いちいち内容を見なくてもクリップ選択ができる場合もある。これはオペレータOPの操作を著しく効率化するものとなる。
なお、メタデータ制御情報は、設定情報CLDとしてのイン点/アウト点とは別途送信されてもよい。いずれにしても設定情報CLDは、クリップ生成のために情報処理装置1が収録装置2に送信する情報の総称であり、個々の情報がどのようなデータ形式で転送されるか、また同時に送信されるか否かは特に規定されるものではない。次に述べる評価値も同様である。
このような設定情報CLDに基づいて生成されたクリップ画像CLについて評価値となるスコアを提示するようにすれば、オペレータOPが、そのスコアを参考にしてクリップ画像CLを選択することもできる。従って例えば放送に使用できる確実なクリップ画像を容易に選択できるようにもなる。
複数の撮像装置により同じシーンが撮られて、それらが複数のイベント抽出情報EVとして得られた場合、複数の撮像装置3で撮像した重要なシーンがイベントとして抽出された可能性が高い。そこで評価値を上昇させる。
これにより、イベント抽出が適切であった、つまり重要なイベントを解析エンジン90が抽出したことが示されるようになり、クリップ選択のためのガイドとして適切な情報を付加できることになる。
例えばイベント抽出情報で指定されたシーンにおける撮像装置の動作情報を参照することで、適切な撮像がなされていたか否かが判定できる。そこで動作情報を参照して評価値を変更する。
これにより、例えば抽出されたイベントとしてのシーンの画像が、フォーカス状態がよくない画像である場合などに、評価値を下げるなどすることができる。もちろん適切な動作状態であった場合は評価値を上げるようにしてもよい。このような評価値(イベント抽出確度スコア)は、クリップ選択のための適切なガイド情報となる。
情報処理装置1は、撮像装置3、収録装置2、画像送出制御装置4などの画像システム10内の各機器から情報を取得することで、より適切な設定情報生成のための学習等が可能となる。
例えばオペレータOPによるクリップ画像CLの選択情報(使用情報)をフィードバックし、所定の処理に反映させる。
画像送出制御装置4におけるクリップ画像の選択情報、即ち放送で使用されるクリップ画像の情報をフィードバックしていくことで、情報処理装置1は、どのようなクリップが選択されやすいかを学習したり、学習結果を用いて選択の傾向にあわせた設定情報CLDの生成を行ったりすることが可能となる。これにより、より使用に適したクリップ作成が実現できる。
例えば適切なフィードバック情報FBDに基づいてフォーカス、明るさ、ズームなどの撮像装置3の動作を制御することで、イベント抽出に有利になるように撮像装置2を動かし、イベント検出精度を高めるようにすることが可能である。
また撮像装置3の動作制御を自動化することで、カメラマンの省人化、省力化が可能となる
即ち実施の形態のプログラムは、受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジン90に送信する第1処理と、解析エンジン90から受信したイベント抽出情報EVを受信し、該イベント抽出情報EVを用いて、クリップ画像CLの設定情報CLDを生成する第2処理とを情報処理装置1に実行させるプログラムである。このようなプログラムにより、上述した情報処理装置1を実現できる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備えた
情報処理装置。
(2)
前記イベント解析部は、前記第1処理において、画像信号の情報量と、解析エンジンへ送信する伝送路の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行う
上記(1)に記載の情報処理装置。
(3)
前記イベント解析部は、前記情報量削減処理では、帯域情報と、画像信号の情報量に応じた解析エンジンの精度の情報を用いて、削減後の情報量を決定する
上記(2)に記載の情報処理装置。
(4)
前記イベント解析部は、前記第1処理において、
受信した画像信号をストリーミング画像信号にエンコードして解析エンジンに送信する処理を行う
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記イベント解析部は、前記第1処理において、
受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行う
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(6)
前記イベント解析部は、前記画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成する
上記(5)に記載の情報処理装置。
(7)
前記イベント解析部は、前記第2処理において、
前記解析エンジンから受信した、イン点及びアウト点を含むイベント抽出情報について、前記イン点又は前記アウト点を更新した前記設定情報を生成する
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記イベント解析部は、前記第2処理において、
接続された画像システム内の機器から得られる情報を用いて前記設定情報を生成する
上記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記イベント解析部は、前記第2処理において、
前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、当該複数のイベント抽出情報を用いて、そのイベントに関するクリップ画像の設定情報を生成する
上記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記イベント解析部は、前記第2処理において、
接続された画像システム外の機器から得られる情報を用いて前記設定情報を生成する
上記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記イベント解析部は、前記第2処理において、
画像システム内の機器又は画像システム外の機器から取得した情報を用いて、メタデータ制御情報を含む前記設定情報を生成する
上記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記イベント解析部は、前記第2処理において、
イベント抽出に関する評価値を含む前記設定情報を生成する
上記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記イベント解析部は、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、そのイベントに関するクリップ画像の設定情報について、前記評価値を上げるようにする
上記(12)に記載の情報処理装置。
(14)
前記イベント解析部は、イベント抽出情報で示されるシーンについての撮像装置の動作情報に基づいて、当該イベント抽出情報に基づく前記設定情報についての前記評価値を変更するようにする
上記(12)又は(13)に記載の情報処理装置。
(15)
接続された画像システム内の機器からフィードバック情報を受信して所定の処理を行うフィードバック受信処理部を備えた
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記フィードバック情報は、使用されたクリップ画像の情報を含む
上記(15)に記載の情報処理装置。
(17)
前記フィードバック受信処理部は、前記所定の処理として、撮像装置の動作制御を行う
上記(15)又は(16)に記載の情報処理装置。
(18)
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、を情報処理装置が行う
情報処理方法。
(19)
受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を情報処理装置に実行させるプログラム。
Claims (19)
- 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
前記イベント解析部は、前記第2処理において、
画像システム内の機器又は画像システム外の機器から得られる情報を用いて前記設定情報を生成する
情報処理装置。 - 前記イベント解析部は、前記第2処理において、
前記解析エンジンから受信した、イン点及びアウト点を含むイベント抽出情報について、前記イン点又は前記アウト点を更新した前記設定情報を生成する
請求項1に記載の情報処理装置。 - 前記イベント解析部は、前記第2処理において、
前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、当該複数のイベント抽出情報を用いて、そのイベントに関するクリップ画像の設定情報を生成する
請求項1に記載の情報処理装置。 - 前記イベント解析部は、前記第2処理において、
画像システム内の機器又は画像システム外の機器から取得した情報を用いて、メタデータ制御情報を含む前記設定情報を生成する
請求項1に記載の情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報と、画像システム内の機器又は画像システム外の機器から得られる情報とを用いて、クリップ画像の設定情報を生成する第2処理と、を情報処理装置が行う
情報処理方法。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報と、画像システム内の機器又は画像システム外の機器から得られる情報とを用いて、クリップ画像の設定情報を生成する第2処理と、
を情報処理装置に実行させるプログラム。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
前記イベント解析部は、前記第1処理において、画像信号の情報量と、解析エンジンへ送信する伝送路の帯域情報を用いて、画像信号の情報量削減処理を行うか否かの判断を行う
情報処理装置。 - 前記イベント解析部は、前記情報量削減処理では、帯域情報と、画像信号の情報量に応じた解析エンジンの精度の情報を用いて、削減後の情報量を決定する
請求項7に記載の情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
前記イベント解析部は、前記第1処理において、
受信した画像信号をストリーミング画像信号にエンコードして解析エンジンに送信する処理を行う
情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
前記イベント解析部は、前記第1処理において、
受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を行う
情報処理装置。 - 前記イベント解析部は、前記画像ファイルを、時間的に連続する前後の画像ファイルにおいて一部のシーンが重複するように生成する
請求項10に記載の情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
前記イベント解析部は、前記第2処理において、
イベント抽出に関する評価値を含む前記設定情報を生成する
情報処理装置。 - 前記イベント解析部は、前記解析エンジンから受信したイベント抽出情報として、同じイベントを対象とする複数のイベント抽出情報が存在する場合、そのイベントに関するクリップ画像の設定情報について、前記評価値を上げるようにする
請求項12に記載の情報処理装置。 - 前記イベント解析部は、イベント抽出情報で示されるシーンについての撮像装置の動作情報に基づいて、当該イベント抽出情報に基づく前記設定情報についての前記評価値を変更するようにする
請求項12に記載の情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジンに送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用いて、クリップ画像の設定情報を生成する第2処理と、
を行うイベント解析部を備え、
接続された画像システム内の機器からフィードバック情報を受信して所定の処理を行うフィードバック受信処理部を備えた
情報処理装置。 - 前記フィードバック情報は、使用されたクリップ画像の情報を含む
請求項15に記載の情報処理装置。 - 前記フィードバック受信処理部は、前記所定の処理として、撮像装置の動作制御を行う
請求項15に記載の情報処理装置。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジン
に送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用い
て、クリップ画像の設定情報を生成する第2処理と、を情報処理装置が行い、
前記第1処理において、受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理が行われる
情報処理方法。 - 受信した画像信号について、リアルタイム処理用の画像信号として外部の解析エンジン
に送信する第1処理と、
前記解析エンジンから受信したイベント抽出情報を受信し、該イベント抽出情報を用い
て、クリップ画像の設定情報を生成する第2処理と、を情報処理装置に実行させ、
前記第1処理において、受信した画像信号を、一定又は不定の時間長の画像期間に分割して画像ファイルとし、解析エンジンに送信する処理を前記情報処理装置に実行させる
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071706 | 2018-04-03 | ||
JP2018071706 | 2018-04-03 | ||
PCT/JP2019/002873 WO2019193821A1 (ja) | 2018-04-03 | 2019-01-29 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019193821A1 JPWO2019193821A1 (ja) | 2021-04-15 |
JP7235043B2 true JP7235043B2 (ja) | 2023-03-08 |
Family
ID=68100435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511612A Active JP7235043B2 (ja) | 2018-04-03 | 2019-01-29 | 情報処理装置、情報処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11521387B2 (ja) |
EP (1) | EP3780593A4 (ja) |
JP (1) | JP7235043B2 (ja) |
CN (1) | CN111919436A (ja) |
WO (1) | WO2019193821A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019193821A1 (ja) * | 2018-04-03 | 2019-10-10 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299010A (ja) | 2002-04-05 | 2003-10-17 | Sony Corp | 映像コンテンツ編集支援システム,撮像装置,編集者端末装置,記録媒体,コンピュータプログラム,映像コンテンツ編集支援システム, |
JP2005295296A (ja) | 2004-04-01 | 2005-10-20 | Fujitsu Ltd | ハイライトシーン抽出装置およびハイライトシーン配信システム |
US20140315610A1 (en) | 2012-02-23 | 2014-10-23 | Playsight Interactive Ltd. | Smart court system |
JP2015139016A (ja) | 2014-01-20 | 2015-07-30 | 富士通株式会社 | 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム |
JP2017055175A (ja) | 2015-09-07 | 2017-03-16 | キヤノン株式会社 | 画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274400A (ja) | 2006-03-31 | 2007-10-18 | Matsushita Electric Ind Co Ltd | スポーツ映像のイベント区間補正装置およびイベント区間補正方法 |
US20110119716A1 (en) | 2009-03-12 | 2011-05-19 | Mist Technology Holdings, Inc. | System and Method for Video Distribution Management with Mobile Services |
JP2012084979A (ja) * | 2010-10-07 | 2012-04-26 | Sony Corp | 情報処理装置及び方法、プログラム、並びに情報処理システム |
JP5962916B2 (ja) | 2012-11-14 | 2016-08-03 | パナソニックIpマネジメント株式会社 | 映像監視システム |
US9449229B1 (en) * | 2014-07-07 | 2016-09-20 | Google Inc. | Systems and methods for categorizing motion event candidates |
WO2019193821A1 (ja) * | 2018-04-03 | 2019-10-10 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2019
- 2019-01-29 WO PCT/JP2019/002873 patent/WO2019193821A1/ja unknown
- 2019-01-29 CN CN201980022498.2A patent/CN111919436A/zh not_active Withdrawn
- 2019-01-29 JP JP2020511612A patent/JP7235043B2/ja active Active
- 2019-01-29 US US17/041,104 patent/US11521387B2/en active Active
- 2019-01-29 EP EP19781822.2A patent/EP3780593A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299010A (ja) | 2002-04-05 | 2003-10-17 | Sony Corp | 映像コンテンツ編集支援システム,撮像装置,編集者端末装置,記録媒体,コンピュータプログラム,映像コンテンツ編集支援システム, |
JP2005295296A (ja) | 2004-04-01 | 2005-10-20 | Fujitsu Ltd | ハイライトシーン抽出装置およびハイライトシーン配信システム |
US20140315610A1 (en) | 2012-02-23 | 2014-10-23 | Playsight Interactive Ltd. | Smart court system |
JP2015139016A (ja) | 2014-01-20 | 2015-07-30 | 富士通株式会社 | 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム |
JP2017055175A (ja) | 2015-09-07 | 2017-03-16 | キヤノン株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019193821A1 (ja) | 2019-10-10 |
EP3780593A4 (en) | 2021-03-03 |
EP3780593A1 (en) | 2021-02-17 |
US20210117689A1 (en) | 2021-04-22 |
US11521387B2 (en) | 2022-12-06 |
JPWO2019193821A1 (ja) | 2021-04-15 |
CN111919436A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7095677B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7283037B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7147562B2 (ja) | 測光装置、測光方法、プログラムおよび撮像装置 | |
CN108027238A (zh) | 成像装置 | |
JP6950706B2 (ja) | 情報処理装置および方法、並びにプログラム | |
WO2020045539A1 (ja) | 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP7196833B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
JP7111098B2 (ja) | ぶれ補正装置及び撮像装置 | |
JPWO2020100664A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11889177B2 (en) | Electronic device and solid-state imaging device | |
US11750932B2 (en) | Image processing apparatus, image processing method, and electronic apparatus | |
US20220058411A1 (en) | Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program | |
JP7306269B2 (ja) | 制御装置と制御方法およびプログラム | |
WO2020027229A1 (ja) | 固体撮像装置および電子機器 | |
JP7235043B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JPWO2018180570A1 (ja) | 固体撮像素子、電子機器、および半導体装置 | |
WO2020027161A1 (ja) | 積層型受光センサ及び電子機器 | |
WO2020045202A1 (ja) | 撮像装置、補正方法及びコンピュータプログラム | |
JP2020072457A (ja) | 映像処理装置、映像処理方法、およびプログラム | |
WO2021029252A1 (ja) | 撮像装置および撮像方法 | |
JP6646347B2 (ja) | 固体撮像装置および電子機器 | |
WO2023002660A1 (ja) | 撮影装置、撮影方法、プログラム | |
WO2019082775A1 (ja) | 画像処理装置、画像処理方法および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7235043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |