JP5864876B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5864876B2
JP5864876B2 JP2011067760A JP2011067760A JP5864876B2 JP 5864876 B2 JP5864876 B2 JP 5864876B2 JP 2011067760 A JP2011067760 A JP 2011067760A JP 2011067760 A JP2011067760 A JP 2011067760A JP 5864876 B2 JP5864876 B2 JP 5864876B2
Authority
JP
Japan
Prior art keywords
format
data
image
image processing
wireless communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011067760A
Other languages
English (en)
Other versions
JP2012205071A5 (ja
JP2012205071A (ja
Inventor
柳舘　昌春
昌春 柳舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011067760A priority Critical patent/JP5864876B2/ja
Priority to CN201280005917.XA priority patent/CN103329520B/zh
Priority to PCT/JP2012/055379 priority patent/WO2012132763A1/ja
Priority to EP12764852.5A priority patent/EP2690869B1/en
Publication of JP2012205071A publication Critical patent/JP2012205071A/ja
Priority to US14/017,371 priority patent/US9332233B2/en
Publication of JP2012205071A5 publication Critical patent/JP2012205071A5/ja
Application granted granted Critical
Publication of JP5864876B2 publication Critical patent/JP5864876B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33307—Mode signalling or mode changing; Handshaking therefor prior to start of transmission, input or output of the picture signal only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33361—Mode signalling or mode changing; Handshaking therefor according to characteristics or the state of the communication line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0086—Image transceiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33378—Type or format of data, e.g. colour or B/W, halftone or binary, computer image file or facsimile data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Communication Control (AREA)

Description

本発明は、撮像装置から入力されるフレーム画像データを画像処理する画像処理装置及び画像処理方法に関する。
無線通信回線を用いて画像データを伝送する場合、電磁ノイズにより通信環境が劣化し、所定の画像データを伝送できなくなる場合が発生する。この問題を解決するため、例えば特許文献1では、通信環境に応じて通信プロトコルを切り替えて利用者の不快感を最小限度に留めるシステムが考案されている。
特開2003-69472号公報
しかしながら、特許文献1に記載されたシステムでは、通信環境の劣化が生じた場合に選択される画像フォーマットは予め決められているため、撮像装置や表示装置により、若しくは個々の使用者の好みにより撮像表示システムで個々に決定される表示品質として重視すべき要素の品質の劣化が大きくなる場合がある。
本発明は、上述した課題に鑑みてなされたものであって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる画像処理装置及び画像処理方法を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、前記無線通信部が所定期間毎に無線通信可能な第１のデータ量を算出し、前記第１のデータ量と、現在選択されている前記データフォーマットに従って前記画像処理部によって画像処理された前記フレーム画像データが前記所定期間毎に前記無線通信部によって送信される第２のデータ量と、を比較した結果に基づいて、前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境が劣化しているか否かを検出する検出部と、前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、を有する画像処理装置である。
また、本発明の画像処理装置において、前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する。
また、本発明の画像処理装置において、前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する。
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも少なくとも品質の低いフォーマットを規定する前記第１のデータフォーマットのうち、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
また、本発明の画像処理装置において、記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する。
また、本発明は、被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力ステップと、前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶ステップと、前記記憶ステップで記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力ステップで入力された前記フレーム画像データを画像処理する画像処理ステップと、前記表示装置に対して、前記画像処理ステップによって画像処理された前記フレーム画像データを連続的に無線送信する無線通信ステップと、前記無線通信ステップで所定期間毎に無線通信可能な第１のデータ量を算出し、前記第１のデータ量と、現在選択されている前記データフォーマットに従って前記画像処理ステップで画像処理された前記フレーム画像データが前記所定期間毎に前記無線通信ステップで送信される第２のデータ量と、を比較した結果に基づいて、前記無線通信ステップで前記フレーム画像データを前記無線送信する際の無線通信環境が劣化しているか否かを検出する検出ステップと、前記記憶ステップで記憶されている前記データフォーマットの中からいずれかを選択する選択ステップであって、前記検出ステップによって前記無線通信環境が劣化していると検出された場合、前記記憶ステップで記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択ステップと、を有する画像処理方法である。
本発明によれば、通信環境が劣化していると検出された場合、重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる。
本発明の一実施形態による撮像表示システムの構成を示すブロック図である。 本発明の一実施形態による撮像表示システムが有する送信装置の構成を示すブロック図である。 本発明の一実施形態におけるフォーマット選択表を示す参考図である。 本発明の一実施形態におけるフォーマット表を示す参考図である。 本発明の一実施形態におけるフォーマット選択制御情報を示す参考図である。 本発明の一実施形態におけるフォーマット選択動作の手順を示すフローチャートである。 本発明の一実施形態におけるフォーマット選択順番表を示す参考図である。
以下、図面を参照し、本発明の実施形態を説明する。以下では、内視鏡、送信装置、受信装置、表示モニタで構成された撮像表示システムに本発明を適用した場合を例に説明を行う。図１は、本発明の一実施形態による撮像表示システムの構成を示している。図1において、カート4には、内視鏡1と、内視鏡1で生成された内視鏡画像や各種制御画面を表示する操作モニタ2と、画像データの無線送信を行う送信装置3とが搭載されている。カート7には、送信装置3から送信される画像データを受信し、映像信号として出力する受信装置5と、受信装置5から出力される映像信号を画像として表示する表示モニタ6とが搭載されている。
内視鏡1は、複数フレームからなる動画像データの各フレームの画像データ（フレーム画像データ）を連続的に生成する。内視鏡1で生成された画像データは、送信装置3から受信装置5に無線伝送され、受信装置5に接続された表示モニタ6に画像が表示される。送信装置3は、内視鏡1から出力された画像データのフォーマットを、通信状況に応じたデータ量のフォーマットに変換し、変換後のデータをパケット化して無線伝送している。また、受信装置5は、受信したパケットから画像データを取り出し、取り出した画像データにフォーマット変換と画像処理を施して映像信号を生成し、表示モニタ6に出力している。表示モニタ6は、映像信号を表示処理して画像を表示する。
図2は、送信装置3の構成を示している。送信装置3は、画像処理回路10と、フォーマット変換回路11と、パケット生成回路12と、RF回路13と、記憶回路14と、フォーマット決定回路15と、通信環境検出回路16と、全体制御回路17と、外部装置インターフェイス回路18と、ユーザーインターフェイス回路19と、アンテナ20と、内視鏡インターフェイス回路21とを有する。
送信装置3には、内視鏡1から、画像データを構成する撮像信号8と、内視鏡制御信号9とが入力される。内視鏡1からの撮像信号8は内視鏡インターフェイス回路21に入力され、画像処理回路10に出力される。画像処理回路10は、撮像信号に対して、所定のフォーマットに対応した画像処理を行い、画像処理後の撮像信号をフォーマット変換回路11に出力する。フォーマット変換回路11は、画像処理回路10から出力された撮像信号のフォーマットを所定のフォーマットに変換し、変換後の撮像信号をパケット生成回路12に出力する。パケット生成回路12は、フォーマット変換回路11から出力された撮像信号をパケット化してRF回路13に出力する。RF回路13は、パケット生成回路12から出力されたパケットを無線化し、アンテナ20を介して送信する。
画像処理回路10が行う画像処理は、例えば、撮像信号8の解像度が1920(H)×1440(V)の時に対応する無線送信時のフォーマットが800(H)×600(V)である場合に、1920(H)×1440(V)のデータにフィルタリング処理を施して画像の歪を除去した800(H)×600(V)のデータを生成するという処理である。このような処理は、フォーマット変換に伴う前処理として公知であるので、これ以上の説明を省略する。
本実施形態は、無線通信環境(以下、通信環境と記載)が劣化し、送信可能なデータ量が減少した場合、減少後のデータ量でも送信可能なフォーマットを使用して通信を行うというものである。無線環境劣化時のフォーマット選択の動作を以下に説明する。
無線環境の状態は、RF回路13での通信状況により把握される。具体的には、無線通信でのパケットの再送状況をRF回路13が通信環境検出回路16に通知し、通信環境検出回路16が、パケットの再送状況に応じて通信環境の変化を検出し、通信可能なデータ量を算出する。
例えば、通信状況が良い場合では1/60秒(約16.7ms)期間に200パケットを伝送可能な無線通信方式を使用していると仮定する。この無線通信方式で、現在の再送パケットの発生率が平均5%であり、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信しようとすると、1画面分に180パケット(200×0.9=180)を使用するフォーマットの画像データを1/60秒毎に送信することが可能である。この時の平均再送パケット数は10である。
通信環境が劣化し、1/60秒(約16.7ms)期間に20パケットの再送が行われた場合、通信路の余裕が全く無くなる。通信路の余裕が全く無くなると、1画面分のデータ転送が途中で途切れることが頻発するため、通信路に余裕を持たせておくことが必要となる。本実施形態では、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信するものとする。
例えば、上記の例の場合、平均再送パケット数が10を越えた時点で通信路に余裕が無くなったと判断し、フォーマットを変更して、1画面の送信に必要なパケット数を削減する。例えば、上記の例の場合、フォーマットを変更した結果、1画面分のデータを100パケットで送信することになったとすると、通信環境の劣化が進んで、平均再送パケット数が50になった時点で、次のフォーマット変更を行うことになる。逆に、通信環境が改善し、平均再送パケット数が、現在のフォーマットに変更した時の判断基準である10の半分である5になった時点で、通信環境が改善したと判断し、元のフォーマットに戻すようにフォーマット変更を行っている。
通信環境検出回路16は、上記の方法で通信路の状況を測定し、通信路の変化が所定時間以上継続した場合、フォーマット決定回路15に通信環境の変化を通知する。フォーマット決定回路15は、通信環境検出回路16から通信環境の変化が通知されると、記憶回路14に記憶されている各種情報を用いて、使用するフォーマットを決定する。フォーマット決定回路15が決定したフォーマットの情報は画像処理回路10及びフォーマット変換回路11に出力され、画像処理回路10及びフォーマット変換回路11での処理に反映される。
記憶回路14は、後述するフォーマット表、フォーマット選択表、フォーマット選択制御情報、フォーマット選択順番表等を記憶する。外部装置インターフェイス回路18は、内視鏡制御信号9を介して内視鏡1と接続されており、内視鏡1を識別する装置ID情報を内視鏡1から取得し、全体制御回路17を介してフォーマット決定回路15に通知する。ユーザーインターフェイス回路19は、ユーザーが入力する各種情報を受け取り、全体制御回路17を介して、記憶回路14に格納する。全体制御回路17は、送信装置3の動作全体を制御する回路である。
図3は、本実施形態におけるフォーマット選択表の例である。フォーマット選択表は、本実施形態で選択可能な画質要素のフォーマットを画質ランク毎に分類したものである。本実施形態では、表示画像の画質を決定する画質要素として、解像度(A)、色表現(B)、更新周期(C)、階調(D)があり、各画質要素について画質ランク毎にフォーマットが規定されている。
例えば、解像度(A)では、画質ランクが1(最高画質)の場合に対応するフォーマットは1920(H)×1440(V)であり、次の画質ランクの場合に対応するフォーマットが1280(H)×960(V)である。この二つのフォーマットでのデータ量の比は、2.25倍である([1920×1440]/[1280×960]=2.25)。以下、図示するような解像度のフォーマットが選択可能となっている。
色表現(B)は、一般的なYCのフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットはYUV(4,4,4)であり、Y(輝度)、U，V(色)の比率が1:1:1のフォーマットである。次の画質ランクの場合に対応するフォーマットがYUV(4,2,2)であり、Y(輝度)、U，V(色)の比率が1:0.5:0.5のフォーマットである。この二つのフォーマット間でのデータ量の比は、1.5倍である([1+1+1]/[1+0.5+0.5]=1.5)。以下、図示するようなYCフォーマットが選択可能となっている。
更新周期(C)は、フレームレートのフォーマットを示している。例えば、画質ランクが１(最高画質)の場合に対応するフォーマットは60フレーム/秒であり、次の画質ランクの場合に対応するフォーマットが30フレーム/秒である。この二つのフォーマット間でのデータ量の比は、2倍である(60/30=2)。以下、図示するようなフレームレートのフォーマットが選択可能となっている。
階調(D)は、画素のbit長のフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットは12bit長であり、次の画質ランクの場合に対応するフォーマットが10bit長である。この二つのフォーマット間でのデータ量の比は、1.2倍である(12/10=1.2)。以下、図示するような階調のフォーマットが選択可能となっている。
図4は、本実施形態におけるフォーマット表の例である。図4のフォーマット表は、図3に示した各画質要素のフォーマットを組み合わせたデータフォーマットを示している。図4に示すように、図3に示した画質要素の画質ランクに対応するフォーマットナンバーが付けられている。例えば、フォーマットナンバー = 1111は、対応する画質要素のA:解像度の画質ランクが1でそのフォーマットが1920×1440であり、 B:色表現の画質ランクが1でそのフォーマットがYUV(4,4,4)であり、 C:更新周期の画質ランクが1でそのフォーマットが60Hzであり、 D:階調の画質ランクが1でそのフォーマットが12bitであることを示している。
フォーマット決定回路15が選択するデータフォーマットは、図4のフォーマット表のフォーマットナンバーを使用して表現されている。本実施形態では、フォーマットナンバーを構成する4つの数字のそれぞれが4つの画質要素のそれぞれのフォーマットを規定しており、フォーマットナンバー全体が、4つの画質要素のそれぞれのフォーマットの集合体としてのデータフォーマットを示している。
図5は、本実施形態におけるフォーマット選択制御情報の構成例である。フォーマット選択制御情報は、フォーマット決定回路15がフォーマットを決定する際に参照する情報であり、撮像装置の性能に応じた最高画質のデータフォーマット、各ユーザーが指定する最低画質のデータフォーマット、及び各ユーザーが指定する各画質要素の重視度（重要度）を示す情報である。図示するように、フォーマット選択制御情報は、装置ID、ユーザーID、撮像データフォーマット、許容最低画質情報、重視要素情報からなっている。
撮像データフォーマット、許容最低画質情報、重視要素情報のナンバーは、図4のフォーマットナンバーに対応している。また、撮像データフォーマット、許容最低画質情報、重視要素情報では、図4のフォーマット表に示した画質要素の順に情報が並んでいる。装置IDは、送信装置3に接続可能な撮像装置のIDである。尚、図中の装置ID=0000の設定は、デフォルト設定であり、装置IDが不明な撮像装置を使用する場合にフォーマット選択を行う際の設定である。ユーザーIDは、撮像表示システムのユーザー毎のIDである。図中のユーザーID=0000の設定は、装置毎のデフォルト設定であり、ユーザーが指定されていない場合にフォーマット選択を行う際の設定である。
撮像データフォーマットは、撮像装置が出力可能な最高画質のフォーマットを示している。例えば、装置ID=ES02、ユーザーID=D001の撮像データフォーマットは1212であるが、この撮像データフォーマットは図4のフォーマットナンバー1212のデータフォーマットに対応している。また、図中の撮像データフォーマット=0000の設定は、使用している撮像装置が出力可能な最高画質が不明な時のデフォルト設定であり、入力された撮像信号のフォーマットをそのまま撮像データフォーマットとして使用する設定である。
許容最低画質情報は、表示画質として設定可能な最低限の画質を示している。例えば、装置ID=ES02でユーザーID=D001の許容最低画質情報は4324であるが、この許容最低画質情報は図4のフォーマットナンバー4324のデータフォーマットに対応している。
重視要素情報は、フォーマット選択時に重要視する要素の順序と割合を示している。ここでいう順序とは、フォーマット選択時に画質ランクを変化させる画質要素の順番を示している。例えば、装置ID=ES02、ユーザーID=D001の重視要素情報における順序は1234である。これは、重要度に応じた各画質要素の順序を示している。例えば、この例における順序である1234は、解像度(順序1)、色表現(順序2)、更新周期(順序3)、階調(順序4)の順に画質要素を重要視することを示している。
また、ここでいう割合とは、各画質要素を何ランク変化させた時点で次の画質要素を変化させるのかを示している。例えば、装置ID=ES02、ユーザーID= D001の重視要素情報における割合は1111であるが、これは、いずれか1つの画質要素を1ランク変化させた時点で他の画質要素の画質ランクを変化させることを示している。上記の装置ID=ES02、ユーザーID=D001の例では、重視要素情報における順序=1234、割合=1111であるため、階調を1ランク変化させた後、更新周期を1ランク変化させ、その後、色表現を1ランク変化させ、その後、解像度を1ランク変化させることを示している。このように、重要度の低い順に各画質要素の画質ランクが変更される。
ユーザーIDが0000となっている設定以外の設定は、ユーザー毎に指定された設定である。ユーザーは、通信環境の劣化時に許容する最低画質や重視する画質要素の順番を指定することが可能である。ユーザーが許容最低画質情報や重視要素情報の設定を行う場合、ユーザーが指定する内容が、ユーザーインターフェイス回路19を介して全体制御回路17に入力され、更に全体制御回路17によって記憶回路14に格納される。また、装置ID及び撮像データフォーマットは、内視鏡1から内視鏡制御信号9を介して全体制御回路17に通知され、更に全体制御回路17によって記憶回路14に格納される。
図中、装置ID=ES02、ユーザーID=D001の設定では、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)となっている。この設定において、撮像装置が出力可能な最高画質のフォーマットは、フォーマットナンバー1212で示される、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=10bitである。また、この設定において、許容される最低の表示画質は、フォーマットナンバー4324で示される、解像度=800×600、色表現=YUV(4,1,1)、フレームレート=30Hz、階調=6bitである。また、この設定は、フォーマット選択を行う際、解像度、色表現、更新周期、階調の順に画質要素を重視し、通信環境の劣化時には、劣化の度合いに応じて、階調の画質ランクを2段階落とした後、更新周期の画質ランクを2段階落とし、その後、色表現の画質ランクを1段階落とし、その後、解像度の画質ランクを1段階落とし、その後、同様の手順で画質要素を選択して画質ランクを落とすということを示している。
本実施形態では、ユーザーと撮像装置の組合せ毎のフォーマット選択制御情報を使用しているが、撮像装置に依存しないユーザー毎のフォーマット選択制御情報、又はユーザーに依存しない撮像装置毎のフォーマット選択制御情報を使用してもよい。
次に、本実施形態におけるフォーマット選択動作を説明する。図5を参照して説明したように、通信環境の劣化が進行した時と回復した時に選択されるデータフォーマットの順番は、撮像データフォーマット、許容最低画質情報、重視要素情報により予め決定されている。そのため、フォーマット選択動作は、通信環境の劣化が進行したのか、それとも回復したのかを判断し、現在選択されているデータフォーマットを基準にして、予め決まったデータフォーマットを選択するという動作となる。
図6は、フォーマット決定回路15によるフォーマット選択動作を示している。フォーマット決定回路15は、フォーマット選択処理を開始(S1)すると、初期設定(S2)を行う。初期設定(S2)は、フォーマット選択順番表を生成する動作である。
フォーマット選択順番表は、通信環境が変化した時にフォーマット決定回路15が選択するデータフォーマットの順番を示している。図7は、装置ID=ES02、ユーザーID=D001の場合のフォーマット選択順番表である。図5に示したように、装置ID=ES02、ユーザーID=D001の場合、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)であるので、フォーマットの選択順は、図7に示した順番になる。
具体的には、通信環境の劣化が無い場合には、撮像データフォーマットであるフォーマットナンバー=1212のデータフォーマットが選択されるので、図7の選択順=1でのフォーマットナンバーは1212となる。通信環境の劣化が進むと、重視要素情報に応じてデータフォーマットが選択される。図7に示したように、通信環境の劣化が進むにつれて、フォーマットナンバー=1213、フォーマットナンバー=1214、フォーマットナンバー=1224の順にデータフォーマットが選択される。
フォーマットナンバー=1224のデータフォーマットが選択されている時、さらに通信環境の劣化が進むと、更新周期(フォーマットナンバー=1224の下位2桁目)が2(30Hz)の状態で、重視要素情報の割合の数値が2に設定されているので、次のデータフォーマットとしてフォーマットナンバー=1234のデータフォーマットが選択される筈である。しかし、許容最低画質情報が4324であるので、フォーマットナンバーの下位2桁目は"3"にはならず、"2"のまま保持される。その代わり、次に変更される画質要素である色表現が1段下がり、フォーマットナンバー=1324のデータフォーマットが次のデータフォーマットとして選択される。以下、図7に示したように、フォーマットナンバー=2324、フォーマットナンバー=3324、フォーマットナンバー=4324(許容最低画質)の順にデータフォーマットが選択される。
初期設定(S2)においてフォーマット決定回路15は、図5に示したフォーマット選択制御情報及び図4に示したフォーマット表に従って、図7に示したフォーマット選択順番表を生成し、記憶回路14に格納する。初期設定(S2)が終了すると、通信環境変化待ち(S3)が行われる。通信環境変化待ち(S3)は、通信環境検出回路16によって通信環境の変化が通知されるのを待つ処理である。
通信環境検出回路16から通信環境が変化したという通知を受けると、フォーマット決定回路15は、通信環境が劣化したのか、それとも改善したのかを判定する(S4)。通信環境が劣化した場合、フォーマット決定回路15は環境劣化時フォーマット選択処理(S5)を実行し、通信環境が改善した場合、フォーマット決定回路15は環境改善時フォーマット選択処理(S6)を実行する。
環境劣化時フォーマット選択処理(S5)は、通信データ量が少なくなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が劣化した場合、図7に示した選択順が加算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
以下、具体的なデータフォーマットの選択の一例を説明する。図7に示した選択順1のフォーマットナンバー=1212のデータフォーマットが選択されている場合、環境劣化時の最初に選択されるデータフォーマットは、選択順2のフォーマットナンバー=1213のデータフォーマットである。フォーマットナンバー=1213のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=8bitである。
通信環境が更に劣化すると、選択順3のフォーマットナンバー=1214のデータフォーマットが選択される。フォーマットナンバー=1214のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=6bitである。通信環境が更に劣化すると、選択順4のフォーマットナンバー=1224のデータフォーマットが選択される。フォーマットナンバー=1224のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=30Hz、階調=6bitである。
フォーマットナンバー=1212のデータフォーマットからフォーマット=1224のデータフォーマットまでデータフォーマットが変化した場合、階調が10bitから6bitに変化し、フレームレートが60Hzから30Hzに変化するため、データ量は当初と比べて30%になっている。その場合にも、ユーザーの重視する画質要素である解像度と色表現については当初の画質を保って画像が表示されることになる。
通信環境の劣化が進み、許容最低画質に対応する選択順8のフォーマットナンバー=4324のデータフォーマットが選択された場合、更に通信環境が劣化しても、そのデータフォーマットでの通信が継続される。
環境改善時フォーマット選択処理(S6)は、通信データ量が多くなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が改善した場合、図7に示した選択順が減算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
例えば、装置=ES02、ユーザー=D001で、現在のデータフォーマットがフォーマットナンバー=1224のデータフォーマットである場合、選択順は4である。そのため、環境改善時フォーマット選択処理(S6)では、選択順が3のフォーマットナンバー=1214のデータフォーマットを選択することになる。
環境劣化時フォーマット選択処理(S5)又は環境改善時フォーマット選択処理(S6)が終了すると、処理は通信環境変化待ち(S3)に戻り、フォーマット決定回路15は次の通信環境の変化の通知を待つ。上記のように、重視要素情報をユーザー毎に設定できるので、ユーザーが重視する画質要素の画質を最後まで保って画像を送ることが可能となる。
上述したように、本実施形態によれば、通信環境が劣化していると検出された場合、ユーザーが重視する画質要素に応じて、現在選択されているデータフォーマットよりも品質の低いデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質要素のうち、重要度の高い画質要素の劣化を抑えることができる。
また、ユーザー毎、撮像装置毎、又はユーザーと撮像装置の組合せ毎のデータフォーマットを使用することによって、通信環境の劣化時に保持したい画質要素を、撮像装置の特性や、ユーザーの嗜好に応じて選択することができる。また、許容最低画質情報が示す画質を下回らないデータフォーマットを選択することによって、通信環境が大きく劣化した場合でも、最低限度の表示画質を設定することができ、使用不可能なレベルの画像を表示しないようにすることができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1・・・内視鏡、2・・・操作モニタ、3・・・送信装置、4，7・・・カート、5・・・受信装置、6表示モニタ、10・・・画像処理回路（画像処理部）、11・・・フォーマット変換回路、12・・・パケット生成回路、13・・・RF回路（無線通信部）、14・・・記憶回路（記憶部）、15・・・フォーマット決定回路、16・・・通信環境検出回路（検出部）、17・・・全体制御回路、18・・・外部装置インターフェイス回路、19・・・ユーザーインターフェイス回路、20・・・アンテナ、21・・・内視鏡インターフェイス回路（入力部）

Claims (7)

  1. 被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、
    前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、
    前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、
    前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、
    前記無線通信部が所定期間毎に無線通信可能な第１のデータ量を算出し、前記第１のデータ量と、現在選択されている前記データフォーマットに従って前記画像処理部によって画像処理された前記フレーム画像データが前記所定期間毎に前記無線通信部によって送信される第２のデータ量と、を比較した結果に基づいて、前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境が劣化しているか否かを検出する検出部と、
    前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、
    を有する画像処理装置。
  2. 前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する請求項１に記載の画像処理装置。
  3. 前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する請求項１に記載の画像処理装置。
  4. 前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、
    前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも少なくとも品質の低いフォーマットを規定する前記第１のデータフォーマットのうち、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
  5. 前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、
    前記選択部は、前記検出部によって前記無線通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
  6. 前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する請求項５に記載の画像処理装置。
  7. 被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力ステップと、
    前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶ステップと、
    前記記憶ステップで記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力ステップで入力された前記フレーム画像データを画像処理する画像処理ステップと、
    前記表示装置に対して、前記画像処理ステップによって画像処理された前記フレーム画像データを連続的に無線送信する無線通信ステップと、
    前記無線通信ステップで所定期間毎に無線通信可能な第１のデータ量を算出し、前記第１のデータ量と、現在選択されている前記データフォーマットに従って前記画像処理ステップで画像処理された前記フレーム画像データが前記所定期間毎に前記無線通信ステップで送信される第２のデータ量と、を比較した結果に基づいて、前記無線通信ステップで前記フレーム画像データを前記無線送信する際の無線通信環境が劣化しているか否かを検出する検出ステップと、
    前記記憶ステップで記憶されている前記データフォーマットの中からいずれかを選択する選択ステップであって、前記検出ステップによって前記無線通信環境が劣化していると検出された場合、前記記憶ステップで記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択ステップと、
    を有する画像処理方法。
JP2011067760A 2011-03-25 2011-03-25 画像処理装置及び画像処理方法 Expired - Fee Related JP5864876B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011067760A JP5864876B2 (ja) 2011-03-25 2011-03-25 画像処理装置及び画像処理方法
CN201280005917.XA CN103329520B (zh) 2011-03-25 2012-03-02 图像处理装置
PCT/JP2012/055379 WO2012132763A1 (ja) 2011-03-25 2012-03-02 画像処理装置
EP12764852.5A EP2690869B1 (en) 2011-03-25 2012-03-02 Image processing device
US14/017,371 US9332233B2 (en) 2011-03-25 2013-09-04 Image processing device for processing a plurality of data formats corresponding to different image qualities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011067760A JP5864876B2 (ja) 2011-03-25 2011-03-25 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2012205071A JP2012205071A (ja) 2012-10-22
JP2012205071A5 JP2012205071A5 (ja) 2014-04-10
JP5864876B2 true JP5864876B2 (ja) 2016-02-17

Family

ID=46930510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011067760A Expired - Fee Related JP5864876B2 (ja) 2011-03-25 2011-03-25 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9332233B2 (ja)
EP (1) EP2690869B1 (ja)
JP (1) JP5864876B2 (ja)
CN (1) CN103329520B (ja)
WO (1) WO2012132763A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
JP6423172B2 (ja) * 2014-05-22 2018-11-14 オリンパス株式会社 無線内視鏡システム、表示装置、及びプログラム
CN104464668B (zh) * 2014-12-09 2016-11-09 昆山龙腾光电有限公司 用于显示器的控制电路
US10455056B2 (en) * 2015-08-21 2019-10-22 Abobe Inc. Cloud-based storage and interchange mechanism for design elements
US10496241B2 (en) 2015-08-21 2019-12-03 Adobe Inc. Cloud-based inter-application interchange of style information
CN105427776B (zh) * 2016-01-26 2018-08-07 深圳市华星光电技术有限公司 液晶面板影像残留检测方法和装置
US10200571B2 (en) * 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327377B1 (ko) * 2000-03-06 2002-03-06 구자홍 디지털 영상 수신기와 디지털 디스플레이 장치 사이에서디지털 영상 신호를 디스플레이 하는 방법
AU2001283502A1 (en) * 2000-07-26 2002-02-05 Livewave, Inc. Methods and systems for networked camera control
US7002992B1 (en) * 2001-03-07 2006-02-21 Cisco Technology, Inc. Codec selection to improve media communication
JP2003069472A (ja) 2001-08-24 2003-03-07 Matsushita Electric Ind Co Ltd 受信端末装置及び通信システム
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
GB0202460D0 (en) * 2002-02-02 2002-03-20 Superscape Ltd Resource tailoring
JP2004064300A (ja) * 2002-07-26 2004-02-26 Sony Corp 画像送信システム、画像送信装置、および画像受信装置
KR100503037B1 (ko) * 2002-11-01 2005-07-21 삼성테크윈 주식회사 디지털 카메라와 그의 영상정보 저장방법
JP4805531B2 (ja) 2003-04-18 2011-11-02 富士フイルム株式会社 画像処理装置
US20050024486A1 (en) * 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation
EP1592223A4 (en) * 2003-09-09 2006-02-22 Seiko Epson Corp OUTPUT IMAGE DATA GENERATION DEVICE AND OUTPUT IMAGE DATA GENERATION PROCESS
JP4247614B2 (ja) * 2003-10-06 2009-04-02 ソニー株式会社 ネットワーク装置および情報要求方法
JP2007158553A (ja) * 2005-12-02 2007-06-21 Sony Corp マルチコーデックカメラシステムおよび画像取得プログラム
CN101541228B (zh) * 2006-11-16 2012-10-03 斯特赖克公司 无线内窥摄像机
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機
JP5436870B2 (ja) * 2008-02-05 2014-03-05 オリンパス株式会社 画像通信装置
JP2009206995A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 情報処理装置
US8831090B2 (en) * 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
EP2359598A1 (en) * 2008-11-21 2011-08-24 Stryker Corporation Wireless operating room communication system including video output device and video display
JP5489516B2 (ja) * 2009-04-13 2014-05-14 オリンパス株式会社 画像送信端末、画像送信方法、およびプログラム
JP5508819B2 (ja) * 2009-11-13 2014-06-04 オリンパス株式会社 受信装置
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
JP6053345B2 (ja) * 2012-06-20 2016-12-27 キヤノン株式会社 送信装置、映像表示装置、送信方法、映像表示方法、及びプログラム
JP6071269B2 (ja) * 2012-06-26 2017-02-01 キヤノン株式会社 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
WO2014061181A1 (ja) * 2012-10-18 2014-04-24 日本電気株式会社 カメラシステム

Also Published As

Publication number Publication date
US9332233B2 (en) 2016-05-03
CN103329520B (zh) 2016-08-10
WO2012132763A1 (ja) 2012-10-04
EP2690869A4 (en) 2014-08-13
US20140002625A1 (en) 2014-01-02
JP2012205071A (ja) 2012-10-22
EP2690869A1 (en) 2014-01-29
EP2690869B1 (en) 2019-05-08
CN103329520A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5864876B2 (ja) 画像処理装置及び画像処理方法
US9699099B2 (en) Method of transmitting data in a communication system
US8736708B2 (en) Information processing apparatus allowing remote operation of an image capturing apparatus and control method therefor
EP2272237B1 (en) Method of transmitting data in a communication system
CN108369750B (zh) 用于虚拟现实图像的图像增强的方法和装置
WO2011086952A1 (ja) 動画像符号化データの表示方法、装置及び通信システム
US20120219052A1 (en) Picture transmission device, picture transmission method, and program
US11894927B2 (en) Data transmission method and device, and storage medium
JP5436870B2 (ja) 画像通信装置
WO2014192689A1 (ja) 無線通信システム及び通信方法
US20100110088A1 (en) Method and apparatus for data communication based on digital image processing
CN112203022B (zh) 一种电致变色控制方法、设备及计算机可读存储介质
JP6195494B2 (ja) 無線通信システム
JP3788362B2 (ja) 動画像通信プログラム、動画像通信方法及び動画像通信システム
JP4906603B2 (ja) 圧縮画像伸張装置及び重畳画像データ処理装置
US10454988B2 (en) Communication apparatus, communication system, and method for controlling data communication
JP6555151B2 (ja) 通信装置および通信システム
JP2006304234A (ja) 画像伝送装置
JP2006340227A (ja) 画像伝送システム
JP2022127426A (ja) 表示装置、制御装置およびマルチ表示装置システム
JP2014216702A (ja) 操作端末、撮影端末、遠隔撮影システム、遠隔撮影方法およびプログラム
JP2018097193A (ja) 表示システム、及び表示システムの設定方法
JP2015159360A (ja) 画像伝送装置及び画像伝送システム
JP2005117175A (ja) 電子機器、それにおける情報信号処理方法、その処理方法を実行させるためのプログラム、およびそれが接続される情報信号処理装置
JP2010171534A (ja) 画像データ送信装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151225

R151 Written notification of patent or utility model registration

Ref document number: 5864876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees