JP2010169777A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2010169777A
JP2010169777A JP2009010468A JP2009010468A JP2010169777A JP 2010169777 A JP2010169777 A JP 2010169777A JP 2009010468 A JP2009010468 A JP 2009010468A JP 2009010468 A JP2009010468 A JP 2009010468A JP 2010169777 A JP2010169777 A JP 2010169777A
Authority
JP
Japan
Prior art keywords
image
format
output
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2009010468A
Other languages
English (en)
Inventor
Yasunari Hatasawa
泰成 畠澤
Kazuhiko Ueda
和彦 上田
Masami Ogata
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009010468A priority Critical patent/JP2010169777A/ja
Priority to US12/918,745 priority patent/US20110293170A1/en
Priority to PCT/JP2010/050051 priority patent/WO2010084791A1/ja
Priority to BRPI1001238A priority patent/BRPI1001238A2/pt
Priority to CN2010800011260A priority patent/CN102216979A/zh
Priority to RU2010134940/08A priority patent/RU2469418C2/ru
Priority to EP10733398A priority patent/EP2239726A1/en
Publication of JP2010169777A publication Critical patent/JP2010169777A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】入力画像の形式を適切に判断し、また、表示部の表示可能な形式に合わせた適切な出力画像を表示させる。
【解決手段】画像形式判定部120は、画像入力部110に入力された画像が平面表示画像の画像形式であるか立体表示画像の画像形式であるかを判定する。表示可能形式判定部160は、画像表示部170に表示可能な出力画像の表示可能形式を判定する。操作入力受付部150は、画像表示部170に表示される出力画像の出力形式を指定表示形式として受け付ける。出力形式判定部130は、画像形式と、表示可能形式と、指定表示形式とに基づいて出力画像の出力形式を判定する。出力画像作成部140は、この出力形式に基づいて入力画像から出力画像を作成して画像表示部170に表示させる。
【選択図】図1

Description

本発明は、画像処理装置に関し、特に、平面画像または立体画像を表示するための判定処理を行う画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、表示装置の画面に画像を表示させ、この画像を3次元的(立体的)にユーザに見せることが可能な立体表示技術が提案されている。例えば、右目画像または左目画像が縦1画素ずつ交互に配置されている立体表示画像を、偏光フィルタが固定されている画面に表示させて、右目に入射される画像と左目に入射される画像とを分離するマイクロポール方式がある。また、例えば、右目画像と左目画像をそれぞれ等時間間隔で交互に表示させて、メガネを利用することにより右目に入射される右目画像と左目に入射される左目画像とを分離する時分割方式がある。いずれの方式においても、右目に入射される画像と左目に入射される画像との視差を利用することにより、ユーザは画像を立体的に見ることができる。
このような方式において、例えば、右目画像と左目画像とが並べて配置されている立体表示画像が画像処理装置に入力されて、この立体表示画像に基づいて、表示装置に表示される立体画像が作成処理される。今日では、映画用や放送用としてこのような立体表示画像が多数作成され始めている。しかし、例えば、放送により立体表示画像が配信されている場合に、CM(Commercial Message)などには既存の平面表示画像が用いられているため、立体表示画像と平面表示画像とが混在して配信されることになる。この場合、平面表示画像に基づいて立体画像が作成されると、ユーザが視認することができない画像が表示装置に表示される。したがって、配信された画像が立体表示画像または平面表示画像のいずれであるかを画像処理装置において判定する必要がある。
そこで、例えば、配信される画像に識別情報を付加して、配信された画像が平面表示画像であるか立体表示画像であるかを判定する立体画像表示システムが提案されている(例えば、特許文献1)。このシステムでは、画像を配信するサーバ側で画像に識別情報を付加した上でネットワークを介して表示装置に配信して、表示装置側で画像に付加された識別情報を参照することによりこの画像が平面表示画像であるか立体表示画像であるかを判定している。表示装置は、配信された画像に付加されている識別情報を参照してこの画像が立体表示画像であると判定した場合に、立体表示画像に基づいた立体画像を作成してこれを画面に表示している。
特開2005−175566号公報(図1)
しかし、上術の従来技術では、例えば、識別情報を付加するサーバと、この識別情報を判定する表示装置の双方が必要になる。したがって、画像が識別情報を付加する機能を有しないサーバから配信されている場合には、その画像が平面表示画像であるか立体表示画像であるかを従来の表示装置において正確に判定することが困難になる。また、配信された画像の画像形式が、表示装置にとって適切に表示することができない画像形式である場合には、ユーザが正しく視認できない画像が表示されてしまうおそれがある。
本発明は上記問題点に鑑みてなされたものであり、画像の形式を適切に判断し、また、表示部の表示可能な形式に合わせた適切な画像を表示させることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、入力画像の画像形式が、単眼視により視認される平面表示画像の画像形式であるか、または、右目画像領域と左目画像領域とから構成される立体表示画像の画像形式であるかを判定する画像形式判定部と、表示部に表示可能な出力画像の表示可能形式を判定する表示可能形式判定部と、上記画像形式および上記表示可能形式に基づいて上記表示部に表示される上記出力画像の出力形式を判定する出力形式判定部と、上記出力形式判定部により判定された上記出力形式に基づいて上記入力画像から上記出力画像を作成する画像作成部とを具備する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力画像の画像形式を判定し、表示部に表示可能な出力画像の表示可能形式を判定し、上記画像形式および上記表示可能形式に基づいて出力画像の出力形式を判定して、この出力形式に基づいて入力画像から出力画像を作成するという作用をもたらす。
また、この第1の側面において、上記画像形式判定部は、上記入力画像を2つの分割画像に分割して上記2つの分割画像が互いに類似しているか否かを判別し、上記2つの分割画像が互いに類似している場合には上記入力画像の画像形式を上記立体表示画像の画像形式であると判定するようにしてもよい。これにより、画像形式判定部は、2つの分割画像が互いに類似しているか否かを判別し、この2つの分割画像が互いに類似している場合には入力画像の画像形式を立体表示画像の画像形式であると判定するという作用をもたらす。
また、この第1の側面において、上記画像形式判定部は、上記2つの分割画像のうちの一方をさらに複数の領域に分割して、上記複数の領域ごとに当該領域の画像と上記2つの分割画像の他方において当該領域に対応する画像とを比較することにより上記類似の判別を行うようにしてもよい。これにより、複数の領域ごとにこの領域の画像と2つの分割画像の他方においてこの領域に対応する画像とを比較するという作用をもたらす。
また、この第1の側面において、上記表示部に表示される上記出力画像の出力形式を指定表示形式として受け付ける受付部をさらに具備し、上記出力形式判定部は、上記画像形式と上記表示可能形式と上記指定表示形式とに基づいて上記出力画像の上記出力形式を判定するようにしてもよい。これにより、出力形式判定部は、画像形式と表示可能形式と指定表示形式とに基づいて出力画像の出力形式を判定するという作用をもたらす。
また、この第1の側面において、上記画像形式と上記表示可能形式と上記指定表示形式との組合せごとに上記出力形式を関連付けて保持する保持部をさらに具備し、上記出力形式判定部は、上記画像形式判定部により判定された上記画像形式と、上記表示可能形式判定部により判定された上記表示可能形式と、上記受付部により受け付けられた上記指定表示形式との組合せに基づいて上記保持部に保持されている上記出力形式を特定して、当該特定された出力形式を上記出力画像の上記出力形式と判定するようにしてもよい。これにより、出力形式判定部は、画像形式と、表示可能形式と、指定表示形式との組合せに基づいて保持部に保持されている出力形式を特定して、この出力形式を出力画像の出力形式であると判定するという作用をもたらす。
本発明によれば、画像の形式を適切に判断し、また、表示部の表示可能な形式に合わせた適切な画像を表示させるという優れた効果を奏し得る。
本発明の第1の実施の形態における画像処理装置100の一構成例を示すブロック図である。 本発明の第1の実施の形態における画像形式判定部120の構成例を示すブロック図である。 本発明の第1の実施の形態における出力形式判定部130の構成例を示すブロック図である。 本発明の第1の実施の形態における出力画像作成部140の構成例を示すブロック図である。 本発明の第1の実施の形態におけるSBS形式尤度算出処理部122による尤度を算出する尤度算出処理の一例を示す図である。 本発明の第1の実施の形態におけるSBS形式尤度算出処理部122による尤度を算出する尤度算出処理の一例を示す図である。 本発明の第1の実施の形態におけるSBS形式尤度算出処理部122による尤度を算出する尤度算出処理の一例を示す図である。 本発明の第1の実施の形態におけるTAB形式尤度算出処理部123による尤度算出処理の一例を示す図である。 発明の第1の実施の形態における立体画像作成部145により平面表示画像から右目画像および左目画像が作成される例を説明するための図である。 本発明の第1の実施の形態における立体画像の例を示す図である。 本発明の第1の実施の形態における画像処理装置100による画像判定処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における画像処理装置100による画像解析処理(ステップS903)の処理手順を示すフローチャートである。 本発明の第1の実施の形態における画像処理装置100による尤度算出処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における画像処理装置100による出力形式判定処理の処理手順を示すフローチャートである。 本発明の第1の実施の形態における画像処理装置100による出力画像作成処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における画像処理装置105の一構成例を示すブロック図である。 本発明の第2の実施の形態における出力形式判定情報801の一例を示す図である。 本発明の第2の実施の形態における出力形式判定部130の構成例を示すブロック図である。 本発明の第2の実施の形態における出力形式判定処理の処理手順を示すフローチャートである。
以下、本発明を実施するための最良の形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(出力画像作成制御:出力形式判定処理に基づいて出力形式を判定する例)
2.第2の実施の形態(出力画像作成制御:出力形式判定情報に基づいて出力形式を判定する例)
<1.第1の実施の形態>
[画像処理装置の内部構成例]
図1は、本発明の第1の実施の形態における画像処理装置100の一構成例を示すブロック図である。画像処理装置100は、画像入力部110と、画像形式判定部120と、出力形式判定部130と、出力画像作成部140と、操作入力受付部150と、表示可能形式判定部160とを備える。また、画像処理装置100の出力画像作成部140および表示可能形式判定部160は、画像表示部170に接続されている。
画像入力部110は、入力画像として平面表示画像または立体表示画像を入力するものである。この画像入力部110は、この入力画像を、信号線119を介して画像形式判定部120に出力する。なお、平面表示画像は、単眼視により視認される画像である。また、立体表示画像は、右目画像領域および左目画像領域から構成される画像である。
画像形式判定部120は、画像入力から出力された入力画像が平面表示画像の画像形式であるか、立体表示画像の画像形式であるかを判定するものである。この画像形式判定部120は、入力画像および判定した画像形式を、信号線129を介して出力形式判定部130に出力する。この画像形式判定部120は、例えば、入力画像に付加されている識別情報に基づいて画像形式を判定してもよい。また、画像形式判定部120は、例えば、入力画像を半分に分割した分割画像について、それぞれの分割画像が類似しているか否かについて評価することにより、入力画像が立体表示画像の画像形式であるか否かを判定してもよい。なお、画像形式に含まれる情報として、例えば、「2次元」、「SBS」、「TAB」等を想定することができる。ここで、「2次元」は、平面表示画像を示す。また、「SBS」は、左目画像および右目画像が左右にそれぞれ配置されているSBS(Side-By-Side)形式による立体表示画像であることを示す。また、「TAB」は、左目画像および右目画像が上下にそれぞれ配置されているTAB(Top And Bottom)形式による立体表示画像であることを示す。なお、画像形式判定部120により実現される機能構成例については、図2を用いて詳細に説明する。
操作入力受付部150は、画像表示部170に表示される出力画像の出力形式を指定表示形式としてユーザから受け付けるものである。この操作入力受付部150は、指定表示形式を、信号線159を介して出力形式判定部130に出力する。例えば、ユーザがリモコンを操作することにより、ユーザ所望の出力形式がリモコンから送信されて、操作入力受付部150は、受信したユーザ所望の出力形式を指定表示形式として出力形式判定部130に出力する。なお、指定表示形式に含まれる情報として、例えば、「2次元」、「3次元」、「自動選択」等を想定することができる。ここで、「2次元」は、画像表示部170に平面画像を表示させる指示であることを示す。また、「3次元」は、画像表示部170に立体画像を表示させる指示であることを示す。また、「自動選択」は、画像表示部170に平面画像または立体画像のうちいずれを表示させてもよいことを示す。なお、操作入力受付部150は、特許請求の範囲に記載の受付部の一例である。
表示可能形式判定部160は、画像表示部170が表示可能な出力画像の表示可能形式を判定するものである。この表示可能形式判定部160は、この表示可能形式を、信号線169を介して出力形式判定部130に出力する。例えば、画像表示部170が出力可能な出力画像の表示可能形式を保持しておいて、表示可能形式判定部160がこの表示可能形式を画像表示部170から取得する。なお、表示可能形式に含まれる情報として、例えば、「2次元」、「2次元、Mpol」、「2次元、時分割」等を想定することができる。ここで、「2次元」は、画像表示部170が平面画像のみを表示できることを示す。また、「2次元、Mpol」は、画像表示部170が平面画像またはマイクロポール(Mpol)方式による立体画像を表示できることを示す。また、「2次元、時分割」は、画像表示部170が平面画像または時分割方式による立体画像を表示できることを示す。なお、以後の説明において、立体画像の方式がマイクロポール方式または時分割方式のうちいずれかの方式である場合には、3次元方式と称して説明する。
出力形式判定部130は、画像形式と、指定表示形式と、表示可能形式とに基づいて、画像表示部170に表示される出力画像の出力形式を判定するものである。この出力形式判定部130は、入力画像および判定した出力形式を、信号線139を介して出力画像作成部140に出力する。なお、出力形式に含まれる情報として、例えば、「2次元」、「Mpol」、「時分割」等を想定することができる。ここで、「2次元」は、画像表示部170に平面画像を表示させることを示す。また、「Mpol」は、画像表示部170にマイクロポール方式の立体画像を表示させることを示す。また、「時分割」は、画像表示部170に時分割方式の立体画像を表示させることを示す。なお、出力形式判定部130により実現される機能構成例については、図3を用いて詳細に説明する。
出力画像作成部140は、出力形式判定部130により判定された出力形式に基づいて、入力画像から出力画像を作成するものである。この出力画像作成部140は、作成した出力画像を画像表示部170に出力してこれを表示させる。なお、出力画像作成部140は、特許請求の範囲に記載の画像作成部の一例である。なお、出力画像作成部140により実現される機能構成例については、図4を用いて詳細に説明する。
画像表示部170は、表示装置等から構成されて、出力画像作成部140から出力された出力画像を画面に表示するものである。なお、画像表示部170に表示される出力画像としての立体画像の例については、図10を用いて詳細に説明する。
[画像形式判定部の機能構成例]
図2は、本発明の第1の実施の形態における画像形式判定部120の構成例を示すブロック図である。画像形式判定部120は、識別情報判別部121と、SBS形式尤度算出処理部122と、TAB形式尤度算出処理部123と、立体表示画像形式判別部124と、画像形式決定部125とを備える。
識別情報判別部121は、画像入力部110から出力された入力画像に識別情報が付加されているか否かを判別するものである。ここで、識別情報とは、例えば、入力画像が平面表示画像であるか立体表示画像であるかを識別するための情報である。識別情報判別部121は、入力画像に識別情報が付加されていれば、この入力画像を画像形式決定部125に出力する。この場合、画像形式決定部125は、入力画像に付加されている識別情報が示す画像形式を判別して、判別した画像形式を入力画像における画像形式であると決定する。一方、入力画像に識別情報が付加されていなければ、入力画像をSBS形式尤度算出処理部122およびTAB形式尤度算出処理部123に出力する。
SBS形式尤度算出処理部122は、入力画像がSBS形式からなる立体表示画像であるか否かを評価するための尤度を、尤度算出処理に基づいて算出するものである。このSBS形式尤度算出処理部122は、算出した尤度を立体表示画像形式判別部124に出力する。なお、SBS形式尤度算出処理部122による尤度算出処理については、図5乃至7を用いて詳細に説明する。
TAB形式尤度算出処理部123は、入力画像がTAB形式からなる立体表示画像であるか否かを評価するための尤度を、尤度算出処理に基づいて算出するものである。このTAB形式尤度算出処理部123は、算出した尤度を立体表示画像形式判別部124に出力する。なお、TAB形式尤度算出処理部123による尤度算出処理については、図8を用いて詳細に説明する。
立体表示画像形式判別部124は、SBS形式尤度算出処理部122およびTAB形式尤度算出処理部123から出力された尤度に基づいて、入力画像がSBS形式からなる立体画像であるかTAB形式からなる立体画像であるかを判別するものである。例えば、立体表示画像形式判別部124は、SBS形式尤度算出処理部122およびTAB形式尤度算出処理部123から出力された尤度のうち大きいほうをL_MAXとし、小さいほうをL_MINとする。そして、立体表示画像形式判別部124は、L_MAXが所定閾値TH1より大きく、かつ、L_MINが所定閾値TH2よりも小さいという判別条件を満たすか否かについて判定する。立体表示画像形式判別部124がこの判別条件を満たすと判定した場合、L_MAXとした尤度に対応する立体表示画像形式(SBS形式またはTAB形式)を入力画像の画像形式であると判別する。また、立体表示画像形式判別部124がこの判別条件を満たさないと判定した場合、入力画像は平面表示画像であると判別する。そして、立体表示画像形式判別部124は、判別結果および入力画像を画像形式決定部125に出力する。
画像形式決定部125は、識別情報判別部121から出力された入力画像の識別情報、または、立体表示画像形式判別部124から出力された判別結果に基づいて入力画像の画像形式を決定するものである。この画像形式決定部125は、入力画像およびこの決定された画像形式を、信号線129を介して出力形式判定部130に出力する。例えば、画像形式決定部125は、識別情報判別部121から入力画像が出力された場合には、入力画像に付加されている識別情報が示す画像形式を判別して、判別した画像形式を入力画像における画像形式であると決定する。また、例えば、画像形式決定部125は、立体表示画像形式判別部124から入力画像および判別結果が出力された場合には、この判別結果が示す形式を入力画像における画像形式であると決定する。
[出力形式判定部の機能構成例]
図3は、本発明の第1の実施の形態における出力形式判定部130の構成例を示すブロック図である。出力形式判定部130は、表示可能形式取得部131と、指定表示形式取得部132と、表示可能形式判別部133と、指定表示形式判別部134と、画像形式判別部135と、出力形式決定部136とを備える。
表示可能形式取得部131は、画像形式判定部120から入力画像および画像形式が出力(129)されたことを契機として、表示可能形式判定部160から出力(169)される表示可能形式を取得するものである。そして、表示可能形式取得部131は、取得した表示可能形式を表示可能形式判別部133に出力する。
表示可能形式判別部133は、表示可能形式取得部131から出力された表示可能形式が示す形式を判別して、判別結果に応じて判別結果を指示表示形式判別部134または出力形式決定部136に出力するものである。例えば、判別の結果、表示可能形式に含まれる情報が「2次元」である場合には、表示可能形式判別部133は表示可能形式を含めた判別結果を出力形式決定部136に出力する。一方、例えば、判別の結果、表示可能形式に含まれる情報が「2次元、時分割」である場合には、表示可能形式判別部133は表示可能形式を含めた判別結果を指定表示形式判別部134に出力する。
指定表示形式取得部132は、操作入力受付部150から出力(159)される指定表示形式を取得するものである。そして、指定表示形式取得部132は、取得した指定表示形式を指定表示形式判別部134に出力する。
指定表示形式判別部134は、表示可能形式判別部133から出力された判別結果を取得した場合に指定表示形式が示す内容を判別して、判別結果に応じて判別結果を画像形式判別部135または出力形式決定部136に出力するものである。例えば、判別の結果、指定表示形式に含まれる情報が「2次元」である場合には、指定表示形式判別部134は指定表示形式を含めた判別結果を出力形式決定部136に出力する。一方、例えば、判別の結果、指定表示形式に含まれる情報が「2次元」ではない場合には、指定表示形式判別部134は指定表示形式を含めた判別結果を画像形式判別部135に出力する。
画像形式判別部135は、指定表示形式判別部134から判別結果を取得した場合に、画像形式判定部120から出力(129)された画像形式が示す内容を判別して、判別結果を出力形式決定部136に出力するものである。例えば、判別の結果、画像形式に含まれる情報が「2次元」である場合には、画像形式判別部135は、その旨および画像形式を含めた判別結果を出力形式決定部136に出力する。一方、例えば、判別の結果、画像形式に含まれる情報が「2次元」ではない場合には、画像形式判別部135は、その旨および画像形式を含めた判別結果を出力形式決定部136に出力する。なお、出力形式決定部136が画像形式判別部135から判別結果を取得した場合には、出力形式決定部136は、判別結果に応じて「2次元」、または、表示可能形式が示す3次元方式を出力形式として決定する。なお、画像形式判別部135は、指定表示形式判別部134から判別結果が出力されない場合には、画像形式の判別を行わずに、入力画像および画像形式を出力形式決定部136に出力する。
出力形式決定部136は、表示可能形式、指定表示形式、または画像形式に基づいて、出力形式を決定するものである。そして、出力形式決定部136は、決定した出力形式と、画像形式判別部135から取得した画像形式および入力画像とを出力画像作成部140に出力(139)する。例えば、出力形式決定部136は、表示可能形式判別部133から判別結果を取得した場合には、判別結果に含まれる表示可能形式が示す形式を出力形式であると決定する。また、例えば、出力形式決定部136は、指定表示形式判別部134から判別結果を取得した場合には、判別結果に含まれる指定表示形式が示す形式を出力形式であると決定する。また、例えば、出力形式決定部136は、画像形式判別部135から判別結果を取得した場合には、判別結果に応じて画像形式が示す形式、または、表示可能形式が示す3次元方式を出力形式として決定する。
[出力画像作成部の機能構成例]
図4は、本発明の第1の実施の形態における出力画像作成部140の構成例を示すブロック図である。出力画像作成部140は、出力形式判別部141と、画像形式判別部142と、出力画像作成指示部143と、平面画像作成部144と、立体画像作成部145と、画像出力部146とを備える。
出力形式判別部141は、出力形式判定部130から出力(139)された出力形式が示す内容を判別するものである。そして、出力形式判別部141は、判別した内容を含めた判別結果を画像形式判別部142に出力する。
画像形式判別部142は、出力形式判定部130から出力された画像形式が示す内容を判別するものである。そして、画像形式判別部142は、画像形式が示す内容を含めた判別結果を出力画像作成指示部143に出力する。
出力画像作成指示部143は、出力形式判別部141および画像形式判別部142により判別された判別結果に基づいて、平面画像または立体画像のうちのいずれの画像を作成させるのかを平面画像作成部144または立体画像作成部145に指示するものである。例えば、出力形式が「2次元」であれば、出力画像作成指示部143は、出力画像として平面画像を平面画像作成部144に作成させる。また、例えば、出力形式が「時分割」または「Mpol」であれば、出力画像作成指示部143は、時分割方式またはマイクロポール方式による立体画像を立体画像作成部145に作成させる。なお、平面画像を作成させる場合に画像形式が立体表示画像を示しているならば、出力画像作成指示部143は、立体表示画像を構成する右目画像領域または左目画像領域から画像を抽出する。そして、出力画像作成指示部143は、この抽出した画像を平面画像とするように平面画像作成部144に指示する。また、立体画像を作成させる場合に画像形式が平面表示画像を示しているならば、出力画像作成指示部143は、平面表示画像に基づいて右目画像および左目画像を作成して、この右目画像および左目画像に基づいて平面画像作成部144に立体画像を作成させる。
平面画像作成部144は、出力画像作成指示部143による指示に基づいて、入力画像から平面画像を作成するものである。そして、平面画像作成部144は、作成した平面画像を画像出力部146に出力する。
立体画像作成部145は、出力画像作成指示部143による指示に基づいて、入力画像から立体画像を作成するものである。そして、立体画像作成部145は、作成した立体画像を画像出力部146に出力する。なお、立体画像作成部145が、平面表示画像に基づいて右目画像および左目画像を作成して、この右目画像および左目画像に基づいて立体画像を作成する動作例については、図9を用いて詳細に説明する。
画像出力部146は、平面画像作成部144または立体画像作成部145から出力された画像を出力画像として画像表示部170に出力するものである。
[SBS形式尤度算出処理部による尤度算出処理例]
図5乃至7は、本発明の第1の実施の形態におけるSBS形式尤度算出処理部122による尤度を算出する尤度算出処理の一例を示す図である。ここでは、入力画像がSBS形式立体表示画像500である場合を例に、SBS形式尤度算出処理部122が尤度を算出する動作について説明する。なお、SBS形式立体表示画像500には、左目画像領域501および右目画像領域502からなる画像がそれぞれ左右に並んで配置されている。
まず、SBS形式尤度算出処理部122は、SBS形式立体表示画像500を左右2つの分割画像に分割する。そして、SBS形式尤度算出処理部122は、分割画像のうちの一方をさらに所定サイズからなる複数の領域に分割する。例えば、図5に示すように、左目画像領域501からなる分割画像および右目画像領域502からなる分割画像のように、SBS形式立体表示画像500は2つの分割画像に分割される。そして、2つの分割画像のうち、左目画像領域501からなる分割画像がさらに所定サイズからなるM+1個(図5ではM=24)の領域に分割される。なお、図5に示すように、複数の領域のうち、左目画像領域501における左上隅の領域503をBLK_0とする。そして、左上隅の領域503から順に各領域をBLK_i(iは領域ごとに異なる番号)とする。そして、左目画像領域501における右下隅の領域504をBLK_Mとする。このようにして、SBS形式尤度算出処理部122は、一方の分割画像を複数の領域にさらに分割する。そして、SBS形式尤度算出処理部122は、分割した領域ごとに他方の分割画像との類似を評価する。
次に、SBS形式尤度算出処理部122は、他方の分割画像に比較領域を設定する。例えば、図6(a)に示すように、SBS形式尤度算出処理部122は、まず、左目画像領域501における注目領域505(BLK_i)と同じ位置にある右目画像領域502における領域506を特定する。そして、SBS形式尤度算出処理部122は、図6(b)に示すように、特定した領域506を左右方向に例えば30画素ずつ広げ、上下方向に数画素ずつ広げた領域を比較領域508(SCH_i)とする。
次に、SBS形式尤度算出処理部122は、一方の分割画像における注目領域505内の画像と他方の分割画像における比較領域508内の画像との類似を評価する。例えば、図7に示すように、SBS形式尤度算出処理部122は、比較領域508(SCH_i)における左上隅に画像比較領域509(BLK_i_0)を設定する。ここで、画像比較領域509(BLK_i_0)は、注目領域505(BLK_i)と同じサイズである。そして、SBS形式尤度算出処理部122は、画像比較領域509(BLK_i_0)に含まれる画像と注目領域505(BLK_i)に含まれる画像との輝度の差分絶対値和を求める。ここで、算出した輝度の差分絶対値和をSAD_i_0とする。次に、SBS形式尤度算出処理部122は、画像比較領域509(BLK_i_0)を1画素分水平方向右にずらした画像比較領域(BLK_i_1)を設定する。そして、SBS形式尤度算出処理部122は、同様に画像比較領域(BLK_i_1)に含まれる画像と注目領域505(BLK_i)に含まれる画像との輝度の差分絶対値和を算出して、これをSAD_i_1とする。このように、SBS形式尤度算出処理部122は、比較領域508(SCH_i)における画像比較領域ごとに、注目領域に含まれる画像との輝度の差分絶対値和を算出する。なお、SBS形式尤度算出処理部122は、比較領域における右端の画像比較領域での輝度の差分絶対値和を算出した後は、次に、画像比較領域を1画素分垂直方向下にずらしかつ比較領域の左端に移動させた位置を次の画像比較領域とする。このようにして、SBS形式尤度算出処理部122は、画像比較領域510(BLK_i_Nmax)まで画像比較領域を移動させながら輝度の差分絶対値和(SAD_i_0〜SAD_i_Nmax)を算出する。
次に、SBS形式尤度算出処理部122は、算出した「Nmax+1」個の輝度の差分絶対値和(SAD_i_0〜SAD_i_Nmax)のうち、最小となる差分絶対値和を抽出する。そして、SBS形式尤度算出処理部122は、算出した輝度の差分絶対値和のうち最小となる輝度の差分絶対値和が所定閾値よりも大きいか否かを判定する。SBS形式尤度算出処理部122は、判定の結果、最小となる輝度の差分絶対値和が所定閾値よりも大きい場合には注目領域505(BLK_i)における類似性の評価値L_iを「0」とする。一方、SBS形式尤度算出処理部122は、判定の結果、最小となる輝度の差分絶対値和が所定閾値以下の場合には注目領域505(BLK_i)における類似性の評価値L_iを「1」とする。すなわち、評価値が「1」であれば、注目領域における画像と比較領域における画像とが類似していることを示している。
このようにして、SBS形式尤度算出処理部122は、複数に分割された領域(BLK_0〜BLK_M)すべてについて、評価値(L_0〜L_M)を算出する。そして、SBS形式尤度算出処理部122は、評価値(L_0〜L_M)の合計値を尤度とする。なお、このようにして算出された尤度の値が大きいほど、入力画像を左右に分割した分割画像同士が類似していることになる。
[TAB形式尤度算出処理部による尤度算出処理例]
図8は、本発明の第1の実施の形態におけるTAB形式尤度算出処理部123による尤度算出処理の一例を示す図である。ここでは、入力画像がTAB形式立体表示画像515である場合を例に、TAB形式尤度算出処理部123が尤度を算出する動作について説明する。なお、TAB形式立体表示画像515には、左目画像領域516および右目画像領域517からなる画像がそれぞれ上下に並んで配置されている。
まず、TAB形式尤度算出処理部123は、TAB形式立体表示画像515を上下2つの分割画像に分割する。そして、TAB形式尤度算出処理部123は、分割画像のうちの一方をさらに所定サイズからなる複数の領域に分割する。例えば、図8に示すように、左目画像領域516からなる分割画像および右目画像領域517からなる分割画像のように、TAB形式立体表示画像515は2つの分割画像に分割される。そして、2つの分割画像のうち、左目画像領域516からなる分割画像がさらに所定サイズからなるM+1個(図8ではM=29)の領域に分割される。なお、図8に示すように、複数の領域のうち、左目画像領域516における左上隅の領域511をBLK_0とする。そして、左上隅の領域511から順に各領域をBLK_i(iは領域ごとに異なる番号)とする。そして、左目画像領域516における右下隅の領域513をBLK_Mとする。このようにして、TAB形式尤度算出処理部123は、一方の分割画像を複数の領域にさらに分割する。そして、TAB形式尤度算出処理部123は、分割した領域ごとに他方の分割画像との類似を評価する。
次に、TAB形式尤度算出処理部123は、他方の分割画像に比較領域を設定する。例えば、TAB形式尤度算出処理部123は、まず、左目画像領域516における注目領域512(BLK_i)と同じ位置にある右目画像領域517における領域を特定する。そして、TAB形式尤度算出処理部123は、図8に示すように、注目領域512よりも左右方向に例えば数画素広く、上下方向に30画素広い領域を比較領域514(SCH_i)とする。そして、TAB形式尤度算出処理部123は、SBS形式尤度算出処理部122による尤度算出処理と同様に注目領域512(BLK_i)における画像と比較領域514(SCH_i)における画像比較領域ごとの画像との輝度の差分絶対値和を求める。そして、TAB形式尤度算出処理部123は、最小となる輝度の差分絶対値和を抽出して、所定閾値と比較することにより評価値L_iを算出する。そして、TAB形式尤度算出処理部123は、複数に分割された領域(BLK_0〜BLK_M)すべてについて、評価値(L_0〜L_M)を算出する。そして、TAB形式尤度算出処理部123は、評価値(L_0〜L_M)の合計値を尤度とする。なお、このようにして算出された尤度の値が大きいほど、入力画像を上下に分割した分割画像同士が類似していることになる。
[立体画像作成部による右目画像および左目画像の作成例]
図9は、本発明の第1の実施の形態における立体画像作成部145により平面表示画像から右目画像および左目画像が作成される例を説明するための図である。この例では、図9(a)に示す平面表示画像601から左目画像602および右目画像603が作成される。
立体画像作成部145は、平面表示画像に基づいて右目画像および左目画像を作成する指示を出力画像作成指示部143から受けた場合に、右目画像および左目画像を作成する。例えば、図9(b)に示すように、立体画像作成部145は、平面表示画像601を左方向に30画素分をオフセットとして移動させた左目画像602を作成する。なお、平面表示画像601をオフセット分移動させた右端側の領域には画像が存在しないため、この部分を図9(b)に示すように黒色領域とする。また、左目画像602の左端側もオフセット分の幅からなる黒色領域とする。
また、例えば、図9(c)に示すように、立体画像作成部145は、平面表示画像601を右方向に30画素分をオフセットとして移動させた右目画像603を作成する。なお、平面表示画像601をオフセット分移動させた左端側の領域には画像が存在しないため、この部分を図9(c)に示すように黒色領域とする。また、右目画像603の右端側もオフセット分の幅からなる黒色領域とする。
このようにして、立体画像作成部145は、視差効果を生じうる左目画像602および右目画像603の一組を作成する。
[立体画像の例]
図10は、本発明の第1の実施の形態における立体画像の例を示す図である。
図10(a)には、時分割方式による立体画像の例を示す。図10(a)に示す横軸は時間軸を表す。この例の場合に立体画像作成部145は、立体表示画像から左目画像および右目画像を抽出して、この左目画像および右目画像を画像出力部146に出力する。これを取得した画像出力部146は、左目画像および右目画像を画像表示部170に出力する。画像表示部170の画面には左目画像および右目画像が交互に表示される。例えば、図10(a)に示す例では、立体画像作成部145が、2つの入力画像のうちの1つの立体表示画像から左目画像701および右目画像702を抽出している。そして、立体画像作成部145が別の立体表示画像から左目画像703および右目画像704を抽出している。このように連続して立体表示画像から左目画像および右目画像が抽出された場合には、図10(a)に示すように、例えば、左目画像701、右目画像702、左目画像703、右目画像704の順に等時間間隔で画像表示部170の画面に表示される。
図10(b)には、マイクロポール方式による立体画像の例を示す。マイクロポール方式による立体画像の場合には、立体画像作成部145は、立体表示画像における左目画像および右目画像に基づいて、例えば、図10(b)に示すような立体画像730を作成する。立体画像730は、左目画像から抽出された左目画像領域720、および、右目画像から抽出された右目画像領域710からなる画像がそれぞれ縦1画素分ずつ交互に配置されている。左目画像領域720からなる画像は、左目画像のうち垂直方向の偶数番号に位置する水平方向の画像全てが抽出されたものである。また、右目画像領域710からなる画像は、右目画像のうち垂直方向の奇数番号に位置する水平方向の画像全てが抽出されたものである。例えば、立体画像730において、垂直方向の1番目には右目画像領域711からなる画像が配置されている。そして、垂直方向の2番目には左目画像領域721からなる画像が配置されている。そして、垂直方向の3番目には右目画像領域712からなる画像が配置されている。このように、右目画像領域711乃至715からなる画像と左目画像領域721乃至725からなる画像とが交互に配置された立体画像730が立体画像作成部145により作成される。
[画像処理装置の動作例]
次に、本発明の第1の実施の形態における画像処理装置100の動作例について説明する。
図11は、本発明の第1の実施の形態における画像処理装置100による画像判定処理の処理手順を示すフローチャートである。
まず、識別情報判別部121は、入力画像に識別情報が付加されているか否かを判別する(ステップS901)。入力画像に識別情報が付加されていなければ(ステップS901;No)、画像解析処理が実行される(ステップS903)。次に、識別情報判別部121は、画像解析処理(ステップS903)により判別した形式を画像形式とする(ステップS904)。そして、画像判定処理は終了する。
一方、入力画像に識別情報が付加されていれば(ステップS901;Yes)、画像形式決定部125は、識別情報が示す画像形式を判別して、これを画像形式とする(ステップS902)。そして、画像判定処理は終了する。なお、ステップS902およびステップS904は、特許請求の範囲に記載の画像形式判定手順の一例である。
図12は、本発明の第1の実施の形態における画像処理装置100による画像解析処理(ステップS903)の処理手順を示すフローチャートである。
まず、SBS形式尤度算出処理部122は、尤度算出処理に従って尤度を算出する(ステップS911)。次に、TAB形式尤度算出処理部123は、尤度算出処理に従って尤度を算出する(ステップS912)。次に、立体表示画像形式判別部124は、SBS形式尤度算出処理部122およびTAB形式尤度算出処理部123から出力された尤度のうち、大きいほうをL_MAXとし、小さいほうをL_MINとする(ステップS913)。そして、立体表示画像形式判別部124は、L_MAX>TH1、かつ、L_MIN<TH2の判別条件を満たすか否かについて判別する。判別条件を満たす場合(ステップS914;Yes)、立体表示画像形式判別部124は、L_MAXとした尤度に対応する形式(SBS形式またはTAB形式)を入力画像における画像形式であると判別する(ステップS915)。一方、判別条件を満たさない場合(ステップS914;No)、立体表示画像形式判別部124は、入力画像が平面表示画像であると判別する(ステップS916)。立体表示画像形式判別部124により入力画像の画像形式が判別される(ステップS915、および、ステップS916)と、画像解析処理は終了して画像判定処理に戻る。
図13は、本発明の第1の実施の形態における画像処理装置100による尤度算出処理の処理手順を示すフローチャートである。なお、尤度算出処理は、SBS形式尤度算出処理部122またはTAB形式尤度算出処理部123によりなされる処理である。
まず、入力画像が2つの分割画像にされて、一方の分割画像がさらに複数(M+1個)の領域に分割される(ステップS921)。そして、変数iが「0」に設定される(ステップS922)。また、変数nが「0」に設定される(ステップS923)。
次に、注目領域BLK_iに対応する比較領域SCH_iが他方の分割画像において設定される(ステップS924)。次に、画像比較領域BLK_i_nに含まれる画像と注目領域BLK_iに含まれる画像との輝度の差分絶対値和SAD_i_nが算出される(ステップS925)。
次に、n=Nmaxであるか否かが判別される(ステップS927)。n=Nmaxでなければ(ステップS927;No)、nに1が加えられて(ステップS926)、輝度の差分絶対値和が算出されるステップ925に戻る。一方、n=Nmaxであれば(ステップS927;Yes)、算出された全ての輝度の差分絶対値和(SAD_i_0〜SAD_i_Nmax)のうちの最小の輝度の差分絶対値和が抽出される(ステップS928)。
そして、最小の輝度の差分絶対値和が所定閾値よりも大きいか否かが判別される(ステップS929)。最小の輝度の差分絶対値和が所定閾値よりも大きければ(ステップS929;Yes)、注目領域BLK_iの評価値L_iを「0」とする(ステップS930)。一方、最小の輝度の差分絶対値和が所定閾値以下であれば(ステップS929;No)、注目領域BLK_iの評価値L_iを「1」とする(ステップS931)。
次に、i=Mであるかが判別される(ステップS932)。i=Mでなければ(ステップS932;No)、iに1が加算されて(ステップS933)、注目領域BLK_iに対応する比較領域SCH_iが設定されるステップS924に戻る。一方、i=Mであれば(ステップS932;Yes)、全ての評価値(L_0〜L_M)を加算した尤度を算出する(ステップS934)。そして、尤度算出処理は終了して、画像解析処理に戻る。
図14は、本発明の第1の実施の形態における画像処理装置100による出力形式判定処理の処理手順を示すフローチャートである。
まず、表示可能形式取得部131は、表示可能形式判定部160から表示可能形式を取得する(ステップS941)。次に、表示可能形式判別部133は、表示可能形式が示す形式の数が2形式以上であるか否かを判別する(ステップS942)。なお、ステップS942は、特許請求の範囲に記載の表示可能形式判定手順の一例である。形式の数が2形式以上でなければ(ステップS942;No)、出力形式決定部136は、表示可能形式が示す形式を出力形式とする(ステップS949)。そして、出力形式判定処理は終了する。一方、形式の数が2形式以上であれば(ステップS942;Yes)、指定表示形式取得部132は、操作入力受付部150から指定表示形式を取得する(ステップS943)。
次に、指定表示形式判別部134は、指定表示形式が「2次元」であるか否かを判別する(ステップS944)。指定表示形式が「2次元」であれば(ステップS944;Yes)、出力形式決定部136は、出力形式を「2次元」とする。一方、指定表示形式が「2次元」でなければ(ステップS944;No)、画像形式判別部135は、画像形式が「2次元」であるか否かを判別する(ステップS945)。
画像形式が「2次元」であれば(ステップS945;Yes)、出力形式決定部136は、出力形式を「2次元」とする(ステップS946)。そして、出力形式判定処理は終了する。一方、画像形式が「2次元」でなければ(ステップS945;No)、出力形式決定部136は、表示可能形式が示す3次元方式を出力形式とする(ステップS947)。そして、出力形式判定処理は終了する。なお、ステップS946乃至949は、特許請求の範囲に記載の出力形式判定手順の一例である。
図15は、本発明の第1の実施の形態における画像処理装置100による出力画像作成処理の処理手順を示すフローチャートである。
まず、出力形式判別部141は、出力形式判定部130から出力された出力形式が示す内容を判別する(ステップS951)。出力形式が「2次元」の場合(ステップS951;2次元)、画像形式判別部142は、画像形式が「2次元」であるか否かを判別する(ステップS952)。そして、画像形式が「2次元」ではない場合(ステップS952;No)、平面画像作成部144は、入力画像の右目画像領域または左目画像領域いずれかの画像を抽出する(ステップS953)。そして、平面画像作成部144は、抽出した画像から平面画像を作成する(ステップS954)。一方、画像形式が「2次元」の場合には(ステップS952;Yes)、出力画像作成処理は終了する。
一方、出力形式が「Mpol」または「時分割」のいずれかを示す3次元方式の場合(ステップS951;3次元)、画像形式判別部142は、画像形式が「2次元」であるか否かを判別する(ステップS955)。そして、画像形式が「2次元」の場合(ステップS955;Yes)、立体画像作成部145は、平面表示画像から左目画像および右目画像を作成する(ステップS956)。そして、立体画像作成部145は、この左目画像および右目画像に基づいて、立体画像を作成する(ステップS957)。そして、出力画像作成処理は終了する。一方、画像形式が「2次元」ではない場合(ステップS955;No)、立体画像作成部145は、立体表示画像に基づいて、立体画像を作成する(ステップS957)。そして、出力画像作成処理は終了する。なお、ステップS954およびステップS957は、特許請求の範囲に記載の画像作成手順の一例である。
以上説明したとおり、本発明の第1の実施の形態では、出力形式判定処理に基づいて出力形式が判定される。また、表示部に表示可能な出力画像の表示可能形式に基づいて出力形式が判定される。このため、入力画像の画像形式が適切に判定されて、画像形式に応じた適切な出力画像が表示される。よって、例えば、平面表示画像および立体表示画像が混在して入力されても、画像の形式が適切に判定されて、表示部に表示可能な出力画像が表示される。このように、適切な画像が表示されることにより、ユーザはストレス無く表示部に表示されている出力画像を視認することができる。また、画像形式を識別するための識別情報が入力画像に付加されていなくても、入力画像の画像形式が判定されるため、表示部の画面には適切な出力画像が表示される。
<2.第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。
[画像処理装置の内部構成例]
図16は、本発明の第2の実施の形態における画像処理装置105の一構成例を示すブロック図である。本発明の第2の実施の形態における画像処理装置105は、第1の実施の形態における画像処理装置100の構成に出力形式判定情報保持部180を追加した構成となっている。以下の説明では、図1に示す画像処理装置100と共通する点についての説明を省略し、異なる点を中心に説明する。
出力形式判定部190は、画像形式と、表示可能形式と、指定表示形式との組合せに基づいて出力形式判定情報保持部180に保持されている出力形式判定情報により出力形式を特定して、この特定された出力形式を入力画像の出力形式と判定するものである。
出力形式判定情報保持部180は、画像形式と、表示可能形式と、指定表示形式との組合せごとに出力形式を関連付けた出力形式判定情報を保持するものである。なお、出力形式判定情報保持部180は、特許請求の範囲に記載の保持部の一例である。なお、出力形式判定情報については、図17を用いて詳細に説明する。
[形式判定情報の例]
図17は、本発明の第2の実施の形態における出力形式判定情報801の一例を示す図である。出力形式判定情報801は、画像形式802と、表示可能形式803と、指定表示形式804との組合せごとに出力形式を関連付けている。例えば、画像形式802が「TAB」、表示可能形式803が「2次元、Mpol」、指示表示形式804が「自動選択」であれば、出力形式判定情報801により出力形式805として「Mpol」が特定される。なお、例えば、ユーザの無操作により、指示表示形式が操作入力受付部150から出力されなかった場合には、指示表示形式の「自動選択」に対応する表示可能形式803と画像形式802とにより出力形式が特定されてもよい。
[出力形式判定部の機能構成例]
図18は、本発明の第2の実施の形態における出力形式判定部190の構成例を示すブロック図である。出力形式判定部190は、画像形式取得部191と、指定表示形式取得部192と、表示可能形式取得部193と、出力形式取得部194とから構成される。
画像形式取得部191は、画像形式判定部120から出力(129)された画像形式を取得するものである。そして、画像形式取得部191は、取得した画像形式を出力形式取得部194に出力する。
指定表示形式取得部192は、操作入力受付部150から出力(159)された指定表示形式を取得するものである。そして、指定表示形式取得部192は、取得した指定表示形式を出力形式取得部194に出力する。
表示可能形式取得部193は、表示可能形式判定部160から出力(169)された表示可能形式を取得するものである。そして、表示可能形式取得部193は、取得した表示可能形式を出力形式取得部194に出力する。
出力形式取得部194は、出力形式判定情報保持部180を参照して、画像形式と、指定表示形式と、表示可能形式との組合せにより出力形式を特定するものである。そして、出力形式取得部194は、特定した出力形式を出力画像作成部140に出力(139)する。
[画像処理装置の動作例]
次に、本発明の第2の実施の形態における画像処理装置105の動作例について説明する。
図19は、本発明の第2の実施の形態における出力形式判定処理の処理手順を示すフローチャートである。
まず、出力形式判定部190は、画像形式判定部120から画像形式を取得する(ステップS961)。次に、出力形式判定部190は、表示可能形式判定部160から表示可能形式を取得する(ステップS962)。次に、出力形式判定部190は、操作入力受付部150から指定表示形式を取得する(ステップS963)。次に、出力形式判定部130は、出力形式判定情報を参照して、画像形式と、表示可能形式と、指定表示形式との組合せにより出力形式を特定する(ステップ964)。そして、出力形式判定処理は終了する。
以上説明したとおり、本発明の第2の実施の形態では、出力形式判定情報に基づいて出力形式が特定される。これにより、例えば、出力形式判定情報の内容を変更することにより容易に出力形式を変更することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100、105 画像処理装置
110 画像入力部
120 画像形式判定部
121 識別情報判別部
122 SBS形式尤度算出処理部
123 TAB形式尤度算出処理部
124 立体表示画像形式判別部
125 画像形式決定部
130、190 出力形式判定部
131 表示可能形式取得部
132 指定表示形式取得部
133 表示可能形式判別部
134 指定表示形式判別部
135 画像形式判別部
136 出力形式決定部
140 出力画像作成部
141 出力形式判別部
142 画像形式判別部
143 出力画像作成指示部
144 平面画像作成部
145 立体画像作成部
146 画像出力部
150 操作入力受付部
160 表示可能形式判定部
170 画像表示部
180 出力形式判定情報保持部
191 画像形式取得部
192 指定表示形式取得部
193 表示可能形式取得部
194 出力形式取得部
500 SBS形式立体表示画像
515 TAB形式立体表示画像
730 立体画像
801 出力形式判定情報

Claims (7)

  1. 入力画像の画像形式が、単眼視により視認される平面表示画像の画像形式であるか、または、右目画像領域と左目画像領域とから構成される立体表示画像の画像形式であるかを判定する画像形式判定部と、
    表示部に表示可能な出力画像の表示可能形式を判定する表示可能形式判定部と、
    前記画像形式および前記表示可能形式に基づいて前記表示部に表示される前記出力画像の出力形式を判定する出力形式判定部と、
    前記出力形式判定部により判定された前記出力形式に基づいて前記入力画像から前記出力画像を作成する画像作成部と
    を具備する画像処理装置。
  2. 前記画像形式判定部は、前記入力画像を2つの分割画像に分割して前記2つの分割画像が互いに類似しているか否かを判別し、前記2つの分割画像が互いに類似している場合には前記入力画像の画像形式を前記立体表示画像の画像形式であると判定する請求項1記載の画像処理装置。
  3. 前記画像形式判定部は、前記2つの分割画像のうちの一方をさらに複数の領域に分割して、前記複数の領域ごとに当該領域の画像と前記2つの分割画像の他方において当該領域に対応する画像とを比較することにより前記類似の判別を行う請求項2記載の画像処理装置。
  4. 前記表示部に表示される前記出力画像の出力形式を指定表示形式として受け付ける受付部をさらに具備し、
    前記出力形式判定部は、前記画像形式と前記表示可能形式と前記指定表示形式とに基づいて前記出力画像の前記出力形式を判定する
    請求項1記載の画像処理装置。
  5. 前記画像形式と前記表示可能形式と前記指定表示形式との組合せごとに前記出力形式を関連付けて保持する保持部をさらに具備し、
    前記出力形式判定部は、前記画像形式判定部により判定された前記画像形式と、前記表示可能形式判定部により判定された前記表示可能形式と、前記受付部により受け付けられた前記指定表示形式との組合せに基づいて前記保持部に保持されている前記出力形式を特定して、当該特定された出力形式を前記出力画像の前記出力形式と判定する
    請求項4記載の画像処理装置。
  6. 入力画像の画像形式が、単眼視により視認される平面表示画像の画像形式であるか、または、右目画像領域と左目画像領域とから構成される立体表示画像の画像形式であるかを判定する画像形式判定手順と、
    表示部に表示可能な出力画像の表示可能形式を判定する表示可能形式判定手順と、
    前記画像形式および前記表示可能形式に基づいて前記表示部に表示される前記出力画像の出力形式を判定する出力形式判定手順と、
    前記出力形式判定部により判定された前記出力形式に基づいて前記入力画像から前記出力画像を作成する画像作成手順と
    を具備する画像処理方法。
  7. 入力画像の画像形式が、単眼視により視認される平面表示画像の画像形式であるか、または、右目画像領域と左目画像領域とから構成される立体表示画像の画像形式であるかを判定する画像形式判定手順と、
    表示部に表示可能な出力画像の表示可能形式を判定する表示可能形式判定手順と、
    前記画像形式および前記表示可能形式に基づいて前記表示部に表示される前記出力画像の出力形式を判定する出力形式判定手順と、
    前記出力形式判定部により判定された前記出力形式に基づいて前記入力画像から前記出力画像を作成する画像作成手順と
    をコンピュータに実行させるプログラム。
JP2009010468A 2009-01-21 2009-01-21 画像処理装置、画像処理方法およびプログラム Abandoned JP2010169777A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009010468A JP2010169777A (ja) 2009-01-21 2009-01-21 画像処理装置、画像処理方法およびプログラム
US12/918,745 US20110293170A1 (en) 2009-01-21 2010-01-06 Image processing apparatus and mathod
PCT/JP2010/050051 WO2010084791A1 (ja) 2009-01-21 2010-01-06 画像処理装置、画像処理方法およびプログラム
BRPI1001238A BRPI1001238A2 (pt) 2009-01-21 2010-01-06 aparelho e método de processamento de imagem, e, programa
CN2010800011260A CN102216979A (zh) 2009-01-21 2010-01-06 图像处理设备、图像处理方法以及程序
RU2010134940/08A RU2469418C2 (ru) 2009-01-21 2010-01-06 Устройство обработки изображений, способ обработки изображений и программа
EP10733398A EP2239726A1 (en) 2009-01-21 2010-01-06 Image processing apparatus, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009010468A JP2010169777A (ja) 2009-01-21 2009-01-21 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2010169777A true JP2010169777A (ja) 2010-08-05

Family

ID=42355845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009010468A Abandoned JP2010169777A (ja) 2009-01-21 2009-01-21 画像処理装置、画像処理方法およびプログラム

Country Status (7)

Country Link
US (1) US20110293170A1 (ja)
EP (1) EP2239726A1 (ja)
JP (1) JP2010169777A (ja)
CN (1) CN102216979A (ja)
BR (1) BRPI1001238A2 (ja)
RU (1) RU2469418C2 (ja)
WO (1) WO2010084791A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096280A1 (ja) * 2010-02-05 2011-08-11 ソニー株式会社 画像表示装置、画像表示システム及び画像表示方法
JP2012050032A (ja) * 2010-08-30 2012-03-08 Sharp Corp 画像処理装置、表示装置、再生装置、記録装置、画像処理装置の制御方法、情報記録媒体、画像処理装置の制御プログラム及びコンピュータ読取可能な記録媒体
JP2012080291A (ja) * 2010-09-30 2012-04-19 Toshiba Corp 映像データ送信装置及び映像データ送信方法
JP2012182579A (ja) * 2011-02-28 2012-09-20 Toshiba Corp コンテンツ検出装置及びコンテンツ検出方法
JP2012235384A (ja) * 2011-05-06 2012-11-29 Fujitsu Ltd 情報処理装置、情報処理方法、情報処理プログラム
JP2013097379A (ja) * 2011-10-31 2013-05-20 Innocom Technology (Shenzhen) Co Ltd ビデオフォーマット変換を有するタイミング制御部、その方法、並びにディスプレイシステム
EP2429203A3 (en) * 2010-09-10 2013-05-22 Snell Limited Detecting stereoscopic images
WO2014006937A1 (en) * 2012-07-05 2014-01-09 Kabushiki Kaisha Toshiba Electronic apparatus and desktop image display method
US8861837B2 (en) 2011-05-17 2014-10-14 Snell Limited Detecting stereoscopic images
JP2015226216A (ja) * 2014-05-28 2015-12-14 オリンパス株式会社 医療用画像記録装置
US9967536B2 (en) 2012-05-15 2018-05-08 Saturn Licensing Llc Video format determination device, video format determination method, and video display device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5572437B2 (ja) * 2010-03-29 2014-08-13 富士フイルム株式会社 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN101917642B (zh) * 2010-09-08 2014-08-27 利亚德光电股份有限公司 Led立体显示器及显示***
EP2429197B1 (en) * 2010-09-09 2012-11-14 Advanced Digital Broadcast S.A. A method and a system for generating a signal for a video display unit
US20120133733A1 (en) * 2010-11-26 2012-05-31 Hidenori Sakaniwa Three-dimensional video image processing device, three-dimensional display device, three-dimensional video image processing method and receiving device
EP2487915A1 (en) * 2011-02-14 2012-08-15 HTC Corporation 3d format conversion systems and methods
IT1404061B1 (it) * 2011-02-15 2013-11-08 Sisvel Technology Srl Metodo per l'acquisizione, la memorizzazione e la fruizione di dati relativi ad un flusso video tridimensionale e relativo apparato di elaborazione video
IT1404062B1 (it) * 2011-02-15 2013-11-08 Sisvel Technology Srl Metodo per l'acquisizione, la memorizzazione e la fruizione di dati relativi ad un flusso video tridimensionale e relativo apparato di elaborazione video
US20120287120A1 (en) * 2011-05-13 2012-11-15 Chimei Innolux Corporation Adaptive timing controller and driving method thereof
FR2973980A1 (fr) * 2011-08-25 2012-10-12 Sagemcom Broadband Sas Procede et dispositif de detection du format composite utilise pour formater une sequence d'images stereoscopiques
CN103093716B (zh) * 2011-10-31 2016-06-15 群康科技(深圳)有限公司 时序控制装置、时序控制装置的方法以及显示***
CN103593837A (zh) * 2012-08-15 2014-02-19 联咏科技股份有限公司 自动侦测图像格式的方法及其相关装置
US20150054914A1 (en) * 2013-08-26 2015-02-26 Amlogic Co. Ltd. 3D Content Detection
CN106470338A (zh) * 2015-08-21 2017-03-01 深圳市天易联科技有限公司 基于智能电视的3d游戏转换方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074267A (ja) * 1996-07-03 1998-03-17 Canon Inc 表示制御装置および方法
US6023277A (en) * 1996-07-03 2000-02-08 Canon Kabushiki Kaisha Display control apparatus and method
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
JPH10224825A (ja) * 1997-02-10 1998-08-21 Canon Inc 画像表示システム及び該システムにおける画像表示装置及び情報処理装置及びそれらの制御方法及び記憶媒体
US6704042B2 (en) * 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
ATE346278T1 (de) * 2000-03-30 2006-12-15 Topcon Corp Stereobildmessvorrichtung
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
CN100342733C (zh) * 2002-06-28 2007-10-10 夏普株式会社 图像数据分发***及其图像数据发送装置及图像数据接收装置
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
CN100414566C (zh) * 2003-06-19 2008-08-27 邓兴峰 平面图像全景重建立体图像的方法
JP2005049668A (ja) * 2003-07-30 2005-02-24 Sharp Corp データ変換装置、表示装置、データ変換方法、プログラム及び記録媒体
JP2005175566A (ja) 2003-12-08 2005-06-30 Shinichi Hirabayashi 立体表示システム
JP2005352267A (ja) * 2004-06-11 2005-12-22 Sharp Corp 画像信号処理装置
JP4568731B2 (ja) * 2004-11-18 2010-10-27 パイオニア株式会社 立体表示装置
JP2006332985A (ja) * 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
JP4638784B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
US7869657B2 (en) * 2006-06-12 2011-01-11 D & S Consultants, Inc. System and method for comparing images using an edit distance
JP5097480B2 (ja) * 2007-08-29 2012-12-12 株式会社トプコン 画像測定装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096280A1 (ja) * 2010-02-05 2011-08-11 ソニー株式会社 画像表示装置、画像表示システム及び画像表示方法
JP2012050032A (ja) * 2010-08-30 2012-03-08 Sharp Corp 画像処理装置、表示装置、再生装置、記録装置、画像処理装置の制御方法、情報記録媒体、画像処理装置の制御プログラム及びコンピュータ読取可能な記録媒体
EP2429203A3 (en) * 2010-09-10 2013-05-22 Snell Limited Detecting stereoscopic images
JP2012080291A (ja) * 2010-09-30 2012-04-19 Toshiba Corp 映像データ送信装置及び映像データ送信方法
JP2012182579A (ja) * 2011-02-28 2012-09-20 Toshiba Corp コンテンツ検出装置及びコンテンツ検出方法
JP2012235384A (ja) * 2011-05-06 2012-11-29 Fujitsu Ltd 情報処理装置、情報処理方法、情報処理プログラム
US8861837B2 (en) 2011-05-17 2014-10-14 Snell Limited Detecting stereoscopic images
JP2013097379A (ja) * 2011-10-31 2013-05-20 Innocom Technology (Shenzhen) Co Ltd ビデオフォーマット変換を有するタイミング制御部、その方法、並びにディスプレイシステム
US9967536B2 (en) 2012-05-15 2018-05-08 Saturn Licensing Llc Video format determination device, video format determination method, and video display device
WO2014006937A1 (en) * 2012-07-05 2014-01-09 Kabushiki Kaisha Toshiba Electronic apparatus and desktop image display method
JP2015226216A (ja) * 2014-05-28 2015-12-14 オリンパス株式会社 医療用画像記録装置

Also Published As

Publication number Publication date
BRPI1001238A2 (pt) 2016-02-10
RU2469418C2 (ru) 2012-12-10
EP2239726A1 (en) 2010-10-13
CN102216979A (zh) 2011-10-12
US20110293170A1 (en) 2011-12-01
WO2010084791A1 (ja) 2010-07-29
RU2010134940A (ru) 2012-02-27

Similar Documents

Publication Publication Date Title
WO2010084791A1 (ja) 画像処理装置、画像処理方法およびプログラム
US8817020B2 (en) Image processing apparatus and image processing method thereof
CN102300109B (zh) 输出音频信号的显示装置和方法
CN103339946B (zh) 用于接收多视图三维广播信号的接收设备和方法
CN102117486A (zh) 生成三维图像数据的方法和装置
JP5817639B2 (ja) 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
JPWO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP2012044383A (ja) 画像処理装置および方法、並びにプログラム
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
KR20100112840A (ko) 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
CN104185023B (zh) 三维视频格式自动检测方法及装置
US20130169627A1 (en) Display apparatus and method for providing three dimensional (3d) image
KR101519463B1 (ko) 3d 이미지 변환 장치 및 그 방법
JP2011239172A (ja) 映像処理装置
SG184941A1 (en) A method and a system for determining a video frame type
JP2013251656A (ja) 画像処理装置
WO2011162737A1 (en) Detection of frame sequential stereoscopic 3d video format based on the content of successive video frames
TWI825892B (zh) 立體格式影像偵測方法與使用該方法的電子裝置
JP5962125B2 (ja) 表示装置、同期方法及びプログラム
TWI826033B (zh) 影像顯示方法與3d顯示系統
WO2014025295A1 (en) 2d/3d image format detection
JP2015046693A (ja) 画像処理装置、制御方法及びプログラム
JP6131256B6 (ja) 映像処理装置及びその映像処理方法
KR102276628B1 (ko) 영상변환장치 및 이를 구비하는 디스플레이 장치
JP2012147160A (ja) 立体画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20130403