TW201020888A - Image processing device, image processing method, image input device, and image input/output device - Google Patents

Image processing device, image processing method, image input device, and image input/output device Download PDF

Info

Publication number
TW201020888A
TW201020888A TW098126095A TW98126095A TW201020888A TW 201020888 A TW201020888 A TW 201020888A TW 098126095 A TW098126095 A TW 098126095A TW 98126095 A TW98126095 A TW 98126095A TW 201020888 A TW201020888 A TW 201020888A
Authority
TW
Taiwan
Prior art keywords
information
pixel
image
label
light
Prior art date
Application number
TW098126095A
Other languages
English (en)
Inventor
Ryoichi Tsuzaki
Soichiro Kurokawa
Tsutomu Harada
Kazunori Yamaguchi
Mitsuru Tateuchi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201020888A publication Critical patent/TW201020888A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Image Processing (AREA)

Description

201020888 六、發明說明: 【發明所屬之技術領域】 本發明係關於一種具備攝像功能之圖像輸入裝置、具備 圖像顯示功能及攝像功能之圖像輸出入裝置、以及於此種 . ®像輸人裝置或圖像輸出人裝置之標籤處理時所適用之圖 像處理裝置及圖像處理方法。 【先前技術】 關於圖像顯示裝置,有具備觸控面板者。該觸控面板 • 中,有利用電阻變化之電阻型或利用電容變化之電容型, 除此以外,還有光學性偵測手指等之光學型觸控面板。關 於光學型觸控面板,有如下所述者:例如,將來自背光源 之光經液晶元件調變後將其圖像顯示於顯示面上,並且將 自顯示面出射並被手指等之靠近物體反射之光藉由排列於 顯示面上之受光元件而接受,以檢測靠近物體之位置等。 關於記載有此種圖像顯示裝置者,可列舉專利文獻1。專 利文獻1中所記載之顯示裝置係包含具有使圖像顯示之顯 示機構、及對物體進行攝像之攝像機構之顯示部者。 當利用此種光學式觸控面板進行複數點之檢測時,有時 於自受光元件擷取作為圖像之資料中,進行對被視為1個 點之塊之每個連結區域賦予識別編號之處理(例如,專利 文獻2)。此種處理被稱作標蕺處理。 [先前技術文獻] [專利文獻] [專利文獻1]日本專利特開2004427272號公報 139789.doc 201020888 [專利文獻2]日本專利特開2〇〇2_164〇17號公報 【發明内容】 然而,於專利文獻2等之先前之標籤處理中,將稱作標 籤圖像之二維資料暫時儲存於訊框記憶體中,並根據該標 籤圖像來進行標籤處理。因此,對自受光元件獲得之資料 進行即時處理較為困難,因而期望實現更高速之標籤處 理。 本發明係有鑒於該問題而完成者,丨目的在於提供一種 可實現比先前更高速之標籤處理之圖像處理裝置及圖像處 理方法、以及具備此種圖像處理裝置之圖像輸人裝置及圖 像輸出入裝置。 本發明之圖像處理裝置包含:掃描部,其於 經二值 化之像素f料絲現之圖像巾料掃描各像素;以及資訊 獲取部,其以如下方式進行處理,即,純序掃描各像素 時,根據注目像素及其周邊像素之像素資料之值,於注目 像素I隨時分配表示㈣㈣每個連結區域之識別編號之 標籤資訊,並且隨時更新對應於各標籤資訊之每個連結區 域之位置資訊及面積資訊,藉此,於該依序掃描之完成時 刻’分別獲取有關圖像全體之標籤資訊、位置資訊及面積 資訊。此處’所謂「連結區域」’係表示可視為“固點之塊 之像素區域。 本發明之圖像處理方法,係於藉由經二值化之像素資料 所表現之圖像中依序掃描各像素,並且以如下方式進行處 理’即’於依序掃描各像素時,根據注目像素及其周邊像 139789.doc 201020888 ㈣素資料之值,於注目像素中隨時分配表示圖像内的 母個連結區域之識別編號 於各伊籤資…1 並且隨時更新對應 ,臧貝訊之每個連結區域之位置資訊及面積資訊,藉 T,於該依序掃描之完成時刻,分別獲取有關圖像全體之 橾籤資訊、位置資訊及面積資訊。 本發明之圖像輪人裝置包含:輸人面板,其含有 二排:且接受由外部靠近物趙所反射之光之複數個受光
!!斑’其於根據來自各受光構件之受光信號而獲 由’!-值化之像素資料所表現之攝像圖像中,依序 婦描各像素;h獲取部,其以如下方式進行處理,即, 1依序掃描各像素時,根據注目像素及其周邊像素之像素 貝料之值,於注目像素中隨時分配表示攝像圖像内的每個 連結區域之識別編號之椤#咨 α ^ J蜗现之知籤貧訊,並且隨時更新對應於各 標籤資訊之每個連結區域之位置資訊及面積資訊,藉此, …依序掃為之凡成時刻,分別獲取有關攝像圖像全體之 標藏資訊、上述位置資訊及上述面積資訊;以及位置檢測 部,其根據由該資訊獲取部所獲得之標籤資訊、位置資訊 及面積資訊,獲取與上述外部靠近物體之位置、形狀及大 小中之至少一者相關之資訊。 本發明之第1圖像輸出入裝置包含:輸出入面板,其含 有沿顯示面而排列且根據圖像信號而顯示圖像之複數個顯 不構件,以及沿顯示面而排列錢受自顯示面出射並被外 部靠近物體所反射之光之複數個受光構件;掃描部,其於 根據來自各受光構件之受光信號而獲得的藉由經二值化之 139789.doc 201020888 像素資料所表現之攝像圖像令,依序掃描各像素;資訊獲 取部,其以如下方式進行處理,即,於依序掃描各像素 時,根據注目像素及其周邊像素之像素資料之值,於注目 像素中隨時分配表示攝像圖I内的每個連結區域之識別編 號之標籤資訊’並且隨時更新對應於各標籤資訊之每個連 結區域之位置資訊及面積資訊,藉此,於該依序掃描之完 成時刻,分別獲取有關攝像圖像全體之標蕺資訊、上述位 置資訊及上述面積資訊;以及位置檢測部,其根據由該資 訊獲取部所獲得之標籤資訊、位置資訊及面積資訊,獲取 與上述外部靠近物體之位置、形狀及大小中之至少一者相 關之資訊。 本發明之第2圖像輸出人裝置包含··輸出入自板,其包 括顯示面板及位置檢測部,該顯示面板於第丨基板及第二基 板之間含有液晶層’該位置檢測部形成於該顯示面板内, 含有藉由第2基板之撓曲而可接觸之&感測器電極及第2 感測器電極,並且讀取由^感測器電極及第2感測器電極 之接觸所引起之電位之變化’藉此而檢測與外部靠近物體 之位置相應之第2基板之撓曲位置;掃描部,其於根據來 自位置檢測部之位置檢測信號而獲得的藉由經二值化之像 素資料所表現之®像中,依序掃描各像素;資訊獲取部, 其以如下方式進行處理’即,於依序掃描各像素時,根據 注目像素及其周邊像素之像素資料之值於注目像素中隨 時分配表示圖像内的每個連結區域之識別編號之標籤資 訊’並且隨時更新對應於各標籤資訊之每個連結區域之位 139789.doc 201020888 置"貝訊及面積資訊,藉此,於該依序掃描之完成時刻’分 別獲取有關圖像全體之標籤資訊、上述位置資訊及上述面 積資訊,以及位置檢測部,其根據由該資訊獲取部所獲得 之標籤=貝訊'位置資訊及面積資訊,獲取與上述外部靠近 物體之位置、形狀及大小中之至少-者相關之資訊。 本發明之圖像處理裝置、圖像處理方法、圖像輸入裝置
及圖像輸出人裝置中’於藉由經二值化之像素資料所表現 之圖像(例如,攝像圖像)中’依序掃描各像素。此時,根 據'主目像素及其周邊像素之像素資料之值,於注目像素中 隨時分配表示圖像内的每個連結區域之識別編號之標籤資 訊’並且隨時更新對應於各標籤資訊之每個連結區域之位 置資訊及面積資訊^藉此,於上述依序掃描之完成時刻, 分別獲得有關圖像全體之標籤資訊、上述位置資訊及上述 面積資訊。即’先前之標籤圖像之製作成為不需要,藉由 1次依序掃描便可分別獲得有關圖像全體之標籤資訊等。 根據本發明之圖像處理裝置、圖像處理方法、圖像輸入 裝置或圖像輸出入裝置,於藉由經二值化之像素資料所表 現之圖像巾料掃財料,並且於㈣料糾,根據 注目像素及其周邊像素之像素資料之值,於注目像素中隨 ❹配表示圖像内的每個連結區域之識別編號之標鐵資 並且隨時更新對應於各標藏資訊之每個連結區域之位 置資訊及面積資訊,因A,藉由i次依騎描便可分別獲 取有關圖像全體之標籤資訊、上述位置資訊及上述面積資 訊。從而’可實現比先前更高速之標籤處理。 139789.doc 201020888 【實施方式】 以下,參照圖式而詳細說明本發明之實施形態。 第1實施形態 圖1係表示本發明之第1實施形態之圖像輸出入裴置i之 概略構成者。又,圖2係表示本實施形態之圖像輸出入裝 置1之詳細構成者。又,圖3係表示將輸出入面板之—部分 放大之剖面者。如圖1所示,本實施形態之圖像輸出入裝 置1係包含顯示器10以及利用該顯示器1〇之電子機器本體 20者。顯不器1〇含有輸出入面板丨丨、顯示信號處理部12、 受光信號處理部13及圖像處理部14,電子機器本體2〇含有 控制部21。再者,本發明之第丨實施形態之圖像處理方法 由於係藉由本實施形態之圖像輸出入裝置i而實現,故而 以下將一併進行說明。 如圖2所示,輸出入面板u係藉由呈矩陣狀排列有複數 個像素16之液晶顯示器面板所構成者,其含有顯示構件 11a及受光構件Ub。顯示構件Ua係利用自成為光源之背 光源所出射之光而將圖形或文字等之圖像顯示於顯示面上 之液晶元件。受光構件llb係接收光並作為電氣信號而輸 出之例如光電二極體等之受光元件。受光構件Ub係接收 背光源之出射光被輸出入面板〗丨外部之手指等外部靠近物 體反射後所返回之反射光並輸出受光信號者。於本實施形 態之情形時,受光構件11b係配置於每個像素16中,並於 面内排列有複數個。 如圖2及圖3所示,輸出入面板U係於一對透明基板3〇、 139789.doc 201020888 3 1之間’將藉由間隔壁3 2而彼此隔開之構造之複數個發光 受光胞(cell)CWR排列成矩陣狀而構成。各發光受光胞 CWR包含發光胞CW(CW1、CW2、CW3、…)以及内包於該 等發光胞CW中之複數個受光胞cr(CR1、CR2、 CR3、…)。發光胞CW包含作為顯示構件lla之液晶胞,受 光胞CR包含作為受光構件nb之受光元件pd。再者,於受 光胞CR中’在背光源側之透明基板3 〇與受光元件pD之間 配置有遮蔽層33,以使自背光源出射之光lB不會入射,從 而使得各受光元件PD不受背光源光LB之影響地僅檢測自 與背光源為相反側之透明基板31之方向所入射之光。 圖1所示之顯示信號處理部12係連接於輸出入面板丨丨之 刖段、且係進行輸出入面板丨丨之驅動之電路,以使輸出入 面板11根據顯示資料而顯示圖像。 如圖2所示,顯示號處理部12包含顯示信號保持控制 部40、發光侧掃描器41、顯示信號驅動器42及受光側掃描 器43顯示彳°號保持控制部40具有如下功能,即,將自顯 示信號生成部44輸出之顯示信號依每1畫面(每1圖場(field) 之顯示)而收納並保持於例如由SRAM(Statie RandQm Access Memory,靜態隨機存取記憶體)等所構成之場記憶 體中,並且控制使驅動各發光胞c:w之發光側掃描器41及 顯不k號驅動器42、以及驅動各受光胞CR之受光側掃描 器43連鎖動作。具體而言,於發光側掃描H41巾根據發光 時序控制信號、於受光侧掃描器43中根據受光時序控制信 號於顯π信號驅動器42中根據控制信號及場記憶體中所 139789.doc 201020888 保持之顯示信號,冑出i水平線份之顯示信號。藉由該等 控制信號及顯示信號而進行線序動作。 發光側掃描器41具有根據自顯示信號保持控制部4〇輸出 之發光時序控制信號而選擇驅動對象之發光胞cw之功 能。具體而言,經由連接於輸出入面板u之各像㈣之發 光用閘極線而供給發光用選擇信號,控制發光元件選擇開 關。亦即,若藉由發光用選擇信號而施加使某個像素16之 發光兀件選擇開關成為導通狀態之電壓,則該像素Μ會執 行與自顯示信號驅動器42供給之電壓對應之亮度的發光動 作。 顯示信號驅動器42具有根據自顯示信號保持控制部4〇輸 出之1水平線伤之顯示信號而向驅動對象之發光胞cw供給 顯示資料之功能。具體而言,經由連接於輸出入面板11之 各像素16之資料供給線而向由上述發光側掃描器41所選擇 之像素16供給與顯示資料對應之電壓。藉由該發光側掃描 器41及顯示信號驅動器42連鎖進行線序動作,而使與任意 顯示資料對應之圖像顯示於輸出入面板U上。 受光側掃描器43具有根據自顯示信號保持控制部4〇輸出 之受光時序控制信號而選擇驅動對象之受光胞CR之功 能。具體而言,經由連接於輸出入面板U之各像素16之受 光用閘極線而供給受光用選擇信號,控制受光元件選擇開 關。亦即,與上述發光側掃描器41之動作同樣地,若藉由 受光用選擇信號而施加使某個像素16之受光元件選擇開關 成為導通狀態之電壓’則會將自該像素16檢測出的受光信 139789.doc 10· 201020888 號輸出至受光信號接收器45。藉此,受光胞CR可接收並 檢測例如基於來自某個發光胞CW之出射光而在接觸或靠 近之物體處所反射之光。又,亦具有如下功能,即,自該 文光侧掃描器43向受光信號接收器45及受光信號保持部46 輸出受光區塊控制信號,控制有助於該等受光動作之區 塊。再者’於本實施形態之圖像輸出入裝置丨中,上述發 光用閘極線及受光用閘極線可相對於各發光受光胞CWR而 各別地連接,且發光側掃描器41及受光側掃描器43可分別 •獨立動作。 圖1所示之受光信號處理部13係連接於輸出入面板丨丨之 後段、且摘取來自受光構件llb之受光信號並進行放大等 者°如圖2所示’該受光信號處理部13包含受光信號接收 器45及受光信號保持部46。 受光彳§號接收器45具有根據自受光側掃描器43輸出之受 光區塊控制信號而獲取自各受光胞CR輸出之丨水平線份之 φ 受光信號的功能。於該受光信號接收器45中所獲取之1水 平線份之受光信號被輸出至受光信號保持部46。 受光信號保持部46具有如下功能,即,根據自受光側掃 描盗43輸出之受光區塊控制信號,將自受光信號接收器μ 輸出之又光彳§號再構成為每丨畫面(每丨場之顯示)之受光信 號’並儲存至例如由SRAM等構成之場記憶冑中予以保 持。於受光信號保持部46中所儲存之受光信號之資料被輪 出至圖像處理部丨“圖丨)内之位置檢測部叨。再者,該受光 信號保持部46亦可由記憶體以外之儲存元件而構成,例如 139789.doc 201020888 亦可將受光信號作為類比資料(電荷)而保持於電容元件 中。 圖像處理部14(圖1)係連接於受光信號處理部13之後 k且自受光^號處理部13操取攝像圖像並進行二值化及 雜汛去除、;^籤專之處理而獲得外部靠近物體之點資訊、 即獲得表示外部靠近物體之重心或中心座標以及外部靠近 物體之區域(尺寸或形狀)之資訊的電路。 具體而言,圖像處理部14中之標籤處理部l4a(圖像處理 裝置)係以下述方式進行標籤處理,從而分別獲取攝像圖❹ 像全趙之標冑資訊(表示攝像圖像内之每個連結區域之識 別編號的資訊)、每個連結區域之位置資訊及面積資訊。 即詳細情形將於以下描述,標籤處理部14a會於藉由經 一值化之像素資料所表現之攝像圖像中,依序掃描各像 素’ f且於該依序择描時’根據注目像素及其周邊像素之 像素資料之值,於注目像素中隨時分配標籤資訊,並且隨 時更新對應於各標藏資訊之每個連結區域之位置資訊及面 積資訊’藉此,分別獲取上述標籤資訊、位置資訊及面積❹ 資汛。再者,該標籤處理部14a對應於本發明中之「掃描 部」及「資訊獲取部」之—具體例。 田 =’圖像處理部14中之位置檢測部47(圖2)會根據自標 ,理=14a獲得之上述標籤資訊、位置資訊及面積資訊^ ,订L號處理,特定於受光胞CR中檢測出的物體所存 置等。藉此’可特定接觸或靠近之手指等之位置。 電子機器本體對顯示器1〇之顯示信號處理部η 139789.doc -12· 201020888 輸出顯示資料’並且自圖像處理部14輸入點資訊。控制部 21係使用點資訊而使顯示圖像變化者。 如圖2所不’控制部21(圖υ包含顯示信號生成部。顯 不信號生成部44係由未圖示之cpu(Central pr〇eessing • .中央處理單元)等構成,並根據所供給之圖像資料, 對於例如每i畫面(每之顯示)而生成用於顯示之顯示信 號,並將其輸出至顯示信號保持控制部4〇。 φ 其次,參照圖4及圖5,對標籤處理部14a之詳細構成進 行說明。®4係以方塊圖表示該標籤處理部Ma之詳細構成 者:又,圖5係模式地表示本實施形態之標藏處理時所用 之一值化資料、線緩衝器、位址列表及附加資訊之一例 者。 如圖4所示,標籤處理部14a含有條件判定電路i4i、新 標籤編號發行電路142、位址列表143、線緩衝器144、線 緩衝器控制電路145、位址列表控制電路146、標籤記憶體 ❹ 控制器147及附加資訊記憶體148。 條件判定電路141係依序獲取例如圖5中所示之經二值化 之像素資料即二值化資料Din,並根據注目像素及其周邊 像素之像素資料之值,判定是否分別進行標戴資訊之分配 處理、與每個連結區域之位置資訊及面積資訊之更新處理 者。具體而言,進行注目像素中之像素資料之值之有效或 ^效的判定(此處,進行是否為有效值「1」或無效值 的判定)’並且,參照周邊像素(此處為注目像素之左 側之像素及上側之像素)標籤資訊,進行無效標籤或新標 139789.d〇c 13 201020888 籤(新的標籤資訊)之發行及分配、以及發出標籤之合併作 業之扎令。又,該條件判定電路141於注目像素位於1線之 末端(此處為右端)之情形時,發出位址列表之整理之指 令。 新標籤編號發行電路丨4 2係根據條件判定電路丨4丨之判定 、,、。果而進仃新標籤之發行者。具體而言當標藏為新標籤 時,於位址列表143中會發行未使用之暫存器編號(對應於 標籤資訊)。 例如圖5所不,線緩衝器144係儲存丨線份之暫存器編號 (標籤資訊)之部分。再者,圖5等中所示之線緩衝器(影 像)144a係為便於後述之標籤處理之說明而表示者,實際 之線緩衝器144為1線份之緩衝器。 線緩衝器控制電路145係進行線緩衝器144中之暫存器編 號之寫入及讀出等之控制者。 附加資讯§己憶體148係將例如圖5所示之附加資訊、即對 應於各標籤資訊之每個連結區域之位置f ^(xsum :連結 區域内之X座標值之合計值,ysum :連結區域内之y座標值 之合計值,region:連結區域内之χ座標、y座標之最小值 或最大值等)以及面積資訊(sun^連結區域内之像素數)分 別與標籤編號(對應於位址編號)建立關聯而儲存者。 例如圖5所示,位址列表143係將線緩衝器144中儲存之 暫存器編號(RegNo:對應於標籤資訊)、附加資訊記憶體 148中儲存之標籤編號(No :對應於位址編號)、以及各標 籤資訊之分配之有無(Flag)分別建立關聯而儲存者。具體 I39789.doc •14· 201020888 而言,將暫存器編號作為排列之指標而保持,於排列中描 述標籤編號,該標籤編號亦成為標籤編號之位址之本身。 藉此,形成標籤編號相對於暫存器編號之關聯。 位址列表控制電路146係進行位址列表i 43中之資訊之寫 入及讀出等之控制者。 標籤記憶體控制器147係進行附加資訊記憶體148中之附 加資訊之寫入及讀出等之控制並將上述攝像圖像全體之標 籤資訊、每個連結區域之位置資訊及面積資訊分別作為標 麵1 h訊Dout而輸出者。 其次,除圖1〜圖5以外,亦參照圖6〜圖23,對本實施形 態之圖像輸出入裝置丨之作用進行說明。圖6係表示圖像輸 出入裝置1之圖像處理全體之流程者。又,圖7係以流程圖 表示本實施形態之標籤處理之詳細情況者。又,圖8〜圖η 係模式地表示本實施形態之標籤處理之詳細情況者。 首先,參照圖6,對圖像輸出入裝置丨之基本動作進行說 明。 自電子機器本體20輸出之顯示資料被輸入至顯示信號處 理°卩12。顯示信號處理部12根據顯示資料而驅動輸出入面 板11 ’以於輸出入面板11上顯示圖像。 輸出入面板11使用來自背光源之出射光而將圖像顯示於 顯示構件11a上,另一方面驅動受光構件Ub。並且,當手 指等之外部靠近物體接觸或靠近顯示構件11a時,顯示構 件1U上所顯示之圖像會被外部靠近物體反射,該反射光 由党光構件lib檢測到。藉由該檢測而自受光構件nb被輸 139789.doc 15 201020888 出受光信號。繼而,受光信號處理部13輸人該受光信號並 進行放大等處理’處理受光信號(圖6之步驟si〇)。以此方 式,於受光信號處理部13中獲得攝像圖像。 其人圖像處理部14自受光信號處理部13輸入攝像圖 像並對該攝像圖像進行二值化處理(步驟S11)。即,圖像 處理部14進行如下的二值化處理:储存預先設定之臨限 值’並比較例如攝像圖像資料之信號強度是否為小於臨限 值或者為臨限值以上,並分別設定為「〇」或「1」。藉 此,將接收到孝皮外部靠近物體反射之光之部分設定為 「1」,將其他部分設定為「〇」。 繼而,圖像處理部14自經二值化之攝像圖料去除孤立 點(步驟si2)。即,於如上所料以二值化之情形中,圖 像處理部14去除孤立於外部靠近物體之被設定為「丨」之 部分,藉此進行雜訊去除。 此後,圖像處理部14於標籤處理部14a中進行標蕺處理 (步驟SU)。#,於如上所述予以二值化之情形中,標藏 處理部14a對設定為「丨」之部分進行標籤處理。繼而,標 籤處理部14a檢測出被設定為Μ」之區域而作為外部靠近 物體之區域,獲得該區域之重心或中心座標。將如此之資 料作為點資訊(上述之標籤資訊D〇ut)而輸出至控制部21。、 其次,控制部21使用自圖像處理部】4輸入之點資訊進 仃使顯示圖像變化等之必要的處理。例如,若假定於畫面 上顯示出某些操作選單之情形,則偵測出該操作選單中之 哪個按鈕已被使用者之手指所選擇,並執行與該選擇之按 139789.doc -16· 201020888 鈕對應之命令。根據以上所述,圖像輸出入裝置丨中之基 本動作結束。 其次,參照圖7〜圖23,對作為本發明之特徵部分之一的 標籤處理部14a之標籤處理進行詳細說明。 ❿ ❿ 最初,例如圖8所示,於線緩衝器144、位址列表143及 附加資訊記憶體〗^中分別對值進行初始化。繼而,首 先,條件判定電路141於包含二值化資料Din 判定注目像素之像素值(像素資料)是否為攝二有象效 值)(圖7之步驟S131)。 此處’例如圖9所示,當注目像素之像素資料為「〇」 (無效值)時(步驟S131 ·· N),線緩衝器控制電路⑷及位址 列表控制電路146分別不進行於該注目像素中標藏資訊之 發行及分配1,例如圖1G所示,於線緩衝器144及位址 列表143中分配「Z」(無效標籤)(步驟S132)。並且隨後, 料判定電路線份之掃描以已結束(注目像素 疋否位於1線之右端)(步驟S144)。 此處’於1線份之掃描尚未結束之情形時(步驟: N),例如圖11所示,徒 使像素該線内向下一像素(右 鄰之像幻移動(依序掃描)(步驟S145)。然後, 返回步驟S131。 此處’例如圖U所示,於注目像素之像 (有效值)之情形時(步驟―,繼而,條件判定電路 141判疋該周邊料(此處靠目像素之上彳収相之像辛) 之標藏為有效或者為無效(周邊像素之像素資料為有效值 139789.doc 201020888 或者為無效值,注目像夸县不泛 豕京疋否為孤立點)(步驟S133)。此 處’如_所示,於注目像素之上側之像素及左側之像素 中,任何標籤均為無效(像素資料為「〇」(無效值),注目 像素為孤立點)(步驟s 133 :镂古& 4^ y 雙方無效),故而新標籤編號發 行電路142例如® 12所示’於該注目像素中發行並分配新 標籤(新的標籤資訊)(步驟S134)。又,與此同時,線緩衝 器控制電路U5、位址列表控制電路146及標籤記憶體控制 器147分別例如圖12所示般亦一併更新附加資訊(步驟 S135)。隨後,於此情形時,例如圖13所示,再次反覆進 行步驟S144、S145之處理。再者,於圖13等中二值化資 料Din内之像素中所示之「⑴」等係表示已分配給該像素 之暫存器編號(標籤資訊)。 其次,例如圖14所示,反覆進行步驟S131、 S144、S145之處理或者步驟S131、SU4、SU5、si44、 S145之處理。並且,於判定為丨線份之掃描已結束之情形 時(步驟S144 : Y) ’繼而,條件判定電路141判定攝像圖像 内之所有線之掃描是否已結束(步驟S146)。 此處,如圖14所示,於所有線之掃描尚未結束之情形時 (步驟S146 : N) ’繼而進行於!線份之掃描結束時之位址列 表的整理(步驟S147),例如圖15所示,使注目像素向下一 線内之最初之像素(左端之像素)移動(依序掃描)(步驟 S148)。其中,此處(圖14所示之情形時)未進行位址列表之 整理’故而對於該位址列表之整理將於後文敍述。再者, 隨後返回步驟S131。 139789.doc -18- 201020888 另一方面,例如於圖16所示之情形時,位址列表控制電 路146進行以下說明之位址列表之整理(步驟si47)。具體 而言,例如圖丨7所示,於位址列表143中,將線緩衝器144 内不存在之暫存器編號之旗標設定為「〇」(表示與該暫存 器編號對應之標籤資訊尚未分配藉此,例如圖18所 不,隨後,於位址列表143中可再利用旗標為「〇」之暫存 器編號(標籤資訊之再利用)。再者,隨後,如圖18所示, 注目像素向下一線内之最初之像素移動(步驟si48),並返 回步驟S131。 其次,例如圖19所示,於步驟S131中判定為注目像素之 像素資料為「1」(有效值)(步驟S13l : γ),並且於步驟 S133中判定為僅注目像素之上側像素之標籤為有效(像素 資料為「1」(有效值))之情形時(步驟S133:僅上有效), :行以下說明之步驟S136、S137之處理。即例如圖頻 :丄於注目像素中,分配與上側之像素相同之標籤(分配 =配給表示有效值之像素之已發行之標籤資訊)(步驟 並且刀別更新附加資訊(每個連結區域之位置資訊 及面積資訊)(步驟S137)。 「 面於步驟s 131中判定為注目像素之像素資料為 素匕(步驟Sl31 : Y) ’並且於步驟S133中判定為僅注目像 '、 側像素之標籤為有效之情形時(步驟Sl33:僅左有 效)’進仃以下說明之步驟S138、S139之處理。即,於注 目像素中,八 ' μ 刀配與左側之像素相同之標籤(步驟S138),並 且刀別更新附加資訊(步驟S139)。 139789.doc -19- 201020888 又,例如圖20所示,於步驟S131中判定為注目像素之像 素資料為「1」(步驟S131 : Y) ’並且於步驟8133中判定為 注目像素之上側像素及左側像素之標籤雙方均為有效之情 形時(步驟S133 :雙方有效),繼而,條件判定電路i4i判 定上侧之像素與左側之像素之標籤是否不同(步驟s〗4〇)。 此處,當上側之像素與左側之像素之標籤為相同時(步驟 S140 : N),進行上述之步驟§138、SU9之處理。 ❿
另一方面,當步驟S〗40中判定為上側之像素與左側之像 素之標籤不同時(步驟S140: γ),進行以下說明之位址列 表之合併處理(步驟S141),分配與上側像素及左側像素中 所選擇之1像素相同之標藏(步驟S142),並且分別更新附 加資訊(步驟S143)。具體而言,線緩衝器控制電路ML 位址列表控制電路146及標籤記憶體控制器147分別例如圖 21及圖22所示,於上側像素及左側像素中選擇左側像素之 暫存器編號(RegN。:對應於標籤資訊),並且使附加資訊 合併為標籤編號(No :對應於位址編號)較小者。藉此,進 行2個連結區域之合併’並分配相同之標籤。 以此方式進行步驟S131〜S148所示之㈣處理,藉此, 例如圖23所示’分別獲得攝像圖像全體之標箴資訊、每個 連區域之位置資訊及面積資訊而作為標藏資訊。繼 :’於步驟S146中’當判定為所有線之掃描已結束時(步 驟S 146 . Y),標籤處理結束。
如此,本實施形態之標M _ + 紙處理中,於由二值化資料Din 所表現之攝像圖像中,依戽 序掃描各像素。並且,於該依序 139789.doc 20- 201020888 掃描時’根據注目像素及其周邊像素之像素資料之值,於 注目像素中隨時分配暫存器編號(標籤資訊),並且隨時更 新對應於各標籤資訊之每個連結區域之附加資訊(位置資 訊及面積資訊)。藉此,於如此之依序掃描之完成時刻, 分別獲得攝像圖像全體之標籤資訊、每個連結區域之位置 貧訊及面積資訊。即,先前之標籤圖像之製作成為不需 要,藉由1次依序掃描便可分別獲得圖像全體之標籤資訊 等。 如上所述,本實施形態中,於由二值化資料Din所表現 之攝像圖像中依序掃描各像素,並且於該依序掃描時,根 據注目像素及其周邊像素之像素資料之值,於注目像素中 隨時分配表示攝像圖像内的每個連結區域之識別編號之暫 存器編號(標籤資訊)’並且隨時更新龍於各標籤資訊的 每個連結區域之附加資訊(位置資訊及面積資訊),因此, 藉由A依序掃描{更可分別獲取攝像圖像全體之標藏資 訊、位置資訊及面積資訊。從而,可實現比先前更高速之 標藏處理。 由於實現同速之標籤處理,因此與先前相比可提高 標籤處理之即時性,從而可實現流處理。 由於先前之標籤圖像之製作成為不需要,故而用於 形二之訊框記憶體亦成為不需要。即,本實施 :吏用線緩衝器進行標籤處理’故而與先前相比可減 得容易用之"己隐體量。因此’標鐵處理之硬體上之實現變 139789.doc 201020888 第2實施形態 其次’對本發明之第2實施形態進行說明。本實施形態 像輸出人裝置係於圖!所示之第i實施形態之圖像輸出 入裝置1中,取代標籤處理部14a而設置後述之標籤處理部 14b者。再者’對於與第i實施形態中之構成要素相同者標 註有相同之符號,並適當省略說明。 圖24係表示本實施形態之標籤處理部丨朴之區塊構成 者。該標籤處理部14b含有:條件判定電路141、新標籤編 號發行電路142、線緩衝器14朴、標籤記憶體控制器Μ?、 附加資訊記憶體148及空位址資訊暫存器149。即,本實施 形態之標籤處理部14b係取代圖4所示之第〖實施形態之標 籤處理部14a中的位址列表143及位址列表控制電路146而 設置有空位址資訊暫存器149、並且取代線緩衝器144及線 緩衝器控制電路145而設置有線緩衝器144b者。 例如圖25所示,線緩衝器144b係儲存有1線份之標籤編 號(對應於標籤資訊)之部分。又,該線緩衝器〗44b係包含 像素單位之控制器而構成,藉此,可進行注目像素及其周 邊像素(此處為上側之像素及左側之像素)之標籤編號之參 照、寫入及更新等。再者’圖2 5等中所示之線緩衝器(影 像)144c係為便於後述之標籤處理之說明而表示者,實際 之線緩衝器144b為1線份之緩衝器。 例如圖25所示,空位址資訊暫存器149係儲存各標籤編 號之分配之有無(Blank list)者。該空位址資訊暫存器ι49 與新標籤編號發行電路142—同進行使用中或未使用之標 139789.doc -22- 201020888 籤編號之管理、新標籤編號之檢孛箄 寻具體而言,新發行 之標籤編號為使用中,並且因人 u σ併而4除之標籤編號被適 時地覆寫為未使用之編號。藉 稽此可反覆再利用已使用之 標籤編號。再者,此處,接德站 筏編號由新到舊之順序使用標籤 編號。 ❹
又’本實施形態之附加資訊記憶體148係將例如圖⑽ 示之附力資訊即上述之標籤編號㈣)、與對應於各標藏 資訊之每個連結區域之位置資訊(職m、ySUm、regi — 及 面積資訊(SUm)分別建立關聯而儲存者。又,標藏編號之 更新係於標籤記憶體控制器147中在存取中(注目像素)之電 流標籤上進行,於編號發生變化之情形時,或者於丨線份 之掃描已釔束之時刻,進行對附加資訊記憶體148之寫 入。 其-人,除圖24及圖25以外,亦參照圖26〜圖37,對本實 施形態之圖像輸出入裝置之作用進行說明。圖26及圖27係 以流程圖來表示本實施形態之標籤處理之詳細情形者。 又圖28〜圖37係模式地表示本實施形態之標籤處理之詳 細情形者。再者,圖像輸出入裝置之基本動作係與第1實 施形態同樣’故而省略說明。 最初,例如圖28所示,於線緩衝器144b、附加資訊記憶 體148及空位址資訊暫存器149中分別對值進行初始化。繼 而,首先,條件判定電路141於包含二值化資料Din之攝像 圖像中判定注目像素之像素值(像素資料)是否為「1」(有 效值)(圖26之步驟S231)。 139789.doc •23- 201020888 此處,例如圖29所示,當注目像素之像素資料為「〇」 (無效值)時(步驟S231 : N),不谁弁认社 仃於該/主目像素中標籤編
號之發行及分配。具體而言,條件判定電路⑷繼而判斷 庄目像素之左侧像素之標籤是否為「〇」(步驟S232”此 處,由於左側像素之標籤並非為「〇」(步驟s232.^,故 而線緩衝器H4b及標籤記憶體控制器147分別進行以下之 步驟則、234之處理。即’如圖29所示,將電流標藏資 訊〇」記錄至附加資訊記憶體148中(步驟S233),並且將 電流標藏資訊自標籤記憶體控制器147中刪除(步驟 S234),然後進人步驟S245。再者,於左側像素之標㈣ 「〇」之情形時(步驟S232: γ),直接進入步驟s245。於該 步驟S245中,條件判定電路141判定丨線份之掃描是否已結 束(注目像素是否位於1線之右端)(圖27之步驟s245)。 此處,於1線份之掃描尚未結束之情形時(步驟s245 : N)’例如圖3G所示,使注目像素於該㈣向下—像素(右
鄰之像素)移動(依序掃描)(步驟S246)。然後,接下來再次 返回步驟S231。 另.方面於判疋為1線份之掃描已結束之情形時(步驟 S245 . Y),繼而,條件判定電路μ〗判斷注目像素之左側 像素之標籤是否為「〇」(步驟S247)。此處,由於左側像 素之標籤為「0」(步驟S232: γ),因此接下來進入步驟 S250。再者,於左側像素之標籤為「1」之情形時(步驟 S247 · N) ’線緩衝器144b及標籤記憶體控制器ι47分別進 行以下之步驟S248、249之處理。即,將電流標籤資訊 I39789.doc -24- 201020888 「〇」記錄至附加資訊記憶體148中(步驟S248),並且將電 机標籤資訊自標籤記憶體控制器147中刪除(步驟S249), 進入步驟S250。 ❹ 該步驟S250中’條件判定電路141判定攝像圖像内之所 有線之掃私疋否已結束(步驟S25〇)。此處,由於所有線之 掃描尚未結束(步驟S250: N),故而例如圖3〇所示,注目 像素向下一線内之像素移動(依序掃描)(步驟S251),並返 回步驟S23 1。此時,由於本實施形態中未設有位址列表 M3,故而與第1實施形態不同,不進行位址之整理。 另方面’例如圖30所示,於注目像素之像素資料為 1」(有效值)之情形時(步驟S231 : Y),繼而,條件判定 電路.141判定該周邊像素(此處為注目像素之上側及左側之 像素)之標籤為有效或者為無效(周邊像素之像素資料為有 效值或者為無效值,注目像素是否為孤立點X步驟MB)。 此處’如圖30所示’於注目像素之上側之像素及左側之像 素中,任何標籤均為無效(像素資料為「〇」(無效值),注 目像素為孤立點)(步驟S235:雙方無效),故而新標藏編號 發仃電路142使用空位址資訊暫存器149,並且例如圖%所 不’進订空標藏編號之檢索(步驟S236)。X,與此同時, 例如圖30所不’線緩衝器14仆及標籤記憶體控制器η?分 別將當前位置眘α I *恭、+ , 資訊作為電流標籤資訊,藉此,於注目像素 中分配新標籤(新您吹 職(新的標戴資訊)(步驟S237)。再者,隨後, 於此情形時,你丨如阁^_ J如圖31所不再次反覆進行步驟S245、S246 之處理。再者,认面社丄 於圖31等中,二值化資料Din内之像素中 139789.doc -25- 201020888 所示之「( 1)」等係表示分配給該像素之標籤編號(標藏資 訊)。 其次’例如圖3 2所示,於此情形時,反覆進行步驟 S231、S232〜S234、S245、S246 之處理或者步驟 S231、 S235、S236、S237、S245、S246之處理。 其次’例如圖32所示’於步驟S231中判定為注目像素之 像素資料為「1」(有效值)(步驟S231 : γ),並且於步驟 S 2 3 5中判定為僅注目像素之上側像素之標籤為有效(像素 資料為「1」(有效值))之情形時(步驟S235 :僅上有效), ⑩ 進行以下說明之步驟S238之處理。即,例如圖32所示,線 緩衝器144b及標籤記憶體控制器147分別將(當前位置資訊 +上側像素之標籤資訊)作為電流標籤資訊,從而於注目 像素中分配與上側像素相同之標籤。藉此,例如圖33所 示,分別更新附加資訊(每個連結區域之位置資訊及面積 資訊)。 另一方面,例如圖34所示,於步驟S23丨中判定為注目像 素之像素資料為「〗」(步驟S231 : γ),並且於步驟Μ”* 〇 判定為僅注目像素之左側像素之標籤為有效之情形時(步 驟S235 :僅左有效),進行以下說明之步驟s239之處理。 即,例如圖34所示,將(當前位置資訊+左侧像素之標籤 資訊)作為電流標籤資訊,藉此,於注目像素中分配與左 側像素相同之標籤。 又,例如圖35所示,於步驟8231中判定為注目像素之像 素 > 料為「1」(步驟S231 ·· γ),並且於步驟s235中判定為 139789.doc -26 - 201020888 ;主目像素之上側像素及左側像素之標籤雙方均為有效之情 形時(步驟S235 :雙方有效),繼而,條件判定電路14ι判 疋上側之像素與左侧之像素之標籤是否不同(步驟s24〇)。 此處,當上側之像素與左侧之像素之標籤為相同時(步驟 S240 : N) ’進行上述步驟S239之處理。 另一方面,當步驟S240中判定為上側之像素與左側之像 素之標籤不同時(步驟S240 : γ),進行以下說明之步驟 S241〜S244之處理,分配與上側像素及左側像素中所選擇 之1像素相同之標籤,並且分別更新附加資訊。具體而 。,例如圖35所示,線緩衝器144b及標籤記憶體控制器 147分別將(當前位置資訊+上側像素之標籤資訊+左側像素 之標籤資訊)作為電流標籤資訊(步驟S241)。又與此同 時’例如圖35所示,將線緩衝器144b上之標藏編號統括更 新為更新目標之標籤編號(步驟S242) ^繼而,自附加資訊 記憶體148中刪除上側像素及左側像素中較大之標鐵編號 •(步驟S243) ’並更新空位址資訊(空標籤編號)(步驟 S244)。藉此,例如圖36所示,完成2個連結區域之合併, 並分配相同之標籤。 以此方式進行步驟S23^25!*示之標籤處理,藉此, 例如圖37所示,分別獲得攝像圖像全體之標藏資訊、每個 連結區域之位置資訊及面積資訊而作為標籤資訊。繼 而’於步驟S25G中,當判定為所有線之掃描已結束時(步 驟S250 : γ),標籤處理結束。 此處,於本實施形態之標籤處理中,亦與第靖施形態 139789.doc -27· 201020888 同樣地’⑨由二值化資料Din所表現之攝像圖像中,依序 掃描各像素。並且’於該依序掃描時,根據注目像素及其 周邊像素之像素資料之值,於注目像素中隨時分配標籤編 號(標籤資訊)’並且隨時更新對應於各標籤資訊之每個連 結區域之附加資訊(位置資訊及面積資訊)。藉此,於如此 之依序掃狀完成時刻,分職得攝像圖像全體之標鐵資 訊、每個連結區域之位置資訊及面積資訊。即,先前之標 籤圖像之製作成為不需要,次依序掃描便可分別^ 得圖像全體之標籤資訊等。 如上所述,於本實施形態中,亦可利用與第i實施形態 同樣之作用而獲得同樣之效果。即,藉由1次依序掃描& 可分別獲取攝像圖像全體之標籤資訊、位置資訊及面積資 訊。因此’可實現比先前更高速之標籤處理。 又,本實施形態中,第1實施形態中之位址列表143成為 不需要,可直接更新標籤資訊,故而與第〗實施形態相比 可進一步提高即時性。因此,硬體上之標籤處理之實現變 得更為容易’並且可進一步減小所使用之記憶體量。 以上’列舉第1及第2實施形態說明了本發明,但本發明 並不限定於該等實施形態,可進行各種變形。 例如’上述實施形態中,已對使用注目像素之上側及左 側之2方向之像素來作為注目像素之周邊像素而實施標籤 處理之情形進行了說明,但例如亦可將注目像素之上側、 左侧及右上側之3方向之像素作為周邊像素而進行標籤處 理。 139789.doc * 28 - 201020888 又’上述實施形態中’已對將像素資料之值為…時 作為有效值、且將像素資料為「〇」時作為無效值之情形 進行了說明’但亦可相反地將像素資料之值為「〇」時作 為有效值、且將像素資料為「丨」時作為無效值。 • X,圖2及圖3所示之例中,肖1個發光胞對應地設置有】 個受光胞,但料與複數個發光胞對應地設置丨個受光 胞。 又,上述實施形態中所說明之圖像輸出入裝置!、2中, 6對使用液晶㈣11面板作為輸出人面板U之構成進行了 說明。然而,本發明之圖像輸出入裝置亦可為使用有機電 致發光㈤ectro Luminescence,EL)面板等作為輸出入面板 之構成。有機ELtl件具有當施加順向偏壓電壓時進行發光 動作、而當施加逆向偏向電壓時進行受光而產生電流之性 質因此,有機EL元件成為含有顯示構件iia及受光構件 lib。輸出入面板u係藉由對每個像素16配置有機元件 . 而構成,當根據顯示資料而對各有機EL元件施加順向偏壓 電壓以使其進行發光動作時顯示圖像,對其他有機el元件 施加逆向偏向電壓而接收反射光。 又,上述實施形態中’舉出包含具有複數個顯示構件 11 a及複數個受光構件llb之輸出入面板11的圖像輸出入裝 置1為例而說明了本發明,但本發明亦可適用於包含具有 複數個受光構件lib之輸入面板的圖像輸入裝置(攝像裝 置)。 又’本發明之圖像處理裝置不僅適用於基於由受光構件 139789.doc -29- 201020888 lib所獲得之受光信號的攝像圖像,亦可適用於藉由其他 方法而生成之圖像。具體而^•,本發明之圖像處理裝置例 如亦可適用於在包含圖38所示之輪出入面板5(像素ρχ之剖 面構造)之圖像輸出入裝置中所生成之圖像。該輸出入面 板5包含:第1基板50,其含有玻璃基板5〇Α、閘極絕緣膜 51Α、第…間絕緣膜52Α、信號線SL、第2層間絕緣膜 52B、共用電極53、第3層間絕緣膜52C及像素電極54(第1 感測器電極);第2基板60,其含有玻璃基板6〇A、彩色濾 光片61及對向感測器電極62(第2感測器電極);以及含有液 @ 晶分子71之液晶層70。即,於輸出入面板5内,藉由像素 電極54及對向感測器電極62而構成電阻型觸摸感測器。此 處,像素電極54例如成為含有複數個邊緣54B之剖面形 狀。邊緣54B存在著配向膜(未圖示)變薄之傾向,邊緣54β 自配向臈露出。又,與邊緣54B對向地配置有對向感測器 電極62(包含狹缝62A及圖案62B)。藉此,若第2基板的撓 曲’則對向感測器電極62會與像素電極54之露出之邊緣 54B接觸而直接取得導通’因此可抑制位置檢測之不穩定鲁 性°尤其當該輸出入面板5為FFS(Fringe Field Switching, 邊緣%切換)方式之液晶顯示面板時’由於像素電極54原 本具有包含複數個狹縫54 a之平面形狀,故而可提高位置 檢測性能而不會使開口率降低。 進而’上述實施形態中所說明之一連串處理既可藉由硬 體而進行’亦可藉由軟體而進行。於藉由軟體而進行—連 串處理時’將構成該軟體之程式安裝於通用之電腦等中。 139789.doc -30- 201020888 如此之程式亦可預先記錄於電腦中内置的記錄媒體中。 【圖式簡單說明】 圖1係表示本發明之第1實施形態之圖像輸出入裝置之構 成的方塊圖。 圖2係更詳細地表示圖1之圖像輸出入裝置之構成之方塊 圖。 圖3係將輸出入面板之一部分放大之剖面。
圖4係更詳細地表示圖1之標籤處理部之構成之方塊圖。 圖5係表示第1實施形態之標籤處理時所用之二值化資 料、線緩衝器、位址列表及附加資訊之一例之模式圖。 圖6係圖像輸出入裝置之圖像處理全體之流程圖。 圖7係表示第1實施形態之標籤處理之詳細情況、。 圖。 θ ’之流程 圖8係用於說明第1實施形態之標籤處理之詳細产 ^ 式圖。 、月/之模 圖9係繼圖8之後用於說明標籤處理之 圖。 f,、,障况之模式 圖10係繼圖9之後用於說明標籤處理之詳細 圖。 、⑧况之模式 圖11係繼圖10之後用於說明標籤處理之詳細 圖。 、⑨况之模式 圖12係繼圖丨丨之後用於說明標籤處理之詳細 圖。 、β楔式 圖13係繼圖12之後用於說明標籤處理之詳細 ^兄之楔式 139789.doc 201020888 圖。 之模式 之楔式 之模式 之模式 之模式 圖 圖 圖 圖 圖 圖 圖 圖14係繼圖U之後用於說明標籤處理之詳細情況 〇 圖15係繼圖I4之後用於說明標籤處理之詳細情況 〇 圖16係繼圖I5之後用於說明標籤處理之詳細情況 〇 圖17係繼圖I6之後用於說明標籤處理之詳細情況 〇 圖18係繼圖I7之後用於說明標籤處理之詳細情兄 之詳細情況之模式 之詳細情況之模式 圖I9係繼圖is之後用於說明標籤處理 〇 圖2〇係繼圖I9之後用於說明標籤處理 圖 圖21係繼圖20之後用於說明標 籤處理之詳細情況之模式 圖22係繼圖2丨之後用於說明標籤處 圖。 呢里之咩細情況之模式 圖23係繼圖22之後用於說明標藏處 圖。 处至之咩細情況之模式 圖24係表示第2實施形態之標 塊圖。 籤處理部之詳細構成 之方 圖25係表示第2實施形態 之標籤處理時所用之二值化資 139789.doc -32· 201020888 料、線緩衝器、附加資訊及空位址資訊之—例之模式圖。 圖26係表示第2實施形態之標籤處理之詳細情況之济程 圖27係繼圖20之後表示第2實施形態之標籤處理之詳 情況之流程圖。 圖Μ係用於說明第2實施形態之標籤處 叹王又坪細情況之 模式圖。 細 圖 圖 圖 圖 圖29係繼圖28之後用於說明標籤處理之詳細情況之模式 〇 圖3〇係繼圖29之後用於說明標籤處理之詳細情兄之模弋 〇 圖31係繼圖30之後用於說明標籤處理 之砰細情況之模式 〇 圖32係繼圖31之後用於說明標籤處理 <咩細情況之模式 圖33係繼圖32之後用於說明標籤處理 之4細情況之模式 圖。 圖34係繼圖33之後用於說明標籤處理 圖 之詳細情況之模式 圖35係繼圖34之後用於說明標籤處理 圖 之咩細情況之模式 圖 圖36係繼圖35之後用於說明標籤處理之詳細情 況之模式 圖37係繼圖36之後用於說明標籤處琿+ μ 至之咩細情況之模式 139789.doc •33- 201020888 圖。 圖38係表示本發明之變形例之輸出入面板之構成的刳面 圖。 【主要元件符號說明】 1 圖像輸出入裝置 5、11 輪出入面板 10 顯示器 11a 顯示構件 lib 受光構件 12 顯示信號處理部 13 受光信號處理部 14 圖像處理部 14a 標籤處理部 14b 標籤處理部 16' Px 像素 20 電子機器本體 21 控制部 30、31 透明基板 32 隔壁 33 遮蔽層 40 顯示信號保持控制部 41 發光側掃描器 42 顯示信號驅動器 43 受光側掃描器 139789.doc ·34· 201020888
44 顯示信號生成部 45 受光信號接收器 46 受光信號保持部 47 位置檢測部 50 第1基板 50A ' 60A 玻璃基板 51A 閘極絕緣膜 52A 第1層間絕緣膜 52B 第2層間絕緣膜 52C 第3層間絕緣膜 53 共用電極 54 像素電極 54A、62A 狹縫 54B 邊緣 60 第2基板 61 彩色濾光片 62 對向感測器電極 62B 圖案 70 液晶層 71 液晶分子 141 條件判定電路 142 新標籤編號發行電路 143 位址列表 144 、 144b 線緩衝器 139789.doc -35- 201020888 144a 145 146 147 148 149 CR、CR1 〜CR3 CW ' CW1-CW3
CWR
Din
Dout
LB
PD
SL S10〜S250 線緩衝器(影像) 線緩衝器控制電路 位址列表控制電路 標籤記憶體控制器 附加資訊記憶體 空位址資訊暫存器 受光胞 發光胞 發光受光胞 二值化資料 標籤資訊 光 受光元件 信號線 步驟 139789.doc •36-

Claims (1)

  1. 201020888 七 、申請專利範園 —種圖像處理裝置,其包含: 掃描部,装^v M i 中依序掃描各像素;J^值化之像素資料所表現之圖像 描Li::部’其以如T方式進行處理,即,於依序掃 ^ …’根據注目像素及其周邊像素之像素資料之 區域之=目像素中隨時分配表示上述圖像内的每個連結
    籤資訊1:編號之標籤資訊,並且隨時更新對應於各標 貝§ 個連結區域之位置資訊及面積資訊,藉此, 於該依序掃描之完成時刻,分別獲取㈣上述圖=體 之標籤資訊、上述位置資訊及上述面積資訊。 2.如請求項1之圖像處理裝置,其中 上述資訊獲取部於注目像素之像素資料為表示有效值 者、並且其周邊像素之像素資料均為表示無效值者之情 時於》亥注目像素中發行並分配新的標藏資訊。 3.如請求項1或2之圖像處理裝置,其中 上述資訊獲取部於注目像素之像素資料為表示有效值 者、並且僅其周邊像素中之1像素之像素資料為表示有 效值者之情形肖,於胃注目像f中分配對於表示有效值 之1像素所分配之已發行之標籤資訊,藉此而分別更新 每個上述連結區域之位置資訊及面積資訊。 4.如請求項1或2之圖像處理裝置,其中 上述資訊獲取部於注目像素之像素資料為表示有效值 者、並且其周邊像素中之複數個像素之像素資料為分別 139789.doc 201020888 表示有效值者之情形時,於該注目像素中分配對於表示 有效值之複數個像素巾料擇之i像素所分配之已發行 之標籤資訊’藉此而分別更新每個上述連結區域之位置 資訊及面積資訊。 5. 如請求項1或2之圖像處理裝置,其中 上述資訊獲取部於注目像素之像素資料為表示無效值 者之情形時’於該注目像素中^進行標籤資訊之發行及 分配。 6. 如請求項1或2之圖像處理裝置,其中 上述資訊獲取部包含: 判定部,其判定是否根據注目像素及其周邊像素之像 素資料之值’而分別進行上述標籤資訊之分配處理與每 個上述連結區域之位置資訊及面積資訊之更新處理; 標籤發打部,其根據上述判定部之判定結果發行新 的標籤資訊; 線緩衝器,其包含像素單位之控制器而構成,儲存上 述標籤資訊; 附加資訊記憶體,其將上述標籤資訊與上述位置資訊 及面積資訊分別建立關聯而儲存;以及 空位址資訊暫存$,其儲存對於各標冑資訊之分配之 有無。 7. 如請求項1或2之圖像處理裝置其中 上述資訊獲取部包含: 判定部,其判定是否根據注目像素及其周彡像素之像 139789.doc •2· 201020888 素資料I而刀別進行上述標籤資訊之分配處理與每 個上述連結區域之位置資 、 直頁況及面積育訊之更新處理. 標籤發行部,其根據上述判定部之判定結果,發行新 的標籤資訊; 線緩衝器,其儲存上述標藏資訊; 附加資訊記憶體,其將卜;+· a里达_…a 兵將上述位置資訊及面積資訊分別 與位址編號建立關聯而儲存;以及 &址歹】表,其將上述線緩衝器中儲存之標籤資訊、上 • 述附加資訊記憶體中儲存之位㈣號'及對於各標籤資 訊之分配之有無分別建立關聯而儲存。 8. —種圖像處理方法, 其於藉由經二值化之像素資料所表現之圖像中依序掃 描各像素,並且 以如下方式進行處理,即,於依序掃描各像素時,根 據注目像素及其周邊像素之像素資料之值,於注目像素 中隨時分配表示上述圖像㈣每個連結區域之識別編號 之標籤資訊’並且隨時更新對應於各標籤資訊之每個連 結區域之位置資訊及面積資訊,藉此,於該依序掃描之 完成時刻,分別獲取有關上述圖像全體之標籤資訊、上 述位置資訊及上述面積資訊。 9. 一種圖像輸入裝置,其包含: 輸入面板,其含有沿攝像面而排列且接受由外部靠近 物體所反射之光之複數個受光構件; 择描部,其於根據來自各受光構件之受光信號而獲得 139789.doc 201020888 的藉由經二值化之像素資料所表現之攝像圖像中 掃描各像素; 汁 資訊獲取部,其以如下方式進行處理,即,於依序掃 描各像素時’根據注目像素及其周邊像素之像素資料之 值,於注目像素中隨時分配表示上述攝像圖像内的每個 之識別編號之«資訊,並且隨時更新對應於 訊之每個連結區域之位置資訊及面積資訊,藉 L於該依序掃描之完成_,分職取㈣上述攝像 以及王體之標籤資訊、上述位置資訊及上述面積資訊; 資:置:=:其根據由上述資訊獲取部所獲得之標籤 之位 訊及面積資訊’獲取與上述外部靠近物體 ίο 形狀及大小中之至少-者相關之資訊。 一種圖像輪出入裝置,其包含: 輸出入面板,其含右、,l _ 而顯示圖像之心 面而排列且根據圖像信號 列且接成6數個顯示構件,以及沿上述顯示面而排 光之2 顯示㈣射並被外部靠近物體所反射之 尤之複數個受光構件; 掃描部,装μ & 4去A 的藉由經二值化之像各受光構件之受光信號而獲得 掃描各像素. 素貝料所表現之攝像圖像中,依序 資訊 ^ΙΤ 描各像素^根Γ如下方式進行處理,即,於依序掃 值’於注目像素中2像素及其周邊像素之像素資料之 時分配表示上述攝像圖像内的每個 139789.doc 201020888 連結區域之識別編號之標籤資訊,並且隨時更新對應於 各標籤資訊之每個連結區域之位置資訊及面積資訊,藉 此,於該依序掃描之完成時刻,分別獲取有關上述攝像 圖像全體之標籤資訊、上述位置資訊及上述面積資訊; 以及
    位置檢測部,其根據由上述資訊獲取部所獲得之標籤 資訊、位置資訊及面積資訊,獲取與上述外部靠近物體 之位置、形狀及大小中之至少一者相關之資訊。 11· 一種圖像輸出入裝置,其包含: 輸出入面板’其包括顯示面板及位置檢測部,上述顯 示面板於第!基板及第2基板之間含有液晶層,上述位置 檢測部形成於該顯示面板内,含有藉由上述第2基板之 挽曲而可接觸之第1感測器電極及第2感測器電極,並且 讀取由上述第1感測器電極及上述第2感測器電極之接觸 所引起之電位之變化’藉此而檢測與外部靠近物體之位 置相應之第2基板之撓曲位置; 掃描部,其於根據來自上述位置檢測部之位置檢測信 號而獲得㈣由經二值化之像㈣料所表現之圖像中, 依序掃描各像素; _貝訊獲取部’其以如T方式進行處理,即,於依序掃 描各像素時,根據注目像素及其周邊像素之像素資料之 值於左目像素中隨時分配表示上述圖像内的每個連社 ^之朗編號之標鐵資訊,並减時更新對應於切 鐵貝訊之每個連結區域之位置資訊及面师訊,藉此:、 139789.doc 201020888 、庐筮咨$之完成時刻,分別獲取有關上述圖像全體 之標臧資訊、上述位置資訊及上述面積資訊;以及 位置檢測部,其根據由上述資訊獲取部所獲得之標籤 資訊、位置資訊及面積資訊,獲取與上述外部靠近物體 之位置、形狀及大小中之至少一者相關之資訊。 139789.doc 6-
TW098126095A 2008-08-05 2009-08-03 Image processing device, image processing method, image input device, and image input/output device TW201020888A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008201463A JP5027075B2 (ja) 2008-08-05 2008-08-05 画像処理装置、画像入力装置および画像入出力装置

Publications (1)

Publication Number Publication Date
TW201020888A true TW201020888A (en) 2010-06-01

Family

ID=41663631

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098126095A TW201020888A (en) 2008-08-05 2009-08-03 Image processing device, image processing method, image input device, and image input/output device

Country Status (7)

Country Link
US (1) US8836670B2 (zh)
EP (1) EP2312421A4 (zh)
JP (1) JP5027075B2 (zh)
KR (1) KR20110051164A (zh)
CN (1) CN101878465A (zh)
TW (1) TW201020888A (zh)
WO (1) WO2010016411A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456079A (zh) * 2010-10-18 2012-05-16 鸿富锦精密工业(深圳)有限公司 影像离线编程的尺寸引导***及方法
TWI486547B (zh) * 2010-10-20 2015-06-01 Hon Hai Prec Ind Co Ltd 影像離線編程的尺寸引導系統及方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224973B2 (ja) * 2008-08-26 2013-07-03 株式会社ジャパンディスプレイウェスト 情報入出力装置および情報入出力方法
JP5366051B2 (ja) 2009-04-20 2013-12-11 株式会社ジャパンディスプレイ 情報入力装置、表示装置
JP5382658B2 (ja) * 2010-02-26 2014-01-08 株式会社ジャパンディスプレイ タッチセンサ付き表示装置、タッチパネル、タッチパネルの駆動方法、および電子機器
TWI433004B (zh) * 2010-05-14 2014-04-01 Alcor Micro Corp 觸控面板上之觸控點判斷方法及其系統
US8553003B2 (en) * 2010-08-20 2013-10-08 Chimei Innolux Corporation Input detection method, input detection device, input detection program and media storing the same
JP5064552B2 (ja) * 2010-08-20 2012-10-31 奇美電子股▲ふん▼有限公司 入力検出方法、入力検出装置、入力検出プログラム及び記録媒体
TWI470997B (zh) * 2011-10-31 2015-01-21 Au Optronics Corp 立體顯示器
KR101429923B1 (ko) * 2011-12-06 2014-08-13 엘지디스플레이 주식회사 터치 영역 라벨링 방법 및 그를 이용한 터치 센서 구동 장치
KR101885216B1 (ko) * 2011-12-30 2018-08-30 삼성전자주식회사 터치 센서 시스템의 멀티 터치 구분 방법
JP6025456B2 (ja) * 2012-08-28 2016-11-16 キヤノン株式会社 被検体情報取得装置、表示方法、及びプログラム
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device
TW202038456A (zh) * 2018-10-26 2020-10-16 日商索尼半導體解決方案公司 固態攝像元件、固態攝像元件封裝及電子機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58151669A (ja) 1982-03-03 1983-09-08 Hitachi Ltd 画像処理装置のラベリング処理回路
JPS60200379A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 画像処理用セグメンテ−シヨン装置
US4953224A (en) * 1984-09-27 1990-08-28 Hitachi, Ltd. Pattern defects detection method and apparatus
JPS61145689A (ja) 1984-12-18 1986-07-03 Toshiba Corp 領域ラベリング回路
JP2766053B2 (ja) * 1990-07-30 1998-06-18 株式会社日立製作所 画像データ処理方法
JP2891616B2 (ja) * 1993-09-24 1999-05-17 富士通株式会社 仮ラベル割付処理方式と実ラベル割付処理方式
JPH07175925A (ja) * 1993-12-17 1995-07-14 Mitsubishi Electric Corp 特徴量算出装置及び特徴量算出方法
JP4221534B2 (ja) 1999-02-19 2009-02-12 日本ケミコン株式会社 2値画像の特徴量抽出方法
US6483942B1 (en) * 1999-09-27 2002-11-19 Xerox Corporation Micro region count image texture characterization
JP3438717B2 (ja) 2000-11-24 2003-08-18 松下電器産業株式会社 蛍光ランプ
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2005339444A (ja) 2004-05-31 2005-12-08 Toshiba Matsushita Display Technology Co Ltd 表示装置
JP2007299210A (ja) * 2006-04-28 2007-11-15 Sharp Corp 画像処理装置、画像形成装置、画像読取装置及び画像処理方法
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
KR20080052836A (ko) * 2006-12-08 2008-06-12 삼성전자주식회사 액정 표시 장치 및 그 제조 방법
US8121414B2 (en) * 2007-06-13 2012-02-21 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, and image forming apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456079A (zh) * 2010-10-18 2012-05-16 鸿富锦精密工业(深圳)有限公司 影像离线编程的尺寸引导***及方法
CN102456079B (zh) * 2010-10-18 2016-08-03 赛恩倍吉科技顾问(深圳)有限公司 影像离线编程的尺寸引导***及方法
TWI486547B (zh) * 2010-10-20 2015-06-01 Hon Hai Prec Ind Co Ltd 影像離線編程的尺寸引導系統及方法

Also Published As

Publication number Publication date
EP2312421A4 (en) 2013-02-20
JP2010039732A (ja) 2010-02-18
JP5027075B2 (ja) 2012-09-19
US8836670B2 (en) 2014-09-16
US20100253642A1 (en) 2010-10-07
WO2010016411A1 (ja) 2010-02-11
KR20110051164A (ko) 2011-05-17
CN101878465A (zh) 2010-11-03
EP2312421A1 (en) 2011-04-20

Similar Documents

Publication Publication Date Title
TW201020888A (en) Image processing device, image processing method, image input device, and image input/output device
JP5014439B2 (ja) 光センサ付き表示装置
JP5224973B2 (ja) 情報入出力装置および情報入出力方法
WO2011129131A1 (ja) 表示装置
CN106529463B (zh) 一种指纹识别显示面板、显示装置和指纹识别方法
JP5071308B2 (ja) 入出力装置
JPH07236029A (ja) コンパクト・ドキュメント・イメージャ
JP2010061299A (ja) 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
JP5246490B2 (ja) 入出力装置
US20020067520A1 (en) Hand-held image capture apparatus
JP2012243201A (ja) 入力機能付表示装置
JP2006127081A (ja) 情報表示装置、位置指示装置および位置検出システム
JPH1165763A (ja) 表示パネルおよび表示装置
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
JP4529567B2 (ja) ドキュメント管理システム
CN209859158U (zh) 扫描笔
JP5567776B2 (ja) 色検出/色出力装置、色検出/色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出/色出力方法
JP2008276317A (ja) 画像処理プログラム、画像処理装置、及び画像処理システム
JP2016184895A (ja) 可視像形成装置及び画像形成装置
JP2010119064A (ja) 色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法
WO2012023521A1 (ja) 入力表示装置、入力位置認識方法
WO2012128158A1 (en) Electronic book device
JP4706425B2 (ja) 画像補正装置、画像補正プログラムおよび画像補正方法
TWI749354B (zh) 應用於屏下成像的驅動和圖像獲取方法、存儲介質和電子設備
TW201023008A (en) Image recognition method, image recognition apparatus and image input/output apparatus