NL9301004A - Inrichting voor het bewerken en reproduceren van digitale beeldinformatie. - Google Patents

Description

Inrichting voor het bewerken en reproduceren van digitale beeldinformatie

De uitvinding betreft een inrichting voor het reproduceren van een door digitale beeidpuntinformatie gerepresenteerd beeld, omvattende bedieningsmiddelen, middelen voor het toevoeren van digitale beeidpuntinformatie, een geheugen voor het opslaan van beeldpunt informatie, middelen voor het bewerken van de toegevoerde beeidpuntinformatie en middelen voor het afdrukken van de bewerkte beeidpuntinformatie op een beelddrager. Met beeidpuntinformatie wordt in dit verband bedoeld: de dichtheidswaarden van in een orthogonaal raster opgestelde pixels (beeldpunten) die tezamen overeenkomen met het beeld.

Dergelijke inrichtingen zijn algemeen bekend. In deze bekende inrichtingen wordt een document door middel van een opto-elektrische scanner afgetast en worden digitale beeldpuntgegevens gegenereerd, welke met het documentbeeld overeenkomen. Deze beeldpuntgegevens worden opgeslagen in een geheugen, bewerkten afgedrukt. Ook kunnen digitale beeldpuntgegevens vanuit een andere inrichting worden toegevoerd, opgeslagen in het geheugen en na bewerking worden afgedrukt. De bewerking is er in het algemeen op gericht om de beeldgegevens zodanig aan te passen, dat een goede afdruk wordt verkregen, zoals het omzetten van grijswaardegegevens in halftoongegevens, dat zijn beeldgegevens, die per beeldpunt slechts de waarde wit of zwart kunnen hebben.

Daarnaast kan de bewerking erop gericht zijn om het uiterlijk van het afgedrukte beeld van het document te veranderen volgens keuze van een bedienaar. Dit wordt meestal "editing" genoemd. In dat geval kan met selektiemiddelen, zoals een digitiserpaneel en een aanwijspen, een gebied op het document worden aangegeven, waarna een bewerkingsfunktie kan worden geïnstrueerd om het uiterlijk van het aangegeven gebied te veranderen. Een nadeel van conventionele inrichtingen is, dat de te bewerken gebieden zeer nauwkeurig aangegeven moeten worden. Wanneer een te bewerken gebied slordig wordt aangewezen, kan gemakkelijk een gedeelte dat eigenlijk ook bewerkt had moeten worden afvallen.

De uitvinding heeft als doel om een kopieer- of afdrukinrichting te verschaffen, die geschikt is voor het op eenvoudige en snelle wijze bewerken van een documentbeeld, met als resultaat een afdruk met aangepast uiterlijk.

De inrichting is daartoe gekenmerkt door segmentatiemiddelen, verbonden met het geheugen, voor het in lay-out elementen segmenteren van de digitale beeidpuntinformatie, waarbij de bedieningsmiddelen zijn verbonden met de segmentatiemiddelen voor het daaruit ontvangen van resultaten van de segmentatie en zijn voorzien van: - middelen voor het tonen van die resultaten aan een bedienaar, - eerste selektiemiddelen voor het selekteren van een of meer bij de segmentatie gevonden lay-out elementen, - tweede selektiemiddelen voor het selekteren van een bewerking en voorts zijn verbonden met de bewerkingsmiddelen voor het besturen daarvan, teneinde een geselekteerd lay-out element te bewerken volgens een geselekteerde bewerking.

De segmentatiemiddelen analyseren de lay-out van het document, dat wil zeggen, zij zoeken in het document de afzonderlijke karakters, woorden, regels, tekstblokken, en voorts foto's, graphics, etc. op en stellen de onderlinge topografische samenhang daarvan vast. Het is niet noodzakelijk, dat de segmentatiemiddelen ook de inhoud van de tekstelementen en de onderlinge logische samenhang van de lay-out elementen vaststellen.

De vastgestelde lay-out van het document wordt aan de bedienaar getoond, bijvoorbeeld op een beeldscherm, waarna deze lay-out elementen kan selekteren, juist zoals dat gebeurt op het beeldscherm van een tekstverwerker-werkstation. Hierbij helpt de verworven kennis over de lay-out om het selekteren juist te laten verlopen. Wijst de bedienaar bijvoorbeeld een woord aan, dan zullen de eerste selektiemiddelen ook precies dat woord selekteren. Vervolgens kan de bedienaar een bepaalde bewerking specificeren, die daarna door de bewerkingsmiddelen op het geselekteerde lay-out element wordt uitgevoerd. Zulke bewerkingen zijn bijvoorbeeld aanpassing van de grijswaardenschaal of de kleur, waarmee het geselekteerde lay-out element op de afdruk wordt weergegeven. Andere bewerkingen liggen meer in de sfeer van tekstverwerking, zoals veranderen van de oriëntatie (roteren) en zelfs verplaatsing van een lay-out element. Op deze wijze wordt het gebruiksgemak van de editing-funktie aanzienlijk vergroot

Lay-out analyse zoals in de segmentatiemiddelen geschiedt kan op verschillende manieren worden uitgevoerd. Twee methodes zijn beschreven in William Lam et al: "Block Segmentation of Document Images Using the X-Y Tree Approach"; TR 88-14, Dept of Computer Science, SUNY Buffalo, NY, June 1988, en in Stephen W. Lam: "Reading Newspaper Text", Proc. of 10th International Conference on Pattern Recognition, New Jersey, USA, June 16-21,1990, pp.703-705. Daarnaast is door de uitvinders van de inrichting volgens de uitvinding een derde, afwijkende, methode ontwikkeld die hieronder wordt beschreven en tevens deel uitmaakt van de uitvinding.

In het document van William Lam et al. wordt lay-out analyse van een documentpagina aan de hand van een tweetal segmenteeralgoritmes besproken: het top-down algoritme en het bottom-up algoritme.

Bij het top-down algoritme worden vertikale en horizontale projektieprofielen gemaakt door alle beeldpunten op de x-as, repektievelijk de y-as te projekteren en hun aantallen te tellen als funktie van de plaats op de betreffende as. Met behulp van deze profielen wordt onderzocht of een documentpagina door middel van viakdoorsnijdingen in een stelsel van lay-out structuurelementen kan worden verdeeld. Viakdoorsnijdingen zijn alleen toegestaan indien geen of nagenoeg geen beeldpunten op een doorsnijdingslijn of -band zijn gelegen.

Door elk bij de doorsnijdingen in de ene richting gevormd deelblok van de documentpagina in de volgende slag weer te doorsnijden in de andere richting worden steeds kleinere deelblokken gevormd, totdat er geen doorsnijdingen meer gemaakt kunnen worden. Bij een tekstpagina is men dan aangekomen op het niveau van de individuele karakters.

Het nadeel van dit algoritme is dat voor elke nieuw uit te voeren doorsnijding alle beeldpunten moeten worden verwerkt om een nieuw projektieprofiel te bepalen, hetgeen veel rekentijd eist.

Daarentegen vindt bij het bottom-up algoritme, beschreven in de publikatie van Stephen W. Lam, eerst groepsvorming plaats van aan elkaar grenzende beeldpunten, waarna de aldus gevormde groepsstructuren weer tot grotere strukturen worden verbonden, wanneer zij dichter dan een voorafbepaalde afstand bij elkaar liggen. Dit vindt doorgaans slechts plaats onder de voorwaarde dat de daarbij betrokken structuren van dezelfde karakteristieke informatiesoort, bijvoorbeeld tekstinformatie, zijn.

Een nadeel van het genoemde bottom-up algoritme is, dat het vanuit zijn detail-benadering de grote strukturen moeilijk kan herkennen. Smalle begrenzingen, die in opeenvolgende regels steeds op dezelfde plaats terugkomen bijvoorbeeld, zijn vanuit het grote geheel gezien gemakkelijk te herkennen, maar kunnen vanuit het detailperspektief volledig over het hoofd gezien worden.

Voorts is een nadeel van een dergelijk algoritme, dat een eenmaal aan een groepsstructuur toegekend label met betrekking tot de karakteristieke informatiesoort niet meer tijdens het segmenteerproces gewijzigd wordt Zo zal bijvoorbeeld een reclametekst in een foto blijvend als tekst worden aangezien, ofschoon de praktijk heeft aangetoond, dat het beter is een dergelijke tekst als een fotobestanddeel te behandelen. Beeldbewerkingen zoals vergroten of verkleinen, grijswaardeninstelling, compressie etc. dienen immers voor de gehele foto inclusief het tekstgedeelte daarin, te worden uitgevoerd.

In de segmentatièmethode volgens de uitvinding daarentegen worden eerst in de digitale beeldpuntinformatie objecten, gevormd door clusters van aan elkaar grenzende informatiedragende beeldpunten worden opgespoord en vervolgens worden doorsnijdingsoperaties op de verzameling objecten uitgevoerd om het paginabeeld in blokken te verdelen. Hierdoor wordt een aanzienlijke reduktie verkregen van het aantal te verwerken data, zodat de volledige segmentatiebewerking van een documentpagina aanzienlijk sneller verloopt dan de uit de stand der techniek bekende methoden.

In een uitvoeringsvorm worden van elk object alleen gegevens betreffende plaats, afmetingen en informatiesoort (bijvoorbeeld karakter, foto, graphics) vastgesteld. De lay-out analyse door middel van doorsnijdingen, die alleen zinvol is voor tekstgebieden in een document, kan nu automatisch daartoe beperkt worden, door voor de doorsnijdingsoperaties alleen objecten die een karakter representeren te gebruiken.

Een document dat scheef ligt ten opzichte van de richtingen, die bij de doorsnijdingsoperaties worden gebruikt, kan minder goed doorsneden worden, omdat lay-out elementen elkaar kunnen overlappen. Daarom is het aan te bevelen om de verzameling objecten voorafgaande aan de doorsnijdingsoperaties eerst te onderzoeken op scheefligging en, zo deze inderdaad aanwezig is, deze eerst op te heffen door de objecten te verplaatsen.

De uitvinding zal nu aan de hand van bijgaande figuren worden toegelicht waarvan: Fig. 1 een reproduktieinrichting voor digitale beeldinformatie volgens de uitvinding toont:

Fig.2 een blokschema toont van defunktionele opbouw van de inrichting in Fig. 1;

Fig.3 een stroomdiagram van een werkwijze voor het segmenteren van een documentpagina weergeeft;

Fig.4 de klassifikatieprocedure voor objectboxen schematisch weergeeft;

Fig.5 een gedeelte van een te segmenteren pagina weergeeft;

Fig.6 een gedeelte van een scheefliggende tekst voorstelt;

Fig.7 een bedieningspaneel van de reproduktieinrichting van Fig. 1 weergeeft.

Fig. 1 toont een digitale kopieermachine/printer 100, die is voorzien van een scannergedeelte 101 voor het elektronisch aftasten van een document, een beeldschermeenheid 102, een aanwijselement of zogenaamde lichtpen 103 voor het aanwijzen van plaatsen op het beeldscherm, een bedieningspaneel, bestaande uit twee gedeelten 104 en 105 en een aflegbak 106 voor het opvangen van afdrukken en tenslotte een procesgedeelte 107. De machine kan via een niet afgebeelde kabel verbonden zijn met een of meer externe bronnen van digitale beeldpuntinformatie. In plaats van de lichtpen 103 kan natuurlijk ook een ander aanwijselement, zoals een muis, gekoppeld met een aanwijsteken (cursor) op het beeldscherm gebruikt worden. Ook kan van een aanrakingsgevoelig beeldscherm gebruik worden gemaakt, zodat een bedienaar de verschillende elementen kan aanwijzen met de vinger.

Digitale grijswaardenbeeldinformatie wordt verkregen door een document in het scannergedeelte 101 af te tasten en wordt opgeslagen in een intern geheugen.

Eventueel kan ook beeldinformatie vanuit een externe bron, bijvoorbeeld een computer of werkstation, worden opgenomen en in het interne geheugen worden opgeslagen. De digitale beeldinformatie wordt onderworpen aan een halftoonbewerking, waardoor zij de vorm krijgt van een rasterpatroon van beeldpunten die wit of zwart zijn, en kan vervolgens in het procesgedeelte 107 worden afgedrukt op een vel papier, dat dan wordt afgelegd in aflegbak 106. De opbouw en werking van zo een procesgedeelte is algemeen bekend en maakt geen deel uit van de uitvinding, en zal daarom niet nader worden toegelicht.

Het bedieningspaneel bestaat uit een gedeelte 104 voor het normale kopieer- en afdrukproces en een gedeelte 105 voor het bedienen van de lay-outanalyse en de daaraan gekoppelde beeldbewerking. Dezefunktie zal nader worden beschreven onder verwijzing naar de bedieningsorganen op paneel 105 in Fig.7. Overigens kan het gedeelte 105 van het bedieningspaneel ook zijn uitgevoerd als een beeld dat op het beeldscherm zichtbaar wordt gemaakt, waarbij de op het paneel aangegeven funkties kunnen worden geselekteerd door ze aan te wijzen met het aanwijselement.

Fig.2 toont de funktionele opbouw van de inrichting 100 in de vorm van een blokschema. Toevoereenheid 201, bijvoorbeeld overeenkomend met scanner 101, is verbonden met beeldgeheugen 208. Voorts zijn met geheugen 208 verbonden de segmentatiemodule 209, bewerkingsmodule 212 en afdrukeenheid 207 en deze drie elementen zijn tevens verbonden met bedieningseenheid 211. Bedieningseenheid 211 is voorzien van een display 202, overeenkomend met beeldschermeenheid 102, een eerste selektieeenheid 203, overeenkomend met aanwijseenheid 103, een tweede selektieeenheid 205, overeenkomend met bedieningspaneel 105 en een apparaatbedieningseenheid 204, overeenkomend met bedieningspaneel 104. Voorts is segmentatiemodule 209 nog verbonden met een geheugen 210.

Nu zal eerst worden ingegaan op de werking van de segmentatiemodule 209, daarna wordt de funktie en werking van de overige elementen van de inrichting besproken.

In Fig.3 wordt door middel van een stroomdiagram een werkwijze voor het segmenteren van een documentpagina weergegeven.

In dit stroomdiagram stelt stap 2 het puntsgewijs aftasten van een documentpagina voor.

De informatie welke met het aftasten wordt verkregen, wordt in stap 4 tot een meerbits-representatievorm gedigitaliseerd.

De stappen 2 en 4 bschrijven de generatie van de beeldgegevens en behoren dus niet tot het eigenlijke segmentatieproces. Ze zijn toegevoegd om een kompleet beeld te geven van de totale weg die de beeldgegevens door het systeem afleggen.

Vervolgens wordt in stap 6 uit deze beeldinformatie de helderheidsinformatie van de achtergrond van de pagina verwijderd, zodat alleen de informatiedragende beeldpunten of pixels overblijven.

Dit kan op meerdere manieren gerealiseerd worden. Een mogelijke realisatie wordt verkregen door van de informatie van de gehele pagina (of een gedeelte ervan) een grijswaardenhistogram te maken. In dit histogram zal een smalle hoge piek, welke aan de lichte zijde van het histogram is gelegen, de helderheid van de achtergrond voorstellen, en aan de hand hiervan wordt een drempelwaarde vastgesteld, waarmee de beeldinformatie vervolgens puntsgewijs wordt vergeleken. Beeldpunten waarvan de helderheid beneden de drempelwaarde ligt, worden verwijderd, waardoor de achtergrond wordt geëlimineerd.

In stap 8 wordt de beeldinformatie in binaire vorm omgezet en in een geheugenbestand (bitmap) opgeslagen. Deze omzetting geschiedt aan de hand van een drempelwaarde, waarvoor de in stap 6 verkregen drempelwaarde kan worden gebruikt.

In dat geval kunnen de stappen 6 en 8 gecombineerd worden.

Op dit moment kan het aantal te bewerken gegevens verminderd worden. Veel scanners werken met een resolutie van ongeveer 16 punt per millimeter (400 dpi), maar deze resolutie blijkt voor een goede segmentatie vaak niet nodig. In praktijk blijkt zelfs een resolutie van 2 punten per millimeter al vaak tot goede resultaten te leiden. Zo een gereduceerde resolutie kan bijvoorbeeld verkregen worden door een regelmatige selektie te maken uit alle beeldpunten, bijvoorbeeld door van ieder blok van 8x8 beeldpunten slechts een enkel beeldpunt te gebruiken, dat wil zeggen in het geheugenbestand op te slaan. De hierna beschreven verdere procedure wordt dan op de gereduceerde beeldpuntenverzameling uitgevoerd. Het zal duidelijk zijn dat dit een aanzienlijke winst in verwerkingsnelheid oplevert.

Vervolgens worden in stap 10 clusters van zogenaamde "verbonden pixels" opgezocht, dat zijn beeldpunten, die aan elkaar grenzen of onder tussenkomst van een of meer aan elkaar grenzende beeldpunten met elkaar in verbinding staan. Zo een cluster wordtin het vervolg "object" genoemd.

Dit kan bijvoorbeeld worden uitgevoerd als een iteratief proces, waarbij telkenmale voor een beeldpunt in een 3x3 beeldpuntenomgeving aangrenzende beeldpunten worden opgezocht.

Gelijktijdig, dus in dezelfde stap, wordt voor ieder object van aaneengesloten beeldpunten een rechthoekig kader of "objectbox" vastgesteld, welke het object omhult. De zijden van dit kader zijn evenwijdig aan de horizontale en vertikale richting (de X-, respektievelijk Y-richting in de documentpagina). De positie van elke zo gevonden box wordt opgeslagen in een geheugenbestand (het objectenbestand) in de vorm van de coördinaten van de linksboven en rechtsbeneden gelegen hoekpunten. Tevens wordt van elke box het aantal er in gelegen informatiedragende beeldpunten opgeslagen.

In de daarop volgende stap 12 wordt aan iedere box een label toegekend, waarbij aan de hand van zijn afmetingen en het daarin gelegen aantal beeldpunten, wordt vastgesteld of het object in de box betrekking heeft op een karakter, foto, graphics, lijn, of ruis.

Deze klassifikatie is gebaseerd op een aantal ervaringsregels, die in praktijk goed blijken te voldoen. In een getrapte testprocedure worden alle mogelijkheden doorlopen. Deze procedure is weergegeven in Fig.4. De opeenvolgende tests worden aangegeven met een omcirkelde T. Vanuit elke test leiden twee pijlen, waarbij de pijl naar links van toepassing is als de test een bevestigend antwoord heeft opgeleverd en de pijl naar rechts van toepassing is bij een ontkennend antwoord.

Bij de tests wordt gebruik gemaakt van een referentiemaat, die is gedefinieerd als de hoogte van een font (karakterset) dat iets groter is dan het normaal voor teksten gebruikte font, namelijk 12-punts. Wordt een tekst met een abnormaal groot font geanalyseerd, dan moet de referentiemaat aangepast worden, maar in praktijk wordt voor zeer veel drukwerk dezelfde fontgrootte gebruikt, zodat de gekozen referentiemaat meestal wel voldoet.

In test T1 wordt onderzocht of de verhouding van de langste en kortste zijde van de te onderzoeken objectbox groot is, en tevens of de kortste zijde kleiner is dan de helft van de referentiemaat. Is dit het geval, dan krijgt de objectbox het label "lijn" (I).

In test T2 wordt de bedekkingsgraad van de objectbox bepaald, dat is het aantal informatiedragende beeldpunten gedeeld door het totale aantal beeldpunten in de objectbox. Is deze zeer laag, dan wordt de objectbox geklasseerd als "graphics" (g). Objectboxen die duidelijk groter dan de referentiemaat zijn en een betrekkelijk lage bedekkingsgraad hebben, worden eveneens als "graphics" geklasseerd.

In testT3 worden de overblijvende objectboxen verdeeld in kleine (half zo groot als de referentiemaat) en grote objectboxen.

De kleine objectboxen worden in test T4 verdeeld in "ruis" (n) (als ze zeer klein zijn) en "karakter" (k).

De grote objectboxen uit test T3 worden in test T5 op hun afmetingen onderzocht. Zeer grote objectboxen (meer dan drie keer zo groot als de referentiemaat) krijgen het label "foto" (f).

In test T6 worden de overgebleven grote objectboxen, die in een richting kleiner zijn dan de referentiemaat en in de andere richting iets groter, voorzien van het label "karakter" (k). Dit zijn vermoedelijk twee aan elkaar klevende karakters.

De laatst overgebleven objectboxen worden in testT7 verdeeld in (kleine) foto's (f), als hun bedekkingsgraad zeer hoog is, en (grote) karakters (k).

In de nu volgende stappen 14,16 en 18 worden nog enkele correcties uitgevoerd op de klassifikatieresultaten.

Stap 14: Een karakterobject waarvan de box overlappend is met een box van een foto-object, wordt herklasseerd alsfoto-object. Hiermede wordt voorkomen dat teksten in een foto een andere beeldbewerking zouden ondergaan dan de foto-objecten.

Stap 16: Wanneer een documentpagina een of meer streepjescodes (barcode) bevat, is het bij het klasseren daarvan mogelijk dat een gedeelte van de lijnen wel als lijnobject wordt geklasseerd, maar het andere gedeelte als karakterobject. Indien nu in een verzameling van een minimum aantal opeenvolgende, in hetzij horizontale hetzij verticale richting gepositioneerde objecten van enerzijds het karaktertype en anderzijds van het lijntype tenminste een voorafbepaald aantal lijnobjecten voorkomt, dan vindt een zodanige herklassering van objecten plaats, dat ieder object in deze verzameling als lijnobject wordt geklasseerd.

Stap 18: Zeer kleine objectboxen, die echter juist te groot zijn om ze in test T4 als ruis te elimineren, worden onderscheiden in kleine objecten met betekenisvolle informatie (zoals punten en trema's, etc. boven letters en punten als onderdeel van een leesteken) en kleine objecten zonder betekenis, zoals mispunten. Hettestcriterium hierbij is, of binnen een voorafbepaalde kleine afstand van zo'n klein object een karakterbox gevonden wordt. Is dit het geval dan worden dit kleine object en de daarbij gevonden karakterbox samengevoegd tot een nieuwe karakterbox.

In de daaropvolgende stap 20 wordt nagegaan of de beeldinformatie afkomstig is van een scheefliggend origineel. Hiermee wordt bedoeld dat de documentpagina waarop de beeldgegevens betrekking hebben is geroteerd over een zekere hoek. Deze hoek wordt de scheeflighoek (skew angle) genoemd.

Een nauwkeurige methode om de scheeflighoek te bepalen, die gebaseerd is op het herkennen van de linkerkantlijn van de tekst op de documentpagina, zal verderop met betrekking tot Fig.6 worden uiteengezet.

In de daarop volgende stap 22 vindt bij aanwezigheid van een scheeflighoek een heroriëntatie van de verzameling van objectboxen plaats. Het heroriënteren van de boxen geschiedt door het om een vast punt roteren van de linkerbovenhoekpunt van elke objectbox over een hoek, welke tegengesteld is aan de scheeflighoek. De overige hoekpunten van zo'n objectbox ondergaan een identieke verplaatsing, zodat de oriëntatie van een objectbox bij deze translatie niet verandert.

Met stap 22 is een eind gekomen aan de fase van de werkwijze voor het uit een bitmap opbouwen van een verzameling van correct georiënteerde objectboxen met een bijbehorend objectlabel.

De objecten die als karakter geklasseerd zijn, worden in stap 24 geselecteerd, waarna in stap 26 de bepaling volgt van tekstblokken, regels en woorden bij het verkrijgen van een lay-outstructuur van het tekstgedeelte. Door de selektie van alleen de karakterboxen worden andere objectboxen eenvoudig genegeerd bij deze bepaling en kunnen dus niet als storende faktor de bepaling van de lay-outstruktuur frustreren.

In stap 26 worden doorsnijdingen in de documentpagina aangebracht, waardoor deze verdeeld wordt in rechthoeken door het afwisselend leggen van doorsnijdingen in de X- of de Y-richting, Startend met de kleinste rechthoek waarbinnen alle karakterobjecten vallen (het bladspiegelblok), wordt ieder blok gesplitst in kleinere blokken op plaatsen waar doorsnijdingen in de X- of de Y-richting gelegd kunnen worden. Een doorsnijding in de X-richting in een te doorsnijden blok wordt daar gelegd waar een horizontaal gebied met een gedefinieerde breedte is waarbinnen zich geen enkel karakterobject bevindt.

Analoog wordt een doorsnijding in de Y-richting in een blok daar gelegd waar een verticaal gebied met een zekere breedte is waarbinnen zich geen enkel karakterobject bevindt. De doorsnijdingen in de X- en de Y-richting worden afwisselend uitgevoerd. Aldus wordt een blok dat ontstaan is als gevolg van een horizontale doorsnijding, vervolgens in verticale richting doorsneden. Indien er geen doorsnijdingen in de X- en de Y-richting in een blok gelegd kunnen worden, is er een eindblok gevonden. Zo'n eindblok kan, door het variëren van de breedte waaraan een doorsnijding moet voldoen, een alinea, tekstregel, woord of karakter representeren. Opgemerkt wordt dat bij de aanvang van het zoeken naar mogelijke plaatsen voor het leggen van doorsnijdingen eerst gezocht wordt in een bepaalde bijvoorbeeld horizontale richting, en dan vervolgens in de verticale richting, ook al was in de horizontale richting geen doorsnijding mogelijk, hetgeen zich bijvoorbeeld kan voordoen bij een in kolommen opgestelde tekst.

Het bepalen van bijvoorbeeld een verticale doorsnijding in een blok B zal nu aan de hand van Fig.5 worden uiteengezet.

De documentpagina P waarop het blok B voorkomt wordt gevormd door karakter-objectboxen b(i), waarbij i loopt van 0 (de linkerbovenhoek) tot en met n (de rechterbenedenhoek van de pagina). Van elke box zijn de coördinaten van de linkerboven- en rechterbenedenhoek opgeslagen in een objectenbestand in het geheugen.

Het blok B wordt gevormd door de objectboxen b(j), waarbij j loopt van p tot q, en p en q beide zijn gelegen tussen 0 en n.

Allereerst worden de objectboxen van het blok B gesorteerd op oplopende X-coördinaat van hun linkerbovenhoek, en voor gelijke X-coördinaat op oplopende Y-coördinaatvan hun linkerbovenhoek. Hiervoor zijn standaardalgoritmes beschikbaar. De aldus gevormde reeks, waarin de objectboxen verder worden aangeduid met b'(i), begint dus met de meest naar links gelegen box en, wanneer er verschillende boxen precies dezelfde x-coördinaat hebben, de bovenste van die boxen.

Vervolgens wordt voor steeds een volgende objectbox uit de reeks de kleinste omhullende rechthoek O van de reeks, dat is die rechthoek met zijden evenwijdig aan de x- en de y-as die juist alle objectboxen van de reeks omvat, bepaald, en tevens wordt de horizontale afstand w van de linkerzijde van die objectbox en de omhullende rechthoek behorende bij de vorige objectbox berekend.

Is de afstand w niet groter dan een voorafbepaalde grenswaarde W, dan wordt de omhullende rechthoek O zover uitgebreid, dat hij de nieuwe objectbox ook bevat, waarna de volgende objectbox in de beschouwing wordt betrokken.Is de afstand w daarentegen wel groter dan de grenswaarde W, dan wordt de omhullende rechthoek behorende bij de vorige objectbox, O, afgesloten en wordt een nieuwe omhullende rechthoek O' gevormd om de nieuwe objectbox. Dit is weergegeven in Fig.5, waarin b'(j) de laatste objectbox van omhullende rechthoek O is, en objectbox b'(j + 1) een horizontale afstand W, groter dan W, is verwijderd van omhullende rechthoek O. De afgesloten omhullende rechthoek O wordt vervolgens geadministreerd als een subblok van blok B.

Op deze wijze wordt het blok B verdeeld in een of meer naast elkaar gelegen subblokken. Door de beschreven sortering vooraf is de verwerkingsvolgorde van de objectboxen optimaal, zodat de verdeling in subblokken zeer snel verloopt.

Na de verdeling van blok B in subblokken door middel van vertikale doorsnijdingen wordt elk subblok weer verdeeld in kleinere blokken door middel van horizontale doorsnijdingen. Dit verloopt op een wijze die analoog is aan die voor vertikale doorsnijdingen, en wel als volgt

De procedure voor het horizontaal doorsnijden van het subblok 0 uit de boven beschreven verdelingsslag begint weer met het sorteren van de objectboxen van het subblok, nu op oplopende Y-coördinaat van hun linkerbovenhoek, en voor gelijke Y-coördinaat op oplopende X-coördinaat van hun linkerbovenhoek. De aldus gevormde reeks objectboxen begint dus met de bovenste box en, wanneer er verschillende boxen precies dezelfde Y-coördinaat hebben, de meest naar links gelegen van die boxen.

Vervolgens wordt weer voor steeds een volgende objectbox uit de reeks de kleinste omhullende rechthoek van de reeks bepaald, en tevens wordt de vertikale afstand h van de benedenzijde van die objectbox en de omhullende rechthoek behorende bij de vorige objectbox berekend. Is de afstand h niet groter dan een voorafbepaalde grenswaarde H, dan wordt de omhullende rechthoek zover uitgebreid, dat hij de nieuwe objectbox ook bevat, waarna de volgende objectbox in de beschouwing wordt betrokken.

Is de afstand h daarentegen wel groter dan de grenswaarde H, dan wordt de omhullende rechthoek behorende bij de vorige objectbox afgesloten en wordt een nieuwe omhullende rechthoek gevormd om de nieuwe objectbox. De afgesloten omhullende rechthoek wordt vervolgens geadministreerd als een subblok van subblok O.

De keuze van de grenswaarden W en H is bepalend voor het resultaat van de doorsnijdingen en dient aangepast te zijn aan het nivo van de doorsnijding en aan de grootte van de objectboxen. Bijvoorbeeld, wanneer een documentpagina wordt verdeeld in tekstkolommen, zal voor de waarde van W drie maal de gemiddelde breedte van de objectboxen kunnen worden gekozen, en voor een verdeling van een tekstregel in woorden VA maal de gemiddelde afstand tussen de boxen in de regel (dit kan per regel berekend worden tijdens de procedure). Deze waarden worden proefondervindelijk vastgesteld.

De doorsnijdingen in de X- en de Y-richting bepalen tevens de hoekpunten van de lay-outstructuur van een documentpagina zoals alinea's, tekstkolommen, regels, etc. De aldus verkregen lay-outstructuur kan vervolgens hiërarchisch volgens een boomstructuur worden weergegeven.

De methode volgens welke wordt bepaald of de beeldgegevens afkomstig zijn van een scheefliggend document en, indien dit het geval is, hoe groot de scheeflighoek is, zal nu nader worden besproken onder verwijzing naar Fig.6. Deze methode wordt gebruikt in stap 20 in Fig.3.

De methode bepaalt de ligging van de linkerkantlijn en maakt daarbij gebruik van de objectboxen van het type "karakter" in het objectboxenbestand. In dit bestand zijn alle objectboxen opgenomen met de coördinaten van hun linkerboven- en rechterbenedenhoek. Wanneer in de nu volgende beschrijving wordt gesproken van een box, wordt hiermee een karakter-objectbox bedoeld.

De methode verloopt in drie fasen: - het zoeken van de meest naar links gelegen box van elke regel - het uit deze verzameling selekteren van die boxen, die ook werkelijk tot de kantlijn behoren - het berekenen van de scheeflighoek uit de richting van de kantlijn.

Is eenmaal de scheeflighoek bepaald, dan kan het objectboxenbestand worden getransformeerd, zodanig dat de gegevens erin betrekking hebben op een rechtgelegd document.

De eerste fase van de methode begint met het sorteren van de boxen op oplopende X-coördinaat, en bij gelijke X-coördinaat op oplopende Y-coördinaat van hun linkerbovenhoek. Dit wordt getoond in Fig.6, waar een gedeelte van een scheefliggende tekst, geroteerd in anti-klokrichting, is weergegeven, leder karakter is voorzien van een box, en een aantal boxen is genummerd 11 tot en met I7, in de volgorde waarin zij gesorteerd worden.

De boxen worden vervolgens uitgelezen en in dezelfde volgorde opgenomen in een lijst, indien zij geen overlap vertonen met een reeds eerder in de lijst opgenomen box of de witte ruimte tussen die box en de box daarboven. Dit wordt gerealiseerd door het door de nieuwe box ingenomen segment op de Y-as te vergelijken met de segmenten op de Y-as die steeds worden begrensd door de Y-coördinaat van de rechterbenedenhoek van een bepaalde reeds opgenomen box en die van de rechterbenedenhoek van de reeds opgenomen box die daar direkt boven ligt. Doordat de tweede en volgende karakters van een regel ook bij scheefligging het eerste karakter altijd overlappen en dus geëlimineerd worden, zal de lijst na afloop slechts de eerste box van elke regel bevatten. De eerste elementen van de lijst worden nu dus gevormd door de boxen 11,12,13,14,15,17, etc., in Fig.6, want box I6 vormt een overlap met box 11 en wordt dus niet opgenomen in de lijst.

Vervolgens worden de boxen in de lijst opnieuw gesorteerd, nu op oplopende waarde van de Y-coördinaat van hun linkerbovenhoek. Daarna worden ze een voor een uitgelezen uit de lijst en wordt de richtingsvektor van hun linkerbovenhoek naar de linkerbovenhoek van de volgende box uit de lijst berekend uit de verschillen dx,dy van hun X- en Y-coördinaten. Dit is weergegeven in Fig.6, waar de pijlen steeds de richtingsvektoren voorstellen. Deze richtingsvektor wordt nu vergeleken met die van de voorgaande box, en wijkt zijn richting daar niet meer dan een waarde V van af, dan is er een kans dat een kantlijn gevonden is. Overigens kan er op een pagina meer dan een kantlijn zijn, bijvoorbeeld bij een inspringende alinea. De waarde V wordt, uitgaande van een voorafbepaalde maximaal toegelaten afwijking in X-richting tussen twee, op overeenkomstige plaatsen in twee opeenvolgende tekstregels gelegen karakters, voor elke box opnieuw berekend als funktie van het verschil in Y-coördinaat tussen beide boxen waartussen de richtingsvektor is berekend.

De gedachte hierachter is de volgende. Ook wanneer een tekst volledig rechtligt, kunnen er kleine verschillen in X-positie zijn tussen twee onder elkaar gelegen karakters. Door scheefligging worden deze verschillen nog vergroot. Dit is het gevolg van verschillen in vorm. De maximale afwijking wordt voor alle regels gelijk gesteld, bijvoorbeeld 3 beeldpunten. Uitgaande van een regelafstand van bijvoorbeeld 35 beeldpunten is de maximale afwijking dan 4,9 graden voor twee opeenvolgende regels, maar over 3 regels nog maar 1,6 graden. Naarmate de twee boxen waartussen de richtingsvektor wordt berekend verder van elkaar verwijderd liggen in Y-richting, zal de waarde van V dus kleiner zijn.

Na de analyse van de boxen in de lijst wordt nu de langste rij boxen gezocht waarvan de richtingsvektoren binnen de tolerantie V gelijk zijn en deze wordt verder beschouwd als (een deel van) de kantlijn. Vervolgens wordt vanuit de beide eindpunten van de rij gezocht naar andere, buiten de rij gelegen boxen die ook op de kantlijn liggen. Dit zou bijvoorbeeld het geval zijn wanneer midden in een pagina een inspringende alinea ligt. Er zijn dan twee paginadelen, onderen boven die inspringende alinea, die op dezelfde kantlijn liggen. Eerst wordt vanuit de onderste box van de rij de richtingsvektor bepaald naar de box erbeneden en wordt gekontroleerd of deze binnen de tolerantie V

gelijk is aan die welke voor de kantlijnboxen geldt. Is dat niet het geval (en voor de eerste onderzochte box zal dat zeker zo zijn), dan wordt de box daarbeneden geprobeerd, en zo verder, totdat een box gevonden wordt, waarvoor de richtingsvektor wel binnen de tolerantie V valt. Deze box ligt weer op de kantlijn en wordt daarom opgenomen in de rij kantlijnboxen. Op analoge wijze wordt ook in de andere richting vanuit de rij kantlijnboxen gezocht naar andere kantlijn boxen.

Zijn alle kantlijnboxen gevonden, dan wordt een rechte lijn getrokken door hun linkerbovenhoeken (bijvoorbeeld met behulp van de kleinste-kwadratenmethode) en uit de richting van deze rechte wordt de scheefligging berekend. In praktijk blijkt met deze methode een scheefligging tot op ongeveer 0,2 graad nauwkeurig te kunnen worden bepaald).

De aan de lay-out analyse gekoppelde bewerking van de beeldgegevens in geheugen 208 (Fig. 2) zal nu worden besproken onder verwijzing naar Fig. 7, waarin het bedieningspaneel 105 is weergegeven.

Nadat de digitale beeldinformatie van een document (pagina) is opgeslagen in het interne geheugen 208 van de machine, wordt dit automatisch gesegmenteerd door segmentatiemodule 209. De zo verkregen lay-outstruktuur wordt tevens opgeslagen in het geheugen 210. Deze struktuur bevat de plaatsen van alle karakter-objectboxen, en van alle door de tekst-objectboxen gevormde hogere elementen, zoals blokken, regels en woorden, benevens de plaatsen en de soort van alle andere objectboxen.

Een beeld van het document, waarop tevens de objectboxen zijn ingetekend, wordt nu, eventueel verkleind, weergegeven op het beeldscherm van beeldschermeenheid 102. De bedienaar kan nu met de lichtpen 103 elementen op het beeldscherm aanwijzen. Daarbij dient hij met een van de toetsen op het bedieningspaneel 105 (Fig.5) onder de kop SELECTION LEVEL aan te geven, welk element hij wil selekteren. Wanneer nu de bedienaar de toets WORD indrukt en met de lichtpen een (tekst-)objectbox aanwijst, dan wordt in het geheugen 210 het element van het type “woord" opgezocht, waar de aangewezen objectbox deel van uitmaakt. Op het beeldscherm wordt dan dit element omkaderd of anderszins opvallend weergegeven. Evenzo verwijzen de toetsen BLOCK en LINE naar elementen van het type "blok", respektievelijk "regel", terwijl OBJECT en PAGE verwijzen naar een enkele objectbox, repektievelijk naar de hele pagina. Tenslotte kan met de toets AREA een rechthoekig kader worden geselekteerd, waarvan de afmetingen de beweging van de lichtpen volgen (in de PC-(Personal Computertechniek bekend als "rubber banding").

Wanneer eenmaal een lay-outelement is geselekteerd, kan hierop een bewerking worden uitgevoerd door bewerkingsmodule 212 uit de reeks die rechts op het bedieningspaneel is aangegeven onder de kop OPERATION.

Bij keuze van SET COLOR wordt het geselekteerde element in een andere kleur afgedrukt. Met de toetsen UP en DOWN kan een keuze worden gemaakt uit een aantal beschikbare kleuren. Op het beeldscherm verschijnt dan informatie over de mogelijke keuzen. De bewerkingsmodule 212 plaatst dan in het geheugen 208 bij de beeldpuntgegvens van het geselekteerde lay-out element een code, die de afdrukeenheid 207 instrueert om het betreffende beelddeel in de gewenste kleur af te drukken.

Met de bewerking SET CONTRAST kan de weergavekarakteristiek (de gradatie) van de afdruk voor het geselekteerde element worden geregeld, waarbij de toetsen UP en DOWN de weergave harder, repektievelijk zachter maken. Dit is bijvoorbeeld van belang wanneer het originele beeld te weinig kontrastrijk is om een duidelijk beeld op te leveren. In dit geval kiest de bewerkingsmodule 212 bij de halftoonbewerking ten behoeve van het afdrukken een andere omzettingsfunktie van grijswaarden-beelddata naar binaire (wit/zwart) beelddata.

Met de bewerking RESIZE kan het geselekteerde element vergroot of verkleind worden (met behulp van de toetsen UP en DOWN), bij INVERT wordt het in negatief afgedrukt en bij ROTATE wordt het geroteerd in het beeld (de rotatiehoek kan worden geselekteerd met de toetsen UP en DOWN).

In de rubriek CUT δ PASTE zijn toetsen ondergebracht voor het uitvoeren van bewerkingen op de plaats van een geselekteerd element Bij DUPLICATE wordt een geselekteerd element gekopieerd op de plaats die met de lichtpen wordt aangewezen.

Bij MOVE kan een geselekteerd element verplaatst ("gesleept") worden over het beeldscherm, en bij REMOVE wordt een geselekteerd element verwijderd uit het beeld.

Tenslotte bevat de rubriek INCLUDE toetsen LOAD, voor het vanuit een externe bron ophalen van beeldgegevens, en CREATE PAGE voor het zelf samenstellen van een documentpagina, waarbij de toetsen uit de rubriek CUT δ PASTE kunnen worden gebruikt. Bij deze laatste funktie wordt op het beeldscherm een leeg paginabeeld getoond naast de reeds geselekteerde pagina en kunnen lay-outelementen uit de geselekteerde pagina worden overgebracht naar de lege pagina om aldus een nieuw beeld samen te stellen, bijvoorbeeld een zogenaamde "knipselkrant".

De uitvoering van de bovenbeschreven funkties wordt verricht door een in de reproduktieinrichting ondergebrachte computer. De voor de bewerkingen van lay-outelementen benodigde programmatuur is geheel bekend uit de computer- en PC-techniek en wordt hier daarom niet nader toegelicht.

De uitvinding is toegelicht aan de boven gegeven beschrijving van een uitvoeringsvorm, maar het zal de vakman duidelijk zijn dat ook andere uitvoeringsvormen vallen binnen de reikwijdte van de hiernavolgende conclusies.

Claims (18)

1. Inrichting voor het reproduceren van een door digitale beeldpuntinformatie gerepresenteerd beeld, omvattende bedieningsmiddelen, middelen voor het toevoeren van digitale beeldpuntinformatie, een geheugen voor het opslaan van beeldpuntinformatie, middelen voor het bewerken van de toegevoerde beeldpuntinformatie en middelen voor het afdrukken van de bewerkte beeldpuntinformatie op een beelddrager, gekenmerkt door segmentatiemiddelen, verbonden met het geheugen, voor het in lay-out elementen segmenteren van de digitale beeldpuntinformatie, waarbij de bedieningsmiddelen zijn verbonden met de segmentatiemiddelen voor het daaruit ontvangen van resultaten van de segmentatie en zijn voorzien van: - middelen voor het tonen van die resultaten aan een bedienaar, - eerste selektiemiddelen voor het selekteren van een of meer bij de segmentatie gevonden lay-out elementen, - tweede selektiemiddelen voor het selekteren van een bewerking en voorts zijn verbonden met de bewerkingsmiddelen voor het besturen daarvan, teneinde een geselekteerd lay-out element te bewerken volgens een geselekteerde bewerking.

2. Inrichting volgens conclusie 1, waarbij de bewerking bestaat uit het veranderen van de grijswaardenschaal.

3. Inrichting volgens conclusie 1, waarbij de bewerking bestaat uit een verandering van de kleur in de afdruk op de beelddrager.

4. Inrichting volgens conclusie 1, waarbij de bewerking bestaat uit een verandering van de oriëntatie.

5. Inrichting volgens conclusie 1, waarbij de bewerking bestaat uit een verandering van de plaats.

6. Inrichting volgens conclusie 1, waarbij de segmentatiemiddelen zijn ingericht voor het opsporen in de digitale beeldpuntinformatie van objecten, gevormd door clusters van aan elkaar grenzende informatiedragende beeldpunten, en het in opeenvolgende slagen met behulp van doorsnijdingsoperaties in afwisselend een een eerste en een tweede voorafbepaalde richting, verdelen van het samenstel van objecten in steeds kleinere blokken.

7. Inrichting volgens conclusie 6, waarin de segmentatiemiddelen aan elk object een kader, hierna te noemen: objectbox, met zijden evenwijdig aan de genoemde richtingen toekennen en voor elk object de plaatsgegevens van de objectbox in een geheugen opslaan.

8. Inrichting volgens conclusie 6 of 7, waarin de segmentatiemiddelen aan een object een objectlabel toekennen, dat de informatiesoort van dat object weergeeft.

9. Inrichting volgens conclusie 8, waarin de segmentatiemiddelen bij de genoemde doorsnijdingsoperaties alleen gebruik maken van objecten met voorafbepaalde objectlabels.

10. Inrichting volgens conclusie 9, waarin genoemde voorafbepaalde objectlabels die labels zijn welke aangeven, dat het object een karakter representeert.

11. Inrichting volgens een der conclusies 6 tot en met 10, waarin de segmentatiemiddelen voorafgaande aan de doorsnijdingsoperaties eerst vaststellen, of en, zo ja, hoeveel het paginabeeld scheefligtten opzichte van een doorsnijdingsrichting, en in het bevestigende geval het samenstel van objecten rechtlegt door middel van een aanpassing van de plaatsgegevens van de objecten, overeenkomend met een rotatie over de scheeflighoek.

12. Werkwijze voor het in lay-out elementen segmenteren van een door digitale beeldpuntinformatie vastgelegd paginabeeld, omvattende het in opeenvolgende slagen met behulp van doorsnijdingsoperaties in afwisselend een een eerste en een tweede voorafbepaalde richting, verdelen van het paginabeeld in steeds kleinere blokken, gekenmerkt doordat eerst in de digitale beeldpuntinformatie objecten, elk gevormd door een cluster van aan elkaar grenzende informatiedragende beeldpunten, worden opgespoord en doordat bij de genoemde doorsnijdingsoperaties de objecten als basiselementen gelden.

13. Werkwijze volgens conclusie 12, met het kenmerk, dat aan elk object een kader wordt toegekend met zijden evenwijdig aan de genoemde richtingen, dat het object juist omvat, hierna te noemen: objectbox, en dat voor plaatsbepaling van een object binnen het paginabeeld informatie wordt ontleend aan de plaats van de objectbox van dat object.

14. Werkwijze volgens conclusie 12 of 13, met het kenmerk dat aan een object een objectlabel wordt toegekend, dat de informatiesoort van dat object weergeeft.

15. Werkwijze volgens conclusie 14, waarin voor de genoemde doorsnijdingsoperaties alleen gebruik wordt gemaakt van objecten met voorafbepaalde objectlabels.

16. Werkwijze volgens conclusie 15, waarin genoemde voorafbepaalde objectlabels die labels zijn welke aangeven, dat het object een karakter representeert.

17. Werkwijze volgens een der conclusies 12 tot en met 16, met het kenmerk, dat een doorsnijdingsoperatie een blok verdeelt in subblokken, met als criterium dat de objecten van een eerste sublok meer dan een voorafbepaalde afstand zijn verwijderd van een aangrenzend subblok.

18. Werkwijze volgens een der conclusies 12 tot en met 17, met het kenmerk, dat voorafgaande aan de doorsnijdingsoperaties eerst wordt vastgesteld, of en, zo ja, hoeveel het paginabeeld scheefligtten opzichte van een doorsnijdingsrichting, en dat in het bevestigende geval het paginabeeld eerst door middel van verplaatsing van de objecten, overeenkomend met een rotatie over de scheeflighoek, wordt rechtgelegd.