Wikipedia:Wikiproject/Verzetskranten/AanpakDetails

Aanpak in meer detail

Omdat er in dit project gestreefd wordt naar systematisch en uniform beschreven kranten, ligt een aanpak o.b.v. een database en een sjabloon(systeem) voor de hand. Met behulp van dit sjabloon worden uit deze database 1300 uniforme beginnetjes en 11 overzichtslijsten (registers) gegenereerd. Die beginnetjes kunnen Wikipedianen vervolgens zoveel mogelijk aanvullen tot volwaardige artikelen met behulp van o.a. de hier vernoemde bronnen.

Over de database

Het opzetten en vullen van de database die in dit project gebruikt wordt gebeurt in een paar stappen:

Excel-sheet

We gebruiken in eerste instantie een Excel-sheet om de volgende gegevens uit De Winkel in onder te brengen:

• Winkel-ID: het unieke ID van een krant zoals opgegeven in De Winkel
• Titel Krant: titel van het blad zoals in De Winkel genoemd. Bv. Alles sal reg kom. Niet altijd uniek.
• Plaats(en) van uitgave: één of meerdere plaatsen waar de krant werd uitgegeven
• Titel alternatief: we voegen aan de titel de suffix (verzetsblad, <plaats van uitgave>) toe, mn. om een eenduidigere Wikipedia-titel te krijgen. Bv. Alles sal reg kom (verzetsblad, Amsterdam). Op die manier is het meteen duidelijk waar het Wikipedia-artikel over gaat. Verdere uitleg hier
• Verschijningsperiode: periode(s) waarin het blad verschenen is. Bv. van januari 1943 t/m maart 1945
• Verschijningsfrequentie: hoevaak werd het blad uitgegeven? Bv. dagelijks, wekelijks, 3x per week, maandelijks, onregelmatig, eenmalig
• Vorm: bv. gedrukt, gestencild, handgeschreven, getypt, gehectografeerd (m.a.w.: de reproductiemethode)
• Inhoud: bv. nieuwsberichten, opinie-artikelen, berichten binnenland, satire, humor, mededelingen, illustraties etc
• Minimale oplage
• Maximale oplage
• Winkel abstract: het tekstblok dat in (bijna) elk lemma in De Winkel te vinden is. Hierin worden bij deze krant betrokken personen (in de rol van drukker, uitgever, illustrator, distributeur etc.) en gerelateerde krantentitels genoemd.

PPNs

Vervolgens koppelen we in de Excel handmatig de krantentitels uit De Winkel aan de corresponderende titels in de KB-catalogus en Delpher. Dit doen we voor elk blad met behulp van twee unieke identifiers, eentje voor de KB-catalogus en eentje voor Delpher. Op basis van deze twee zgn. PPNs worden dan automatisch links gegenereerd naar de KB-catalogus (voorbeeld, PPN=376313544, Alles sal reg kom) en Delpher (voorbeeld, PPN=860474135, Alles sal reg kom').

In deze presentatie wordt de structuur van de Excel nader uitgelegd, vanaf slide 57

RDF triple store

Daarna wordt de Excel omgezet naar een database, een zgn. RDF triple store. Het gaat hier om Linked Open Data, dus is deze database te bevragen door ieder die met SPARQL kan omgaan (zie ook voorbeeld queries hieronder). Om te zorgen dat de manier van titelbeschrijven aansluit bij bibliotheekstandaarden, is er in de triple store het BibFrame-vocabulaire gebruikt. Op basis van de gegevens in de Excel en de eveneens ingelezen plaats- en personenregister uit de De Winkel kunnen relaties worden gelegd tussen krantentitels, personen en uitgaveplaatsen.

Enkele cijfers:

• Er staan 1267 illegale bladen uit het boek van Lydia Winkel in de database, dat zijn ze zo goed als allemaal. Zie Lijst van verzetsbladen uit de Tweede Wereldoorlog
• Van deze 1267 is er van 1120 een (lange of korte) beschrijving in de De Winkel.
• In de bladannotaties komen 2677 vermeldingen van in totaal 2378 personen (of van families of drukkerijen) voor, zodat deze in relatie worden gebracht met het betreffende illegale blad. Zie Lijst van aan verzetsbladen gerelateerde personen en families en Lijst van drukkerijen/uitgeverijen van verzetsbladen
• Van de 2378 personen die in de De Winkel voorkomen, heeft Lydia Winkel er 188 als vrouw aangemerkt door "mevr.", "mej." of "dra." enz. voor haar te naam te zetten. Daarnaast zijn er impliciete verwijzingen ('het echtpaar X'), waarvan de vrouw nu afzonderlijk wordt opgevoerd. Zie kolom 2 in de Lijst van aan verzetsbladen gerelateerde personen en families
• Onder de personen die bij de ondergrondse pers betrokken waren noemt De Winkel 22 dominees.

De oorspronkelijke Excel-sheet is overigens grotendeels weer uit de database te reconstrueren d.m.v. deze database query.

SPARQL-queries

De RDF-database kan bevraagd worden m.b.v. SPARQL. Enkele voorbeeldqueries:

• Overzicht van alle bladen
• Details per blad
• Lijst van uitgeverijen/drukkerijen. Met zo'n query is ook de Lijst van drukkerijen/uitgeverijen van verzetsbladen gemaakt
• Lijst van personen per blad
• Zie Github voor meer voorbeelden van Sparql-queries. In een aantal queries zie je onderaan een regel staan zoals FILTER (STR(?winkelID) IN(%1%)). Die moet je verwijderen voordat je de query-code in de Virtuoso SPARQL Query Editor plakt, anders komt er een foutmelding.

Verrijking m.b.v. DBpedia en Wikidata

Van personen/drukkers kun je zien of ze aan meer dan één blad hebben meegewerkt, en/of veelvuldig met anderen samengewerkt. Die personen kunnen vervolgens op naam en/of andere gegevens worden gekoppeld met personen die in Wikidata en DBpedia voorkomen. De stand van de koppelingen is als volgt:

• Op dit moment zijn 202 namen uit het personenregister van De Ondergrondse Pers 1940-1945 gekoppeld aan een resource in DBpedia
• 169 personen uit De Winkel zijn gekoppeld aan een persoonsnummer uit VIAF.
• Alle 268 plaatsnamen die in De Winkel voorkomen zijn gelinkt aan DBpedia, en aan de gemeente(n) in www.gemeentegeschiedenis.nl waaronder die plaatsen in 1940-1945 vielen.
• Op dit moment zijn 30 personen die in het personenregister van De Winkel voorkomen, gekoppeld aan een vermelding in de Dodenboeken van het Oranjehotel (digitaal gepubliceerd door het Nationaal Archief).
• Van de 188 vrouwen die in Winkels personenregister voorkomen, zijn 6 personen opgenomen in het Vrouwenlexicon van ING/Huygens. Er zijn zeven links tussen het personenregister van De Ondergrondse pers 1940-1945 en het Vrouwenlexicon. Zeven, want ook Lydia Winkel zelf komt in het lexicon voor.

Als gevolg van de koppeling naar DBpedia kunnen voor de gelinkte personen en plaatsen aanvullende data - die Lydia Winkel in haar boek zelf niet geeft - uit DBpedia worden opgehaald. Hetzelfde geldt voor de koppeling naar de Dodenboeken. Hoe die lijsten eruit zien wordt duidelijk aan de hand van drie met DBpedia gematchte personen en drie met de Dodenboeken gematchte personen (zie tabel onderaan).

Naam in Winkel	Blz in Winkel	Illegaal Blad	Naam in DBpedia	Geboortedatum	Geboorteplaats	Lat	Long
M.A. Tellegen	282	Vrij Nederland; Nederland-Oranje	Marianne Tellegen	1893-12-30+02:00	Arnhem	51.9833	5.91667
J.G. Toonder	156	Metro	Jan Gerhard Toonder	1914-07-18+01:00	Rotterdam	51.0	4.0
A.G.C. Trestorff	296	Vrije gedachten	Guus Trestorff	1905-08-15+02:00	Amsterdam

Naam in Winkel	Blz in Winkel	Naam in Dodenboek	Code Erelijst gevallenen	Plaats van overlijden	Datum van overlijden
B. IJzerdraat	14	Bernard Ijzerdraat	V771	http://nl.dbpedia.org/resource/Waalsdorpervlakte	1941-03-13+02:00
W.S. Lans	200	Wibo Sjerp Lans	V585	http://nl.dbpedia.org/resource/Soesterberg	1943-02-05+02:00
J. Nunes Vaz	199	Jacob Nunes Vaz	V1002	http://nl.dbpedia.org/resource/Auschwitz_(concentratiekamp)	1943-03-13+02:00

Visualisatie verspreiding kranten

Op blz. 64 en blz. 65 van haar boek toont Lydia Winkel een drietal kaarten van Nederland, waarop de verspreiding wordt aangegeven van de illegale bladen voor drie momenten in de Tweede Wereldoorlog (1 jan '41, 1 sept '43 en 1 jan '45). Omdat nu ook het begin en einde in de tijd van elk ondergronds blad (voor zover die bekend zijn) in de database zitten, is het eenvoudig geworden om zulke gegevens op een digitale kaart van Nederland te projecteren. Op een digitale kaart die ontleend is aan Gemeentegeschiedenis en die we op de site Lydia Winkel digitaal (klik op het plusje rechtsboven) met de gegevens van 'Winkel' hebben ingevuld, zien we de gemeente-indeling van achtereenvolgens 1941, 1942, 1943, 1944 en 1945. Op de gekozen indeling kan men voor vier perioden (mei 1940-juni 1941, juli 1941-december 1942, januari 1943-juni 1944 en juli 1944-mei 1945) de gegevens oproepen, die aangeven welke illegale bladen waar werden gemaakt en gedistribueerd. Klikt men op het symbool voor een illegaal blad, dan verschijnen de titel, de periode van verschijnen alsook de gemeente waarin de plaats van verschijnen destijds lag.

Een andere manier om de gegevens uit het boek van Winkel weer te geven berust op de zie nr., de verwijzingen die Lydia Winkel in de tekst aanbrengt wanneer zij het besproken ondergrondse blad met een andere verzetskrant in verband wil brengen. Met behulp van de digitale kaart kunnen we zichtbaar maken hoe bijv. een krant als Vrij Nederland zich geografisch over het land verspreidde. Daartoe moet onder de kop 'Kaartlagen' de optie 'Gerelateerd aan Vrij Nederland' worden aangevinkt. Als men de kaart even met ingedrukte muisknop verschuift (een nog op te lossen technische onvolkomenheid) ziet men hoe vanuit Amsterdam edities van Vrij Nederland zich over het land verspreidden. Wij danken in dit verband Luuk Schaminee van Ordina voor het technische advies m.b.t. de kaarten.

Inzet community bij maken database

• Er is bewust voor gekozen om bij het inrichten en vullen van de database geen Wikipedianen uit te nodigen. Niet alleen is dit tamelijk saai en eentonig werk, maar het vullen moet erg nauwkeurig gebeuren, want hiervan wordt alle inhoud van de 1300 artikelbeginnetjes, infoboxen, overzichtlijsten, Wikidata & DBpedia-entries afgeleid. De data in De Winkel, de KB-catalogus en Delpher correspondeert echter niet altijd netjes 1-op-1-op-1 met elkaar; er zitten m.a.w. nogal wat uitzonderingen/afwijkingen tussen waarvoor de nodige kennis van beide KB-diensten nodig is om ze op te sporen en te corrigeren. Het zou te omslachtig zijn geweest om dit proces met vrijwilligers te coordineren.

• Waar we echter wel de community bij willen betrekken is het controleren en corrigeren van gegevens. In de Handleiding voor deelnemers lees je daar meer over...

Over het sjabloon

Om uniforme artikelbeginnetjes (en overzichtslijsten) uit de database te genereren, is een sjabloon(systeem) onmisbaar. Omdat elke beginnetje een infobox met metadata moet krijgen, wordt het Sjabloon:Infobox illegaal blad opgenomen in het sjabloonsysteem.

Begin 2015 is de programmeur Petra Dreiskämper op vrijwillige basis begonnen met een paar experimenten om zo'n systeem te bouwen in PHP. Daarbij is uitgegaan van een testsetje van 23 titels (Winkel nrs. 4,5,8,9,54,106,199,360,370,406,410,430,678,710,748,889,896,961,1002,1009,1012,1019,1091). Deze titels zijn strategisch gekozen: met goede complete metadata, goede bodytekst (niet te lang, niet te kort, niet al te veel referenties naar andere titels) en unieke titel, zodat we nu nog geen doorverwijspagina’s of artikelcategorien hoefden aan te maken. Bekijk de eerste proefresultaten van 19 juni 2015.

Toen Petra eind 2015 aangaf geen tijd meer te hebben om aan het systeem te werken, is er begin 2016 via Clockwork een externe ontwikkelaar ingehuurd

• Deze heeft een systeem (stub-generator) gemaakt dat vanuit de verzetskrantendatabase artikelbeginnetjes kan genereren. Dat heeft geresulteerd in dit overzicht van gegenereerde beginnetjes (dd 14-2-2016). Een aantal beginnetjes (titels in de groene rijen) is verder uitgewerkt tot 'testartikelen' en naar de hoofdnaamruimte overgezet.
• De feedback van de commmunity op deze testartikelen is gebruikt om het sjabloon te verbeteren (zie bv hier of hier o.b.v. bewerkingssamenvattingen). Ook is er input verkregen om de gewenste workflow van beginnetje (in de projectnaamruimte) tot volwaardig artikel (in de hoofdnaamruimte) efficienter te maken. Zo is er bv. over relevantie (kijk bij "De Leidsche brief") en naamgeving van titels van gedachten gewisseld.
• De PHP-code en documentatie van de stub-genarator is te vinden op Github, met hier de code van het gebruikte artikelsjabloon (wat dus uiteindelijk resulteert in een beginnetje als dit).

Over de artikelbeginnetjes

Snel naar de lijst van beginnetjes van artikelen over verzetsbladen uit WO2 in de projectnaamruimte

De uit de database gegenereerde artikelbeginnetjes kunnen niet direct in de hoofdnaamruimte van Wikipedia verschijnen, omdat ze meestal nog niet 'rijp' genoeg zijn om als volwaardig encyclopedisch artikel te kunnen dienen. Daarom worden ze eerst in een aparte werkruimte, de zgn. projectnaamruimte geplaatst (waarbinnen de paginatitels steeds beginnen met Wikipedia:Wikiproject/Verzetskranten ). Hier kunnen Wikipedianen ze uitwerken tot volwaardige artikelen, om die artikelen vervolgens handmatig naar de hoofdnaamruimte te kopieren.

Omdat de beginnetjes automatisch (softwarematig) uit de database gegenereerd zijn, zijn ze - ondanks zekere nacontrole - niet noodzakelijk 100% gegarandeerd foutvrij. Het kan dus geen kwaad de beginnetjes steeksproefgewijs handmatig te verifiëren tegen De Winkel en (indien nodig) te corrigeren.

Beginnetjes en al bestaande verzetskrantenartikelen

In de Categorie:Illegale pers in de Tweede Wereldoorlog staat (dd juni 2016) al een aantal krantentitels met een eigen artikel. Die artikelen bestonden al voordat het Verzetskrantenproject van start ging. Zo zijn er bv. Trouw, Het Parool, Je Maintiendrai, De Vonk, De Waarheid, Ons Volk (Winkelnr. 581), Het Dagblad (Zwijndrecht) (Winkelnr. 126), Metro (Winkelnr. 421).

In veel van deze artikelen wordt de krant op algemeen, overkoepelend niveau beschreven. De verschillende lokale en regionale edities zoals die in De Winkel en de daarbij behorende beginnetjes beschreven zijn, worden binnen het artikel niet (expliciet/uitgebreid) behandeld. Of het verzetsverleden van de krant is slechts een klein onderdeel van de totale artikeltekst.

Het is aan bewerkers die met deze al beschreven titels aan de slag willen gaan om te bepalen hoe de informatie uit de beginnetjes zich uiteindelijk moet gaan verhouden tot de reeds bestaande beschrijvingen.

Over de overzichtslijsten

Snel naar het overzicht van beschikbare lijsten in de projectnaamruimte en de hoofdnaamruimte

Uit de database zijn in totaal 11 overzichtlijsten (registers) gegenereerd: 6 in de projectnaamruimte en 5 in de hoofdnaamruimte

1. Titels: een overzicht van illegaal uitgegeven verzetsbladen tijdens de Tweede Wereldoorlog
   
2. Uitgaveplaatsen: een overzicht van uitgaveplaatsen van verzetsbladen tijdens de Tweede Wereldoorlog
   
3. Personen/families: een overzicht van personen en families die met verzetsbladen uit de Tweede Wereldoorlog in verband gebracht kunnen worden
   
4. Drukkerijen/uitgeverijen: een overzicht van drukkerijen en uitgeverijen van verzetsbladen gedurende de Tweede Wereldoorlog
   
5. Relaties: een overzicht van relaties tussen verzetsbladen tijdens de Tweede Wereldoorlog. Niet beschikbaar in de hoofdnaamruimte.
   
6. Legale voortgezettingen: een overzicht van legaal voortgezette verzetsbladen na de Tweede Wereldoorlog
   

In de lijsten in de hoofdnaamruimte zie je dat de krantentitels die nog geen eigen artikel hebben, standaard rood zijn, en niet zwart (m.a.w. ongelinkt). Het aanbieden van deze voorgedefinieerde rode links is een bewuste keuze geweest. Lees de toelichting hier

Omdat de lijsten automatisch (softwarematig) uit de database gegenereerd zijn, zijn ze - ondanks zorgvuldige nacontrole - niet noodzakelijk 100% gegarandeerd foutvrij. Het kan dus geen kwaad de lijsten steeksproefgewijs handmatig te verifiëren tegen De Winkel en (indien nodig) te corrigeren.

Doorverwijspagina's

Snel naar het overzicht van nog aan te maken doorverwijspagina's voor verzetskrantenartikelen

Voor bepaalde titels in de Winkel is het handig (en soms zelfs noodzakelijk) om doorverwijspagina's te maken, om de volgende redenen:

1) Er zijn verzetskranten die in Winkel (op lidwoorden en leestekens na) identieke titels hebben, zoals Bulletin (Winkel nrs. 92 t/m 101) of Strijdend Nederland (Winkel nrs. 787, 788, 791) Voor dergelijke titels worden doorverwijspagina's gemaakt, zie bv. deze voor Bulletin

2) Er zijn krantentitels die op elkaar lijken en/of met dezelfde titelwoorden beginnen, zoals Berichtendienst B.B.C. (Winkel nr. 59) en Berichtendienst van de B.B.C. (Winkel nr. 60), resp. De Stem... (Winkel nrs. 764 t/m 773A). Voor dergelijke titels worden ook doorverwijspagina's gemaakt, zie bv. deze voor De Stem. Let erop dat bij dit laatste geval er

• al verwante artikelen (De stem) en doorverwijspagina's (De Stem en Stem) bestaan, waarmee dit lijstje dus samengevoegd moet worden
• dat de verzetskranten een eigen kopje "Verzetskranten uit de Tweede Wereldoorlog" hebben gekregen

3) Er zijn krantentitels waarvan de naam overeenkomt met andere zaken, bv. De Accu (Winkel nr. 4), Vaart (Winkel nr. 896) of Margriet (Winkel nr. 406). Die kunnen dus toegevoegd worden aan de doorverwijpagina (Accu, Vaart, resp. Margriet)

4) Ook kunnen mengvormen van 1 en 2 en 3 voorkomen. Vooral bij de grote/breedverspreide verzetskrantentitels als Trouw (Winkel nrs. 819 t/m 884), Parool (Winkel nrs. 646 t/m 667A), Vrij Nederland (Winkel nrs. 965 t/m 987) of Je Maintiendrai (Winkel nrs. 256 t/m 274) moet er nog nader bekeken worden hoe de doorverwijpagina's het meest gebruikersvriendelijk opgezet kunnen worden.

Artikelcategorieën

Snel naar het overzicht van nog aan te maken artikelcategorieen voor meervoudige en/of sterk op elkaar lijkende verzetskrantentitels

De hoofdcategorie waarin alle WP-artikelen ondergebracht zullen worden is Categorie:Nederlandse illegale pers in de Tweede Wereldoorlog‎. Om de boel enigszins overzichtelijk te houden is het handig om meervoudige en/of sterk op elkaar lijkende titels in aparte subcategorieen onder te brengen.

Afbeeldingen verzetskranten op Wikimedia Commons

Logo van de verzetskrant Metro

Omdat geïllustreerde artikelen aantrekkelijker zijn dan artikelen zonder afbeeldingen, is het de moeite waard verzetskrantenartikelen te voorzien van afbeeldingen. Denk daarbij aan het logo van de krant voor in de infobox (zie dit voorbeeld, van Metro), een voorpagina (voorbeeld) of een illustratie uit een krant voorbeeld).
De meest voordehandliggende bron van afbeeldingen is Delpher, omdat hier (bijna) alle vezetskranten gedigitaliseerd beschikbaar zijn. Houdt bij het uitkiezen van afbeeldingen uiteraard wel rekening met mogelijke auteursrechten.
Relevante rechtenvrije afbeeldingen kunnen geupload worden naar Commons, in de Category:Dutch resistance newspapers from World War II.

Wikisource

Het ligt buiten de scope van het project om de full-texts (OCR) van de verzetskranten van Delpher naar Wikisource te kopieren. Dit om (tenminste) twee redenen:

1. Het is ERG veel werk (100.000den pagina's)
2. Auteursrechten die uitgezocht moeten worden.

Wel zou het een idee kunnen zijn om de integrale tekst vanuit De Winkel van deze PDF naar Wikisource te kopieren.

Wikidata

Het is de bedoeling om (op termijn) de data over de verzetskranten aan Wikidata toe te voegen, als instanties van Dutch resistance newspaper (Q2291158). Er staan op dit moment al een paar verzetskranten-entries in Wikidata, zie dit lijstje, deze entries willen we dus ook uitbreiden.

Hierbij zoekt de KB expliciet de hulp van Wikipedianen, omdat de kennis over Wikidata binnen de KB vooralsnog beperkt is.

Embedden Wikipedia-artikelen in Delpher

Het is op termijn de bedoeling dat de Wikipedia-informatie over een bepaalde verzetskrant uiteindelijk ook terug te vinden zal zijn in de Delpher. Dit kan door (delen/snippets van) artikelen via de MediaWiki-API te embedden in de desbetreffende Delpher-pagina's over die krant. Via API-calls zoals deze (naar het artikel over De Geus onder studenten (verzetsblad)) kunnen snippets van, of hele Wikipedia-artikelen in Delpher worden opgenomen. Waar precies deze snippets in Delpher gezet zullen worden, moet t.z.t. met de ontwikkelaars van Delpher worden besproken.