Wikipedia:De kroeg/Archief/20230206

ChatGPT: testen?

Een stuk hierboven, bij #ChatGPT is deze ophefmakende chatbot besproken en er zijn al wat ervaringen gedeeld. Wie wil kan zelf testen. Als je niet je hebben en houden op tafel wilt leggen voor een account kun je hieronder zoektermen toevoegen die je graag wilt proberen.

Hier vind je de resultaten in detail. Ze staan in mijn Google Drive en worden steeds aangevuld. Inloggen hoeft niet.

De bot is Engelstalig, maar met wat aandringen kan Nederlands ook. Ik vind het een fijn hulpmiddeltje, maar die andere kant is er ook: ongeschikte artikelen kon je er vaak uitpikken door het onbeholpen taalgebruik, die luxe gaat verdwijnen zo gauw het ding onze taal beheerst. De Angelsaksische collega's kunnen hun borst natmaken.

Tot nu toe, samengevat:

1. Treponema denticola - bacterie: zinvol en correct. Info is deels nieuw voor me, die moet ik controleren. →bertux
2. kleinood - met wat hulp een mooi resultaat, 100% correct. →bertux
3. wandelbos - correct, inclusief de opmerking dat de term naar een gebied of naar het doel van het beheer kan verwijzen; een 10⁺. →bertux
4. Wandelbos Tilburg - grotendeels correct →bertux
5. Oude Warande Tilburg - ai, niet best; was er verwarring met een min of meer gelijknamig gebied? →bertux
6. Kaaistoep - nooit van gehoord; na flink wat aandringen en voorzeggen vatte de bot samen wat hij van mij geleerd had; dat deed hij correct →bertux
7. Altijd is Kortjakje ziek - werd na aandringen als liedje herkend; toen het ding niet snapte dat er cynisme inzat begon het in de ruimte te lullen; net een mens →bertux 21 jan 2023 22:45 (CET)

   Bij mij werd beweerd dat het een liedje van de Dijk was. Japiot (overleg) 22 jan 2023 00:11 (CET)

Voeg toe:

1. Antimycine-A Schilbanaan (overleg) 21 jan 2023 22:33 (CET)
2. Matroos Vos - vraag me af wat over dit onderwerp te vertellen is Schilbanaan (overleg) 21 jan 2023 22:33 (CET)

   Hahaha, hij neemt 'm nog mee ook. Schilbanaan (overleg) 21 jan 2023 22:59 (CET)

3. Modepop kan wel wat meer tekst gebruiken Schilbanaan (overleg) 21 jan 2023 22:33 (CET)

   Hm, eigenlijk staan alle responses van ChatGPT al in het artikel... Schilbanaan (overleg) 21 jan 2023 23:19 (CET)

   Het moet mogelijk zijn om meer te vinden over de historie, geografische verspreiding en culturele context van dit fenomeen. Hadden de oude Egyptenaren al aankleedpoppen of is dat een Europees fenomeen? Japans misschien ook?  →bertux 21 jan 2023 23:56 (CET)

4. Alfabetisering, het leren lezen/schrijven, kan ik ook nog wel wat inspiratie voor gebruiken Schilbanaan (overleg) 21 jan 2023 22:33 (CET)
5. UART kan ik ook nog wel wat inspiratie voor gebruiken, ja eigenlijk alles op m'n bemoeilijst wel maar dit zijn toch wel m'n slechtste werken Schilbanaan (overleg) 21 jan 2023 22:53 (CET)

   Dankje bertux. Ik weet het niet... het zijn vaak maar details die ik eruit kan pikken om wat mee te verbeteren. Schilbanaan (overleg) 21 jan 2023 23:52 (CET)

   Gedaan. 'Matroos Vos' was een van de interessantste, je weet toch dat de onze een impersonator is?  →bertux 21 jan 2023 23:52 (CET)

   Omdattie Gerard Reve nadoet? :D Schilbanaan (overleg) 21 jan 2023 23:55 (CET)

   Google is je vriend  →bertux 21 jan 2023 23:58 (CET)

   Ah, ik begreep die discusie over Joop Schafthuizen al niet. Schilbanaan (overleg) 21 jan 2023 23:59 (CET)

   Komop zeg, ik ben opgegroeid met de teringtubbies. Schilbanaan (overleg) 22 jan 2023 00:01 (CET)

   Hoe weet je trouwens dat onze Matroos Vos een impersonator is? :p Schilbanaan (overleg) 22 jan 2023 00:08 (CET)

   Is-ie ook niet, 't is precies andersom. Die Schafthuizen heeft mijn naam gejat. Het is sowieso bepaald geen lieverdje. — Matroos Vos (overleg) 22 jan 2023 03:48 (CET)

   Uhuh, had zelfs gelezen dattie werd gezien als profiteur. Schilbanaan (overleg) 22 jan 2023 11:42 (CET)

   Daardoor wist ik dat er twee moesten zijn, die andere had allang de auteursrechten van Wikipedia vastgelegd en verplichte donaties ingesteld. Joop Schafthuizen is trouwens ook veroordeeld voor een zedenmisdrijf  →bertux 22 jan 2023 11:55 (CET)

   Misschien goed de biografie van Schafthuizen – per WP:BLP – van wat bronnen te voorzien... StuivertjeWisselen (overleg) 22 jan 2023 19:58 (CET)

   Ja, dat zou inderdaad wel moeten, zeker bij dergelijke gevoelige feiten. Dat het artikel geen enkele bronvermelding had, was me eerlijk gezegd zelf niet opgevallen, omdat ik alles wat daar staat eigenlijk al wel gelezen had in het derde deel van de Reve-biografie van Nop Maas. Enfin, ik zie dat je inmiddels alsnog een aantal bronnen hebt toegevoegd, waarvoor hartelijk dank! — Matroos Vos (overleg) 23 jan 2023 06:15 (CET)

6. ...
7. ...

Ik had zelf al wat zitten spelen met ChatGPT en verzoeken om een Wikipedia artikel over wat zaken te schrijven waarvan ik voldoende afweet om de kwaliteit te beoordelen. Bij personen is dit eigenlijk direct een ramp. Vragen om expliciete bronnen levert een bronvermelding op, maar de helft van die bronnen klinkt alleen goed, maar blijkt gewoon gehallucineerd te zijn. Feiten zijn dikwijls geloofwaardig maar geheel verzonnen. Vooral artikelen over personen is het een grote verzinboel - bij onderwerpen die meer abstract zijn gaat het beter (sporten, politiek) maar zeker niet foutloos. Het lastigste is inderdaad dat het onderscheid tussen feit en verzinsel erg lastig is. Je moet echt ieder feitje streng controleren, hoe geloofwaardig het ook klinkt. Voor subjectieve/creatieve verhalen is de bot veel geschikter, lijkt het. Vraag 'm maar om een preek of betoog te schrijven, en je krijgt iets dat best wel aardig klinkt. -- Effeietsanders (overleg) 22 jan 2023 01:12 (CET)

Dat chatGPT alleen maar naar het vormformat van de bronreferenties kijkt, en niet naar de inhoud, is een ernstig manco, dat ook al op LinkedIn werd geconstateerd. Hans Erren (overleg) 22 jan 2023 20:40 (CET)

Ik heb hetzelfde geprobeerd en gevraagd een artikel te schrijven over Modemagazijnen Gebroeders Gezon. Hij haalde er wel uit dat de oprichters broers waren, maar gaf vervolgens twee willekeurige namen op als voornamen. Ik vond het vermakelijk, maar in dit geval zeker niet bruikbaar.TheGoodEndedHappily (overleg) 23 jan 2023 14:59 (CET)

Ook ik ben nog niet echt onder de indruk van de prestaties van ChatGPT. Bill Gates blijkbaar wel, want die heeft zojuist 10 miljard dollar uit zijn achterzak getrokken. — Matroos Vos (overleg) 24 jan 2023 03:22 (CET)

Inhoudelijk niet, maar de makers geven ook uitdrukkelijk aan dat de gebruikersinteractie het eerste ontwikkelingsdoel was. En die is gewoon steengoed: je vragen worden beter begrepen dan bij sommige helpdesks en de antwoorden zijn ook op matig helpdeskniveau.

De Nederlandstalige versie, die ik niet geprobeerd heb, schijnt nu al beter Nederlands te produceren dan Google Translate en het Engels is zo vloeiend dat je raar opkijkt van de incidentele taalfoutjes. Het schijnt dat in Mountain View de pleuris uitgebroken is toen ze dit onder ogen kregen en dat snap ik volkomen  →bertux 24 jan 2023 11:47 (CET)

Eenieder die wil stoeien met ChatGPT, ORES en dezulken moet dat vooral doen, maar ik geloof er niet in. De constatering van Micha Wertheim, gisteravond in De Avondshow, dat al die zelflerende computers zichzelf ook eens wat bescheidenheid zouden moeten aanleren en excuses zouden moeten aanbieden voor al hun fouten, was me dan ook uit het hart gegrepen. Maar goed, ik schrijf mijn bijdragen voor Wikipedia nog steeds met de kroontjespen, waarna ze door mijn secretaris à cheval naar het dichtstbijzijnde post-en-telegraafkantoor worden gebracht, om aldaar op een voor mij nog immer ondoorgrondelijke wijze op het wereldwijde web te worden geslingerd. — Matroos Vos (overleg) 27 jan 2023 12:00 (CET)

Al vanaf de klassieke oudheid worden hiervoor netwerpende spinnen ingezet en Gerard Reve mijmerde er ook vaak over als hij weer een ChatGPT-sessie had gehad met vangbillen als trefwoord  →bertux 27 jan 2023 12:38 (CET)

Hoe om te gaan met tekstdumps

Uit verschillende tests, uitgevoerd door de collegae, maar bijvoorbeeld ook Sixty Symbols, blijkt dat ChatGPT geen geweldige teksten oplevert. Tekstueel zitten er wat haken en ogen aan, inhoudelijk zit de bot er wel eens (flink) naast en het is onduidelijk op welke bronnen de bot zich baseert. Vandaag kwam ik voor het eerst een artikel tegen dat sterk, zo niet volledig, afkomstig leeg van ChatGPT. Het gaat om It-detachering dat ik aantrof in deze staat. Ik heb het artikel ter beoordeling aangeboden. Maar zouden we niet beter direct kunnen overgaan tot nuweggen? Ik zie daar wel ruimte voor op WP:RVM, namelijk "Pagina's waarvan het artikel niet in het Nederlands is geschreven", "Pagina's met inhoud zonder zinvolle informatie" of "Pagina's met overduidelijke auteursrechtenschending". Heel zwart-wit is het allemaal niet. De pagina die ik als voorbeeld aanhaalde is in het Nederlands geschreven, maar duidelijk bot-Nederlands (of het nu ChatGPT-Nederlands of vertaalbot-Nederlands is). Er is geen sprake van echte nonsens en ook auteursrechtenschending is misschien niet helemaal waar. Maar als we hier niet over nadenken, dan kan dit soort tekstdumps best wel een probleem gaan worden. hiro the club is open‍ 26 jan 2023 15:38 (CET)

De zinnen waren naar mijn idee zo geformuleerd dat het wel leek alsof het ergens vandaan kwam, maar ik kon het dus niet vinden via meerdere zoekopdrachten. Tekstdump is het ook net niet, omdat er wel wat opmaak was. Het probleem is vooral dat het niet fijn voelt, iemand maakt iets aan zonder er echt moeite ingestoken te hebben en het artikel vertelt net te weinig om echt een encyclopedisch artikel te vormen. Dqfn13 (overleg) 26 jan 2023 16:08 (CET)

Het lijkt mij geen tekstdump. Ook geen ChatGPT, die levert veel kortere verhaaltjes; je kunt ze natuurlijk aan elkaar plakken na vragen als:

1. Wat is IT-detachering?
2. Voordelen van IT-detachering
3. Risico's van IT-detachering
4. Hoe werkt IT-detachering in de praktijk?
5. Regelgeving rond IT-detachering
6. Toekomst van IT-detachering

Inderdaad, onze tussenkopjes. Ikzelf zie er vooral een overname uit een FAQ-sectie in, maar zelfs dat hoeft niet. Als een beleidsmedewerker een wauweltekst aanlevert en de PR-afdeling er iets van moet maken krijg je zulke algemeenheden; zie bijvoorbeeld deze tekst van een detacheringsbureau  →bertux 26 jan 2023 16:46 (CET)

ChatGPT kan uitgebreider schrijven door commando's als "expand" te geven. De structuur deed me wel heel erg aan de bot denken, zoals een verhaal samenvatten. In de oorspronkelijke versie van het artikel startte de laatste alinea met: "In samenvatting..." hiro the club is open‍ 26 jan 2023 17:16 (CET)

Dat is raar Nederlands, maar zou dit dan ook door het beest uitgebraakt zijn? Maar liefst 4× "In samenvatting". Genoeg mensen schrijven als chatbots of praten zelfs zo  →bertux 26 jan 2023 17:30 (CET)

Beste bertux, ik gaf een heel specifiek voorbeeld. Ik schreef: "zoals een verhaal samenvatten" met daarna het rare "[i]n samenvatting". Natuurlijk wordt er ook door mensen niet altijd perfect Nederlands geschreven. Ik wil voorstellen dat we minder naar individuele woorden kijken om tot een oordeel te komen of een heel artikel door ChatGPT gegenereerd lijkt te zijn. Wat mij betreft is het bij het door mij genoemde artikel heel duidelijk, wat jou betreft niet. Prima. Dan terug naar de vraag hoe we met artikelen om moeten gaan die door bots gegenereerd worden, zolang zij niet in staat zijn om goed Nederlands te schrijven, om correcte informatie te bieden, om evenwichtig te schrijven en om bronnen aan te leveren. hiro the club is open‍ 26 jan 2023 18:18 (CET)

Daar had ik mij het hoofd al over gebroken, maar ik weet het domweg niet. Die samenvatting achteraf is trouwens zo gangbaar dat er een naam voor is, de pay-off, en in het algemeen heb ik bij de Engelse versie geen enkel kenmerk kunnen vinden dat ChatGPT steeds onderscheidt van matig tot redelijk schrijvende mensen. En daarbij: het ding wordt continu verbeterd, vermoedelijk in een hoog tempo, dus herkenbare tekortkomingen worden sneller verholpen dan wij ze kunnen vaststellen.

We zullen de bewaking van artikelen moeten opvoeren en om dat vol te houden zie ik maar een mogelijkheid: anonieme bijdragen uitsluiten, zoals gedaan is op de Portugese versie en eentje in het Midden-Oosten, ik dacht die in het Farsi. De resultaten die ik vorig jaar bekeek waren gemengd: op ptwiki zeer positief, op de andere gemengd, maar daar hadden factoren van buitenaf invloed. Ik zou het graag proberen.

De Duitse oplossing met Gesichtete Versionen (FlaggedRevisions) bevalt veel minder. het kost veel werk, waar waarschijnlijk wel een afname van vandalisme tegenover staat. Voor de Nederlandse Wikipedia, die groot is ten opzichte van het aantal bewerkers, denk ik niet dat dit gunstig is en etwa 10.000 Artikeln die drie jaar ungesichtet zijn op een totaal van 2.765.795 oogt niet erg aantrekkelijk. Ik heb hierover op dewiki de vraag gesteld Was bringt uns die Sichtung?  →bertux 26 jan 2023 19:35 (CET)

Ja, bronvermelding natuurlijk ook. Misschien niet in alle gevallen verplicht, maar een flinke aanscherping kan zeker helpen  →bertux 26 jan 2023 19:36 (CET)

Het kromme van het hele artikel over it-detachering is zoals hier beschreven het omgekeerde gebeurt: eerst een stuk origineel onderzoek, want niemand weet waar de inhoud vandaan komt, en dan moeten er nog bronnen bij gezocht worden. ChatGPT kan wel worden gevraagd om bronnen te vermelden, maar die blijken allemaal nep te zijn. En het gevolg is eveneens problematisch wanneer andere mensen de Wikipagina overnemen, die dus bronloos en verzonnen door een computerprogramma is. Als dit niet wordt nagekeken door een mens dan kan dit Wikipedia schaden als betrouwbare informatiebron. Verdel (overleg) 27 jan 2023 14:46 (CET)

Voorlopig is ChatGPT misschien te detecteren:

Ik heb de door Fabiennevdheiden geplaatste tekst van It-detachering door dit tooltje gehaald. Het schat kans dat dit door een mens is geschreven op 22%. Zie dit AD-bericht.

Voorlopig en misschien? Het ding leert ongetwijfeld snel bij en ik heb met slechts 1 tekst getest. Ik wil Kroeglezers uitnodigen om ermee aan de slag te gaan, want zelf kom ik er de komende dagen helaas niet aan toe. Ik wil me wel ooit toeleggen op het schrijven van ChatGPT-teksten  →bertux 27 jan 2023 23:09 (CET)

Tekst dient verifieerbaar te zijn. Het dient gebaseerd te zijn op gezaghebbende bronnen, niet op een softwareprogramma met origineel onderzoek en nepbronnen. Zo simpel is het. Wat we hier proberen is het samenstellen van een professionele encyclopedie. Een verbod op ChatGPT-teksten lijkt mij dan onoverkomelijk. HT (overleg) 27 jan 2023 23:25 (CET)

Best. Maar de handhaving? En de verdachtmakingen?

Mensen zijn ervan beschuldigd een Google Translate-tekst geplaatst te hebben terwijl een kind kon zien dat de fouten typisch menselijk waren. ChatGPT is nu al veel lastiger en minder eenduidig te detecteren en dat wordt alleen maar erger. Het gaat niet lukken om dat tegen te houden, zeker niet als het een stortvloed wordt.

Hierboven heb ik de enige zinnige remedies aangegeven die ik kon bedenken: IP-ers buiten houden en bronverplichting sterk aanscherpen  →bertux 27 jan 2023 23:32 (CET)

@Bertux: Feitelijk is het gebruik van ChatGPT al niet toegestaan op WP:NL. Zo staat er in de basisregel over brongebruik op WP:NL: Voeg alleen bronnen toe die u zelf heeft geraadpleegd. Wetenschappelijk verantwoord schrijven, maar verantwoord schrijven in het algemeen, vereist toepassing van het ANNA-principe: Alles nazien, niets aannemen. (vet conform citaat). (hier). En volgens Wikipedia:Verifieerbaarheid dient alle informatie verifieerbaar te zijn in een betrouwbare publicatie. Er staat bij: "De daarin behandelde principes kunnen nooit opzij geschoven worden, zelfs niet bij consensus." Op basis van voorgaande is het volstrekt onmogelijk om op WP:NL gebruik te maken van ChatGPT. Wat betreft handhaving. Nu al is WP:VER niet te handhaven, voornamelijk omdat we geen bronverplichting hebben. Maar dat wil niet zeggen dat we de verplichting tot verifieerbaarheid dan maar opzij moeten schuiven. Het is namelijk de belangrijkste basis waarop de inhoud van deze encyclopedie gebaseerd dient te zijn. Een bronverplichting instellen is een goed idee, maar ik vrees dat daarvoor geen kwalitatieve meerderheid te behalen is. Te veel bijdragers willen nu eenmaal per se géén bron toevoegen, wat hen het schrijven over van alles en nog wat behoorlijk vergemakkelijkt. Door ook nog eens expliciet een verbod op ChatGPT in te stellen, voorkomen we in elk geval zeker een deel van de ongein. En altijd kunnen we een bijdrager vragen waar zijn informatie vandaan komt. HT (overleg) 30 jan 2023 10:49 (CET)

Ik ben het eens met je analyse dat ChatGPT-bijdragen onder de bestaande regels niet geoorloofd zijn. Waarom het dan nog eens extra verbieden? Het zijn niet specifieke regeltjes tegen specifieke tools die we nodig hebben, maar praktische manieren om dergelijke "domme" AI-bijdragen buiten te houden en te identificeren. Aanscherping van bronvermelding lijkt me dan een minimum. Er was nooit veel animo voor, maar geesten kunnen evolueren. Nuweggen lijkt me dan weer te ver gaan, want debat moet de algemene regel blijven. Maar als het een plaag wordt, zullen we misschien niet anders kunnen. Karmakolle (overleg) 30 jan 2023 11:45 (CET)

@Karmakolle: Laat ik het anders verwoorden. Niet "extra verbieden", maar "specifiek vermelden" dat het verboden is er gebruik van te maken. Voor velen is het anders niet duidelijk. En NU-weggen is natuurlijk noodzakelijk, omdat het gebruik anders feitelijk alsnog toegestaan is. Daarvoor moeten wel de NU-weg regels aangescherpt worden. Ik zou overigens best weer voorstander zijn van een stemming om ook de bronverplichting aan te scherpen. Een verscherping door toe te voegen geen gebruik te maken van bronnen die ChatGPT aanlevert, kan zonder stemming gebeuren, omdat dit geheel conform onze richtlijnen is. HT (overleg) 30 jan 2023 12:27 (CET)

Eens met dat laatste, al is het dan niet zozeer een verscherping als een verduidelijking. Wat betreft nuweggen: het is moeilijk om met enige zekerheid vast te stellen wat door een geavanceerde bot is geschreven en wat niet, en we mogen verwachten dat dit in de toekomst nog moeilijker zal worden, zeker als er fantasiebronnen worden toegevoegd. Als we voldoende tijd nemen en diverse opinies horen, zullen we er wel uit geraken, maar de nuweg-procedure mist net dat. We moeten botdumps niet beantwoorden door zelf haastwerk af te leveren, maar onze beoordelingsstandaarden hoog houden, zolang dat te bolwerken valt voor de mods die daarmee bezig zijn. Karmakolle (overleg) 30 jan 2023 13:01 (CET)