Onderzoekers vinden 'tekstrobot' te gevaarlijk om openbaar te maken

17-02-2019 | door: Redactie

Onderzoekers vinden 'tekstrobot' te gevaarlijk om openbaar te maken

Onderzoekers van non-profitorganisatie Open AI hebben een tekstgenerator gemaakt die onder meer op grote schaal nepnieuws kan produceren. Uit angst voor misbruik hebben ze beslist om de volledige code niet vrij te geven.

OpenAI is een nonprofit AI-onderzoeksbedrijf, opgericht door onder meer Elon Musk. Bedoeling van de organisatie is om een vriendelijke AI te ontwikkelen die de mensheid vooruit kan helpen. Gewoonlijk delen ze hun bevindingen met de rest van de wereld. Nu ze hun artificiële intelligentie echter hebben ingezet hebben om een tekstgenerator te maken, beslissen ze uitzonderlijk om dat níét te doen.

Op basis van de woorden die er al staan, voorspelt de tekstgenerator telkens het volgende woord. Het AI-model daarachter, GTP2 genaamd, werd getraind op een dataset van 8 miljoen webpagina's (samen goed voor 40 Gigabyte). Door die omvang is de schrijfrobot volgens de onderzoekers te goed geworden. Ze vergelijken het model met een kameleon: het bootst de inhoud en de stijl na van eender welke tekst je invoert. Op de blog van Open AI tonen ze een aantal voorbeelden. Voer je een zin uit Lord of The Rings in, dan borduurt de schrijfrobot daarop voort in Fantasy-style. Vertrek je van de inleiding van een nieuwsbericht, dan vult hij de rest van het artikel aan, inclusief verzonnen citaten. Vertrek je van een verzinsel, zoals de ontdekking van een eenhoorn, dan weet de generator dat valse bericht verder te stofferen.

Technologie zet deur open voor misbruik

Volgens de onderzoekers kan de tekstgenerator positief ingezet worden, bijvoorbeeld als assistent voor schrijvers of vertalers, maar ze wijzen ook op de gevaren. Zo kan de technologie misbruikt worden om op grote schaal misleidende nieuwsberichten of spam de wereld in te sturen of om een grote hoeveelheid valse reviews onder een product te plaatsen.

Open AI verwijst naar de deepfake-video's die vorig jaar op het web circuleerden, nadat iemand een gratis tooltje had gelanceerd waarmee je vrij makkelijk gezichten in films kunt 'swappen'. De software erachter maakte gebruik van de openbare AI-bibliotheek TensorFlow van Google. De deepfake-video's vonden vooral hun weg naar pornowebsites, waarbij de gezichten van porno-actrices werden vervangen door die van celebrities, maar de techniek kan evengoed gebruikt worden om valse toespraken van politici te maken.

Aangezien de 'deepfake voor tekst' een soortgelijke impact kan hebben, wordt de code niet in zijn geheel vrijgegeven. Open AI heeft wel een kleinere versie van het model en een technische paper openbaar gemaakt, waarmee andere onderzoekers aan de slag kunnen.

Publicatiedebat binnen AI-onderzoek geopend

De wetenschappers van Open AI zijn niet de eersten die worstelen met de vraag of ze de resultaten van hun AI-onderzoek wel moeten vrijgeven omdat het gevaarlijke toepassingen kan hebben. Stanford-onderzoekers die een AI-systeem hadden ontwikkeld dat op basis van foto's iemands seksuele geaardheid kon voorspellen, gaven ook aan te twijfelen of ze dit wel konden vrijgeven.

De Open AI-onderzoekers wijzen er op dat als zij het niet doen, iemand anders het binnenkort wel zal doen. "We zijn ons ervan bewust dat sommige onderzoekers de technische capaciteit hebben om onze resultaten te reproduceren."

Daarom willen ze het debat over geheimhouding binnen AI-onderzoek aanzwengelen. "Andere disciplines zoals biotechnologie en cybersecurity hebben het debat al eerder gevoerd over wat verantwoorde publicaties zijn als de technologie misbruikt kan worden. We hopen dat ons experiment zal dienen als een casestudy voor meer genuanceerde discussies over dergelijke beslissingen binnen de AI-gemeenschap."

In samenwerking met Datanews

Terug naar nieuws overzicht