/

27 July 2023

Onderzoek onthult: Meta’s Llama 2 taalmodel is niet zo open-source als beweerd

Meta, het technologiebedrijf dat voorheen bekend stond als Facebook, heeft onlangs een update vrijgegeven voor zijn taalmodel Llama 2. Hoewel Meta beweert dat dit model open-source is, zijn er aanzienlijke verschillen te vinden met andere open-source modellen. Het blijkt dat Llama 2, in tegenstelling tot wat Meta beweert, eigenlijk veel geslotener is.

Onderzoekers van de Radboud Universiteit hebben onlangs de openheid van 21 open-source taalmodellen beoordeeld. Hierbij waren Llama 2 en ChatGPT inbegrepen. Het was opvallend dat ChatGPT de slechtste score ontving op het gebied van openheid. In de meeste beoordelingen werd ChatGPT als ‘gesloten’ bestempeld.

Er zijn ook zorgen geuit over de reproduceerbaarheid van onderzoek dat gebruik maakt van ChatGPT. In wetenschappelijk onderzoek is het van cruciaal belang dat de resultaten onder dezelfde omstandigheden kunnen worden gereproduceerd. Dit lijkt echter problematisch te zijn bij het gebruik van ChatGPT.

Bij de beoordeling van de open-source taalmodellen ontdekten de onderzoekers dat alle geëvalueerde modellen op een belangrijk punt gesloten waren. Geen van de modellen gaf voldoende details over het verfijningsproces met behulp van reinforcement learning met menselijke feedback (RLHF). De RLHF-methodologie is een cruciaal onderdeel van de ontwikkeling van deze taalmodellen, maar de details van dit proces blijven onduidelijk.

Bovendien hebben commerciële modellen, zoals ChatGPT en Llama 2, het peer review-proces weten te vermijden door alleen bedrijfsgehoste preprint-documenten te publiceren. Het peer review-proces is echter een fundamentele stap in het wetenschappelijk onderzoek, waarbij onderzoek onafhankelijk wordt beoordeeld op kwaliteit en betrouwbaarheid voordat het wordt gepubliceerd.

De onderzoekers waarschuwen dan ook tegen het gebruik van commerciële modellen in academisch onderzoek. Ze bekritiseren Meta ook voor het misleidend labelen van Llama 2 als open-source. Hoewel Meta beweert dat Llama 2 open-source is, blijkt deze bewering niet te kloppen als je het model vergelijkt met andere open-source modellen.

In een wereld waar AI en machine learning steeds belangrijker worden, is transparantie essentieel. De resultaten van dit onderzoek roepen dan ook belangrijke vragen op over de betrouwbaarheid en de openheid van de huidige taalmodellen. Het is te hopen dat dit onderzoek leidt tot meer transparantie en betere standaarden voor de ontwikkeling van toekomstige AI-modellen.