/

18 July 2023

Meta introduceert Llama 2: verbeterde AI-modellen voor chatbottoepassingen

Meta heeft onlangs een nieuwe familie van AI-modellen aangekondigd, genaamd Llama 2, ontworpen om chatbottoepassingen zoals OpenAI’s ChatGPT en Bing Chat te verbeteren. Dit nieuwe model is een evolutie van de vorige Llama-modellen, getraind met een mix van publiekelijk beschikbare data. Deze nieuwe trainingsmethode heeft geresulteerd in verbeterde prestaties ten opzichte van de voorgaande Llama-modellen.

Llama 2 is vanaf nu vrij beschikbaar voor zowel onderzoek als commercieel gebruik. Het kan verfijnd worden op platformen zoals AWS, Azure en Hugging Face. Hiermee wordt de toegankelijkheid van geavanceerde AI-technologieën voor een bredere gemeenschap van ontwikkelaars en onderzoekers vergroot.

Het Llama 2-model bestaat uit twee versies: Llama 2 en Llama 2-Chat, elk met variërende parameters voor verschillende niveaus van verfijning. Llama 2 werd getraind op twee miljoen tokens, bijna tweemaal zoveel als de vorige Llama-modellen. Deze aanpak heeft bijgedragen aan de verbeterde prestaties van het nieuwe model.

Hoewel Meta niet specifiek aangeeft van welke bronnen de trainingsdata afkomstig zijn, benadrukt het bedrijf dat het voornamelijk feitelijke tekst van het web gebruikt en geen data van hun eigen producten of diensten.

Ondanks de verbeteringen presteren de Llama 2-modellen nog steeds iets minder goed dan hun gesloten bronconcurrenten zoals GPT-4 en PaLM 2 in benchmarks. Vooral in computercodering blijft Llama 2 enigszins achter.

Interessant is dat menselijke evaluatoren Llama 2 even “behulpzaam” vinden als ChatGPT bij het beantwoorden van vragen. Deze perceptie is belangrijk, omdat de bruikbaarheid van een AI-systeem in de praktijk vaak net zo belangrijk is als zijn theoretische prestaties.

Net als alle AI-modellen heeft ook Llama 2 zijn eigen biases. Zo gebruikt het vaker “hij” voornaamwoorden en is er een westerse scheefgroei door onevenwichtigheden in de trainingsdata.

De Llama 2-Chat modellen presteren beter op de interne benchmarks van Meta, maar kunnen overdreven voorzichtig zijn en te veel veiligheidsdetails in hun antwoorden opnemen.

Meta erkent de beperkingen in het testen en de biases in de Llama 2-modellen en benadrukt het belang van veilige ontwikkeling en implementatie. Het bedrijf staat open voor het delen van grote taalmodellen zoals Llama 2 en kijkt uit naar het zien van hun toepassingen.

Het doel van Meta blijft onveranderd: AI-modellen creëren die betrouwbaar, behulpzaam en veilig zijn. Hoewel er nog steeds uitdagingen en beperkingen zijn, toont de introductie van Llama 2 aan dat het bedrijf vastbesloten is om vooruitgang te boeken in het veld van kunstmatige intelligentie.