Vriendelijkere, vriendelijkere AI-chatbot ‘Claude 2’ geïntroduceerd door Anthropic

De wraps werden getrokken uit een nieuwe AI-chatbot die dinsdag door de ontwikkelaar, Anthropic, werd aangekondigd als “behulpzaam, onschadelijk en eerlijk”.

De chatbot, Claude 2, heeft een vertrouwd repertoire. Het kan samenvattingen maken, code schrijven, tekst vertalen en taken uitvoeren die de rigueur zijn geworden voor het softwaregenre.

Deze nieuwste versie van het generatieve AI-aanbod is toegankelijk via API en via een nieuwe webinterface waar het publiek gebruik van kan maken in de Verenigde Staten en het Verenigd Koninkrijk. Voorheen was het alleen beschikbaar voor bedrijven op verzoek of via Slack als app.

“Zie Claude als een vriendelijke, enthousiaste collega of persoonlijke assistent die in natuurlijke taal kan worden geïnstrueerd om je met veel taken te helpen”, zei Anthropic in een verklaring.

“Anthropic probeert in de ruimte van persoonlijke assistenten te leunen”, merkte Will Duffield op, een beleidsanalist bij het Cato Institute, een denktank in Washington, DC

“Hoewel Microsoft een voorsprong heeft om Bing naar zijn productiviteitssuite te brengen, wil Claude een nuttigere persoonlijke assistent zijn dan de rest”, vertelde hij aan TechNewsWorld.

Verbeterde redeneringsscores

Volgens Anthropic is Claude 2 verbeterd ten opzichte van eerdere modellen op het gebied van coderen, rekenen en redeneren.

Op het meerkeuzegedeelte van een bar-examen scoorde Claude 2 bijvoorbeeld 76,5%. Eerdere modellen scoorden 73,0%.

Op de GRE lees- en schrijfexamens voor studenten die zich aanmelden voor een graduate school, scoorde Claude 2 boven het 90e percentiel. Kwantitatief redenerend deed het het net zo goed als de gemiddelde aanvragers.

Op het gebied van coderen scoorde Claude 2 71,2% op de Codex HumanEval-test, een Python-coderingstest. Dat is een aanzienlijke verbetering ten opzichte van eerdere modellen, die een score van 56,0% behaalden.

Het deed het echter slechts iets beter dan zijn voorganger op de GSM8K, die een groot aantal rekenproblemen op de basisschool omvat, met een score van 88,0%, vergeleken met 85,2% voor Claude 1.3.

Claude 2 is verbeterd ten opzichte van onze eerdere modellen op evaluaties, waaronder Codex HumanEval, GSM8K en MMLU. U kunt de volledige reeks evaluaties bekijken op onze modelkaart: https://t.co/fJ210d9utd pic.twitter.com/LLOuUNfOFV

— Antropisch (@AnthropicAI) 11 juli 2023

Kennisachterstand

Anthropic verbeterde Claude op een ander gebied: input.

Het contextvenster van Claude 2 kan tot 75.000 woorden aan. Dat betekent dat Claude honderden pagina’s technische documentatie of zelfs een boek kan verwerken. Ter vergelijking: de maximale invoer van ChatGPT is 3.000 woorden.

Anthropic voegde eraan toe dat Claude nu ook langere documenten kan schrijven – van memo’s tot brieven tot verhalen tot een paar duizend woorden.

Net als ChatGPT is Claude niet verbonden met internet. Het is getraind op gegevens die abrupt eindigen in december 2022. Dat geeft het een klein voordeel ten opzichte van ChatGPT, waarvan de gegevens momenteel in september 2021 worden stopgezet, maar het blijft achter bij Bing en Bard.

“Met Bing krijg je up-to-date zoekresultaten, die je ook krijgt met Bard”, legt Greg Sterling uit, mede-oprichter van Near Media, een nieuws-, commentaar- en analysewebsite.

Dat kan echter een beperkte impact hebben op Claude 2. “De meeste mensen zullen geen grote verschillen zien tenzij ze al deze apps naast elkaar gebruiken”, vertelde Sterling aan TechNewsWorld. “De verschillen die mensen kunnen waarnemen, zullen voornamelijk in de gebruikersinterfaces zitten.”

Anthropic prees ook de veiligheidsverbeteringen die zijn aangebracht in Claude 2. Het legde uit dat het een intern “rood team” heeft dat zijn modellen scoort op basis van een groot aantal schadelijke aanwijzingen. De tests zijn geautomatiseerd, maar de resultaten worden regelmatig handmatig gecontroleerd. In zijn laatste evaluatie merkte Anthropic op dat Claude 2 twee keer beter was in het geven van onschuldige antwoorden dan Claude 1.3.

Bovendien heeft het een reeks principes, een constitutie genaamd, ingebouwd in het systeem die zijn reacties kan temperen zonder de noodzaak om een ​​menselijke moderator te gebruiken.

Schade onderdrukken

Anthropic is niet de enige die probeert een rem te zetten op mogelijke schade die wordt veroorzaakt door zijn generatieve AI-software. “Iedereen werkt aan behulpzame AI’s die geen kwaad zouden moeten doen, en het doel is bijna universeel”, zegt Rob Enderle, president en hoofdanalist bij de Enderle Group, een adviesbureau in Bend, Oregon.

“Het is de uitvoering die waarschijnlijk per provider zal verschillen”, vertelde hij aan TechNewsWorld.

Hij merkte op dat industriële providers zoals Microsoft, Nvidia en IBM AI-veiligheid serieus hebben genomen vanaf het moment dat ze het domein betraden. “Sommige andere startups lijken meer gericht op het lanceren van iets dan op iets veiligs en betrouwbaars”, zei hij.

“Ik heb altijd bezwaar tegen het gebruik van taal als onschadelijk, omdat nuttige hulpmiddelen meestal op de een of andere manier kunnen worden misbruikt om schade aan te richten”, voegde Duffield eraan toe.

Pogingen om schade in een generatief AI-programma tot een minimum te beperken, kunnen mogelijk van invloed zijn op de waarde ervan. Dat lijkt echter niet het geval te zijn met Claude 2. “Het lijkt niet zo gecastreerd dat het nutteloos is,” zei Duffield.

Geluidsbarrière overwinnen

Het hebben van een “eerlijke” AI is de sleutel tot vertrouwen, benadrukte Enderle. “Het hebben van een schadelijke, oneerlijke AI doet ons niet veel goeds”, zei hij. “Maar als we de technologie niet vertrouwen, zouden we het niet moeten gebruiken.”

“AI’s werken op machinesnelheden, en wij niet,” vervolgde hij, “dus kunnen ze in korte tijd veel meer schade aanrichten dan wij aankunnen.”

“AI kan dingen verzinnen die onnauwkeurig maar plausibel klinken”, voegde Sterling eraan toe. “Dit is zeer problematisch als mensen vertrouwen op onjuiste informatie.”

“AI kan in sommige gevallen ook bevooroordeelde of giftige informatie spuwen”, zei hij.

Zelfs als Claude 2 zijn belofte kan waarmaken om een ​​”behulpzame, ongevaarlijke en eerlijke” AI-chatbot te zijn, zal hij moeten vechten om opgemerkt te worden in wat een zeer luidruchtige markt aan het worden is.

“We worden overweldigd door het aantal aangekondigde dingen, waardoor het moeilijker wordt om boven het lawaai uit te stijgen”, merkte Enderle op.

“ChatGPT, Bing en Bard hebben de meeste mindshare, en de meeste mensen zullen weinig reden zien om andere applicaties te gebruiken”, voegt Sterling toe.

Hij merkte op dat het waarschijnlijk niet genoeg zal zijn om Claude te onderscheiden als de “vriendelijke” AI om hem te onderscheiden van de andere spelers op de markt. “Het is een abstractie,” zei hij. “Claude zal beter moeten presteren of nuttiger moeten zijn om adoptie te krijgen. Mensen zullen geen onderscheid zien tussen het en zijn bekendere rivaal ChatGPT.”

Alsof hoge geluidsniveaus nog niet genoeg zijn, is er verveling om mee om te gaan. “Het is moeilijker om indruk te maken op mensen met een nieuwe chatbot dan zes maanden geleden”, merkte Duffield op. “Er begint een beetje chatbotmoeheid op te treden.”