Lifehacking: Switchen tussen AI-taalmodellen

Door Leen Liefsoens

Met de tool Jan creëer je een chatbot met artificiële intelligentie op je eigen computer, waarmee je eenvoudig tussen verschillende taalmodellen naar keuze schakelt. Ook kun je via extensies en het aanpassen van parameters de chatbot verder naar je hand zetten. Jan geeft je de vrijheid om AI te benutten zonder dat dit ten koste hoeft te gaan van privacy.

AI-chatbots werken met taalmodellen. Ongetwijfeld is GPT, het taalmodel van ChatGPT (OpenAI), het bekendst, maar er zijn door diverse bedrijven en onderzoeksinstellingen tal van andere taalmodellen ontwikkeld. GPT is een voorbeeld van een gesloten taalmodel. Ook de taalmodellen van Gemini (Google) en Copilot (Microsoft) zijn gesloten. Met deze modellen kun je chatten via de webinterface van het bedrijf van het taalmodel zelf, of je kunt via de API (Application Programming Interface) het taalmodel online laten communiceren met een andere interface.

Daarnaast heb je open taalmodellen die je volledig kunt integreren in een andere interface waardoor het mogelijk is om offline te werken. OLMo (Ai2) is een bekend voorbeeld hiervan. En in Nederland wordt momenteel gewerkt aan de ontwikkeling van het open taalmodel GPT-NL. Bij gesloten taalmodellen ben je dus bij het gebruik ervan genoodzaakt gegevens uit te wisselen met een extern bedrijf, bij open taalmodellen is dat niet het geval. Er wordt dan ook gesproken over cloud-based en lokale taalmodellen. Vanuit privacyoogpunt een belangrijk verschil.

Wil je verschillende taalmodellen uitproberen, dan moet je dus in principe allerlei verschillende webinterfaces gebruiken, diverse API’s instellen of van diverse locaties taalmodellen downloaden. Gelukkig is er de tool Jan. Je installeert deze opensourcesoftware op je eigen computer. Daarna verbind je Jan via een API met een groot taalmodel online of download je een taalmodel om het in Jan offline te gebruiken. En dat alles in een en dezelfde interface, waarin je eenvoudig tussen verschillende modellen kunt schakelen.

Jan is beschikbaar voor Windows, Mac en Linux. Ga naar jan.ai en klik op jouw besturingssysteem. Nadat je de software hebt geïnstalleerd is de volgende stap het downloaden en installeren van de taalmodellen naar keuze. Wanneer je op het ‘Hub’-icoontje klikt, krijg je een lijst van beschikbare taalmodellen. Bij ieder model staat aangegeven of het geschikt is voor gebruik op jouw computer. Het is aan te raden om te kiezen voor een model met het label ‘Recommended’. Klik vervolgens op ‘Download’. 

Deze lijst bevat de open/lokale taalmodellen. Je kunt binnen Jan ook gebruikmaken van de gesloten/cloud-based taalmodellen via het tabblad ‘Model’. Zoals hierboven echter staat beschreven zijn open/lokale taalmodellen de meest privacyvriendelijke keuze. 

Wil je bij het bepalen van je keuze weten hoe goed een taalmodel functioneert? Gebruik dan het AlpacaEval Leaderbord waarbij taalmodellen automatisch worden geëvalueerd op basis van het AlpacaFarm evaluatieframework, opgesteld door het Stanford Center for Research on Foundation Models.

Je hebt in Jan de mogelijkheid om diverse parameters van een taalmodel aan te passen. Zo heb je bijvoorbeeld ‘Inference Parameters’. Met de temperatuur stel je in hoe divers of voorspelbaar de antwoorden zijn, en met Top P hoe gefocust of creatief het taalmodel is. Bij ‘Engine Parameters’ kun je bij sommige modellen ook de contextlengte kiezen, wat de maximale lengte van de invoer bepaalt.

Ook kun je het taalmodel een basisinstructie meegeven waarmee rekening gehouden wordt bij het beantwoorden van jouw prompts. Bijvoorbeeld: ‘Beantwoord alle prompts in de rol van een leerkracht die lesgeeft op de basisschool’. Dit zal ervoor zorgen dat de assistent eenvoudige taal en zinsbouw zal gebruiken. Tenslotte kun je de chatbot nog meer naar je hand zetten via allerlei extensies en integraties die Jan aanbiedt.

Je chatbot is nu klaar voor gebruik. Stel je vraag of voer je prompt in het daarvoor bestemde tekstveld in, en druk op ‘Enter’. Jan zal nu een antwoord formuleren. Via het tabblad ‘Model’ schakel je eenvoudig over naar een ander geïnstalleerd taalmodel. Ook kan er in de experimentele modus worden gechat met documenten en afbeeldingen met behulp van Jans RAG-functie (Retrieval-Augmented Generation).

Er zijn nog andere tools op de markt waarmee je op je eigen computer een chatbot kunt realiseren, bijvoorbeeld LM Studio en Ollama. Het voordeel van Jan is dat je weinig tot geen programmeerkennis of ervaring met ‘Terminal’ (Mac) of ‘Command Prompt’ (Windows) hoeft te hebben om de chatbot werkende te krijgen.


Leen Liefsoens is redacteur van IP en informatiespecialist bij de mediatheek van Hogeschool Van Hall Larenstein Leeuwarden.

Deze bijdrage komt uit het digitale magazine IP #1-2025. Klik op de onderstaande button om het hele nummer te lezen.