Ollama: come avere una interfaccia simile a chatGPT con Open WebUI

Nel video che trovi sotto, ti mostro come installare Open WebUI una delle interfacce grafiche migliori e più avanzate per Ollama.

Open WebUI è un progetto ormai maturo e relativamente semplice da installare ma non è un’app che si installa con un click. Occorre infatti prima installare Docker e poi installare il container di Open WebUI.

Semplificando al massimo: una applicazione distribuita come container permette di infilare una applicazione in un mini-sistema operativo, scollegato dal sistema operativo in cui viene ospitato e su cui gira, nel nostro caso, Docker. Il vantaggio di questa modalità è che l'applicazione può essere accesa o spenta con un click attivando o disattivando il container ed aggiornata aggiornando il container. Inoltre il container contiene al suo interno tutti i software, comandi e variabili, per far girare correttamente l’applicazione.

Vantaggi e limiti dell’interfaccia grafica per un LLM

Veniamo infine ad un mini-approfondimento sui vantaggi e svantaggi di avere una interfaccia grafica per i nostri LLM locali.

Vantaggi

• Più semplice interagire con una chat: sicuramente è quello che ha fatto esplodere chatGPT a fine 2022, una interfaccia semplice per interagire con gli LMM;
• Possibilità di chattare con documenti e pagine web: poter caricare 1 o più documenti, così come una pagina web (come ti mostro nel video) permette poi di ampliare ulteriormente le funzioni della semplice chat testuale;
• Possibilità di scegliere un LLM: infine grazie alla possibilità di cambiare anche all’interno della stessa chat il nostro LLM permette di utilizzare le peculiarità di un LLM per uno specifico compito (risposta testuale piuttosto che creazione di codice, ad esempio).

Svantaggi

• Non sapere come funziona sotto il cofano: forse sono una lima sorda ma sono dell’idea che sapere come funziona una tecnologia è importante, utilizzare strumenti trasparenti e creati da altri impone notevoli limiti;
• Limiti di utilizzo: venendo ai limiti sicuramente il problema più grosso che trovo è nell’utilizzo della RAG (Retrival Augmeneted Generation) ci sono fattori importanti che contano, in particolare, come viene spezzato (in inglese chunking) un documento;
• Sviluppare flussi di lavoro più complessi: strumenti come Rivet permettono di costruire flussi di lavoro personalizzati e più complessi, con una soluzione come Open WebUI no.

In conclusione

Spero che la mia guida per installare Open WebUI ti aiuti a testare e provare LLM in locale. Personalmente, soprattutto per la professione, credo che questa sia l’unica soluzione rispettosa sia dei vincoli deontologici di riservatezza e competenza sia di minima sicurezza per uno studio legale.

Per oggi è tutto.

Come sempre, se ti è piaciuto quel che hai letto o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter. Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho ritenuto interessanti.