Ricerche giuridiche online con IA? Iniziano ad essere possibili

Gioco con l’intelligenza artificiale sulla piattaforma Apple da ormai un anno. Sono cambiate tantissime cose in questo periodo di tempo e se, all’inizio, ero scettico sulle possibilità concrete di utilizzo degli LLM nel mondo legale italiano ora vedo le cose in modo un po’ diverso. In questo articolo ti voglio parlare delle mie ultime scoperte e del perché ritengo che le cose stiano cambiando e molto in fretta.

1. Il mio pensiero fino a poco tempo fa …

Gli LLM, i modelli linguistici di grandi dimensioni, mi hanno sempre affascinato. Mi sono però reso conto fin da subito che il loro utilizzo nel mondo legale italiano era ed è molto difficile.

Per i non avvezzi gli LLM sono dei sistemi di predizione del testo (della prossima “parola”). Sono stati addestrati su un numero di parole enorme e grazie a ciò riescono a creare testo verosimile.
Tuttavia, siccome la maggior parte dei modelli è stato creato nel mondo anglofono (e più di recente nel mondo cinese), l’italiano non è mai stata una delle lingue parlate dagli LLM. Piccola eccezione va fatta per i modelli di MistralIA, società francese e quindi europea, che tra le altre cose ha sempre avuto un occhio di riguardo alle lingue europee come l’italiano e che, allo stato, è la mia scelta preferita per generare testo in italiano.
Oltre al problema generale dell’italiano c’è un ulteriore problema specifico, il linguaggio legale non è “italiano standard” ma è c.d. legalese.
Secondariamente, ma non a livello di importanza, posto che gli LLM sono prevalentemente anglofoni e sono stati istruiti anche sul diritto di common law (al contrario del diritto italiano che è di civil law) istituti giuridici noti agli LLM anglofoni possono essere confusi con quelli italiani creando ulteriori problemi.

Da ultimo gli LLM “conoscono” informazioni solo fino alla data del loro addestramento che, nella maggior parte dei casi, è almeno 6/9 mesi prima del loro rilascio ufficiale.

2. RAG: rendere “intelligenti” gli LLM

Da sempre quindi ho ritenuto e ritengo che gli LLM da soli non possano essere usati per l’attività legale se non uniti all’utilizzo di RAG.
Questo acronimo sta per Retrieval-Augmented Generation ovvero, tradotto in modo molto libero, “generazione di testo aumentata grazie al contesto”. Ho fatto un approfondimento nel mio podcast a cui ti rimando, qui basti sapere che attraverso la RAG oltre alla domanda (c.d. prompt) si aggiunge del testo (il contesto) di modo che l’LLM “conosca” le informazioni necessarie per dare una risposta corretta.

Questo significa dare sentenze, articoli giuridici e altri documenti, agli LLM per poter ottenere risposte più corrette (ma si parla comunque e sempre di risposte generate attraverso testo statistico).

Era, ed in parte è, quindi necessaria un’attività umana e specialistica per far funzionare correttamente un LLM con la RAG perché se io inserisco documenti non pertinenti la risposta dell’LLM non sarà corretta o, ancora peggio, potrebbe solo sembrare corretta ma non esserlo nella realtà.

In quest’ottica l’utilizzo di LLM con RAG è relativamente limitato nel mondo legale perché senza una grossa base di conoscenza giuridica a monte, da qui pescare le informazioni, gli LLM sono inutili o addirittura controproducenti avendo la caratteristica di inventare testo quando non hanno le informazioni / risposte giuste.

Anche nel mondo italiano si stanno sviluppando aziende “specializzate” nel fornire servizi di LLM con database giuridici da cui questi possono pescare ma sono servizi che, se funzionano, sono costosi e comunque possono eventualmente solo affiancarsi al lavoro del legale.

3. Due novità che possono cambiare tutto

Questo è stato lo scenario recente dell’utilizzo degli LLM nel mondo giuridico italiano. Sono sicuramente strumenti utili in specifiche circostanze: revisione testo, analisi del sentimento, riassunto di testo e/o massimizzazione dei provvedimenti ma nulla di più.

Sono tuttavia di recente cambiate due cose che, unite, possono forse essere dei fattori di significativo cambiamento.

3.1 Ricerche online avanzate con gli LLM

Negli ultimi mesi OpenIA, Google e Perplexity (tra le tante) hanno rilasciato funzioni di ricerca online con l’utilizzo degli LLM.
In estrema sintesi tutti questi sistemi in base alla domanda dell’utente fanno una ricerca di fonti online e, prese quelle più rilevanti, generano una risposta utilizzando le fonti per alimentare la RAG.

In aggiunta a questo sistema base, nei mesi scorsi, è stata aggiunta la c.d. deep research o ricerca avanzata (come la chiama Perplexity in italiano).

Questa tipologia di ricerca sfrutta un sistema più avanzato ed in particolare i modelli linguistici di grandi dimensioni che “ragionano”.

3.2 Gli LLM a chain of thought

Nel panorama sempre in movimento degli LLM, l'ultima mossa è quella di implementare negli LLM la c.d. chain of thought traducibile come la catena di ragionamento; in sintesi gli LLM prima di dare la risposta definitiva “pensano” ovvero scrivono una risposta iniziale ponendosi delle domande e cercando di darsi delle risposte.
Già tempo addietro questo sistema, utilizzato direttamente nel prompt (con frasi del tipo: “Ragiona passo passo”), aveva mostrato una notevole efficacia; ora molti LLM hanno implementato questo sistema direttamente nella fase di fine-tuning quando si insegna all’LLM a rispondere ai prompt degli utenti.

Si è assistito negli ultimi mesi all’esplosione di questi “nuovi” LLM; per primo OpenIA con o1 e poi gli altri, da ultimo a livello di risultati mediatici, DeepSeek R1.

I modelli di ragionamento, generando una risposta molto lunga (il “pensiero” e la risposta effettiva) hanno tempi di risposta molto lenti e “consumano” molta energia e tokens.

Unendo quindi il ragionamento dell’LLM con le funzioni di ricerca online è possibile creare delle ricerche avanzate. In particolare LLM non genera solo una prima ricerca ma ponendosi domande e ragionando su quanto trovato esegue ulteriori ricerche generando risposte più complete e corrette (nella maggior parte dei casi, non è ancora una scienza perfetta quella degli LLM).

Di seguito ti mostro la catena di ragionamento fatta da Perplexity sul mio quesito.

Di seguito ti lascio anche la risposta finale di Perplexity.

Credo che i risultati parlino da soli. Seppur non ancora perfetti sicuramente sono molto migliori di quanto riuscivano a fare gli LLM precedentemente.

4. Utilizzare strumenti in locale

Premetto che non ci sarebbe necessità (per una ricerca giuridica) di lavorare in locale posto che, raramente, si fanno ricerche giuridiche con all’interno dati riservati. Ciò detto non è mia intenzione utilizzare le funzioni a pagamento di Perplexity o altri strumenti anche perché, visto la richiesta di molte risorse, tali strumenti hanno sia dei costi elevati sia dei limiti di utilizzo.

Quindi, con spirito di ricerca, ho provato a fare la stessa ricerca utilizzando LLM locali e strumenti open-source come Open WebUI.

4.1 Ricerca web con Open WebUI e SearXNG

Fare ricerche online non è abitualmente possibile con gli LLM locali, questo perché ci sono svariati vincoli. La modalità più semplice con Open WebUI è utilizzare DuckDuckGO (motore di ricerca che uso quotidianamente per le mie ricerche online) ma che pone dei vincoli di utilizzo.

Ho scoperto invece il progetto open-source SearXNG e, con un po' di peripezie, sono riuscito ad installarlo e configurarlo per l’utilizzo in connubio con Open WebUI.

In questo articolo non andrò nel dettaglio sulla configurazione di Open WebUI per attingere alle ricerche di SearXNG, ma se c’è interesse posso approfondire in un futuro articolo / video.

Qui basti sapere che, grazie a SearXNG ho potuto dare la possibilità ai miei LLM locali di accedere ad una grossa quantità di informazioni online e, come ti mostrerò oltre, i risultati iniziali mi hanno stupito.

4.2 LLM locale, ricerca online e catena di pensiero

Qui mi interessa mostrarti i risultati del sistema.

Per avere un risultato paragonabile a quello di perplexity ho scelto di usare QWQ 32B Q4 di Alibaba. Mentre scrivo, è il miglior LLM con catena di pensiero che riesco a far girare sul mio MacStudio M1 Max con 32Gb di RAM.

Di QWQ ne ho parlato nella puntata 52 del mio podcast Compendium che uscirà il 7 Aprile 2025.

Anzitutto ti mostro la risposta al mio primo prompt che, oggettivamente, aveva qualche problema.

Ha ricercato 60 fonti e ha risposto usandone 7. La risposta inoltre, seppur non rapida, ha richiesto “solo” 3 minuti.

Il problema principale della risposta (con il senno di poi) è la mia domanda … ho scritto amministratore senza dargli una qualificazione specifica per cui l’LLM ha “interpretato” come amministratore di condominio e così facendo ha in parte “allucinato” la risposta.

Nel secondo tentativo sono stato più chiaro ed il risultato è stato migliore.

Qui, in particolare, mi sono fatto più “furbo” ed ho personalizzato il system prompt per ottenere una miglior risposta oltre che aumentato la finestra di contesto al massimo (10.000 tokens per il mio MacStudio) e ridotto la temperatura dell’LLM a 0,2 (la creatività dell’LLM nella risposta).

Se interessa questo è il system prompt che ho utilizzato:

Sei un assistente legale italiano nel settore civile. Rispondi in modo preciso, puntale e chiaro alle domande che ti vengono poste. Esamina la fattispecie (il caso) che ti viene proposta ed individua le norme di riferimento e la giurisprudenza attinente, argomentando la tua risposta in base a tali risultati. Cita sempre i riferimenti alla normativa o alle massime giurisprudenziali. Se non sai una risposta di: non ho le informazioni per risponderti.

Ti lascio, se sei curioso, anche l’intera conversazione con LLM, comprensiva della catena di pensiero (in inglese) che puoi scaricare da qui.

Piccola nota: seppur QWQ non parli bene l’italiano, è stato addestrato prevalentemente in lingua inglese e cinese, ho notato che, dandogli in pasto le ricerche web (in italiano), i risultati delle risposte risultano abbastanza coerenti anche in italiano.

5. Alcune considerazioni finali

Ovviamente il sistema, seppur promettente, non è perfetto. Sicuramente non è equiparabile alle funzioni di ricerca avanzata che sfrutta un sistema più complesso.

Inoltre i tempi per eseguire la ricerca sono piuttosto lungi: dai miei esperimenti con il MacStudio ci ho impiegato dai 5 ai 10 minuti per ottenere una risposta.

Se non c’è una risposta su internet il sistema di ricerca non funziona o, peggio ancora, rischia di allucinare.
Nell’ultimo periodo però c’è molto diritto online con articoli e giurisprudenza, non è una cosa super professionale ed è potenzialmente foriera di errori ma le “basi” ci sono.

Io lo trovo utile come spunto e per tagliare gli angoli velocemente ma è comunque richiesta una conoscenza adeguata della materia per valutare e/o confermare le risposte degli LLM. Nelle mani di un soggetto inesperto, tuttavia, è un sistema pericoloso che può creare false aspettative.

Personalmente trovo comodo il fatto di avere una prima ricerca grezza su cui, poi, io posso fare gli opportuni approfondimenti anche utilizzando banche dati specialistiche e non disponibili direttamente online.

Infine ti sottolineo l’importanza del prompt, ovvero di come formulare la domanda.
Se ora è possibile utilizzare questi strumenti ci sono ancora vincoli legati alla natura e alle limitazioni degli LLM. L’uso attento di un prompt chiaro e descrittivo agevola notevolmente la ricerca avanzata ed un prompt mal fatto condanna a risultati di scarsa qualità.

In conclusione

Pur essendo ancora un territorio pieno di potenziali incognite l’unione di ricerca online ed LLM con catena di pensiero sta portando a risultati interessanti nel mondo giuridico italiano.

Esistono soluzioni più blasonate (che accedano a specifici database con le sentenze) ma sono rimasto stupito di cosa si riesca a fare anche con LLM locali.

Come sempre, se ti è piaciuto quel che hai letto o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter. Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho ritenuto interessanti.