Riesgos del uso de algoritmos predictivos en la justicia penal

Abstract

Il presente contributo esamina in chiave critica l’impiego di algoritmi predittivi e dell’intelligenza artificiale (IA) nell’ambito delle decisioni di giustizia penale. Se, da un lato, tali strumenti possono accrescere l’efficienza e la coerenza applicativa, dall’altro la loro introduzione nel sistema giudiziario – in particolare nel campo della “predictive justice” – comporta rischi significativi per i diritti fondamentali. Le principali preoccupazioni riguardano l’opacità e la complessità dei sistemi algoritmici, la mancanza di obiettività e neutralità nei dati di “input” e la prevalenza di pregiudizi algoritmici che possono portare a risultati discriminatori. Il contributo, dunque, intende evidenziare le sfide che tali strumenti comportano per il principio al giusto processo, comprese le violazioni del diritto ad una difesa equa, della presunzione di innocenza e della possibilità di appellarsi alle decisioni. Viene, inoltre, evidenziata l’incompatibilità di strumenti di IA opachi con i principi costituzionali di indipendenza del giudice, trasparenza dell’azione giurisdizionale e obbligo di motivazione delle decisioni. In questo contesto, assumono rilievo le più recenti disposizioni normative: si pensi, da un lato, all’AI Act dell’Unione europea (2024) e, dall’altro, alla Risoluzione n. 615/2025 del Brasile, le quali – qualificando come rischio inaccettabile la valutazione o previsione del rischio criminale individuale – ne sanciscono espressamente il divieto, riconoscendo l’elevata pericolosità di tali pratiche per i diritti fondamentali. Lo studio sostiene, pertanto, la necessità di adottare sistemi di IA spiegabili, trasparenti e responsabili, concepiti per supportare, e non per sostituire, l’attività decisionale del giudice. In conclusione, pur potendo l’IA rappresentare un ausilio al lavoro giurisdizionale, le decisioni algoritmiche non possono in alcun caso surrogare il ragionamento giuridico umano e devono restare sottoposte a rigoroso controllo. Tutti gli strumenti algoritmici utilizzati in ambito penale devono, in ultima analisi, essere trasparenti, spiegabili e assoggettati a vigilanza giurisdizionale, al fine di mitigare i rischi sopra evidenziati.

This article critically examines the use of predictive algorithms and artificial intelligence (AI) in criminal justice decision-making. While AI can improve efficiency and consistency, its application in the judiciary – particularly in predictive justice – poses significant risks to fundamental rights. Key concerns include the opacity and complexity of algorithmic systems, the lack of objectivity and neutrality in input data, and the prevalence of algorithmic bias that can lead to discriminatory outcomes. This article highlights the challenges to due process, including violations of the right to a fair defense, the presumption of innocence, and the ability to appeal decisions. It also underscores the incompatibility of opaque AI tools with constitutional principles such as judicial independence, transparency, and the duty to provide reasoned decisions. It highlights recent regulations, such as the EU AI Act (2024) and Brazil’s Resolution No. 615 (2025), expressly prohibits, due to its unacceptable high level of risk, among other practices, the evaluation or prediction of individual criminal risk, considering that it is a high-risk system for fundamental rights. The study advocates for explainable, transparent, and accountable AI systems to support – but not replace – judicial decision-making and, finally, conclude that while AI may support judicial work, algorithmic decisions cannot replace human judicial reasoning and must remain subject to strict oversight and all algorithmic tools used in criminal justice must be transparent, explainable, and subject to judicial oversight to mitigate these risks.