O algoritmo que julga
antes do crime
The algorithm that judges
before the crime
El algoritmo que juzga
antes del crimen
Philip K. Dick imaginou em 1956 um sistema que prendia pessoas antes de cometerem crimes. O COMPAS, usado em 46 estados americanos, calcula a probabilidade de reincidência de réus. Em 2016, a ProPublica revelou que o algoritmo classifica negros como alto risco quase duas vezes mais do que brancos com perfis equivalentes. Philip K. Dick imagined in 1956 a system that arrested people before they committed crimes. COMPAS, used in 46 American states, calculates defendants' recidivism probability. In 2016, ProPublica revealed that the algorithm classifies Black defendants as high risk almost twice as often as white defendants with equivalent profiles. Philip K. Dick imaginó en 1956 un sistema que arrestaba personas antes de que cometieran crímenes. COMPAS, usado en 46 estados americanos, calcula la probabilidad de reincidencia de los acusados. En 2016, ProPublica reveló que el algoritmo clasifica a los negros como alto riesgo casi dos veces más que a los blancos con perfiles equivalentes.
Em "The Minority Report", Philip K. Dick imaginou o Departamento Pré-Crime — um sistema que prende pessoas antes de cometerem crimes, baseado nas previsões de três "Precogs" (precognitivos). O chefe do departamento, John Anderton, descobre que o próprio sistema o aponta como futuro assassino.
In "The Minority Report," Philip K. Dick imagined the Pre-Crime Department — a system that arrests people before they commit crimes, based on the predictions of three "Precogs" (precognitives). The department chief, John Anderton, discovers that the system itself points to him as a future murderer.
En "The Minority Report", Philip K. Dick imaginó el Departamento Pre-Crimen — un sistema que arresta a personas antes de que cometan crímenes, basado en las predicciones de tres "Precogs" (precognitivos). El jefe del departamento, John Anderton, descubre que el propio sistema lo señala como futuro asesino.
A crítica de Dick não era ao crime preditivo em si — era à impossibilidade de um sistema de probabilidade ser justo. O "minority report" do título é o relatório dissidente: quando um dos Precogs discorda da maioria, esse relatório é suprimido. Dick perguntava: e se o dissidente estiver certo? E se a minoria tiver razão?
Dick's critique was not of predictive policing itself — it was of the impossibility of a probability system being fair. The "minority report" of the title is the dissenting report: when one of the Precogs disagrees with the majority, that report is suppressed. Dick asked: what if the dissenter is right? What if the minority is correct?
La crítica de Dick no era al crimen predictivo en sí — era a la imposibilidad de que un sistema de probabilidades sea justo. El "minority report" del título es el informe disidente: cuando uno de los Precogs discrepa de la mayoría, ese informe es suprimido. Dick preguntaba: ¿y si el disidente tiene razón? ¿Y si la minoría está en lo correcto?
Sessenta anos depois, o COMPAS não usa Precogs — usa 137 variáveis sobre o réu, incluindo histórico criminal, dados socioeconômicos e respostas a questionários. Não prende antes do crime. Mas influencia diretamente fiança, sentença e liberdade condicional. O "minority report" suprimido são os casos individuais que contradizem o score.
Sixty years later, COMPAS does not use Precogs — it uses 137 variables about the defendant, including criminal history, socioeconomic data, and questionnaire responses. It does not arrest before the crime. But it directly influences bail, sentencing, and parole. The suppressed "minority report" is the individual cases that contradict the score.
Sesenta años después, COMPAS no usa Precogs — usa 137 variables sobre el acusado, incluido el historial criminal, datos socioeconómicos y respuestas a cuestionarios. No arresta antes del crimen. Pero influye directamente en la fianza, la sentencia y la libertad condicional. El "minority report" suprimido son los casos individuales que contradicen el puntaje.
O COMPAS funciona assim: o réu responde a um questionário com dezenas de perguntas — sobre histórico criminal próprio e de família, estabilidade residencial, relações sociais, perspectivas de emprego e atitudes em relação à lei. O sistema combina essas respostas com dados de registros criminais e produz três scores: risco geral de reincidência, risco de violência e risco de não comparecimento ao tribunal. Scores de 1 a 10.
COMPAS works like this: the defendant answers a questionnaire with dozens of questions — about their own and family criminal history, residential stability, social relationships, employment prospects, and attitudes toward the law. The system combines these responses with criminal record data and produces three scores: general recidivism risk, violence risk, and failure-to-appear risk. Scores from 1 to 10.
COMPAS funciona así: el acusado responde un cuestionario con decenas de preguntas — sobre el historial criminal propio y familiar, estabilidad residencial, relaciones sociales, perspectivas de empleo y actitudes hacia la ley. El sistema combina estas respuestas con datos de registros criminales y produce tres puntajes: riesgo general de reincidencia, riesgo de violencia y riesgo de no presentarse al tribunal. Puntajes del 1 al 10.
Juízes e oficiais de liberdade condicional usam esses scores em decisões que afetam diretamente se uma pessoa fica presa ou é solta enquanto espera julgamento, qual a extensão da sua sentença e se será elegível para liberdade condicional antecipada. O score do COMPAS não substitui o juiz — mas influencia profundamente a decisão. E é opaco: a empresa não divulga o algoritmo completo.
Judges and parole officers use these scores in decisions that directly affect whether a person stays detained or is released while awaiting trial, how long their sentence is, and whether they will be eligible for early parole. The COMPAS score does not replace the judge — but it deeply influences the decision. And it is opaque: the company does not disclose the full algorithm.
Los jueces y oficiales de libertad condicional usan estos puntajes en decisiones que afectan directamente si una persona permanece detenida o es liberada mientras espera el juicio, la extensión de su condena y si será elegible para libertad condicional anticipada. El puntaje de COMPAS no reemplaza al juez — pero influye profundamente en la decisión. Y es opaco: la empresa no divulga el algoritmo completo.
A resposta matemática ao debate ProPublica vs. Northpointe veio rápido. Em 2016, Kleinberg, Mullainathan e Raghavan, e independentemente Chouldechova (2017), demonstraram que múltiplas definições de fairness não podem ser satisfeitas simultaneamente — exceto em casos muito especiais onde as taxas de crime são idênticas entre grupos.
The mathematical response to the ProPublica vs. Northpointe debate came quickly. In 2016, Kleinberg, Mullainathan and Raghavan, and independently Chouldechova (2017), demonstrated that multiple definitions of fairness cannot be satisfied simultaneously — except in very special cases where crime rates are identical across groups.
La respuesta matemática al debate ProPublica vs. Northpointe llegó rápido. En 2016, Kleinberg, Mullainathan y Raghavan, y de forma independiente Chouldechova (2017), demostraron que múltiples definiciones de fairness no pueden satisfacerse simultáneamente — excepto en casos muy especiales donde las tasas de crimen son idénticas entre grupos.
Em 2018, Dressel e Farid mostraram algo ainda mais perturbador: o COMPAS não é mais preciso do que pessoas comuns sem treinamento jurídico respondendo a uma descrição do caso. Acurácia: ~65% para COMPAS, ~63% para humanos aleatórios. Um algoritmo caro, opaco e com viés racial documentado que não supera a intuição humana.
In 2018, Dressel and Farid showed something even more disturbing: COMPAS is no more accurate than ordinary people without legal training responding to a case description. Accuracy: ~65% for COMPAS, ~63% for random humans. An expensive, opaque algorithm with documented racial bias that does not outperform human intuition.
En 2018, Dressel y Farid mostraron algo aún más perturbador: COMPAS no es más preciso que personas comunes sin formación jurídica respondiendo a una descripción del caso. Precisión: ~65% para COMPAS, ~63% para humanos aleatorios. Un algoritmo caro, opaco y con sesgo racial documentado que no supera la intuición humana.
Dick escreveu o "minority report" como um documento suprimido — a previsão dissidente que não convinha ao sistema. No COMPAS real, o "minority report" é cada indivíduo que contradiz seu score: o réu negro classificado como alto risco que nunca reincidiu; o réu branco classificado como baixo risco que cometeu novo crime em seis meses.
Dick wrote the "minority report" as a suppressed document — the dissenting prediction that was inconvenient to the system. In the real COMPAS, the "minority report" is every individual who contradicts their score: the Black defendant classified as high risk who never reoffended; the white defendant classified as low risk who committed a new crime within six months.
Dick escribió el "minority report" como un documento suprimido — la predicción disidente que no convenía al sistema. En el COMPAS real, el "minority report" es cada individuo que contradice su puntaje: el acusado negro clasificado como alto riesgo que nunca reincidió; el acusado blanco clasificado como bajo riesgo que cometió un nuevo crimen en seis meses.
O problema central é que o COMPAS é treinado com dados históricos do sistema de justiça americano — um sistema com décadas de viés racial documentado. Se negros foram historicamente mais presos, processados e condenados que brancos por crimes equivalentes, então os dados refletem esse viés. O algoritmo aprende o passado e o chama de previsão do futuro.
The central problem is that COMPAS is trained on historical data from the American justice system — a system with decades of documented racial bias. If Black people were historically more arrested, prosecuted, and convicted than white people for equivalent crimes, then the data reflects that bias. The algorithm learns the past and calls it a prediction of the future.
El problema central es que COMPAS se entrena con datos históricos del sistema de justicia americano — un sistema con décadas de sesgo racial documentado. Si los negros fueron históricamente más arrestados, procesados y condenados que los blancos por crímenes equivalentes, entonces los datos reflejan ese sesgo. El algoritmo aprende el pasado y lo llama predicción del futuro.
Dick colocou esse problema em 1956 numa pergunta simples: e se o sistema estiver errado sobre você? Sessenta anos depois, 45% dos réus negros classificados erroneamente como alto risco pelo COMPAS poderiam fazer a mesma pergunta.
Dick posed this problem in 1956 in a simple question: what if the system is wrong about you? Sixty years later, 45% of Black defendants wrongly classified as high risk by COMPAS could ask the same question.
Dick planteó este problema en 1956 con una pregunta simple: ¿y si el sistema está equivocado sobre ti? Sesenta años después, el 45% de los acusados negros clasificados erróneamente como alto riesgo por COMPAS podría hacer la misma pregunta.