Em fevereiro de 2011, o computador Watson da IBM derrotou dois campeões humanos no programa de televisão Jeopardy! — e tornou-se instantaneamente o símbolo do poder da inteligência artificial. A IBM capitalizou o momento com uma das mais ambiciosas promessas da história tecnológica: Watson iria curar o cancro. Não ajudar os médicos. Curar.
In February 2011, IBM's Watson computer defeated two human champions on the television game show Jeopardy! — and instantly became the symbol of artificial intelligence's power. IBM capitalized on the moment with one of the most ambitious promises in technological history: Watson would cure cancer. Not help doctors. Cure.
En febrero de 2011, el ordenador Watson de IBM derrotó a dos campeones humanos en el programa de televisión Jeopardy! — y se convirtió instantáneamente en el símbolo del poder de la inteligencia artificial. IBM capitalizó el momento con una de las promesas más ambiciosas de la historia tecnológica: Watson curaría el cáncer. No ayudaría a los médicos. Curaría.
O problema: vencer no Jeopardy! exige recuperar factos de uma base de dados de texto estruturado com velocidade e precisão. Tratar cancro exige raciocínio probabilístico sobre dados clínicos incompletos, nuançados, contraditórios e dependentes de contexto que nenhum engenheiro de software conseguiu codificar. Watson era extraordinário na primeira tarefa. Era fundamentalmente inadequado para a segunda — e a IBM sabia-o.
The problem: winning at Jeopardy! requires retrieving facts from a structured text database with speed and accuracy. Treating cancer requires probabilistic reasoning over incomplete, nuanced, contradictory, and context-dependent clinical data that no software engineer was able to encode. Watson was extraordinary at the first task. It was fundamentally inadequate for the second — and IBM knew it.
El problema: ganar en Jeopardy! requiere recuperar hechos de una base de datos de texto estructurado con velocidad y precisión. Tratar el cáncer requiere razonamiento probabilístico sobre datos clínicos incompletos, matizados, contradictorios y dependientes del contexto que ningún ingeniero de software fue capaz de codificar. Watson era extraordinario en la primera tarea. Era fundamentalmente inadecuado para la segunda — e IBM lo sabía.
A IBM garantia publicamente que Watson for Oncology era treinado com dados reais de doentes — "milhares de casos históricos" do Memorial Sloan Kettering. Os documentos internos obtidos pelo STAT News contam outra história: o sistema foi treinado com um pequeno número de casos sintéticos, ou seja, doentes hipotéticos criados pelos próprios médicos e engenheiros. As recomendações reflectiam as preferências pessoais de tratamento dos especialistas que criaram os casos — não evidência clínica, não guidelines, não dados populacionais.
IBM publicly guaranteed that Watson for Oncology was trained on real patient data — "thousands of historical cases" from Memorial Sloan Kettering. The internal documents obtained by STAT News tell a different story: the system was trained on a small number of synthetic cases, i.e., hypothetical patients created by the doctors and engineers themselves. The recommendations reflected the personal treatment preferences of the specialists who created the cases — not clinical evidence, not guidelines, not population data.
IBM garantizaba públicamente que Watson for Oncology estaba entrenado con datos reales de pacientes — "miles de casos históricos" del Memorial Sloan Kettering. Los documentos internos obtenidos por STAT News cuentan otra historia: el sistema fue entrenado con un pequeño número de casos sintéticos, es decir, pacientes hipotéticos creados por los propios médicos e ingenieros. Las recomendaciones reflejaban las preferencias personales de tratamiento de los especialistas que crearon los casos — no evidencia clínica, no guías, no datos poblacionales.
"As recomendações são frequentemente imprecisas e levantam questões sérias sobre o processo de construção de conteúdo e a tecnologia subjacente."
"The recommendations are often inaccurate and raise serious questions about the process for building content and the underlying technology."
"Las recomendaciones son frecuentemente imprecisas y plantean serias preguntas sobre el proceso de construcción de contenido y la tecnología subyacente."
O exemplo mais chocante documentado pelo STAT: Watson recomendou que um homem de 65 anos com cancro do pulmão recém-diagnosticado e evidência de hemorragia grave recebesse quimioterapia combinada com bevacizumab — um medicamento que os oncologistas identificaram como contra-indicado exactamente nessa situação, por poder agravar a hemorragia. Watson recomendou o tratamento errado no caso clínico mais óbvio de contra-indicação.
The most shocking example documented by STAT: Watson recommended that a 65-year-old man with newly diagnosed lung cancer and evidence of severe bleeding receive combination chemotherapy with bevacizumab — a drug that oncologists identified as contraindicated in exactly that situation, as it could worsen the bleeding. Watson recommended the wrong treatment in the most obvious case of contraindication.
El ejemplo más impactante documentado por STAT: Watson recomendó que un hombre de 65 años con cáncer de pulmón recién diagnosticado y evidencia de hemorragia grave recibiera quimioterapia combinada con bevacizumab — un medicamento que los oncólogos identificaron como contraindicado exactamente en esa situación, ya que podría agravar la hemorragia. Watson recomendó el tratamiento incorrecto en el caso clínico más obvio de contraindicación.
Sistema treinado com dados sintéticos em vez de dados clínicos reais, violando as próprias garantias públicas da IBM. Recomendações baseadas em preferências de especialistas individuais em vez de evidência clínica. Incapacidade estrutural de raciocinar sobre dados clínicos incompletos e dependentes de contexto. Marketing que prometia capacidades que a tecnologia não possuía. Venda contínua após conhecimento interno de recomendações inseguras.
System trained on synthetic data instead of real clinical data, violating IBM's own public guarantees. Recommendations based on individual specialist preferences instead of clinical evidence. Structural inability to reason about incomplete, context-dependent clinical data. Marketing promising capabilities the technology did not possess. Continued sales after internal knowledge of unsafe recommendations.
Sistema entrenado con datos sintéticos en lugar de datos clínicos reales, violando las propias garantías públicas de IBM. Recomendaciones basadas en preferencias de especialistas individuales en lugar de evidencia clínica. Incapacidad estructural para razonar sobre datos clínicos incompletos y dependientes del contexto. Marketing que prometía capacidades que la tecnología no poseía. Ventas continuas tras el conocimiento interno de recomendaciones inseguras.