Watson, die AI von IBM, hat in der Krebstherapie völlig versagt

Liebe Steemianer,
nachdem ich kürzlich über die AIs AlphaZero bzw. AlphaGo von Google-Tochter Deepmind geschrieben hatte und deren unglaublichen Erfolg im Schach bzw. Go, geht es diesmal um eine andere AI, nämlich Watson von IBM.

Quelle

Watson

2006 als IBM Forschungsprojekt gestartet primär um eine AI mit Sprachinterface zu entwickeln (also um Antworten auf Fragen zu geben, die in digitaler Form in natürlicher Sprache eingegeben werden) und als semantische Suchmaschine, konnte es bereits 2011 in einer Jeopardy-Quizshow die besten menschlichen Kandidaten besiegen (zum Beispiel hier).
Seither wurde es in Anwendungen verschiedener Branchen eingesetzt, z.B. hatte die japanische Versicherungsgesellschaft Fukoku Mutual Life Insurance 34 Mitarbeiter durch Watson ersetzt. Für den Trailer zum Mystery-Horror-SF Film „Das Morgan Projekt“ analysierte Watson 100 Trailer von Horrorfilmen und suchte dann 10 Filmsequenzen für den Trailer aus. Als Watson Analytics wird die AI für Endkunden angeboten für „data discovery and predictive analysis“ im Geschäftsbereich.

Quelle

Watson als Onkologe

Seit Anfang 2017 soll Watson Ärzten bei der Behandlung von Krebspatienten helfen, zumindest wurde es so von IBM beworben.

Die AI sollte Genanalysen, Scans und Anamnesen von Patienten in kürzester Zeit mit Millionen Patientenakten abgleichen, Muster erkennen und mit deren Hilfe den idealen, personalisierten Behandlungsplan erstellen – Präzisionsmedizin lautete das Schlagwort. Etwas, das bislang ein gesamtes Team an Experten benötigt, hätte Watson schneller und alleine erledigen sollen.
Bereits 2012 hatte IBM mit dem Memorial Sloan Kettering (MSK) Krebszentrum in New York zusammengearbeitet, um die AI zu „trainieren“ wie ein echter Arzt zu denken. Dabei wurde Watson allerdings nur mit Daten von hypothetischen Patienten gefüttert, nicht mit denen von echten Patienten. Es wurde daher bemängelt, dass dadurch Watson de facto nur die Behandlungspräferenzen der MSK-Ärzte trainiert bekam statt dass eine AI-Analyse echter Patientendaten, -diagnosen und Behandlungsergebnissen vorgenommen wurde (wie bei Googles deep learning CNN, siehe unten).
Ganz anders als bei AlphaZero, das kein menschliches Fachwissen eingespeist bekommen hatte und gerade dessen Stärke das Selbstlernen mit neuronalen Netzwerken war, scheint Watson eine herkömmliche "Wissensanhäufungsmaschine" zu sein.
War das Projekt von Anfang an ein Marketingschwindel von IBM, das unter extremen Druck stand, Erfolge aufzuweisen?

Die Applikation wurde Oncology Expert Advisor (OEA) genannt und lief am Krebszentrum MD Anderson in Texas (einem Erzrivalen des MSK, der sich das Projekt von dort sozusagen weggeschnappt hatte), wurde dort weiterentwickelt und lieferte zunächst auch optimistisch stimmende erste Ergebnisse. Laut Tests stimmten die personalisierten Vorschläge mit 90% der Expertenmeinungen überein und erste Anwender klangen begeistert. Ein Arzt wurde zitiert mit den Worten:

“I was surprised, even if you work all night, it would be impossible to be able to put this much information together like that.“

Unstimmigkeiten und Fehler

Doch ein internes IBM-Papier, vom Magazin Stat veröffentlicht gibt an, dass Watson wiederholt unsichere und unkorrekte Behandlungsvorschläge gemacht hatte. Eine MSK-Sprecherin verteidigte das Projekt - Krebs ist eine ausgesprochen komplexe Krankheit und jeder Patient hat letztlich seinen eigenen, individuellen Krebs, sodass Fehlschläge bei einer „jungen“ AI zu erwarten waren. Es seien auch insgesamt 11 software upgrades durchgeführt und neue Behandlungsrichtlinien eingebaut worden.
Doch ein Beispiel wurde zitiert von einem 65-jährigen Mann mit Lungenkrebs, der zusätzlich schwere Blutungen hatte. Watson hatte diesem Patienten unter anderem Bevacizumab („Avastin“) verschrieben – eine Substanz, die als Nebenwirkung schwerste Blutungen verursachen kann und daher bei diesem Patienten nie hätte verschrieben werden dürfen. Es ist unklar, ob die Empfehlung nur ein Test war, oder tatsächlich für einen echten Patienten vorgesehen war.

Da auch die Kosten ausuferten (insg. über 62Mio$!) und die Vergabe des Projekts etliche Unstimmigkeiten aufwies (50Mio$ der Kosten trug ein dubioser malaysischer Finanzier, dessen Aktivitäten derzeit vom US-Justizministerium durchleuchtet werden), wurde von der Universität Texas ein Audit durchgeführt (nachzulesen hier), aus dem hervorging, dass Watson teilweise inkompatible Datenquellen benutzte und dass die ersten Tests irreführend positiv waren, da nur bestimmte, wenig maligne Krebsarten ausprobiert wurden, bei denen ein Erfolg wahrscheinlich war. Zum Beispiel zielte eine frühe OEA-Version nur auf die Behandlung von Patienten mit Niedrig-Risiko Myelodysplastischem Syndrom. Auch seien die Ziele mehrfach geändert worden.

Auch den Journalisten wurde vorgeworfen, die ersten Berichte über Watson in der Onkologie zu euphorisch dargestellt zu haben und Marketingaussagen von IBM ungefiltert übernommen zu haben. Dieser „overhype“ ist sicher auch von dem Wunsch genährt, in Form einer Künstlichen Intelligenz eine neue Waffe gegen Krebs gefunden zu haben.

Kürzliche Meinungen zeugen dagegen von Ernücherung: "Das Produkt ist ein Stück Scheiße" („a piece of shit“), so das vernichtende Urteil eines Arztes.
Das MD Anderson Krebszentrum beendete schließlich die Anwendung von Watson an ihren Standorten und holt derzeit Anbote von andern Firmen ein, um die IBM-Software zu ersetzen.
IBM steht nach wie vor zu Watsons OEA.

The OEA R&D project was a success, and likely could have been deployed had MD Anderson chosen to take it forward.

Jedoch wurde im Juni 2018 bekannt, dass IBM eine Reihe von Mitarbeitern im AI-Bereich gefeuert hatte, unter anderen welche von Phytel, Explorys und Truven, alles Firmen, die IBM kürzlich gekauft hatte wegen ihrer Datenbanken und data mining Expertise. Die Entwicklungskosten von Watson belaufen sich mittlerweile auf 15 Mrd. $ und Analysten geben IBM keine Chance, jemals profitabel zu werden Quelle.
Das MSK benutzt weiterhin eine andere, weiterentwickelte Form von Watson.

Dass AIs durchaus erfolgreich in der Medizin sein können, hat ein anderes Projekt von Google gezeigt: das Inception v4 deep learning convolutional neural network (CNN), das mit über 100.000 dermoskopischen Bildern und den entsprechenden Diagnosen gefüttert wurde und in einer Studie Hautkrebs besser diagnostiziert hatte als die Mehrheit von 58 Dermatologen. Im Schnitt erkannten die Ärzte anhand von Fotografien 86,6% der Hautkrebsfälle, das CNN 95 %. Ausserdem hat die AI der Studie zufolge weniger häufig gutartige Leberflecke als Krebs identifiziert, was zu weniger unnötigen Operationen führen könnte.

mehr Infos:
https://www.betterbuys.com/bi/ibm-watson-for-cancer-treatment/
https://www.extremetech.com/extreme/274453-ibm-watson-recommends-unsafe-cancer-treatments
https://www.forbes.com/sites/matthewherper/2017/02/19/md-anderson-benches-ibm-watson-in-setback-for-artificial-intelligence-in-medicine/
https://derstandard.at/2000080610867/Kuenstliche-Intelligenz-bei-Hautkrebsdiagnose-sensibler-als-Aerzte

Watson:
https://de.wikipedia.org/wiki/Watson_(K%C3%BCnstliche_Intelligenz)
https://www.slideshare.net/rakutentech/ibm-watson-questionanswering-system-and-cognitive-computing