Data-Challenges: Mehr als ein Wettbewerb
Data-Challenges können dazu beitragen, die Entwicklung neuer Algorithmen durch eine bessere Vergleichbarkeit der Daten effektiver zu machen. Lena Meier-Hein vom DKFZ sprach auf dem diesjährigen Big-DATA.AI Summit über Erkenntnisse aus Challenges zur biomedizinischen Bildanalyse.
KI ist überall – in allen Bereichen, von der Medizin über die Finanzwirtschaft bis zum Umweltschutz, birgt der Einsatz von künstlicher Intelligenz innovative Lösungen und wirft viele Fragen auf. Vom 21. bis 22. April 2021 hat sich der „Big-DATA.AI Summit“ des Digitalverbands Bitkom mit realen industriellen Anwendungsfällen sowie ethischen und gesellschaftlichen Herausforderungen der Mensch-Maschine-Interaktion beschäftigt.
Unter den mehr als 120 internationalen Referentinnen und Referenten, war auch die Helmholtz-Wissenschaftlerin Prof. Dr. Lena Meier-Hein vom Deutschen Krebsforschungszentrum (DKFZ). Dort ist sie Leiterin des Department Computer Assisted Medical Interventions und beschäftigt sich mit biomedizinischer Bildanalyse – insbesondere die chirurgische Datenwissenschaft, die computergestützte Biophotonik und die Validierung von maschinellen Lernalgorithmen gehören zu ihren Forschungsschwerpunkten. Ihrem Vortrag “Comparative validation of AI algorithms: common pitfalls and new concepts” lauschten mehr als 200 Kongressteilnehmer; darin widmete sie sich biomedizinischen Challenges und deren Beitrag zu einer effektiven und auf Vergleichbarkeit beruhenden Algorithmen-Entwicklung.
Jedes Jahr werden hunderte von neuen Algorithmen im Bereich der biomedizinischen Bildanalyse veröffentlicht. Lange jedoch basierte die Validierung und Evaluierung neuer Methoden auf den persönlichen Datensätzen der Autorinnen und Autoren, was einen fairen und direkten Vergleich der Lösungen unmöglich machte. Die gängige Forschungspraxis hat sich mittlerweile geändert – unter anderem hat etwa das Veranstalten internationaler Challenges einen Vergleich von Algorithmen auf öffentlich freigegebenen Datensätzen ermöglicht. Nach mehr als 15 Jahren biomedizinischer Challenges wurde es an der Zeit, die gängige Praxis in Bezug auf das Design und die Organisation von biomedizinischen Bildanalyse-Challenges einmal genau zu analysieren.
Meier-Heins Vortrag bietet neue Erkenntnisse zu verschiedenen Themen rund um biomedizinische Bildanalyse-Challenges, von der Wahl der Metriken und Ranking-Schemata bis hin zu den Fallstricken, die bei der Organisation oder Teilnahme an einer Challenge auftreten können.
Den Vortrag können Sie hier noch einmal sehen.
