KI in der modernen Chemie: Vergleich zwischen Mensch und Maschine

Symbolbild
Computer-generated image
Eine aktuelle Studie von Forschenden der Friedrich-Schiller-Universität Jena untersucht, wie leistungsstark moderne KI-Modelle wie etwa GPT-4 in der Chemie sind und wie sie im Vergleich zu menschlichen Fachleuten abschneiden. Mithilfe eines neu entwickelten Prüfverfahrens namens „ChemBench“ konnte das Team um Dr. Kevin M. Jablonka zeigen, dass KI-Modelle in bestimmten Aufgabenfeldern überzeugen, jedoch auch deutliche Schwächen aufweisen. Das berichtet das Team im Fachjournal „Nature Chemistry“.
„Die Möglichkeiten künstlicher Intelligenz in der Chemie stoßen zunehmend auf Interesse – daher wollten wir herausfinden, wie gut diese Modelle wirklich sind“, erklärt Jablonka, Leiter der Carl-Zeiss-Stiftungs -Nachwuchsgruppe „Polymere in Energieanwendungen“ an der Friedrich-Schiller-Universität Jena und dem Helmholtz-Institut für Polymere in Energieanwendungen Jena. Im Zentrum der Untersuchung stand „ChemBench“, ein von den Forschenden entwickeltes Werkzeug, das mit den Fähigkeiten von Chemikerinnen und Chemikern verglichen wurde.
Um die Fähigkeiten der KI zu testen, entwickelte das Team der Universität Jena ein spezielles Prüfverfahren, das reale, in der modernen Chemie anfallende Aufgaben nutzt. Mehr als 2.700 Fragen aus verschiedenen Bereichen der Chemie – von organischer bis analytischer Chemie – wurden in das Werkzeug „ChemBench“ integriert. Sie decken sowohl Grundlagenwissen als auch anspruchsvolle Problemstellungen ab und orientieren sich an typischen Lehrplänen in der Chemie. Die Leistung der KI-Modelle wurde dabei mit der von 19 erfahrenen Fachleuten verglichen, die dieselben Aufgaben bearbeiteten.
Während die Menschen für einen Teil der Studie Hilfsmittel wie Google oder chemische Programme nutzen durften, mussten die KI-Modelle ohne solche externen Ressourcen auskommen. „Die Modelle konnten ihr Wissen also ausschließlich aus dem Training mit vorhandenen Daten ziehen“, erläutert Jablonka. „Wir haben zusätzlich auch zwei KI-Agenten mit Zugriff auf externe Tools getestet – diese konnten allerdings nicht mit den besten Modellen mithalten“, ergänzt der Chemiker. Neben der Richtigkeit der Antworten bewerteten die Forschenden auch, wie gut die KI ihre eigene Antwortsicherheit einschätzte.
Die Ergebnisse der Untersuchung zeigen ein gemischtes Bild, berichtet Jablonka: „Bei sogar sehr anspruchsvollen lehrbuchartigen Fragen zeigten sich einige KI-Modelle als leistungsstärker als Menschen.“ Während die Chemikerinnen und Chemiker in manchen Fällen jedoch offen zugaben, eine Frage nicht sicher beantworten zu können, zeigten die besten KI-Modelle eine gegensätzliche Tendenz: Sie gaben oft mit großer Selbstsicherheit Antworten – selbst, wenn diese inhaltlich falsch waren.
„Besonders auffällig war dies bei Fragen zur Interpretation chemischer Strukturen, etwa zur Vorhersage von NMR-Spektren“, stellt Jablonka fest. Hier schienen die Modelle klare Antworten zu liefern, auch wenn sie teilweise grundlegende Fehler machten. Die menschlichen Fachleute hingegen zögerten häufiger und hinterfragten ihre eigenen Schlussfolgerungen. „Diese Diskrepanz ist ein entscheidender Faktor für die praktische Anwendbarkeit von KI in der Chemie“, ordnet Jablonka ein, denn: „Ein Modell, das fehlerhafte Antworten mit hoher Überzeugung liefert, kann in sensiblen Bereichen der Forschung zu Problemen führen.“
„Unsere Forschung zeigt, dass KI eine wichtige Ergänzung für menschliche Expertise sein kann – nicht als Ersatz, sondern als wertvolles Werkzeug, das in der Arbeit unterstützt“, resümiert Kevin Jablonka. „Damit legt unsere Studie den Grundstein für eine engere Zusammenarbeit von KI und menschlicher Expertise in der Chemie.“
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, … Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; „A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists“; Nature Chemistry, 2025-5-20
Smarte Komprimierung von verrauschten Daten
Meistgelesene News
Originalveröffentlichung
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, … Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; „A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists“; Nature Chemistry, 2025-5-20
Themen
Organisationen
Forschungsteam gelingt bahnbrechendes Experiment am European XFEL
In Innenräumen verändern Körperpflegeprodukte das von der menschlichen Haut erzeugte Oxidationsfeld
Forschende decken mit maschinellem Lernen übersehene chemische Bindungen in Proteinen auf
Start-up kommerzialisiert die Vlieselektroden: „Mit unserer Technik haben wir die Chance, den Vorsprung der asiatischen Hersteller aufzuholen und besser zu sein“
Ergebnisse eröffnen neue Wege zur Untersuchung ultraschneller Prozesse in Materialien
Durchbruch mit Hilfe von Enzymen
Revolution durch flüssige Alkalimetall-Anode
Wissenschaft und Industrie erproben gemeinsam eine neue Technologie zur CO2-Abscheidung in der Zementindustrie
Überraschender Effekt entdeckt: Bei einem speziellen Material sind die Atome völlig chaotisch angeordnet, produzieren aber magnetische Ordnung
Labore im Wandel: Pilotprojekt zur Ressourcenschonung startet an der Justus-Liebig-Universität Gießen
Neue Impulse für den Osten Deutschlands und die chemische Industrie: Reallabore, Startup-Förderung und Forschung auf Spitzenniveau
Forschungsteam erbringt Nachweis einer bislang unbekannten Quelle für den Eintrag des umstrittenen Herbizids in Gewässer
Untersuchung eines vielversprechenden Materials zeigt im Detail, wie es CO2 einfängt
„…sie bergen ein erhebliches medizinisches Potenzial für die Entwicklung von Schmerzmitteln zur Schmerzbehandlung“
Forschende haben ein Wasserstoff-produzierendes Bakterienenzym entdeckt, dem Sauerstoff nichts anhaben kann
Chlorierte organische Stoffe können in der Atmosphäre in Dioxine umgewandelt werden
Studie klärt auf, wie der Meeresbewohner das Detergens herstellt
Neue Reaktivität ermöglicht Umsetzung von scheinbar „unreaktiven“ Molekülfragmenten
Forschenden gelingt Recycling von Funktionsmaterialien für die Wasserstoffproduktion
Neues Material für Festkörperbatterien
Mit dem Absenden des Formulars willigen Sie ein, dass Ihnen die LUMITOS AG den oder die oben ausgewählten Newsletter per E-Mail zusendet. Ihre Daten werden nicht an Dritte weitergegeben. Die Speicherung und Verarbeitung Ihrer Daten durch die LUMITOS AG erfolgt auf Basis unserer Datenschutzerklärung. LUMITOS darf Sie zum Zwecke der Werbung oder der Markt- und Meinungsforschung per E-Mail kontaktieren. Ihre Einwilligung können Sie jederzeit ohne Angabe von Gründen gegenüber der LUMITOS AG, Ernst-Augustin-Str. 2, 12489 Berlin oder per E-Mail unter widerruf@lumitos.com mit Wirkung für die Zukunft widerrufen. Zudem ist in jeder E-Mail ein Link zur Abbestellung des entsprechenden Newsletters enthalten.
Während herkömmliche Solarzellen problematische Abfälle erzeugen, versprechen Solarzellen auf reiner Kohlenstoffbasis eine umweltfreundliche Alternative
Forschungsteam erbringt Nachweis einer bislang unbekannten Quelle für den Eintrag des umstrittenen Herbizids in Gewässer
Konzentrationen wie an stark befahrener Straße verdeutlichen die Wichtigkeit von Lösungsvorschlägen
Revolution durch flüssige Alkalimetall-Anode
Studie klärt auf, wie der Meeresbewohner das Detergens herstellt
Start-up will zum Wegbereiter für Grünen Wasserstoff werdenChlorierte organische Stoffe können in der Atmosphäre in Dioxine umgewandelt werden
Neue Art von Molekülen könnte ein bahnbrechendes Material für Computerchips sein
„Fluor-Mauer“ überwunden: Erstmals Tunneleffekt bei schweren Atomen beobachtet
Start-up Porträt: Lactips – Natürliche Revolution gegen Mikroplastik in der Industrie
DePoly sichert sich 23 Mio. $ und startet Vorzeigeanlage mit einer Kapazität von 500 Tonnen pro Jahr
Bahnbrechende Antikörpertherapien zielen auf die Wurzeln von Entzündungen und versprechen einen Durchbruch für Millionen von PatientenVielversprechender Antibiotikumkandidat entdeckt
Neue Hoffnung: Zwei-Phasen-Impfschema mobilisiert Immunabwehr gegen Tumorzellen in nur zwei WochenNeue Mechanismen beim Zelleintritt von Influenzaviren aufgedeckt
Künstliche Zuckerersatzstoffe regen den Appetit im Gehirn an und beeinflussen die Entscheidungsfähigkeit
PL BioScience setzt neue Maßstäbe in der Zellkulturtechnologie
Massenspektrometrie weist Bakterien ohne aufwendige Isolierung und Vermehrung nach
Orientierungshilfe für Arzneimittel-Entwicklung
Machbarkeitsstudie: Wie aus Urin ein nachhaltiger Baustoff wirdNeuer lichtbetriebener DNA-Nachweis ermöglicht leichter zugängliche, erschwingliche genetische Analysen
Life Sciences & Healthcare Campus im Herzen Europas wird zum Rückgrat des globalen DHL Health Logistics NetzwerksHochaufgelöste Kartierung der Enzymaktivität in Gewebe
Schlafstörungen und Schlafmangel hinterlassen unterschiedliche Spuren im GehirnBauchspeicheldrüsenkrebszellen haben einen erhöhten Spiegel an Wasserstoffperoxid
Alzheimer-Forschung: Neue in-vitro-Laborstudie liefert wichtige Einblicke
Ein Meilenstein in der deutschen Getränke-Industrie
Früherkennung von Schlaganfällen und Herzinfarkten: EXIST-Forschungstransfer-Programm unterstützt die Entwicklung der Technologie zur Produktreife
Eine überraschende Studie könnte neue Ansätze für KI-Systeme aufzeigenErstmals Zusammenhang zwischen nachhaltigen Ernährungsweisen und Krebsrisiko untersucht
Start-up Porträt: Freundeskreis revolutioniert pflanzliche Ernährung mit „Cam-mmh-berta“ aus heimischen Rohstoffen