Software Testing & Qualität - Testautomatisierung, KI & Agilität Archiv
220 Episoden
20 Minuten
DAST landet bei Daniel Schmuck auf dem Tisch, weil die DORA-Verordnung Banken und Versicherungen zu Sicherheitstests verpflichtet. Mit ihm spreche ich darüber, wie ZAP als Proxy zwischen Regressionstest und Anwendung sitzt: Erst lernt es aus Playwright- oder Selenium-Läufen den normalen Verkehr kennen, dann fährt es selbst Angriffe wie SQL-Injection und Cross-Site-Scripting. Wir reden über Jenkins-Pipelines, Prüfregeln als Plug-ins mit Updates alle zwei Wochen und darüber, was der erste Report gezeigt hat. Am Ende geht es um die Frage, wie Meldungen aus Pentest, DAST und Infrastrukturscan zusammenkommen, ohne dass Entwickler dieselbe Ursache dreimal gemeldet bekommen.
24 Minuten
Ein Lasttest ohne Frage dahinter ist verschwendete Lebenszeit, sagt Stephan Schwarz, und genau darüber spreche ich mit ihm: Lasttests in Kubernetes-Umgebungen, die eine Risikofrage beantworten und eine Entscheidung vorbereiten. Stephan erklärt, warum Dev, Ops und QA dafür an einen Tisch müssen: Kein Team allein weiß, wie sich die Software unter Last verhält. Wir reden über Laborsetups, in denen Autoscaling und Load Balancing erst mal zurückgefahren werden, über Lastgeneratoren wie k6 oder Locust und über seinen ersten Test 2018, bei dem der limitierende Faktor sein eigenes Notebook war. Und darüber, dass jedes System ein Bottleneck hat, auch wenn es noch keiner gefunden hat.
20 Minuten
Ob ein Kernel auf jeder CPU-Generation läuft, zeigt erst die echte Hardware. Genau dafür hat Markus Napierkowski mit seinem Team ein Hardware-in-the-Loop-Framework gebaut, das seit zwei Monaten Open Source auf GitHub liegt, und darüber spreche ich mit ihm auf der TACON in Leipzig. Entwickler und CI reservieren sich dieselben Testmaschinen über eine REST API, sauber initialisiert, als stünden sie neben dem Schreibtisch. An jeder Maschine hängt ein Raspberry Pi für USB, HDMI und serielle Konsole, eine neue Hardware ist auf der Softwareseite fünf Zeilen Code im Nix-Repository. Mich hat vor allem gefreut, dass hier jemand ein über Jahre gewachsenes Werkzeug zurück an die Community gibt.
19 Minuten
Was taugen Tests, die 100 Prozent Coverage liefern, aber keine einzige Assertion enthalten? Mit Julius Mischok spreche ich über Mutation Testing: Ein Tool baut absichtlich Fehler in den Produktionscode ein, dreht Bedingungen um oder setzt Rückgabewerte auf Standardwerte und prüft dann, ob die Tests anschlagen. Bleiben sie grün, hat die Mutation überlebt und der Test ist wenig wert. Julius erklärt, warum diese alte Idee gerade jetzt zurückkommt, wo Agenten massenhaft Tests schreiben, die kaum jemand wirklich in der Tiefe liest.
41 Minuten
Wer schreibt noch selbst Code, wenn Agenten das in Minuten erledigen? Mit Benedikt Stemmildt spreche ich darüber, wie Qualität entsteht, wenn nicht mehr Menschen, sondern Agenten die Hauptarbeit am Code übernehmen. Wir reden darüber, warum der entscheidende Unterschied nicht im Modell liegt, sondern darin, ob man am System arbeitet oder im System: Hooks, Regeln, Skills und automatische Architektur-Reviews als Feedbackschleifen, die den Agenten genau so anlernen, wie man einen neuen Kollegen einarbeitet. Benedikt zeigt, wie er Testpyramide, Contract-Tests, Performance-Budgets und Accessibility-Prüfungen direkt in diesen Prozess einbaut, und warum er Codex den Code von Claude reviewen lässt.
35 Minuten
Mehr Code, mehr Fehler: Mit Benjamin Hummel spreche ich darüber, was passiert, wenn KI-Agenten Code produzieren schneller als Teams ihn prüfen können. Wir reden über die Illusion, dass Qualitätssicherung ein Bottleneck ist, den man einfach wegoptimiert, und was das für Systeme bedeutet, die in der echten Welt laufen.
27 Minuten
Wer steckt eigentlich hinter den Testing Boards, wenn die Tester gerade nicht hinschauen? Mit Andrea Kränzlein spreche ich darüber, was es bedeutet, als Backoffice die drei deutschsprachigen ISTQB-Vertretungen am Laufen zu halten, und zwar seit mittlerweile 20 Jahren beim German Testing Board, plus jeweils über einem Jahrzehnt für das Austrian und das Swiss Testing Board. Andrea ist keine Testerin, und gerade das macht ihren Blick auf unsere Community sointeressant. Sie erzählt, wie sie ihr erstes Meeting mit lauter schweigenden Laptopnutzern erlebt hat, was eine Kuhdose mit Timeboxing zu tun hat und wie sich Deutsche, Österreicher und Schweizer in ihrer Boardarbeit liebevoll karikiert unterscheiden. Vielleicht hast Du dann ja Lust, selbst in den Boards mitzuarbeiten :-)
26 Minuten
Hartnäckige Qualitätsprobleme, an denen Unternehmen seit Jahren kauen, löst man nicht mit einem 15-seitigen Assessment-Dokument. Mit Pia Wiedermayer und Roman Kirchmeier spreche ich über das Format "Quality Sprint": ein kompakter Workshop-Tag, bei dem alle Betroffenen an einem Tisch sitzen, in strukturierten Interviews zuhören, was die anderen wirklich beschäftigt, und am Ende konkrete Schritte definieren, die tatsächlich im eigenen Wirkungsbereich liegen. Was mich dabei besonders beschäftigt: die Interviews finden bewusst in der großen Runde statt, denn oft genug merken alle erst dabei, dass sie eigentlich über dasselbe Problem reden. Wie der Transfer danach klappt und warum das Follow-up mindestens so wichtig ist wie der Workshop-Tag selbst, erzählen Pia und Roman aus ihrer gemeinsamen Erfahrung mit den Quality Elevators.
20 Minuten
Kann man mit 100% Branch Coverage wirklich sicherstellen, dass Code fehlerfrei ist? Mit Roger Butenuth spreche ich darüber, was passiert, wenn man dieses Ziel konsequent verfolgt, und zwar nicht als theoretische Übung, sondern an einem echten, selbst geschriebenen Interpreter für eine Lisp-ähnliche Sprache. Roger erzählt, welche peinlichen Fehler er dabei entdeckt hat, darunter eine handfeste Sicherheitslücke an einer Stelle, die er für zu trivial hielt, um dort einen Bug zu vermuten. Und trotzdem blieb am Ende noch ein Bug übrig, der erst beim Advent of Code auftauchte.
22 Minuten
Wer automatisiert testet, baut auf Determinismus, auf Konsistenz, auf klare Erwartungen. Mit Anupam Krishnamurthy spreche ich darüber, warum genau das bei LLMs nicht funktioniert und was wir stattdessen brauchen. Wir gehen der Frage nach, wie man einen Chatbot testet, der nie zweimal die gleiche Antwort gibt, warum ein LLM ein anderes LLM beurteilen kann und wo das an seine Grenzen stößt. Anupam erklärt, wie RAG-Systeme sich in Retrieval und Generation zerlegen lassen, und warum die meisten Fehler im Retrieval stecken.
19 Minuten
Was können wir von Bakterien und Motten lernen, um besser mit Unsicherheit umzugehen? Mit Anna Melbinger spreche ich darüber, wie Strategien aus der Natur auf Softwareprojekte und Projektmanagement übertragbar sind. Anna bringt einen ungewöhnlichen Hintergrund mit: Jahre in der Wissenschaft, Physik studiert, biologische Fragestellungen mit Mathematik bearbeitet, und heute im IT-Projektgeschäft. Wir reden darüber, warum Stillstand keine Robustheit erzeugt, warum Bug-Trends oft aussagekräftiger sind als einzelne Bugs, und wann es sich lohnt, bewusst einen Schritt zu tun, der nicht direkt zum Ziel führt, nur um Wissen zu gewinnen. Am Ende landet das Gespräch bei Karl Popper und der Frage, ob das aktive Suchen nach Widerlegung eigentlich die ehrlichste Methode ist, mit komplexen Entscheidungen umzugehen.
32 Minuten
Wer programmieren lernt, ohne je einen Lötstift in der Hand gehabt zu haben, wer Code generiert, ohne zu verstehen, in welchem Umfeld er läuft, und wer darauf vertraut, dass Vibecoding schon irgendwie funktioniert: Genau das diskutiere ich mit Marc Bless und Thomas Ronzon. Wir reden darüber, was es heute wirklich braucht, um Systeme zu durchdringen, warum das T-Shape-Modell nicht mehr reicht und was passiert, wenn die Mittelschicht der Entwicklung einfach wegbricht. Dabei geht es nicht nur um Technologie, sondern auch um Vertrauen: in Systeme, in KI, in Menschen.
24 Minuten
Wer gestaltet eigentlich die Software, die unseren Alltag durchdringt, und wessen Werte fließen dabei ein? Mit Claudia Nass Bauer spreche ich darüber, warum homogene Teams blinde Flecken produzieren, die keine böse Absicht sind, sondern einfach das natürliche Ergebnis, wenn immer dieselben Perspektiven am Tisch sitzen. Wir reden über unbewusste Denkmuster, über Kommunikationssysteme, die in männerdominierten Gruppen entstehen, und darüber, wie agile Methoden mit kleinen Teams diesen Mustern entgegenwirken können. Claudia stellt außerdem ein Forschungsprojekt vor, das Studentinnen aus Design, Psychologie und Sozialwissenschaften gezielt an Softwareentwicklung heranführt, weil viele von ihnen schlicht nicht wissen, dass sie dort einen echten Beitrag leisten könnten.
40 Minuten
Menschen mit Autismusdiagnose, die im Wartezimmer spontan 48 Rechtschreibfehler in einer Illustrierten zählen, bevor das Gespräch überhaupt beginnt: Das erzählen mir Helmut Pichler und Markus Kalbhenn, und es erklärt besser als jede Theorie, warum genau diese Fähigkeiten im Softwaretesting so gut ankommen. Wir sprechen darüber, wie das Ausbildungsprogramm aufgebaut ist, welche Anpassungen im Training wirklich den Unterschied machen, und was Unternehmen konkret brauchen, damit die Zusammenarbeit funktioniert. Dabei geht es nicht nur um Pausen und ruhige Räume, sondern auch darum, wie klare Aufgabenstellungen und ein fester Tagesrhythmus aus einer unsicheren Situation ein gutes Arbeitsverhältnis machen können.
25 Minuten
Dokumentation mit KI zu prüfen, indem man menschliche Verhaltensweisen simuliert, das ist der Ansatz, den Ingo Eichhorst mitgebracht hat. Mit ihm spreche ich darüber, wie sich Personas wie ein Junior-Entwickler oder ein Senior-Entwickler als KI-Agenten in eine CI/CD-Pipeline einbauen lassen, um Dokumentation nicht nur zu bewerten, sondern aktiv damit zu arbeiten. Was mich dabei festhält: Der Junior-Entwickler verbraucht dabei fast sechsmal so viele Token wie der Senior, weil er an einer missverständlichen URL-Struktur scheitert und sich im Trial-and-Error verliert. Das zeigt direkt, wo Dokumentation nachgebessert werden muss. Wir reden auch darüber, warum das Domänwissen hinter Code so schwer zu rekonstruieren ist, sobald es einmal verloren ist, und was passiert, wenn eine KI plötzlich zwischen Entwicklern und Management als Übersetzungsschicht wirkt.
