AI Test Engineer (F/M/*)

Wir sind Aachens größtes und Kölns am stärksten wachsende KI-Startup.

KMUs profitieren davon, wenn internes Wissen sofort nutzbar wird und intelligente Agenten darauf reagieren können. Wir glauben an eine Zukunft, in der Business-KI, einschließlich Agenten innerhalb von amber und anderen Plattformen, auf einer gemeinsamen Kontextschicht arbeitet, sodass Teams schneller arbeiten, Übergaben nahtlos erfolgen und das Know-how im Unternehmen bleibt.

• Du entwickelst, planst und optimierst Teststrategien für unsere KI-Anwendungen und sorgst dafür, dass Qualität von Anfang an mitgedacht wird

• Du führst manuelle und automatisierte Tests für AI-Features, APIs und Workflows durch und baust diese kontinuierlich aus

• Du validierst Antworten, Prompts, Modellverhalten und Agentenlogiken hinsichtlich Qualität, Konsistenz und Robustheit und stellst sicher, dass unsere KI zuverlässig performt

• Du identifizierst, dokumentierst und verfolgst Fehler, Edge Cases und Qualitätsrisiken damit nichts durch die Maschen fällt.

• Du erstellst Testfälle, Testdaten und Evaluationskriterien für unterschiedliche Anwendungsszenarien und schaffst damit die Grundlage für belastbare Qualitätsaussagen

• Du arbeitest eng mit Produktmanagement, Engineering und unseren Data/AI-Teams zusammen, um die Qualitätssicherung entlang des gesamten Entwicklungsprozesses sicherzustellen

• Du unterstützt aktiv beim Aufbau unserer QA-Prozesse, treibst Testautomatisierung voran und etablierst zuverlässige Release-Checks

• Du analysierst das Systemverhalten hinsichtlich Performance, Zuverlässigkeit und Nutzerqualität und leitest daraus konkrete Verbesserungen für unsere Plattform ab

• Du hast ein abgeschlossenes Studium in Informatik, Wirtschaftsinformatik, Mathematik oder einem vergleichbaren Bereich

• Du bringst Erfahrung im Software Testing / QA mit und hast bereits Webanwendungen, APIs oder datengetriebene Systeme getestet

• Du interessierst dich für KI-Systeme, LLMs, Prompting oder AI-Workflows. Idealerweise hast du hier bereits erste praktische Erfahrung gesammelt

• Du beherrschst gängige Testmethoden sicher, vom Testfall-Design bis zur systematischen Fehleranalyse

• Du hast idealerweise Erfahrung mit Testautomatisierung und kennst dich mit gängigen Tools aus dem QA-Umfeld aus

• Du verfügst über ein solides technisches Verständnis für Schnittstellen, Datenflüsse und systematische Ursachenanalyse

• Du arbeitest strukturiert, präzise sowie analytisch und verlierst auch bei komplexen Sachverhalten nicht den Überblick

• Du kommunizierst klar und überzeugend auf Deutsch und Englisch und hast einen hohen Anspruch an die Qualität deiner Arbeit