CAST Workshop „KI und IT-Sicherheit“ – eine Rückschau

Am 03.07.2025 fand der Workshop „KI und IT-Sicherheit“ des CAST e. V. (Competence Center for Applied Security Technology) statt. Als treues CAST-Mitglied nahm Marion Steiner als Vertreterin der ISW an der Veranstaltung teil.

Marion Steiner, IT-Sicherheitsexpertin der IT-Security@Work GmbH (ISW) unterstützt verschiedene Vereine und Netzwerke mit vollem Einsatz. Sie begleitet sie sowohl organisatorisch als auch durch ihre regelmäßige aktive Teilnahme als Referentin, demnächst auch mal als Moderatorin (CAST Workshop im September). Und gelegentlich nimmt sie auch als Workshop-Teilnehmerin teil, um eine Veranstaltung entspannt verfolgen zu können. 😊

Workshop „KI und IT-Sicherheit“ – Worum ging es?

Künstliche Intelligenz (KI) und IT-Sicherheit hängen eng miteinander zusammen, KI sowohl zur Verbesserung der IT-Sicherheit beitragen, aber auch als Bedrohung zum Einsatz kommen. KI-gestützte Systeme helfen dabei, Cyberangriffe schneller zu erkennen und abzuwehren. Gleichzeitig können Angreifer KI nutzen, um Sicherheitslücken gezielt und automatisiert auszunutzen. Teils ist KI auch das neue Angriffsziel.

Für Unternehmen ist ein Überblick über aktuelle Entwicklungen unerlässlich, um neue Bedrohungen frühzeitig zu erkennen, Sicherheitsstrategien anzupassen und wettbewerbsfähig zu bleiben. Technologische Fortschritte verändern ständig die Bedrohungslage und die Verteidigungsmöglichkeiten. Um ein ausgewogenes Verständnis zu entwickeln, müssen verschiedene Perspektiven betrachtet werden. Da spielen technische, rechtliche und ethische Aspekte eine Rolle. Sicherheitsexperten konzentrieren sich auf Abwehrmechanismen. Unternehmen müssen aber auch Datenschutz, Compliance und wirtschaftliche Faktoren berücksichtigen.

Der CAST Workshop bot den Teilnehmenden Vorträge und Praxisbeispiele, die das Thema KI und IT-Sicherheit aus verschiedenen Blickwinkeln betrachteten und die somit einen guten Überblick zum Thema bekamen – mit dem Ziel, neue Bedrohungen frühzeitig zu erkennen, Sicherheitsstrategien anzupassen und wettbewerbsfähig zu bleiben.

Themenschwerpunkte waren technische und rechtliche Aspekte, die Rolle von KI in Bereichen mit IT-Sicherheitsrelevanz, Entwicklung der Regulatorik sowie Chancen und Risiken für Unternehmen durch KI im Kontext IT-Sicherheit.

Die Veranstaltung wurde von Prof. Dr. Martin Steinebach, Leiter der Abteilung Media Security und IT Forensics vom Fraunhofer SIT moderiert.

Die Rolle von Sicherheit im EU AI Act: Anforderungen an vertrauenswürdige KI-Systeme

Inna Vogel (ADVISORI FTC GmbH) begann mit dem ersten Vortrag „Die Rolle von Sicherheit im EU AI Act: Anforderungen an vertrauenswürdige KI-Systeme“.

Nach einer Übersicht über die allgemeinen Anforderungen des AI Acts mit Fokus auf dem erforderlichen Risikomanagement und den Anforderungen an die verschiedenen KI-Risikoklassen mit Timeline für die Umsetzung folgte eine genauere Diskussion der Pflichten für Anbieter von Hochrisiko-KI. Im Anschluss daran wurden anhand der Begriffe Robustheit und Cybersicherheit die unterschiedlichen, im Gesetz verankerten Ziele zur Umsetzung von „Sicherheit“ bei KI erläutert und damit auch die Bezüge zu notwendigen technischen Umsetzungen hergestellt.

Das Gesetz wurde auch kritisiert. Einige Anforderungen bleiben auf der generischen Ebene. Es wird beispielsweise nicht klar geregelt, welche Qualitätsmetriken bzw. Schwellwerte (Präzision, False-Positive-Rate etc.) umgesetzt werden müssen, damit ein „sicheres“ Ergebnis entsteht. Das Auditorium war sich jedoch auch einig, dass dies nicht so einfach festzuschreiben wäre, da die sinnvollen Metriken immer auch vom AI-Use-Case abhängen.

Abschließend wurde ein Open-Source-Framework für die Evaluation von General Purpose AI (GPAI) vorgestellt. Dieses Framework kann den KI-Einsatz nach verschiedenen Kriterien bewerten und damit die Umsetzung der Anforderungen des AI Acts evaluieren. Allerdings ist zu bemerken, dass dies nur in Teilen möglich ist. Obwohl das Framework „COMPL-AI“ als das derzeit beste verfügbare Framework dargestellt wird, gibt es einige Punkte des AI Act, die für GPAI schwer oder nicht messbar sind. Dennoch zeigte sich unter den Teilnehmenden großes Interesse, sich das Framework selber einmal anzusehen.

Künstliche Intelligenz trifft Jugendschutz: Automatisierte Altersschätzung im stationären Einzelhandel – Technologie, Chancen und Herausforderungen (Remote)

Im Vortrag von Christoph Annemüller, Experte für anwendbare KI im Handel (Diebold Nixdorf) mit dem Titel „Vynamic Smart Vision I Age Verification – Smart und sicher: Wie KI-gestützte Altersbestimmung für Effizienz und effektiven Jugendschutz an der Kasse sorgt!“ ging es um die Herausforderungen von Altersprüfungen im Einzelhandel. Was an der personenbesetzten Kasse nicht auffällt, weil der Kassierer oder die Kassiererin es „nebenbei“ macht, stellt eine Herausforderung an der Selbstbedienungskasse dar. Bei jedem Einkauf, bei dem Waren wie z. B. Alkohol abgegeben werden, muss eine Altersverifikation erfolgen. Bisher musste ein Mitarbeiter kommen und diese durchführen. Die KI soll das jetzt übernehmen. Sie schätzt das Alter der Kundschaft, und zwar mit Bilderkennung. Dabei ist keine 100-prozentige Erkennung nötig. Es werden nur die eindeutigen Fälle automatisiert. Nur in kritischen Bereichen (erkanntes Alter unter bzw. bis wenige Jahre über der Erlaubnisschwelle) muss ein Mitarbeiter angefordert werden.

Ein spannendes Thema, bei dem Jugendschutz und Datenschutz berücksichtigt werden müssen. Herr Annemüller konnte dem Publikum gut vermitteln wie das gelingt und hat auch alle kritischen Fragen beantwortet.

Deepfakes, Automated Influence und weitere KI-basierte Bedrohungen im Unternehmenskontext

Nach einer kurzen Kaffeepause hat Prof. Dr. Volker Wittpahl (Institut für Innnovation und Technik (iit) in der VDI/VDE Innovation+Technik GmbH) über Deepfakes, Automated Influence und weitere KI-basierte Bedrohungen im Unternehmenskontext gesprochen. Er zeigte verschiedene Beispiele und gab einen Ausblick auf zu erwartende Trends. Die Art und Weise, wie Unternehmen uns als Lieferanten von Trainingsdaten für KI gewinnen wollen, ist in der Tat besorgniserregend. – Man muss wachsam sein und darauf achten, welche Datenspuren man wo hinterlässt.

KI am Arbeitsplatz – aktuelle Fälle und zukünftige Chancen

Im letzten Vortrag vor der Mittagspause „KI am Arbeitsplatz – aktuelle Fälle und zukünftige Chancen“ von Michael Wilczynska (WIANCO OTT Robotics GmbH) gdrehte sich alles um die Frage „Wer ist EMMA?“. Er stellte eine KI-Lösung zur Automatisierung von Prozessen vor. Aktuell setzen viele Unternehmen dafür „RPA“ (Robotic Process Automation) ein. RPA spielt Abläufe und Klicks in Frontends automatisiert nach und kann damit feste Prozesse automatisieren. EMMA kann dies noch verbessern und ermöglicht insbesondere mehr Flexibilität in der Anwendung sowie ein einfacheres Erlernen der zu automatisierenden Prozesse.

Künstliche Intelligenz in der IT-Forensik

Nach der Mittagspause hielt Leonhard Wank vom Sachverständigenbüro für IT-Forensik (Fast-Detect) einen Vortrag mit dem Titel „Praktische Einsatzmöglichkeiten von Künstlicher Intelligenz in der IT-Forensik“. Darin ging er auf die Herausforderungen der IT-Forensik im Strafverfahren ein. Neben der zweifelsfreien Identifizierung relevanter Daten und deren Aufbereitung (Transkription, Übersetzungen etc.) besteht die Herausforderung in der schieren Masse der auszuwertenden Daten und Geräte. Die Berge an Material, das es auszuwerten gilt, wachsen schneller, als sie abgearbeitet werden können. Der Einsatz von KI, um die Datenberge zumindest vorzusortieren, also klar Irrelevantes auszusortieren und Relevantes zu markieren, nimmt den Forensikern daher bereits viel Arbeit ab. Zweifelsfälle können dann eher noch bearbeitet werden. Das Motto lautet: Alles, was automatisiert wird, kann zusätzlich bearbeitet werden.

Der anschauliche Vortrag vermittelte andere Prioritäten in der KI-Anwendung als üblich. Und er machte auch ganz klar: Die Verantwortung für eine saubere Analyse liegt beim forensischen Sachverständigen – KI bleibt ein Hilfsmittel, das geeignet eingesetzt werden und immer kontrolliert werden muss.

In dem Beitrag „Digitale Aufklärung mit KI: Potenziale und Praxisbeispiele aus der IT-Forensik“ von Klara Weiand und Christoph Beckmeyer (Deloitte) ging es um den Einsatz von IT-Forensik bei der Aufklärung von IT-Sicherheitsvorfällen. Dabei wurden die Möglichkeiten von KI zur Verbesserung der Verteidigungsfähigkeit sowie neue Angriffsmöglichkeiten, gegen die es sich zu verteidigen gilt, vorgestellt. Eine der wichtigsten Erkenntnisse ist auch hier, dass KI zwar mehr Analysen ermöglicht, der Fachexperte aber weiterhin für die Validierung und Interpretation benötigt wird.

Praktische Anwendungen der KI

In den Vorträgen nach der letzten Kaffeepause drehte sich alles um praktische Anwendungen der KI. In „Generative KI in der Softwareentwicklung: Innovationen entfesseln, Risiken meistern” erläuterte Beat Buesser (IBM)  den Einsatz von KI-Agenten zur sicheren Softwareentwicklung. Die Lösung ermöglicht es, Issues aus Repositories automatisch zu bearbeiten und somit Software-Issues automatisch zu beheben. Gleichzeitig wird ein zweiter KI-Agent eingesetzt, der das Ergebnis prüft, bevor es als Patch bereitgestellt wird. Damit sollen auch Angriffe über manipulierte Requests im Repository verhindert werden.

Und ja, es war definitiv hilfreich, etwas über Software-Entwicklung zu wissen, um den Vortrag zu verstehen. 😊 Wenn das der Fall war, kann man nur sagen: exquisites Wissen von einem Experten aus erster Hand!

KI als Lösung zur Verbesserung der Geldwäscheerkennung?

Der abschließende Vortrag „Künstliche Intelligenz in der Geldwäscheerkennung: Stärken und Schwächen synthetischer Daten“ von Paul Ranly (Fraunhofer SIT/ATHENE) stellte ein Forschungsprojekt vor, in dem eine Lösung zur Verbesserung der Geldwäscheerkennung ausgearbeitet wurde.

Heutige Systeme arbeiten in der Regel regelbasiert. Mit Hilfe von KI sollen jedoch auch neue Muster in der Geldwäsche identifiziert werden. Dies gelingt auf Basis der Testdaten auch gut, allerdings könnten die Trainingsdaten besser sein (Wer den Prototypen im Einsatz mit seinen Prozessen testen möchte, bitte melden!).

Das Projekt arbeitet mit synthetisch erzeugten Daten, da der ursprünglich vorgesehene Projektpartner, der die Daten hätte bereitstellen können, abgesprungen ist. Aus Datenschutzsicht ist dies sehr lobenswert und zeigt, wie weit man mit künstlich erzeugten Daten kommt und was möglich ist. Hieran sollten sich andere Softwareentwickler, die immer auf Echtdaten drängen, definitiv ein Beispiel nehmen!

Anders als regelbasierte Systeme kann die KI-Analyse nun also ganz andere Klassifizierungen und Zusammenhänge untersuchen bzw. identifizieren, die ggf. auf Geldwäsche hindeuten und dann manuell geprüft werden können. So können Daten aus dem „Know Your Customer (KYC)“ (z. B. Alter, Beruf etc.) besser berücksichtigt werden und Geldströme bzw. Geolocations von finanziellen Entitäten sowie deren Art (z. B. Onlinehändler, Stromanbieter, Gaststätte) einbezogen werden.

Ein spannender Workshop geht zu Ende

Bei der Verabschiedung fasste Martin Steinebach die Erkenntnisse des Tages nochmals kurz zusammen. Er und die anderen Teilnehmer und Teilnehmerinnen waren sich einig: Es war wieder ein spannender Tag voller Anregungen, Austausch und interessanter Kontakte.