Proč Microsoft otevírá bezpečnostní nástroje právě teď

AI systémy, které dnes firmy nasazují do produkce, se zásadně liší od chatbotů z roku 2024. Už jen neodpovídají na otázky — přistupují k firemním datům, čtou e-maily, editují dokumenty a vykonávají akce napříč desítkami propojených systémů. Tento přechod od "generuj text" k "dělej věci ve světě" mění celou bezpečnostní rovnici.

Ram Shankar Siva Kumar z AI Red Teamu Microsoftu k tomu na oficiálním blogu Microsoft Security uvádí konkrétní důvody: nejdražší bezpečnostní selhání téměř vždy pramení z návrhových chyb, které nikdo nezpochybnil dostatečně brzy. V éře "vibe codingu", kdy je samotné programování snazší než kdy dřív, je podle něj klíčové položit si otázku "proč" ještě před otázkou "jak".

RAMPART: Bezpečnostní testování agentů jako součást CI/CD pipeline

RAMPART (Risk Assessment & Measurement Platform for Agentic Red Teaming) je testovací framework postavený na technologii pytest, který umožňuje vývojářům psát bezpečnostní testy pro AI agenty stejně přirozeně, jako píší integrační testy. Každý test se připojí k agentovi přes tenký adaptér, provede interakci a vyhodnotí výsledek — projde, nebo neprojde.

RAMPART je postaven na základech PyRIT — open-source automatizačním frameworku Microsoftu pro red teaming generativní AI. Zatímco PyRIT je optimalizovaný pro "black-box" objevování zranitelností bezpečnostními výzkumníky poté, co je systém hotový, RAMPART cílí na vývojáře během vývoje.

Tři klíčové vlastnosti RAMPARTu

1. Nativní podpora pro prompt injection útoky. Nejpropracovanější pokrytí se dnes soustředí na cross-prompt injection — scénáře, kdy agent zpracovává potenciálně "otrávený" obsah z dokumentů, e-mailů nebo jiných datových zdrojů, které nepřímo manipulují jeho chováním. Nové kategorie hrozeb lze přidávat inkrementálně.

2. Respektování pravděpodobnostní povahy LLM. Chování velkých jazykových modelů není deterministické — stejný vstup může vést k různým výstupům. RAMPART proto podporuje statistické zkoušky: stejný test se spustí vícekrát a bezpečnostní politikou může být například "tato akce musí být bezpečná alespoň v 80 % případů". To mnohem přesněji odráží realitu provozu než jednorázová validace.

3. Reprodukovatelnost incidentů a nálezů red teamu. Když bezpečnostní tým odhalí zranitelnost, vývojář ji může zakódovat jako RAMPART test. Od té chvíle je problém trvale pokrytý, spouští se při každé změně kódu a nikdy tiše neregreduje. Vlastnictví testů je záměrně převrácené oproti tradičnímu přístupu: testy píší vývojáři, vývojáři je spouští a vývojáři řeší selhání jako každý jiný bug.

RAMPART je napsaný v Pythonu, publikovaný na PyPI jako balíček RAMPART a licencovaný pod MIT licencí. Zdrojový kód najdete na GitHubu.

Clarity: Myslící partner, který se nebojí oponovat

Zatímco většina AI nástrojů pomáhá týmům vyvíjet rychleji, Clarity pomáhá zjistit, zda vůbec vyvíjí správnou věc. Jde o strukturovaného konverzačního partnera, který klade otázky, jaké by položil zkušený architekt, produktový manažer nebo bezpečnostní inženýr — ty, které tým nadšený z nového projektu snadno přeskočí.

Představte si, že chcete do dokumentového editoru přidat real-time spolupráci. Místo abyste rovnou řešili implementaci, Clarity se zeptá: "Co se stane, když dva lidé editují stejný odstavec současně? Potřebujete skutečnou real-time synchronizaci s kurzory a indikátory přítomnosti, nebo je skutečným požadavkem jen to, aby nikdo nepřišel o svou práci?" Tyto dvě odpovědi vedou k radikálně odlišným architekturám s odlišnými riziky selhání.

Jak Clarity funguje v praxi

Clarity běží jako desktopová aplikace (macOS, Windows), webové rozhraní nebo jako vestavěný nástroj přímo v coding agentovi (Claude Code, Cursor a další). Podporuje připojení k modelům od Anthropic (Claude), OpenAI (GPT), Azure AI, GitHub Copilot i Google Gemini.

Během konverzace provádí tým strukturovanými fázemi:

• Vyjasnění problému — co přesně řešíme, kdo jsou stakeholdeři, jak vypadá úspěch
• Průzkum řešení — jaké přístupy existují, jaké jsou trade-offy
• Analýza selhání — několik nezávislých AI "myslitelů" zkoumá systém z různých úhlů (bezpečnost, lidské faktory, útoky, provozní rizika)
• Sledování rozhodnutí — důležitá rozhodnutí se zaznamenávají včetně kritérií, alternativ a zdůvodnění

Výsledkem je adresář .clarity-protocol/ v repozitáři obsahující čitelné markdown soubory — popis problému, architekturu řešení, analýzu selhání a log rozhodnutí. Vše se verzuje, reviewuje v pull requestech a diffuje jako běžný zdrojový kód.

Clarity také sleduje zastaralost dokumentů pomocí grafu závislostí. Když se změní definice problému, Clarity ví, že popis řešení a analýza selhání možná potřebují revizi — a tým na to upozorní.

Co to znamená pro české vývojáře a firmy

Oba nástroje jsou open-source pod MIT licencí, což znamená, že je může kdokoli — včetně českých startupů, softwarových firem i enterprise zákazníků — používat, upravovat a integrovat do svých workflow zcela zdarma.

Pro české firmy, které stále častěji experimentují s AI agenty (ať už jde o automatizaci zákaznické podpory, interních procesů nebo vývojových workflow), představují RAMPART a Clarity praktickou odpověď na otázku, kterou si dříve nebo později položí každý CTO: "Jak zajistíme, že náš AI agent neudělá něco, co nechceme?"

Nástroje nevyžadují českou lokalizaci — jde o vývojářské nástroje v angličtině, které běží v rámci CI/CD pipeline nebo jako desktopová aplikace. Důležité je, že jsou navržené tak, aby zapadly do existujících vývojářských workflow: RAMPART používá pytest (standardní Python testovací framework), Clarity generuje markdown soubory verzovatelné v Gitu.

Klíčový posun, který Microsoft svým otevřením těchto nástrojů signalizuje, je přechod od bezpečnosti AI jako "jednorázové kontroly" k průběžné inženýrské disciplíně. V době, kdy evropský AI Act zavádí regulatorní požadavky na bezpečnost AI systémů, mohou podobné nástroje pomoci firmám prokázat, že bezpečnost berou vážně — a to nejen na papíře, ale přímo v kódu.

Jak začít

RAMPART nainstalujete přes pip:

pip install RAMPART

Clarity je k dispozici jako desktopová aplikace ke stažení z GitHub Releases, nebo přes instalační skript:

curl -fsSL https://raw.githubusercontent.com/microsoft/clarity-agent/main/scripts/install.sh | bash

Oba projekty jsou aktivně vyvíjené — RAMPART má za sebou 45 commitů, Clarity 158 — a Microsoft vítá komunitní příspěvky. Pro zpětnou vazbu a partnerství při nasazování v enterprise prostředí je k dispozici e-mail aisafetytools@microsoft.com.