Red Hat rozszerza funkcjonalność platformy Red Hat AI

Nowe możliwości platformy Red Hat AI – od warstwy sprzętowej po autonomicznych agentów – ułatwią skalowanie modeli i systemów AI w środowiskach chmury hybrydowej.

Red Hat, wiodący na świecie dostawca rozwiązań open source, zapowiedział wprowadzenie nowej wersji swojej flagowej platformy do obsługi środowisk sztucznej inteligencji – Red Hat AI 3.4. Celem istotnego rozszerzenia jej funkcjonalności jest zmniejszenie dystansu między eksperymentowaniem z mechanizmami AI a wdrożeniami produkcyjnymi, które wymagają pełnej kontroli operacyjnej. Nowa wersja platformy Red Hat AI zapewnia spójne środowisko obejmujące szeroki zakres – od warstwy sprzętowej po agentów AI – dzięki czemu upraszcza tworzenie i wdrażanie procesów obliczeniowych bazujących na autonomicznych agentach. Ułatwi to przedsiębiorstwom przechodzenie od fazy pilotażowej do realizacji skalowalnych wdrożeń AI w całej infrastrukturze IT.

Dzięki wspólnym mechanizmom dla zespołów wdrażających rozwiązania AI oraz ich administratorów, Red Hat zapewnia nowoczesnym przedsiębiorstwom możliwość skalowania autonomicznych systemów przy zachowaniu kontroli, bezpieczeństwa i efektywnego wykorzystania zasobów sprzętowych.

Czym jest Red Hat AI 3.4?

Red Hat AI 3.4 to rozbudowana platforma zapewniająca fundament architektoniczny oraz narzędzia operacyjne potrzebne do skalowania modeli AI i procesów obliczeniowych w agentach AI w środowiskach chmury hybrydowej. Jedną z kluczowych nowości jest wprowadzenie modelu usługowego Model-as-a-Service (MaaS), który zapewnia programistom zunifikowany dostęp do zatwierdzonych modeli AI, a administratorom pozwala kontrolować wykorzystanie zasobów oraz egzekwować reguły polityki bezpieczeństwa i zgodności. Rozwiązanie to bazuje na wydajnym, rozproszonym środowisku inferencyjnym wykorzystującym mechanizmy vLLM i llm-d, co gwarantuje wydajne i zoptymalizowane działanie modeli w różnych środowiskach infrastruktury.

Wraz ze wzrostem znaczenia agentów AI gwałtownie rośnie zapotrzebowanie na moc obliczeniową potrzebną do prowadzenia inferencji. Red Hat AI umożliwia przedsiębiorstwom wdrażanie agentów na dużą skalę i zarządzanie nimi, niezależnie od wykorzystywanego frameworka. Nowe narzędzia AgentOps obejmują zarządzanie agentami od etapu tworzenia po środowisko produkcyjne, zapewniając m.in. śledzenie działań, monitorowanie, zarządzanie tożsamością kryptograficzną oraz cyklem życia agentów.

Platforma rozszerza także integrację firmowych danych z modelami i agentami AI. W Red Hat AI 3.4 pojawiło się zarządzanie promptami traktowanymi jako pełnoprawne zasoby danych oraz centralny moduł oceny modeli i agentów pod kątem jakości, trafności odpowiedzi i bezpieczeństwa. Funkcje te wykorzystują platformę MLflow, która zapewnia śledzenie eksperymentów i zarządzanie artefaktami zarówno dla generatywnej AI, jak i klasycznych modeli predykcyjnych. Specjalny nacisk kładziony jest również na bezpieczeństwo w szerokim zakresie – od fazy pilotażowej po produkcyjną. Platforma wykorzystuje technologie firmy Chatterbox Labs oraz projektu Garak do automatycznego testowania bezpieczeństwa i symulowania ataków na modele oraz agenty AI.

Dlaczego Red Hat AI 3.4 ma znaczenie?

Przejście od eksperymentalnych chatbotów do autonomicznych systemów gotowych do zastosowań produkcyjnych wymaga zasadniczej zmiany sposobu współpracy zespołów IT. Wiele przedsiębiorstw dostrzega obecnie potrzebę przejścia od roli wyłącznie „konsumentów tokenów” do roli ich „dostawców”, aby lepiej kontrolować koszty oraz rozwijać prywatne i suwerenne rozwiązania AI. Jednocześnie napięcia między zespołami tworzącymi aplikacje a administratorami infrastruktury pozostają jedną z głównych barier wdrożeń. Bez wspólnego podejścia łączącego te dwa obszary ograniczenia w dostępie do infrastruktury spowalniają innowacje, a obecność zjawiska shadow AI prowadzi do niekontrolowanego ryzyka i trudnych do przewidzenia kosztów.

Red Hat AI 3.4 pomaga rozwiązać ten problem, zapewniając korporacyjną platformę do skalowalnej inferencji modeli i wdrażania autonomicznych agentów, oferując przejrzystość oraz kontrolę niezbędną do spełnienia rygorystycznych wymagań dotyczących bezpieczeństwa i nadzoru. Ponieważ agenty AI działają z dużą autonomią, brak wglądu w procesy podejmowania decyzji stwarza istotne ryzyko bezpieczeństwa. Red Hat AI odpowiada na to wyzwanie, udostępniając mechanizmy pozwalające śledzić działania agentów, kolejne etapy ich rozumowania oraz wywołania narzędzi, co umożliwia przeprowadzenie audytu sposobu dojścia do konkretnego wyniku. Dzięki integracji kryptograficznego zarządzania tożsamością platforma przypisuje działania do zweryfikowanej tożsamości, pomagając ustalić, który podmiot wykonał dane zadanie. W rezultacie firmy mogą przejść od rozproszonych projektów pilotażowych do traktowania AI jako skalowalnej, przewidywalnej i – co najważniejsze – rozliczalnej usługi korporacyjnej.

Najważniejsze elementy Red Hat AI 3.4

• Skalowalna, wysokowydajna inferencja połączona z nadzorowanym dostępem do modeli: Wydajna inferencja modeli wciąż jest podstawą produkcyjnych wdrożeń sztucznej inteligencji. Dzięki połączeniu w modelu MaaS serwera inferencyjnego vLLM oraz rozproszonego silnika inferencji llm-d, Red Hat AI 3.4 zapewnia niezawodne i wydajne środowisko uruchamiania modeli, upraszczając nadzorowany dostęp do nich zarówno dla użytkowników, jak i agentów AI.

• Prostsze zarządzanie agentami AI na każdym etapie działania autonomicznych aplikacji: Red Hat AI 3.4 wprowadza rozbudowane funkcje AgentOps, które ułatwiają wdrażanie agentów AI na dużą skalę i zarządzanie nimi. Obejmują one zintegrowane śledzenie działań, monitorowanie i ocenianie, a także zarządzanie tożsamością agentów i ich cyklem życia – od etapu tworzenia po środowisko produkcyjne.

• Łączenie danych z modelami i agentami: Dane w przedsiębiorstwach są paliwem zasilającym modele i agenty AI. W Red Hat AI 3.4 wprowadzone zostały funkcje zarządzania promptami, traktujące je jako pełnoprawne zasoby danych, a także zaimplementowany został centralny moduł ocen służący do analizy jakości, trafności, bezpieczeństwa i ryzyka działania modeli oraz agentów. Funkcje te obsługiwane są przez platformę MLflow, która zapewnia również zintegrowane śledzenie eksperymentów i zarządzanie artefaktami zarówno dla generatywnej AI, jak i klasycznych zastosowań AI/ML bazujących na modelach predykcyjnych.

• Zintegrowane bezpieczeństwo modeli i agentów: Aby zapewnić ochronę całego środowiska sztucznej inteligencji w przedsiębiorstwie, Red Hat AI wykorzystuje wielowarstwowe podejście do bezpieczeństwa – od systemu operacyjnego po logikę agentów AI. Dzięki automatycznym testom bezpieczeństwa i symulowanym atakom typu red teaming możliwe jest teraz podejmowanie decyzji dotyczących wyboru i konfiguracji modeli oraz mechanizmów ochronnych na podstawie danych i wyników testów. Takie podejście pozwala lepiej zabezpieczyć środowiska AI przed ewoluującymi zagrożeniami.

Szczegóły techniczne

• Zaawansowana inferencja i optymalizacja modeli: Moduł Red Hat AI Inference rozszerza funkcjonalność rozproszonej inferencji o priorytetyzowanie zapytań, umożliwiając obsługę ruchu interaktywnego oraz zadań działających w tle w ramach tego samego urządzenia końcowego, przy jednoczesnym nadawaniu priorytetu operacjom wymagającym niskich opóźnień podczas dużego obciążenia. Red Hat AI Inference działa także poza środowiskiem Red Hat OpenShift i obsługuje dodatkowe usługi Kubernetes, w tym CoreWeave i Microsoft Azure, zapewniając spójny zestaw funkcji inferencyjnych w różnych środowiskach. Mechanizm spekulacyjnego dekodowania (speculative decoding), obecnie dostępny produkcyjnie, przyspiesza generowanie odpowiedzi 2–3-krotnie przy minimalnym wpływie na jakość wyników, jednocześnie obniżając koszt pojedynczej interakcji.

• Nadzorowana usługa Model-as-a-Service (MaaS): Funkcja ta umożliwia inżynierom odpowiedzialnym za obsługę platform udostępnianie wyselekcjonowanych i zweryfikowanych modeli poprzez zabezpieczone interfejsy API zgodne ze standardem OpenAI. Pozwala to na jednolite zarządzanie zarówno modelami wewnętrznymi, jak i zewnętrznymi interfejsami API, a także zintegrowanie z mechanizmami uwierzytelniania bazującymi na systemach dostawców tożsamości (IDP).

• Zintegrowane zarządzanie promptami: Platforma zapewnia zunifikowane narzędzia do tworzenia i zarządzania promptami traktowanymi jako pełnoprawne zasoby danych. Przechowywanie danych wejściowych wykorzystywanych przez modele i agentów w centralnym rejestrze tworzy jedno wspólne źródło informacji zarówno dla programistów, jak i administratorów.

• Automatyczna ocena modeli i agentów: Red Hat AI 3.4 wprowadza niezależną od frameworków, zunifikowaną warstwę zarządzania oceną systemów AI, przeznaczoną do analizy dużych modeli językowych (LLM), aplikacji AI i agentów. Rozwiązanie to zastępuje rozproszone metody testowania jednolitym podejściem do oceny jakości, trafności odpowiedzi i ryzyka.

• Wielowarstwowe bezpieczeństwo: Automatyczne skanowanie odporności na ataki zostało bezpośrednio zintegrowane z cyklem tworzenia aplikacji. Platforma Red Hat AI wykorzystuje rozwiązania firmy Chatterbox Labs oraz narzędzie Garak do wykrywania zagrożeń w modelach i systemach agentowych, takich jak jailbreaki, próby wstrzykiwania promptów (prompt injection) czy uprzedzenia modeli. Mechanizmy te współpracują z zestawem reguł i filtrów NVIDIA NeMo Guardrails w celu zapewnienia ochrony użytkowników podczas działania systemów AI.

• Gotowość do zastosowań produkcyjnych: Integracja z MLflow zapewnia pełny wgląd w działanie agentów AI, umożliwiając śledzenie całego przebiegu pracy – od wywołań modeli językowych i etapów wnioskowania, po użycie narzędzi, odpowiedzi modeli oraz zużycie tokenów za pośrednictwem OpenTelemetry. Dzięki temu powstaje przejrzysta ścieżka audytu obejmująca cały cykl życia promptów, embeddingów i konfiguracji RAG, co ułatwia diagnozowanie problemów i prowadzenie audytów. MLflow oferuje również zintegrowane śledzenie eksperymentów oraz zarządzanie artefaktami dla rozwiązań bazujących na generatywnej AI i modelach predykcyjnych.

• Nadzór bazujący na tożsamości: Dzięki wykorzystaniu kryptograficznego zarządzania tożsamością (SPIFFE/SPIRE), Red Hat AI pozwala zastąpić krótkoterminowymi tokenami statyczne, zapisane na stałe klucze. Rozwiązanie to umożliwia wprowadzenie modelu minimalnych uprawnień dla autonomicznych agentów w całym środowisku i pomaga potwierdzić, że działania agentów są powiązane ze zweryfikowaną tożsamością.

• Automatyzacja procesów AI: Narzędzia takie jak AutoRAG i AutoML automatyzują złożone zadania związane z AI – od wyboru najskuteczniejszych strategii wyszukiwania danych dla konkretnych zbiorów po budowę i optymalizację tradycyjnych modeli predykcyjnych.

• Elastyczność sprzętowa i zarządzane chmury: Red Hat AI 3.4 już od dnia premiery obsługuje procesory graficzne NVIDIA Blackwell oraz architekturę AMD MI325X. Rozszerzając zunifikowaną architekturę platformy Red Hat AI o natywną obsługę zewnętrznych chmur zarządzanych (w tym obsługę modułu Red Hat AI Inference w chmurze IBM Cloud), zapewniona została spójność operacyjna w szerokim zakresie środowisk sprzętowych oraz dostawców usług chmurowych.

Dostępność

Red Hat AI 3.4 ma zostać udostępniony jeszcze w maju 2026 r.

Więcej informacji na blogu o Red Hat AI 3.4:
redhat.com/en/blog/inference-agentic-ai-scaling-enterprise-foundation-red-hat-ai-34