Platforma Red Hat AI 3 wprowadza rozproszone wnioskowanie do środowisk produkcyjnych wykorzystujących sztuczną inteligencję

Hybrydowa, natywna dla chmury platforma firmy Red Hat usprawnia wykonywanie zadań obliczeniowych związanych ze sztuczną inteligencją i wprowadza zaawansowane możliwości wnioskowania, tworząc fundament dla agentów AI. Dzięki temu zespoły IT oraz inżynierowie AI mają umożliwione szybsze i bardziej efektywne wdrażanie innowacji w skali korporacyjnej.

Red Hat, wiodący na świecie dostawca rozwiązań bazujących na otwartym kodzie źródłowym, wprowadził do oferty oprogramowanie Red Hat AI 3, które stanowi istotny krok w ewolucji tej platformy sztucznej inteligencji dla przedsiębiorstw. Nowa wersja łączy najnowsze innowacje obecne w rozwiązaniach Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) oraz Red Hat OpenShift AI, upraszczając złożoność obsługi wysokowydajnych procesów wnioskowania AI na dużą skalę. Dzięki temu możliwe jest szybsze przenoszenie zadań obliczeniowych z fazy proof-of-concept do środowisk produkcyjnych i usprawnianie współpracy przy tworzeniu aplikacji wykorzystujących sztuczną inteligencję.

Wraz z wychodzeniem przedsiębiorstw poza etap eksperymentowania ze sztuczną inteligencją, mierzą się one z poważnymi wyzwaniami, takimi jak ochrona prywatności danych, kontrola kosztów i zarządzanie różnorodnymi modelami. Raport The GenAI Divide: State of AI in Business, opracowany w ramach prowadzonego przez Massachusetts Institute of Technology (MIT) projektu NANDA, pokazuje realia wdrożeń AI: około 95% przedsiębiorstw nie uzyskuje mierzalnych korzyści finansowych z inwestycji sięgających łącznie ok. 40 miliardów dolarów.

Red Hat AI 3 odpowiada na te wyzwania oferując spójne, ujednolicone środowisko pracy dla dyrektorów oraz liderów IT, które pozwala w maksymalnym stopniu wykorzystać inwestycje w technologie przyspieszania obliczeń. Platforma umożliwia szybkie skalowanie i dystrybucję zadań obliczeniowych wykorzystujących sztuczną inteligencję w hybrydowych środowiskach składających się z rozwiązań wielu dostawców. Jednocześnie, w ramach jednej, wspólnej infrastruktury usprawnia współpracę między zespołami nad projektami AI nowej generacji, takimi jak obsługa agentów. Wykorzystujące otwarte standardy rozwiązanie Red Hat AI 3 wspiera przedsiębiorstwa na każdym etapie ich drogi ku sztucznej inteligencji, zapewniając obsługę dowolnego modelu na dowolnym akceleratorze – od centrów danych, przez chmury publiczne i środowiska suwerennej AI, po najbardziej odległe punkty na brzegu sieci.

Od szkolenia do „działania”: przejście do wnioskowania bazującego na sztucznej inteligencji w przedsiębiorstwie

Jako że przedsiębiorstwa systematycznie przenoszą inicjatywy związane ze sztuczną inteligencją do środowisk produkcyjnych, punkt ciężkości przesuwa się z trenowania i dostrajania modeli do etapu wnioskowania, czyli faktycznego „działania” AI w przedsiębiorstwie. Red Hat AI 3 koncentruje się na skalowalnym i ekonomicznym wnioskowaniu, wykorzystując sukces projektów społecznościowych vLLM oraz llm-d, a także opracowane przez Red Hat możliwości optymalizacji modeli, żeby zapewnić obsługę dużych modeli językowych (LLM) na poziomie produkcyjnym.

Aby pomóc dyrektorom ds. informatyki w pełni wykorzystać potencjał wysokowydajnych systemów stosujących akcelerację sprzętową, Red Hat OpenShift AI 3.0 wprowadza ogólną dostępność llm-d – rozwiązania, które redefiniuje sposób natywnego działania modeli LLM w środowisku Kubernetes. llm-d umożliwia inteligentne, rozproszone wnioskowanie, łącząc sprawdzoną skuteczność orkiestracji Kubernetes z wydajnością vLLM oraz kluczowymi technologiami open source, takimi jak Kubernetes Gateway API Inference Extension, biblioteka transferu danych o niskich opóźnieniach NVIDIA Dynamo (NIXL) i biblioteka komunikacyjna DeepEP dla modeli Mixture-of-Experts (MoE). Zapewnia to przedsiębiorstwom szereg korzyści:

• obniżenie kosztów i poprawę wydajności poprzez wykorzystanie rozdzielonych usług, co przekłada się na lepszą efektywność w przeliczeniu na zainwestowane fundusze;

• wprowadzenie prostoty obsługi i maksymalnej niezawodności dzięki tzw. „dobrze oświetlonym ścieżkom” (Well-lit Paths), które usprawniają wdrażanie modeli na dużą skalę w środowisku Kubernetes;

• maksymalizację elastyczności dzięki międzyplatformowemu wsparciu umożliwiającemu wdrażanie procesów wnioskowania LLM na różnych akceleratorach sprzętowych, w tym NVIDIA i AMD.

Model llm-d zbudowany jest na bazie projektu vLLM, ale został przekształcony z jednowęzłowego, wysokowydajnego silnika wnioskowania w rozproszony, spójny i skalowalny system obsługi, ściśle zintegrowany z Kubernetes i zaprojektowany z myślą o przewidywalnej wydajności, mierzalnym zwrocie z inwestycji i skutecznym planowaniu infrastruktury. Wszystkie ulepszenia odpowiadają bezpośrednio na wyzwania związane z obsługą obciążeń LLM o wysokiej zmienności oraz udostępnianiem ogromnych modeli, takich jak Mixture-of-Experts (MoE).

Ujednolicona platforma do współpracy w zakresie sztucznej inteligencji

Red Hat AI 3 zapewnia ujednolicone, elastyczne środowisko stworzone z myślą o współpracy przy budowie gotowych do produkcyjnego wykorzystania rozwiązań generatywnej sztucznej inteligencji. Platforma została zaprojektowana tak, by dostarczać wymierne korzyści poprzez wspieranie współpracy i ujednolicanie przepływów pracy między zespołami w ramach jednej platformy, z której korzystają zarówno inżynierowie platform, jak i inżynierowie AI. Nowe funkcje zapewniające produktywność i wydajność potrzebną do skalowania wdrożeń od projektów pilotażowych do środowisk produkcyjnych obejmują:

• Model as a Service (MaaS) – funkcja bazująca na rozproszonym wnioskowaniu, która umożliwia zespołom IT działanie jako wewnętrzni dostawcy modeli (MaaS). Umożliwia centralne udostępnianie wspólnych modeli i zapewnia dostęp na żądanie dla programistów i aplikacji AI, wspierając lepsze zarządzanie kosztami oraz wdrażanie zastosowań, których nie można realizować z użyciem publicznych usług AI z powodów związanych z prywatnością lub bezpieczeństwem danych.

• AI hub – narzędzie wspierające inżynierów platform w eksplorowaniu, wdrażaniu i zarządzaniu kluczowymi zasobami AI. Udostępnia centralny katalog zweryfikowanych i zoptymalizowanych modeli gen AI, rejestr do zarządzania ich cyklem życia oraz środowisko wdrożeniowe do konfiguracji i monitorowania wszystkich zasobów działających na platformie OpenShift AI.

• Gen AI studio – interaktywne środowisko dla inżynierów AI, umożliwiające pracę z modelami i szybkie prototypowanie nowych aplikacji generatywnej sztucznej inteligencji. Dzięki funkcji AI assets endpoint inżynierowie mogą łatwo wyszukiwać i wykorzystywać dostępne modele oraz serwery MCP, które usprawniają sposób integracji modeli z narzędziami zewnętrznymi. Wbudowane środowisko testowe umożliwia eksperymentowanie z modelami, testowanie promptów i dostrajanie parametrów w scenariuszach takich jak czat czy generowanie wspomagane wyszukiwaniem informacji (z ang. retrieval-augmented generation, RAG).

• zweryfikowane i zoptymalizowane modele Red Hat – zestaw modeli ułatwiających proces tworzenia rozwiązań AI. W katalogu znajdują się popularne modele open source, takie jak gpt-oss od Open AI, DeepSeek-R1 oraz wyspecjalizowane modele, m.in. Whisper (konwersja mowy na tekst) i Voxtral Mini do obsługi agentów głosowych.

Tworzenie fundamentów dla agentów AI nowej generacji

Agenty AI mogą całkowicie odmienić sposób tworzenia aplikacji, a ich złożone, autonomiczne mechanizmy pracy będą wymagać zaawansowanych zdolności wnioskowania. Red Hat OpenShift AI 3.0 kontynuuje budowę fundamentów pod skalowalne systemy bazującej na agentach sztucznej inteligencji – nie tylko dzięki rozwiniętym funkcjom wnioskowania, lecz także poprzez nowe rozwiązania i usprawnienia w obszarze zarządzania agentami.

Aby przyspieszyć proces tworzenia i wdrażania agentów, Red Hat wprowadził ujednoliconą warstwę API bazującą na rozwiązaniu Llama Stack, która ułatwia dostosowanie ich rozwoju do branżowych standardów, takich jak OpenAI. Ponadto, wspierając bardziej otwarty i interoperacyjny ekosystem, firma jako jedna z pierwszych wdrożyła nowy, obiecujący standard Model Context Protocol (MCP). Usprawnia on sposób, w jaki modele sztucznej inteligencji współpracują z narzędziami zewnętrznymi, co stanowi kluczową funkcję nowoczesnych agentów AI.

Red Hat AI 3 wprowadza nowy, modułowy i rozszerzalny zestaw narzędzi do dostosowywania modeli, oparty na istniejącej funkcji InstructLab. Oferuje on wyspecjalizowane biblioteki Pythona, które zapewniają programistom większą elastyczność i kontrolę. Zestaw narzędzi bazuje na projektach open source, takich jak Docling, wykorzystywany do przetwarzania danych i usprawniający konwersję nieustrukturyzowanych dokumentów do formatu czytelnego dla AI. Obejmuje również elastyczną strukturę do generowania danych syntetycznych oraz moduł treningowy do dostrajania modeli LLM. Zintegrowane centrum ewaluacyjne pomaga inżynierom AI monitorować i weryfikować wyniki, umożliwiając im pewne i świadome wykorzystanie danych własnych w celu uzyskania bardziej precyzyjnych i trafnych rezultatów AI.

Dowiedz się więcej na temat Red Hat AI 3:
www.redhat.com/en/products/ai