AI infrastruktura HuaKun: stanice, server, nebo cluster?
Výběr lokální inference, PCIe akcelerátorů, modulárních platforem a clusterů podle paměti, softwaru, souběžnosti a pilotu.
Popište provozní požadavky na službu AI
Výběr AI infrastruktury zahrnuje více než název modelu. Znalostní asistent, zpracování obrazu a trénovací úloha mají různé nároky na zdroje. Zaznamenejte přesnou verzi modelu, velikost vstupů a výstupů, počet uživatelů, souběžné požadavky a přijatelnou latenci. U interaktivní služby může být zásadní doba do první odpovědi a zvládání trvalé zátěže; u dávkového zpracování termín dokončení. Zahrňte umístění citlivých dat a požadavky na fungování podniku při výpadku. Ještě před porovnáním hardwaru tak vznikne ověřitelný provozní profil služby.
Paměť a softwarová kompatibilita
Váhy modelu tvoří jen část nároků na paměť. Inference potřebuje prostor také pro kontext, mezivýsledky, režii běhového prostředí a souběžné požadavky. Kvantizaci posuzujte spolu s kvalitou odpovědí a kompatibilitou. Operační paměť hostitelského serveru, paměť akcelerátoru a kapacita disků jsou samostatné zdroje. Softwarové prostředí akcelerátoru musí podporovat operátory modelu, framework i verze kontejnerů. Načtení modelu nestačí: pilot musí ověřit reprezentativní požadavky, dlouhý kontext a špičkový souběh požadavků. Trénování navíc vyžaduje paměť pro stav optimalizátoru a ukládání kontrolních bodů, takže vhodnost inferenční konfigurace pro trénování je třeba ověřit.
Od pracovní stanice k modulárnímu serveru
AT600W je pracovní stanice, kterou lze zvážit pro lokální práci s modely. Pro centralizovanou inferenci na PCIe porovnávejte AT225 a AT225 B2 samostatně: AT225 používá DDR4, zatímco B2 podporuje až šest karet Atlas 300I Duo. AT9508 G3 nabízí platformu 4U až pro deset dvouslotových akceleračních karet. U modulárních systémů výrobce uvádí osm NPU A2G4 pro AT548 Inference a osm NPU A2G3 pro AT548 Training. I při uvedených vazbách na názvy AT3500 G3 a AT800 (Model 9000) A2 je třeba ověřit konkrétní generaci modulů.
Volba rozsahu řešení
Cluster znamená více než další akcelerátory. Rozdělení modelu, propojení akcelerátorů, čtení dat a zápis kontrolních bodů se ovlivňují. Přechod k AT900 A2 PoDc nebo SuperPoD vyžaduje ověření víceuzlového softwaru i připravenost napájení a chlazení. TGDataXAI řeší aplikační postupy, TGHCI správu zdrojů a HKStor úložnou vrstvu; tyto role patří do architektury.
| Zátěž | Výchozí řešení |
|---|---|
| Lokální interaktivní práce | Pracovní stanice a pilot aplikace |
| Sdílená inferenční služba | PCIe nebo modulární inferenční server |
| Víceuzlové trénování | Návrh clusteru, propojení a místa instalace |
Od modelu k výsledku aplikace
U znalostního asistenta zahrňte do pilotu zdrojové dokumenty, aktualizace indexu, přístupová práva a odkazy na zdroje v odpovědích. Rychlá odpověď neospravedlňuje nesprávné informace ani zpřístupnění údajů bez oprávnění. Vzorové otázky od vlastníka podnikového procesu mají pokrývat požadované jazyky, chybějící informace a nejednoznačné dotazy. Určete postup předání nevyřešeného požadavku a vedení provozního deníku. Hodnocení odděluje kvalitu aplikace od zátěžových testů serveru a zahrnuje oba aspekty do přejímky. Provoznímu týmu také pomůže rozpoznat zhoršení po nasazení.
Od pilotu k zadání dodávky
V pilotu zaznamenejte kvalitu odpovědí, latenci, souběh požadavků, využití paměti, neúspěšné požadavky a chování při obnově. Výsledky porovnávejte se stejným modelem, numerickou přesností a kontextem. SOFCONS může v jednom zadání propojit automatizaci s AI, dodávku serverů, zdroje znalostí, přístupová práva a integraci se stávajícími systémy. Nabídka má určit verze softwaru, konfiguraci hardwaru, podmínky napájení a chlazení i přejímací scénáře. Do poptávky zahrňte model a profil uživatelů, aby konfigurace pilotu odpovídala požadavkům podniku i produkčním podmínkám.
Naplánujte svou IT infrastrukturu
Proberme výběr serverů a platforem pro vaše aplikace, úlohy AI a požadavky datového centra.
Prozkoumat technologie
Uvedení do praxe
HuaKun Kunpeng/ARM: plán migrace podnikových aplikací
Praktický průvodce kompatibilitou ARM, výběrem pilotu a postupnou migrací od binárních souborů po testy obnovy.
Kapalinové chlazení HuaKun: od serveru k návrhu objektu
Porovnání chladicích desek, rozstřiku a ponoření podle uzlů, sítě, odvodu tepla, jednotek U/OU a servisu.