HuaKun AI infrastrukturu: iş stansiyası, server, yoxsa klaster?
Lokal model icrası, PCIe sürətləndiricilər, modullu platformalar və klasterlər arasında seçim: yaddaş, proqram uyğunluğu, paralellik və pilot.
AI xidməti üçün iş yükünü təsvir edin
AI infrastrukturu seçimi modelin adını müəyyən etməklə bitmir. Bilik bazası köməkçisi, təsvir analizi və model təlimi fərqli resurslar tələb edir. Dəqiq model versiyasını, giriş və çıxış ölçülərini, istifadəçi sayını, paralel sorğuları və məqbul gecikməni qeyd edin. İnteraktiv xidmət üçün ilk cavaba qədər vaxt və davamlı sorğu yükü, paket emalı üçün isə tamamlanma müddəti əsas ola bilər. Məxfi məlumatların harada saxlanacağı və fasilə zamanı biznesin necə işləyəcəyi də ilkin tələblərə daxildir.
Yaddaş və proqram uyğunluğu
Modelin çəkiləri operativ yaddaş tələbinin yalnız bir hissəsidir. Model icrası zamanı kontekst, ara nəticələr, icra mühitinin ehtiyacları və paralel sorğular üçün də yaddaş lazımdır. Kvantlaşdırmanı cavab keyfiyyəti və uyğunluqla birlikdə yoxlayın. Əsas serverin operativ yaddaşı, sürətləndirici yaddaşı və disk tutumu ayrı resurslardır. Sürətləndiricinin proqram steki model operatorlarını, proqram çərçivəsini və konteyner versiyalarını dəstəkləməlidir. Pilotda real sorğuları, uzun konteksti və pik paralelliyi yoxlayın. Təlim üçün optimizatorun vəziyyəti və aralıq vəziyyət nüsxələri də saxlanmalıdır; model icrası konfiqurasiyasının təlimə uyğunluğu ayrıca qiymətləndirilir.
İş stansiyasından modullu serverə
AT600W iş stansiyasını lokal iş axınları üçün nəzərdən keçirmək olar. Mərkəzləşdirilmiş PCIe model icrası üçün AT225 və AT225 B2 ayrıca müqayisə edilir: AT225 DDR4 əsaslıdır, B2 isə altıyadək Atlas 300I Duo kartını dəstəkləyir. AT9508 G3 4U formatında hər biri iki genişlənmə yuvası tutan onadək sürətləndirici kart üçün platformadır. Modullu sistemlərdə AT548 Inference səkkiz A2G4 NPU, AT548 Training isə səkkiz A2G3 NPU ilə göstərilir. Rəsmi sənədlərdə AT3500 G3 və AT800 (Model 9000) A2 adları ilə əlaqə göstərilsə də, konkret modul nəsli ayrıca yoxlanmalıdır.
Miqyasın seçimi
Klaster yalnız daha çox sürətləndirici deyil. Modelin bölünməsi, sürətləndiricilərarası əlaqə, məlumat oxunması və yoxlama nöqtələrinin yazılması bir-birinə təsir edir. AT900 A2 PoDc və SuperPoD ailələrinə keçid zamanı çoxqovşaqlı proqram davranışı və obyektin enerji-soyutma hazırlığı birlikdə qiymətləndirilir. TGDataXAI tətbiq iş axınına, TGHCI resurs idarəsinə, HKStor isə saxlama qatına aiddir.
| İş yükü | İlkin istiqamət |
|---|---|
| Lokal interaktiv iş | İş stansiyası və tətbiq pilotu |
| Ortaq model icrası xidməti | PCIe və ya modullu model icrası serveri |
| Çoxqovşaqlı təlim | Klaster, əlaqə və obyekt layihəsi |
Modeldən tətbiq nəticəsinə
Bilik bazası köməkçisinin pilotuna mənbə sənədlərini, indeksin yenilənməsini, giriş hüquqlarını və cavab mənbələrinin göstərilməsini daxil edin. Sürətli cavab səhv və ya istifadəçiyə verilməsinə icazə olmayan məlumatı məqbul etmir. Biznes prosesinə cavabdeh şəxsin hazırladığı nümunə suallar tələb olunan dilləri, çatışmayan məlumatı və qeyri-müəyyən sorğuları əhatə etməlidir. Cavab tapılmadıqda müraciətin yönləndirilməsi qaydasını və əməliyyat jurnalını müəyyən edin. Tətbiqin keyfiyyəti ilə serverin yük sınağı ayrıca qiymətləndirilir və hər ikisi qəbul planına daxil edilir.
Pilotdan satınalma tapşırığına
Pilotda cavab keyfiyyətini, gecikməni, paralel istifadəni, yaddaş istifadəsini, uğursuz sorğuları və bərpa davranışını qeydə alın. Nəticələri eyni model, ədədi dəqiqlik və kontekstlə müqayisə edin. SOFCONS AI avtomatlaşdırmasını server təchizatı, bilik mənbələri, giriş hüquqları və mövcud sistemlərlə inteqrasiya ilə bir layihədə əlaqələndirə bilər. Təklifdə proqram versiyaları, avadanlıq konfiqurasiyası, enerji və soyutma şərtləri, qəbul ssenariləri göstərilməlidir. Pilotun biznes tapşırığına və istismar şəraitinə uyğun seçilməsi üçün model və istifadəçi profilini sorğuya əlavə edin.
İT infrastrukturunuzu planlaşdıraq
Tətbiqlərinizə, AI tapşırıqlarınıza və məlumat mərkəzinizin imkanlarına uyğun server və platforma seçimini müzakirə edək.
Texnologiyalar haqqında ətraflı
Praktikada tətbiqi
HuaKun Kunpeng/ARM: müəssisə tətbiqləri üçün keçid planı
Binarilərdən bərpa sınağına qədər ARM uyğunluğunu yoxlamaq, pilot seçmək və mərhələli keçidi hazırlamaq üçün praktik bələdçi.
HuaKun maye soyutması: serverdən obyekt layihəsinə
Soyuducu lövhə, püskürtmə və daldırmanı qovşaq uyğunluğu, şəbəkə, istilik kənarlaşdırılması, U/OU və xidmət üzrə müqayisə edin.