Prototyyppi, 2017
11 vesijäähdytettyä GPU:ta yhdessä kotelossa
Kahden CPU:n palvelinalusta yhdessä CAD-suunnitellussa kotelossa, jäähdytyksenä yksi vesikierto.
GRUENCY / Tekoälytyöasemat
Tekoälytyöasemat jatkuvaan kuormaan
Mallien koulutus ja paikallinen LLM-inferenssi pitävät koneen täydellä teholla tunteja tai päiviä. GRUENCY mitoittaa GPU:t, virransyötön ja jäähdytyksen tälle jatkuvalle kuormalle. Jokainen tekoälytyöasema testataan rasitustestillä ennen toimitusta.
Mitä päätetään ennen tilausta
Laskentateho, muisti, PCIe-linjat, virransyöttö ja melutaso määritellään yhdessä käytettävien mallien pohjalta.
- GPU-luokka ja VRAM mitoitetaan malleille: kvantisointi, kontekstin pituus ja eräkoko
- PCIe-topologia suunnitellaan korttipaikka kerrallaan, ja jokaisen GPU:n linkin leveys ilmoitetaan
- Työasema- tai palvelinalusta ja ECC-muisti silloin, kun työ sitä vaatii
- Virransyöttö mitoitetaan mitattua jatkuvaa tehonkulutusta suuremmaksi
- Vesijäähdytys tai korkeapaineinen ilmajäähdytys, joka suunnitellaan sovitun melutavoitteen mukaan
- Tallennusratkaisu aineistoille, tarkistuspisteille ja väliaikaiselle työtilalle
Testaus ennen toimitusta
Jokainen tekoälytyöasema lähtee Varsovasta oman testipöytäkirjansa kanssa. Siihen kuuluvat pitkäkestoinen täyden kuorman rasitustesti, lämpöprofiili jokaiselle GPU:lle ja melutason tarkistus sovittua tavoitetta vasten. Koneen saavuttua Sebastian ottaa sen käyttöön etänä asiakkaan ympäristössä.
Aiempi työ
Toimittajana NVIDIAlle
Tekoälylaskennan ja visuaalisen tuotannon järjestelmät
Työtä NVIDIAn toimittajana tekoäly-, renderöinti- ja visualisointijärjestelmien parissa. WS.COMPUTERin asiakkaita on yli 30 maassa.
Vuodesta 2014
Usean GPU:n kokoonpanot
Koneita GPU-sukupolvesta toiseen, kukin määritelty työkuormansa mukaan.
Kysymyksiä tekoälytyöasemista
Miten kone mitoitetaan paikalliseen LLM-inferenssiin?
Käytettävien mallien perusteella. Parametrien määrä, kvantisointi, kontekstin pituus ja eräkoko määräävät tarvittavan VRAM-määrän ja muistikaistan. Tämä on konsultaation ensimmäinen kysymys.
Ilma- vai vesijäähdytys koulutuskoneeseen?
Se riippuu jatkuvasta tehonkulutuksesta ja melutavoitteesta. Kaksi GPU:ta voidaan usein jäähdyttää ilmalla. Neljä tai useampi GPU jatkuvassa kuormassa vaatii yleensä räätälöidyn vesikierron.
Toimitetaanko koneita Puolan ulkopuolelle, ja otetaanko ne siellä käyttöön?
Kyllä. Koneet toimitetaan kaikkialle EU:hun ja muualle maailmaan räätälöidyssä kuljetuspakkauksessa. Etäkäyttöönotto asiakkaan ympäristöön sisältyy jokaiseen toimitukseen.
Pyydä konsultaatio
Kuvaile mallit, data ja koneen käyttöympäristö.
Tai lähetä sähköpostia osoitteeseen info@gruency.com · Määritä kokoonpano: WS.COMPUTER