Eksempel · Privat AI
Privat AI på egne modeller, og frontier-modeller, når opgaven kræver det.
Vi har købt en klynge af NVIDIA DGX Spark og sætter den op i eget serverrum på et lukket netværk. Her kører åbne modeller helt privat, og her kan vi træne videre på dem. Sammen med EU-hosting hos Scaleway og frontier-modeller fra OpenAI, Anthropic og andre giver det tre veje til en model. Portalen, agenten og CMS'et er de samme, uanset om I kører Umbraco, Sitecore eller Optimizely. Det er opgaven, der bestemmer vejen.
Udgangspunktet
Nogle data må ikke forlade huset. Andre opgaver vinder på den bedste model.
Der er stor forskel på at lade en model skrive et forslag til en metabeskrivelse og at lade den læse medlemsdata, personsager, kontrakter eller kildekode. Det første kan ligge hvor som helst. Det andet må ofte ikke forlade organisationen, og slet ikke EU.
Derfor vil vi ikke vælge én udbyder til alt. Vi vil kunne pege hver opgave på den model, der passer til data, pris og kvalitet, uden at bygge løsningen om. Det er det, klyngen, aftalen med Scaleway og frontier-udbyderne tilsammen giver os.
Tre veje
Privat, i EU eller hos frontier-udbyderne.
01
Privat. Åbne modeller i eget serverrum.
Klyngen af DGX Spark står hos os på et lukket netværk. Modellerne er åbne, vægtene ligger på vores egne diske, og prompts og svar bliver aldrig sendt ud af huset. Her hører de data til, som ikke må ud: medlemsdata, personsager, kontrakter og kildekode. I en fagforening er selve medlemskabet en følsom oplysning, så der gælder det hele medlemssystemet.
Sådan holder det
- Til medlemssystemer, personsager, kontrakter og kildekode
- Intet kald forlader netværket, og ingen udbyder logger noget
- Finjustering på jeres data, og modellen bliver jeres
- Fast pris om måneden i stedet for pris pr. token
02
EU. Åbne og europæiske modeller hos Scaleway.
Når opgaven skal skalere ud over vores eget serverrum, men stadig blive i EU, bruger vi Scaleway i Paris. Her kører åbne modeller og europæiske modeller som Mistral under europæisk lovgivning, og data gemmes som standard ikke. Vi har selv bygget Umbraco.AI-udbyderen til Scaleway, så det er et skift i en profil, ikke et projekt. Sitecore og Optimizely går samme vej gennem det samme API.
Sådan holder det
- Europæisk udbyder under europæisk lovgivning
- Til indhold, dokumenter og henvendelser, der må ud af huset, men skal blive i EU
- Ingen lagring af prompts og svar som standard
- Vores egen Umbraco.AI-udbyder, så Umbraco kan skifte uden kode
03
Frontier. OpenAI, Anthropic og andre, når kvaliteten skal i top.
Til åbne og hurtige opgaver, hvor data ikke er følsomme, og den bedste model vinder, bruger vi frontier-modellerne fra OpenAI, Anthropic og andre. Direkte fra udbyderen eller gennem Azure, Vercel eller Cloudflare, når organisationen allerede har aftaler, kvoter og sikkerhed der.
Sådan holder det
- OpenAI, Anthropic, Google og andre efter opgave
- Direkte eller via Azure, Vercel eller Cloudflare
- Betaling pr. kald til udbyderens listepris
- Til offentligt indhold, SEO-tekster og udkast uden personoplysninger
DGX Spark-princippet
En lille klynge i eget serverrum, koblet direkte på jeres CMS og de andre services.
NVIDIA DGX Spark er en lille maskine med Grace Blackwell-chippen GB10 og 128 GB fælles hukommelse. Én af dem kører åbne modeller med op til omkring 200 milliarder parametre. Kobler man flere sammen, deler de arbejdet og kan køre større modeller og flere opgaver på én gang.
Klyngen serverer modellerne gennem ét OpenAI-kompatibelt API på vores lukkede netværk. Umbraco.AI, portalen, agenten og søgeindekset taler til den på samme måde, som de ville tale til OpenAI. Det samme gælder Sitecore og Optimizely, hvor vi bygger forbindelsen, hvis platformen ikke selv har den. Forskellen er, at ingen data forlader huset, og at træningen foregår på den samme klynge.
På tværs af projekter
Samme modeller, flere steder i arbejdet.
Modellerne er ikke et projekt for sig. De sidder i det, vi allerede bygger: i redaktørens CMS, i portalens søgning, i agenten med adgang til data og i den drift, der følger med. Her er de steder, hvor vi har skrevet om det.
-
Eksempel
AI i Umbraco til redaktører
SEO-tekst, billeder og Copilot i backoffice. Udbyderen bag kan være OpenAI, Scaleway eller vores egen klynge, uden at redaktøren mærker forskel.
Se eksemplet -
Nyhed
AI er kommet til Umbraco
Umbraco har sendt sine egne AI-pakker på gaden. I vælger selv model og udbyder, og det er dét valg, de tre veje handler om.
Læs nyheden -
Nyhed
Morgenmøde om AI
Datasikkerhed, governance og valg af platform fyldte meget på morgenmødet. Klyngen er et konkret svar på flere af spørgsmålene.
Læs nyheden -
Service
AI & agenter
Agenter med kontrolleret adgang til data og handlinger gennem MCP. Modellen bag agenten vælges pr. opgave, og følsomme sager kan køre privat.
Læs om servicen -
Service
Selvbetjening & brugerportaler
Hybridsøgning og svar i portalen bygger på et vektorindeks. Det kan laves med egne modeller, så medlemsdata bliver, hvor de er.
Læs om servicen -
Service
Drift & videreudvikling
Klyngen drives som resten af det, vi har ansvar for: overvågning, opdateringer og et hold, der kender løsningen.
Læs om servicen
Under motorhjelmen
Bygget på standarder, så vejen kan skiftes.
NVIDIA DGX Spark
GB10 Grace Blackwell Superchip, 128 GB fælles hukommelse og op til en petaflop AI-ydelse pr. maskine. Flere maskiner kobles sammen over ConnectX-7 og deler en model eller en kø af opgaver.
OpenAI-kompatibelt API
Modellerne serveres i det samme API-format, som frontier-udbyderne bruger. Umbraco.AI, Sitecore, Optimizely, portaler og agenter skifter mellem klyngen, Scaleway og OpenAI ved at pege en profil et andet sted hen.
Lukket netværk
Klyngen kan kun nås fra vores eget netværk og fra de løsninger, vi kobler på gennem krypterede tunneler. Modellerne har ingen vej ud til internettet.
Egen træning
Vi finjusterer åbne modeller på jeres dokumenter, sprog og regler på klyngen. Resultatet er en model, I ejer, og som kan køre hos os, hos jer eller i EU.
Det lover vi ikke
Privat er ikke det samme som bedst. Vi vælger pr. opgave.
- Åbne modeller på egen hardware er ikke altid de bedste. Til nogle opgaver vinder frontier-modellerne tydeligt, og så siger vi det.
- En lukket klynge gør ikke data lovlige at bruge. Databehandleraftaler, formål og rettigheder skal stadig være på plads.
- Klyngen udvides efter behov, men den er bygget til udvalgte opgaver og træning, ikke til at erstatte en cloud for hele organisationen.
