Varför det är viktigt: Microsoft och Nvidia har dramatiskt ökat sitt fokus på AI efter den ökande populariteten för generativ AI, men mycket av tekniken är beroende av molnservrar. När AI-kapabel hårdvara börjar nå konsumenterna, presenterar de två företagen verktyg för att minska användarnas beroende av fjärranslutna AI-system.
Vid det senaste evenemanget Ignite 2023 avslöjade Microsoft och Nvidia verktyg för att hjälpa användare att utveckla och köra generativa AI-applikationer lokalt. Den nya programvaran utnyttjar Windows 11:s ökade fokus på AI tillsammans med populära AI-modeller från Microsoft, Meta och OpenAI.
Microsofts nya Windows AI Studio konsoliderar många modeller och utvecklingsverktyg från kataloger som Azure AI Studio och Hugging Face. Den innehåller konfigurationsgränssnitt, genomgångar och andra instrument för att hjälpa utvecklare att bygga och förfina små språkmodeller.
Windows AI Studio låter användare arbeta med modeller som Metas Llama 2 och Microsofts Phi. Microsoft kommer initialt att släppa arbetsflödet som en VS-kodtillägg under de kommande veckorna. Förmodligen kan AI Studios lokala AI-arbetsbelastningar använda hårdvara som Neural Processing Units, som kommer att bli vanliga i kommande CPU-generationer.
Under tiden Nvidia meddelat en betydande förestående uppdatering av TensorRT-LLM, som lovar att utöka och påskynda AI-applikationer på Windows 11-system samtidigt som data bevaras på lokala system utan att förlita sig på molnservrar, vilket skulle kunna lösa vissa användares säkerhetsproblem. Förbättringarna kommer att vara tillgängliga på bärbara datorer, stationära datorer och arbetsstationer med GeForce RTX-grafikkort och minst 8 GB VRAM.
En ny funktion är ett omslag som gör TensorRT-LLM kompatibel med OpenAI:s Chat API. När version 0.6.0 kommer senare denna månad kommer den dessutom att göra AI-inferensoperationer fem gånger snabbare och lägga till stöd för nya stora språkmodeller som Mistral 7B och Nemotron-3 8B på valfri RTX 3000 eller 4000 GPU med minst 8 GB minne .
Företaget kommer snart släpp uppdateringen av sin GitHub-repo och gör de senaste optimerade AI-modellerna tillgängliga på ngc.nvidia.com. Dessutom kan de som är intresserade av den kommande AI Workbench-modellanpassningsverktyget nu Ansluta sig listan över tidiga tillgångar.
I relaterade nyheter har Microsoft lagt in Bings AI-drivna chatbot i varumärket Copilot. Användare som öppnar Bing-chattfönstret i Edge eller den nya Copilot-assistenten i Windows 11 kan nu se namnet “Copilot med Bing Chat”.
Bing Chat dök först upp som en chatbot inom Edge innan företaget tog med sin funktionalitet i Copilot-assistenten som debuterade med den senaste uppdateringen av Windows 11 23H2. Att förena funktionerna under ett namn skulle kunna placera gränssnittet mer fast som Microsofts svar på ChatGPT.
