500 milliárd paraméteres modell a Microsofttól
2024. május 07. by Bíró Gábor
A Microsoft egy hatalmas új nyelvi modellt fejleszt, az MAI-1-et, amely potenciális riválisa lesz a Google és az OpenAI hasonló eszközeinek. A mintegy 500 milliárd paraméterrel rendelkező MAI-1 célja, hogy javítsa a Microsoft mesterségesintelligencia-kapacitását, különösképp a Bing kereső és Azure felhős szolgáltatások terén.
A Microsoft egy jelentős új nyelvi modellt, az MAI-1-et fejleszti, amely körülbelül 500 milliárd paraméteres méretével az iparág legnagyobb modelljei közé tartozik. Célja, hogy felvegye a versenyt más jelentős modellekkel, mint például az OpenAI GPT-4-e és a Google Gemini Ultra modellje.
A paraméterek határozzák meg a modell képességét a nyelv megértésére és generálására. Több paraméterrel rendelkező modell jobban képes a nyelv finomságait leképezni, de ezáltal lassabbá és számításigényesebbé is válik. A paraméterek határozzák meg a modell kapacitását a nyelvtanuláshoz is, és befolyásolják a modell precizitását és generalizálhatóságát a különböző nyelvi feladatokban. A jól beállított paraméterekkel rendelkező modell jobban generalizálható új adatokra, mint az a modell, amelyet csak egyetlen adatkészleten képeztek ki.
Az MAI-1 fejlesztését Mustafa Suleyman, az AI-fejlesztés kiemelkedő alakja vezeti, aki a Google-nél szerzett tapasztalatokkal és az Inflection AI vezérigazgatójaként eltöltött idő után csatlakozott a Microsofthoz. A modellt jelentős GPU-erőforrásokkal rendelkező szerverklaszterek felhasználásával építik ki, melyek nagy valószínűséggel Nvidia technológiát használnak. Az MAI-1 képzési adatai közé tartozik a GPT-4 által generált szöveg, valamint egyéb webes tartalmak, ami robusztus és változatos adatbázist biztosít számára.
Az MAI-1 fejlesztése a Microsoft elkötelezettségét mutatja, hogy önállóan fejlessze AI-képességeit, függetlenül az olyan külső szereplőkkel való együttműködéstől, mint az OpenAI. A modell várhatóan beépül a Microsoft felhős szolgáltatásaiba, és potenciálisan fejlesztheti az olyan alkalmazásokat, mint a Bing és az Azure.
Mérete ellenére az MAI-1 összetettsége miatt a Microsoft adatközpontjaiban való futtatásra tervezték, így nem lesz alkalmas fogyasztói eszközökön történő működésre. A modell pontos alkalmazásai és teljes képességei még megfontolás alatt állnak, bemutatkozása valószínűleg a Microsoft közelgő Build fejlesztői konferenciáján lesz.