Wobec niedoborów mocy obliczeniowej w centrach danych coraz częściej mówi się o lokalnej inferencji: użytkownicy uruchamialiby otwarte modele AI na własnych komputerach zamiast korzystać z chmury. Sam Altman, szef OpenAI, wskazuje w podcaście Cheeky Pint, że takie podejście może oznaczać nieefektywne wykorzystanie ograniczonych zasobów sprzętowych.
Chodzi o pamięć DRAM, która stała się jednym z wąskich gardeł branży AI. Producenci ostrożnie zwiększają moce, bo rozbudowa fabryk wymaga wielomiliardowych inwestycji, a wcześniejsze okresy nadprodukcji pokazały, jak ryzykowne bywają takie decyzje. Według argumentacji Altmana komputery prywatnych użytkowników przez większość czasu nie wykonują intensywnych obliczeń związanych z AI, a ich wykorzystanie może wynosić zaledwie około 5 proc. czasu. W centrach danych ta sama pamięć może być współdzielona przez wielu użytkowników.
Lokalne uruchamianie AI wciąż ma jednak sens: daje większą niezależność od dostawców usług, może lepiej chronić prywatność i pozwala korzystać z modeli bez stałego dostępu do internetu. Autor źródła zauważa też, że to użytkownik powinien decydować, do czego wykorzystuje pamięć kupioną za własne pieniądze.
#OpenAI #RAM
