Ile VRAM potrzebuję do lokalnego LLM?

Na start i modele 7B–13B w kwantyzacji wystarczy 12 GB, komfortowo 16 GB. Do modeli ~32B celuj w 24 GB. Model 70B wymaga realnie karty z 48–96 GB. Pamiętaj, że długi kontekst dodatkowo zjada pamięć.

Czy RTX 5090 wystarczy do AI?

Do większości zastosowań indywidualnych tak — 32 GB pozwala odpalać modele do ~32B, generować obrazy i lekko douczać mniejsze modele. Granica to modele 70B, których na niej nie uruchomisz.

Czy potrzebuję drogiej karty profesjonalnej?

Tylko jeśli potrzebujesz dużo VRAM-u (70B, długi kontekst), niezawodności ECC do wielogodzinnego treningu albo stawiasz kilka kart w jednej maszynie. Do pracy okazjonalnej to przerost.

Lepiej kupić nową kartę czy z drugiej ręki?

Z drugiej ręki bywa najlepszy stosunek ceny do możliwości — pod warunkiem, że karta zostanie sprawdzona pod obciążeniem przed zakupem. Najwięcej daje używana karta z dużym VRAM-em.

Czy stary komputer da się rozbudować do AI?

Czasem tak — kluczowe są zasilacz, wolne miejsce na kartę i przepustowość PCIe. Czasem taniej wyjdzie nowa baza. To akurat łatwo ocenić podczas krótkiej diagnostyki.