Nvidia TESLA V100 16 GB to zaawansowany akcelerator graficzny dedykowany do zastosowań związanych z sztuczną inteligencją i uczeniem maszynowym. Produkt ten charakteryzuje się dużą mocą obliczeniową oraz szybką pamięcią HBM2, co sprawia, że jest doskonałym wyborem dla zaawansowanych modeli AI/ML, w tym również LLM.

Karta bardzo szybka w modelach LLM, uzywana pod LLM z modelami 13-14B daje rezultaty rzędu nawet 80tok/s przy do 5-10s czasie do pierwszego tokenu

Dodatkowo, aby karta nie wpadała w throttling, potrzebny jest dedykowany wentylator, który utrzymuje stałą temp.radiatora (druga fotka) daje go w kpl.

Parametry techniczne:
Częstotliwość taktowania rdzenia GPU - 1245MHz
Maksymalna częstotliwość taktowania rdzenia GPU - 1380MHz
Rozmiar pamięci RAM - 16GB HBM2
Częstotliwość taktowania pamięci RAM - 876MHz
Przepustowość pamięci RAM - 897GB/s
Szyna danych pamięci - 4096bit
Generacja PCI-E - 3.0 x16
Wersja CUDA - 7.0
Liczba rdzeni CUDA - 5120
Wydajność Single-Precision - 14.13TFLOPS
Wydajność Double-Precision - 7.07TFLOPS
TDP - 250W
Dodatkowe zasilanie karty - 8+8-PIN

Złącza wideo: BRAK (Karta nie posiada wyjść na monitor)

Karta widoczona w systemie jako akcelerator graficzny, LM Studio widzi jaka druga jednostke graficzna na ktora mozna załądować model.

Sprawna bez zadnegych problemow działa caly czas , zmieniam koncepcie systemu i nie bedzie mi juz potrzebna