Wyświetlenie artykułów z etykietą: Michael Carbin

Wzrost popularności dużych modeli językowych (LLM) sprawia, że coraz więcej firm chce wdrażać je w swoich rozwiązaniach inżynierskich. Problem pojawia się, gdy trzeba uruchomić je tanio i efektywnie. Modele te są zasobożerne, a koszty ich działania często przekraczają budżety zespołów projektowych. Mimo to istnieją sposoby znaczącego obniżenia wydatków operacyjnych bez utraty jakości działania. W artykule przedstawione zostaną konkretne techniki optymalizacji procesu inferencji modeli LLM, takie jak kwantyzacja, zarządzanie pamięcią czy ciągłe batchowanie. Pokazane zostaną też praktyczne przykłady wdrożeń opartych o dostępne technologie open source oraz rozwiązania stosowane przez liderów branży. Celem jest przedstawienie sprawdzonych metod, które można zastosować od razu w projektach inżynierskich.