Specjaliści z Microsoftu opracowali model językowy BitNet b1.58 2B4T, który, mimo kompaktowych rozmiarów, dostarcza wyniki porównywalne z większymi odpowiednikami. Jego kluczową cechą jest zdolność do działania na standardowych procesorach bez potrzeby używania akceleratorów graficznych. To otwiera dostęp do technologii AI dla urządzeń z ograniczonymi zasobami.
Zamiast standardowych obliczeń 16- lub 32-bitowych, model wykorzystuje uproszczone operacje 1-bitowe z trzema stanami: -1, 0 i +1. Takie podejście redukuje zużycie pamięci do 400MB — dla porównania, najbliższy konkurent z Google (Gemma 3 1B) wymaga 1.4GB. Oszczędności osiągane są dzięki zasadniczo innemu podejściu do przetwarzania danych: zamiast złożonych operacji matematycznych, system opiera się na zoptymalizowanych algorytmach binarnych.
Podczas testów BitNet porównano z modelami od Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) i Alibaba (Qwen 2.5 1.5B). Mimo mniejszych rozmiarów, rozwój Microsoftu osiągnął średni wynik 54.19 w kompleksowych testach, przewyższając LLaMa (44.90) i Gemma (43.74), a jedynie nieznacznie ustępując Qwen (55.23), który zajmuje 6.5 razy więcej pamięci. W konkretnych zadaniach związanych z analizą tekstu, BitNet zajął prowadzenie.
Aby osiągnąć maksymalną wydajność, model wymaga specjalnego frameworka bitnet.cpp, dostępnego w otwartym repozytorium GitHub. Standardowe narzędzia, takie jak biblioteka Transformers, nie w pełni odblokowują jego potencjał. Programiści zauważają, że obecna wersja jest zoptymalizowana pod kątem procesorów, ale przyszłe aktualizacje dodadzą wsparcie dla neuroprocesorów i GPU.
BitNet jest przykładem trendu w kierunku „lekkich” modeli AI. Takie rozwiązania zmniejszają zużycie energii i pozwalają na uruchamianie złożonych algorytmów na urządzeniach bez dostępu do usług w chmurze. Jest to szczególnie istotne w regionach z wolnym internetem lub w przypadku przetwarzania poufnych danych, gdzie przesyłanie informacji do centrów danych jest niepożądane. Według deweloperów ich celem jest uczynienie technologii AI dostępnymi bez potrzeby modernizacji sprzętu, co mogłoby zmienić podejście do rozwoju aplikacji zasilanych AI.