AI startup d-Matrix opracował nową architekturę pamięci 3D o nazwie 3DIMC, która, jak twierdzi, może zrewolucjonizować obsługę obciążeń związanych z sztuczną inteligencją.
Proces uruchamiania wytrenowanej sieci neuronowej, znany jako wnioskowanie, stanowi większość obciążenia obliczeniowego serwerów dużych firm. To tutaj inżynierowie d-Matrix identyfikują kluczowe wąskie gardło sprzętowe: podczas gdy pamięć HBM jest niekwestionowanym mistrzem w szkoleniu modeli AI, jest mniej idealna do codziennego użytku, pochłaniając energię i tworząc ograniczenia przepustowości.
Rozwiązaniem d-Matrix jest radykalny redesign sposobu montażu chipów. Ich technologia, nazwana Digital In-Memory Compute (DIMC), wykorzystuje podejście 3D-stacking. Specjalizowane chipy obliczeniowe są umieszczane na szczycie układów pamięci LPDDR5, połączone przez interposer. To pozwala na przeprowadzanie obliczeń bezpośrednio w samej macierzy pamięci, drastycznie redukując ruch danych, opóźnienia i zużycie energii.
Pierwszy testowy chip, nazwany Pavehawk, już działa w laboratoriach firmy. Ale d-Matrix patrzy w przyszłość i ogłosił swoją architekturę nowej generacji, o kodowej nazwie Raptor. Firma obiecuje, że Raptor zrealizuje pełny potencjał tej technologii: dziesięciokrotny wzrost prędkości wnioskowania przy jednoczesnym zmniejszeniu zużycia energii o 90% w porównaniu do konwencjonalnej HBM.
Z ekonomicznego punktu widzenia, opłacalna alternatywa dla HBM pojawia się w idealnym momencie. Rynek jest obecnie zdominowany przez zaledwie trzech gigantów: SK hynix, Samsung i Micron, co naturalnie utrzymuje wysokie ceny produktów. Jeśli 3DIMC d-Matrix lub podobna specjalizowana pamięć zyska szerokie zastosowanie w branży AI, pamięć HBM o wysokiej wydajności może stać się znacznie bardziej dostępna dla użytkowników mainstreamowych i segmentu gier.
Głównym powodem jest prosta zmiana popytu. Jeśli najwięksi klienci przejdą na te nowe, bardziej efektywne rozwiązania w zakresie wnioskowania, główni producenci HBM będą zmuszeni znaleźć nowe rynki dla swojej zdolności produkcyjnej. Może to prowadzić do nadwyżki podaży i, w konsekwencji, znacznego spadku cen HBM. W końcu to, co obecnie jest ekskluzywnym, drogim komponentem zarezerwowanym dla najwyższej klasy akceleratorów AI i profesjonalnych GPU, może w końcu stać się przystępne dla kart graficznych do gier wysokiej klasy.