Apple har M4-Macar på gång – kan lanseras redan i år

Vad som verkar helt klart är att Snapdragon X Elite siffrorna är just INT8/FP8 och 45 TOPS är enbart för NPU-delen, totalt ska kretsen vara kapabel till 75 TOPS.

I fallet Apple är det lite mer frågetecken då Apple själva nämnde just 35 TOPS för A17, det också för INT8/FP8. Men man sa just 18 TOPS för M3, trots att den presenterades senare. Det är för FP16.

De gissningar jag sett är att NPU i M1/M2 inte har explicit INT8/FP8 stöd, så det blir inte snabbare att köra det jämfört med INT16/FP16. Frågan är sedan om M3 har stöd, vilket verkar sannolikt då den rätt mycket är en uppskalad A17. Men då är frågan varför Apple inte pushade de siffrorna...

Tydligen kan man med OK resultat köra vissa LLMs med 8-bit vikter, vilket då gör prestanda i det läget relevant. Vi lär få mer klarhet längre fram, kanske vid WWDC 2024

Tack för klargörandet, jag är inte påläst (eller intresserad) nog för att ta till mig alla detaljer kring ML/AI och dess hårdvaruimplementering.

Om dom släpper en air variant med 1tb och 32gb ram för runt 15 000 kanske det hade varit intressant att uppgradera. Fattar inte hur dom kan tycka det är rimligt att lägga på typ 10 000 för mer lagring och minne.