Google扔出技术核弹 内存需求将崩塌?via cnBeta全文版

全球AI算力竞赛出现重大技术拐点！近日，Google公布的全新AI內存压缩技术“TurboQuant”，引发了业界的极大关注。该技术宣称能在不牺牲模型精准度的前提下，将生成式AI推理阶段最吃资源的“键值缓存”（KV Cache）空间需求减少到原来的1/6，并让计算速度暴增8倍。 这一突破性的技术，也引发了整个市场对于内存需求将断崖式下跌的担忧，美光、Sandisk、西部数据等存储相关美股纷纷大跌。 TurboQuant究竟是什么？ 在LLM（大语言模型）推理过程中，为了处理长文本，系统必须将过往对话信息存放在KV…