Groq使用LPU，搭载的是SRAM，存储芯片板块尾盘拉升。
作者 | 韦三甲
编辑 | 小白
2023年是人工智能进入大众视野的一年，2024年时人们见证人工智能飞跃的一年。
开年以来一波未平一波又起，文生视频大模型Sora的热度还未消散，高速语言推理大模型Groq又横空出世。
这款大模型试用速度能做到接近500tokens/s，远超过了GPT-4。
Groq是一家初创公司，成员来自谷歌TPU团队原班人马，这款大模型是基于自研芯片推出推理加速方案。
根据介绍，该模型的推理速度相较于英伟达的GPU提高了10倍，但是成本却只有10%。
目前官网显示有Llama 2 70B、Llama 2 7B和Mixtral 8x7B SMoE三种模型，速度和价格如下。
虽然风云君对这个Llama 2 7B的750tokens/s的速度很感兴趣，但是官网试用只有下面这两种可以选，最高速度480tokens/s。
即便如此，这个速度也已经可以吊打同行业的其他大模型了。
Groq的处理器是LPU（Language Processing Unit，语言处理单元），可以为诸如AI语言应用程序（LLM）等提供最快的推理速度。
LPU旨在克服LLM的两个瓶颈：计算密度和内存带宽。
对于LLM来说，LPU的计算能力要远大于GPU和CPU，它减少了计算每个单词所需要的时间，从而可以更快地生成文本。
Groq的芯片采用了14nm制程，搭载了230MB的SRAM来保证内存带宽，
Groq的LPU不需要像英伟达的GPU那样的快速数据传输，因为LPU上并没有搭载HBM。它们使用SRAM，比GPU快20倍。
LPU使用临时指令集计算机体系结构，因此它不需要像GPU使用高带宽内存(HBM)那样经常从内存中重新加载数据。
而此前英伟达的H100和H200芯片都是借助HBM的技术才实现了速度和能效的改善。
SRAM是静态随机存取存储器（Static Random-Access Memory，SRAM），属于随机存取存储器的一种，只要保持通电，里面的数据就可以一直保存。
存储芯片概念（G000260）午后14:00开始暴力拉升。
北京君正：北京矽成是控股公司，全球DRAM、SRAM行业龙头之一。
西测测试：公司电子元器件检测筛选方面可实现对EEPROM、SRAM、NOR Flash等存储芯片读写擦除功能的自动检测。
恒烁股份：公司是一家主营业务为存储芯片和MCU芯片研发、设计及销售的集成电路设计企业。公司现有主营产品包括NOR Flash存储芯片和基于Arm® Cortex®-M0+内核架构的通用32位MCU芯片。
兆易创新：公司产品以SRAM起家，后拓展至NOR Flash、MCU、DRAM等。
免责声明：本报告（文章）是基于上市公司的公众公司属性、以上市公司根据其法定义务公开披露的信息（包括但不限于临时公告、定期报告和官方互动平台等）为核心依据的独立第三方研究；市值风云力求报告（文章）所载内容及观点客观公正，但不保证其准确性、完整性、及时性等；本报告（文章）中的信息或所表述的意见不构成任何投资建议，市值风云不对因使用本报告所采取的任何行动承担任何责任。
以上内容为市值风云APP原创
未获授权 转载必究返回搜狐，查看更多