Groq

Groq推出了一种名为LPU™ Inference Engine的新型推理引擎。LPU（Language Processing Unit™）是一种端到端处理单元系统，为那些需要顺序处理的计算密集应用（如AI语言应用LLMs）提供了极快的推理能力。相比于GPU对LLMs和GenAI的计算速度，LPU具有更高的计算密度，可以大大缩短生成文本序列所需的时间，从而极大提高了推理性能。此外，通过消除外部内存瓶颈，LPU推理引擎还能够在LLMs上提供比GPU更高几个数量级的性能。Groq支持通过PyTorch、TensorFlow和ONNX等标准机器学习（ML）框架进行推理，而且还提供了定制开发工具GroqWare™套件，包括Groq Compiler，以便快速启动应用程序。Groq还推出了GroqCloud、Groq Compiler等快速开始的方式。除此之外，Groq提供了一系列的硬件产品，包括GroqCloud、GroqRack™、GroqNode™和GroqCard™等，用于构建低延迟和大规模的部署。 Groq是推动实时AI应用实现的标准，并且是唯一提供从硅到云一揽子解决方案的供应商。他们的解决方案旨在精确、高效和可重复地提供可扩展的推理性能。

主要功能点：

– GroqCloud：基于一系列的Language Processing Units实现的云服务，可以运行高效的LLMs应用
– GroqRack™：用于低延迟和大规模部署的服务器架构，拥有出色的性能和可扩展性
– GroqNode™：低延迟、可扩展的计算系统，适用于不同规模的部署
– GroqCard™：提供保证低延迟的单芯片解决方案，适用于服务器集成
– LPU™：一种新型的处理器，拥有出色的顺序处理性能，能够自动编译超过50B的LLMs，并提供高准确性