爱游戏-英特尔至强处理器在AISBench测试中表现卓越

[导读]第五代英特尔®至强®可扩大处置器经由过程了中国电子手艺尺度化研究院组织的人工智能办事器系统机能测试（AISBench）。英特尔成为首批经由过程AISBench年夜说话模子（LLM）推理机能测试的企业。 近期，第五代英特尔 至强 可扩大处置器经由过程了中国电子手艺尺度化研究院组织的人工智能办事器系统机能测试（AISBench）。英特尔成为首批经由过程AISBench年夜说话模子（LLM）推理机能测试的企业。 中国电子手艺尺度化研究院赛西尝试室根据国度尺度《人工智能办事器系统机能测试规范》（收罗定见稿）相干要求，利用AISBench2.0测试东西，完成了第五代英特尔至强可扩大处置器的AI年夜模子推理机能和精度测试。测试中，第五代英特尔至强在ChatGLM V2-6B（60亿参数）和Llama2-13B（130亿参数）两个模子上均揭示出出色推理机能，可以或许知足轻量级年夜说话模子的及时推理要求。 测试成果：此次单机机能测试中，在知足人类正常浏览速度要求（江南体育生成延迟小在100毫秒）的环境下，在封锁测试场景中组织数据集，基在第五代英特尔至强的办事器可实现： •在60亿参数的ChatGLM V2模子通用推理中，当输入输出序列为256时可达每秒2493 token的机能，当输入输出序列为2048时可达每秒926 token。 •在130亿参数的Llama2模子通用推理中，当输入输出为256时可达每秒513 token，当输入输出序列为2048时可达每秒132 token1。 作为通用途理器，第五代英特尔至强在人工智能、收集、存储、数据库等要害工作负载均能供给超卓机能。AISBench2.0的测试成果验证了英特尔至强在运行轻量级年夜说话模子时揭示出的优良推理机能，使得客户可使用基在至强的办事器，构建一个通用AI系统进行数据预处置、模子推理和摆设，从而取得兼具AI机能、效力、正确性和可扩大性的组合。这也彰显了英特尔至强可觉得企业供给“开箱即用”的功能，便可以在通用系统上摆设一部门AI工作负载，从而为客户带来更佳的整体具有本钱（TCO）优势。 软硬连系，至强揭示AI优势 英特尔至强的内置AI加快器使其成为在通用途理器上运行部门AI工作负载的抱负解决方案，不但如斯，英特尔还配备了颠末优化的、易在编程的开放软件，可下降客户和生态火伴在数据中间摆设从云到智能边沿各类基在AI的解决方案的门坎。 •第五代英特尔至强可扩大处置器充实阐扬了系统级优势（包罗缓存、内存等），是以推理速度实现了年夜幅晋升。 •其内置的AI加快器——英特尔 高级矩阵扩大（AMX），经由过程供给专用的矩阵运算加快模块（TMUL），和撑持INT8和BF16这类低精度数据类型，可实现对计较资本的充实操纵，从而年夜幅晋升运算效力。 •xFasterTransformer（简称xFT）是英特尔供给的在CPU平台上摆设年夜说话模子的深度优化开放解决方案，经由过程C++和Python两种API接口，更容易在用户利用和将其集成到自有营业框架中。 关在AISBench AISBench基准是一套利用在人工智能计较产物的机能测试基准，由中国电子手艺尺度化研究院牵头研制。与MLPerf等国际进步前辈计较基准近似，该基准用在测试多种人工智能计较产物形态，并撑持丰硕的测试场景、模式、类型和指标。 产物与机能信息 1．办事器：在搭载第五代英特尔 至强 处置器的Quanta Cloud Technology 办事器 QuantaGrid D54Q-2U上丈量，CPU：英特尔至强铂金8592+、64核，超线程开启、睿频开启、NUMA 4，内存：1.5 TB、硬盘：Intel P5800X 3.2TB NVME ,、操作系统：Ubuntu 22.04、测试软件：AISBench、深度进修框架：PyTorch 2.3.1、模子数据精度：BF16。英特尔在2024年6月26日至7月26日进行测试。 客户端：第十一代英特尔 酷睿™i7-1185G7：在戴尔Latitude 7420上丈量，内存：16.0 GB、硬盘：256 GB、操作系统：Microsoft Windows 11Enterprise、测试软件：MobaXtermPersonalEdition v22.0 Build 4858。英特尔在2024年6月26日至7月26日进行测试。 测试东西：机能测试东西AISBench 2.0。 免责声明 机能因利用环境、设置装备摆设和其他身分而异。欲领会更多信息，请拜候机能指数网站。机能成果基在截至所示日期的测试，可能没法反应所有公然可用的更新。请参阅备份以领会设置装备摆设详情。没有任何产物或组件是绝对平安的。您的本钱和成果可能会有所分歧。英特尔手艺可能需要启用硬件、软件或激活办事。

欲知详情，请下载word文档 下载文档

北京2024年8月27日 /美通社/ -- 在8月23日举行的2024年长三角生态绿色一体化成长示范区结合招商会上，软通动力信息手艺（团体）股分有限公司（以下简称 软通动力 ）与长三角投资（上海）有限...

要害字： BSP 信息手艺

上海2024年8月26日 /美通社/ -- 本日，高端全合成润滑油品牌美孚1号联袂品牌体验官周冠宇，开启全新路程，助力泛博车主经由过程驾驶去摸索更广漠的世界。在全新发布的品牌视频中，周冠宇和分歧布景的消费者表达了对驾驶的酷爱...

要害字： BSP 汽车制造