滚球(中国)app官网 铲除硬件变身AI神器: 768GB英特尔傲腾内存收效运转万亿参数大模子!
快科技5月24日音讯，据报说念，Reddit用户APFrisco近日通过一套极客有设想，期骗6根二手英特尔傲腾DCPMM抓久内存模块，在单GPU职责站上收效运转了领有1万亿参数的KimiK2.5大模子，推理速率约为每秒4个Token。
该系统基于英特尔至强金牌6246处理器与泰安S5630GMRE-CGN主板构建。内存系统总容量为768GB，由6根32GB三星DDR4-2666ECC内存条与6根128GB英特尔傲腾DCPMM抓久内存模块构成。
图形算力由两张华硕GeForceRTX3060OC12GB显卡承担，存储开荒继承西部数据WDSN850X2TB固态硬盘，电源为华擎SteelLegendSL-850G850W全模组电源。
软件运转层面，滚球app(中国)官网下载该有设想继承了基于llama.cpp的GPU与CPU搀杂推理依次。通过llama.cpp的override-tensor标记，系统将模子路由组件强制分流至合计24GB显存的GPU中处理，其余参数则由傲腾内存承担存储与读取任务，有用隐讳了单卡显存不及的瓶颈。
英特尔傲腾系列产物虽已停产，但其介于DRAM与固态硬盘之间的读写特色，使其成为替代不菲内存有设想的稀奇遴荐。
澳门十大赌城官方网站业内分析觉得，跟着CXL诡计快速相连程序的熟谙，将来阛阓有望出现更具性价比的字节寻址内存处理有设想，以相沿大型话语模子对内存容量的蹙迫需求。
滚球(中国)app官网