搜索关键词 AI推理
AI & Enterprise
Lightbits Labs推出AI推理引擎Infera:扩展KV缓存以提升GPU利用率
Lightbits Labs正式推出AI推理软件引擎Infera,核心在于将KV缓存从容量有限的GPU HBM中扩展出来,并借助预测式预取在HBM、DRAM和NVMe之间进行分层管理。该产品主要面向长上下文、高并发会话等大语言模型推理场景,旨在提升性能表现和成本效率。
Industry
IDC:超九成企业引入AI后数据价值上升
WD发布其赞助的IDC全球研究白皮书指出,AI基础设施的关注重点正由算力转向数据。调查显示,94.7%的受访企业在引入AI和生成式AI后的12个月内,存储数据量出现增长;约九成企业认为数据价值提升、数据保存周期延长,冷数据重新纳入在线调用的情况增多;为支持AI推理和检索增强生成(RAG)应用,企业对归档数据访问速度的提升需求也随之上升。
AI & Enterprise
OpenAI拟将ChatGPT打造成广告平台:按年化口径计算收入达10亿美元
OpenAI正推进将ChatGPT打造为新的广告平台。公司CFO Sarah Friar表示,ChatGPT引入广告仅7个月,按年化口径计算收入已达10亿美元。OpenAI计划结合搜索广告与社交广告的优势,进一步开发更适配AI场景的广告产品。市场认为,此举也与公司应对高成本压力及IPO筹备有关。
-
AI & Enterprise
OpenAI拟在韩国推出“推理驻留”,洽谈GPU及云基础设施合作
-
AI & Enterprise
HS Hyosung Information System携GreenCore与NPU发力AI推理基础设施市场
-
AI & Enterprise
Qualcomm与AWS合作开发AI推理定制芯片 股价涨10%
-
Industry
SemiFive推动Samsung Foundry 4nm数据中心AI推理加速器投产
-
AI & Enterprise
KOSA:韩国全栈AI完成Aramco Digital工业场景PoC验证,7家韩企参与
-
Telecommunications & Media
Ericsson:5G SA和5G Advanced将成为AI时代网络演进核心
-
AI & Enterprise
Z.ai上半年营收增400%,加速转向云端和API业务
-
AI & Enterprise
Turing获70亿韩元B轮融资,GPAI拟扩展至全球各专业的大学生
-
Crypto
XRPL上AI钱包更青睐RLUSD,近7天结算额较XRP高出105%
-
AI & Enterprise
韩国“全民AI”运营方名单敲定:SK Telecom、Kakao、KT三家财团获选
-
AI & Enterprise
KAIST与Thermo Fisher Scientific合作共建AI机器人自主实验室
-
Telecommunications & Media
韩国电波政策学会:频谱分配及再分配费用机制应兼顾运营商收益与网络投资
-
AI & Enterprise
Dunamu & Partners参与英国AI推理优化公司Callosum种子轮融资
-
AI & Enterprise
IBM联手Arm打造双架构处理器,瞄准IBM Z与LinuxONE
-
AI & Enterprise
NVIDIA宣布Groq 3 LPX进入量产:面向AI代理,基准测试生成速度最高达每秒3400个token