当前位置：网站首页 » 热点 » 内容详情

int4最新视觉报道_int4和int8(2024年12月全程跟踪)

内容来源：奇优电影院所属栏目：热点更新日期：2024-12-03

int4

[LG]《Llama Guard 3-1B-INT4: Compact and Efficient Safeguard for Human-AI Conversations》I Fedorov, K Plawiak, L Wu, T Elgamal... [Meta] (2024)网页链接「机器学习」「人工智能」「论文」

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

【AI前沿：AI内容防护与高效对话新技术】本期节目，带你深入了解AI内容水印技术、Meta最新的Llama Guard 3-1B-INT4模型、创新的缩放校正法、动态词元化技术以及NeuroAI在AI安全中的前景。在线收听：网页链接

一篇评估大模型量化后准确性的论文。网页链接关键结论：（1）FP8权重和激活量化（W8A8-FP）在所有模型规模下是无损的，（2）INT8权重和激活量化（W8A8-INT）在适当调优的情况下，准确性下降仅为1-3%，（3）INT4仅权重量化（W4A16-INT）与8位整数权重和激活量化相当。W4A16在同步部署和中端GPU的异步部署中提供了最佳的性价比；W8A8格式在高端GPU上进行中型和大型模型的异步“连续批处理”部署中表现优异。

近期，浪潮信息正式推出源2.0-M32大模型的革命性4bit与8bit量化版本。该量化版不仅实现了与700亿参数巨擘LLaMA3相当的卓越性能，更是在资源消耗上实现了惊人的飞跃，其中4bit版本仅需23.27GB显存即可流畅运行，每token算力消耗低至1.9 GFLOPs，相较于LLaMA3-70B的160GB显存需求与140GFLOPs算力消耗，展现了其非凡的算力效率与成本效益。源2.0-M32量化版是“源”大模型团队为进一步提高模算效率，降低大模型部署运行的计算资源要求而推出的版本，通过采用领先的量化技术，将原模型精度量化至int4和int8级别，并保持模型性能基本不变。源2.0-M32量化版提高了模型部署加载速度和多线程推理效率，在不同硬件和软件环境中均能高效运行，降低了模型移植和部署门槛，让用户使用更少的计算资源，就能获取源2.0-M32大模型的强大能力。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本，其创新性地提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家（Expert）的混合专家模型（MoE），模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型，大幅提升了模型算力效率。

【「高通与腾讯混元达成合作」】高通在骁龙峰会期间宣布与腾讯混元合作，基于骁龙8至尊版移动平台推动腾讯混元大模型7B和3B版本的终端侧部署。高通表示，通过使用INT4量化技术，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

二代骁龙8 𐟓𑢜褺Œ代骁龙8来了！最近我一直在研究这款新的移动平台，不得不说，它真的非常强大。无论是性能提升还是创新突破，二代骁龙8都带来了不少惊喜。今天就和大家聊聊这款芯片到底有多厉害！性能提升显著𐟚€ 二代骁龙8采用了台积电4纳米工艺，性能提升相当显著。CPU性能提升了35%，GPU性能提升了25%。高帧率和高画质的游戏如《原神》在二代骁龙8上表现尤为突出，帧率能稳定在60帧，即使身处打怪也不会出现卡顿掉线的情况。支持UFS4.0存储，使得应用秒开、游戏飞速加载，体验非常流畅。相比于上一代，这款处理器在游戏中的表现真的很有优势。影像与游戏体验𐟓𘰟Ž𚌤𛣩ꁩ𞙸加入了认知ISP，能够智能优化拍摄内容，对人脸、着装、景色进行独立优化。拍摄时可以直接在取景框里“修图”，方便很多。游戏方面，支持光线追踪效果，运行《原神》最高画质下稳定运行60帧以上，同时带来更加临场感的立体音效，时延仅48毫秒。无论是打游戏还是听音乐，体验都比以前提升了不少。突破与创新𐟔𚌤𛣩ꁩ𞙸支持最新的AI引擎，包含INT4AI和微切片推理，4.35倍的提升使得AI运算性能大幅提升。它具备双蓝牙连接和Wi-Fi7功能，极大提升了联网速度和稳定性。二代骁龙8还提供了独有的AI联网优化功能，支持动态头部追踪和空间音频功能，带来更丰富的多媒体潜力和用户体验。搭载二代骁龙8的手机在各个方面都表现得非常出色。无论是性能、影像还是游戏体验，都能带来极致的享受。而且它的网络连接速度也非常快，支持双卡双通，时刻在线无障碍。 𐟓𑢜褺Œ代骁龙8真的非常强大！如果你也在考虑换手机，不妨看看搭载二代骁龙8的手机吧！有任何问题或者体验，欢迎在评论区和我互动哦！𐟑‹

如何计算大模型所需的GPU内存？为大型语言模型提供服务需要大量的 GPU 内存资源。所需的内存量取决于模型的大小和复杂性、用于存储参数的数据类型以及所应用的任何优化（例如量化）。通过了解影响 GPU 内存需求的因素，开发人员可以做出明智的决策，了解如何部署 LLM 以实现最佳性能和效率。 𐟧 如何减少GPU内存需求？量化是一种通过将模型参数从较高精度格式（例如 float32）转换为较低精度格式（例如 float16 甚至更低）来降低模型参数精度的技术。这可以显著减少内存使用量，而不会对准确性产生重大影响。例如，在我们的 Llama 70B 示例中，使用 float16 精度而不是 float32 可以将内存需求减少一半（从每个参数 4 个字节减少到每个参数 2 个字节）。 𐟔 量化的作用是什么？量化技术可以通过使用更低精度的格式（如 INT8、INT4）进一步减少内存占用，但降低精度可能会影响输出的准确性。例如，与 FP16 相比，INT8 量化有时会导致准确度明显下降。评估模型在量化前后的性能至关重要。 𐟒𛠃PU的重要性尽管CPU虽然直接参与深度学习模型计算，但CPU需要提供大于模型训练吞吐的数据处理能力。比如，一台8卡NVIDIA V100的DGX服务器，训练ResNet-50 ImageNet图像分类的吞吐就达到8000张图像/秒，而扩展到16卡V100的DGX2服务器却没达到2倍的吞吐，说明这台DGX2服务器的CPU已经成为性能瓶颈了。理想情况下，模型计算吞吐随GPU数量线性增长，单GPU的合理CPU逻辑核心数分配可以直接线性扩展到多GPU上。

100B以内开源大模型个人可用了。是速度可用，不是之前的只是勉强可运行。测试：最新款顶配128G的M4 Max跑Qwen2.5 72B，速度7.77 tokens/s，较短输出的话11.07 tokens/s至16.47 tokens/s。慢阅读的话基本可以同步。 Qwen2.5 32B Int4 18 ~ 19 tokens/s，和一般阅读速度差不多（读速超快的当没说）。这可是之前用A100才能做到的事。以上是有人替咱测出来的结果。对照我之前用96G的M2 Max的测试速度，基本快了一倍到两倍。图2至图9为我之前DIY AI PC，安装123B、70B、8B等不同体量模型的测试结果。所以目前最新的结论是：100B以内开源大模型如果采用Int4或Int8量化版本，在顶配消费级AI PC上速度基本可用了。如果采用几个月后上市的顶配M4 Ultra的Mac Studio，速度还能再快一倍左右。之前也能运行起来，只是速度慢到眼看着一个词一个词往出蹦。

专栏内容推荐

720 x 539 · jpeg
int4 炼丹要术 - 知乎
素材来自:zhuanlan.zhihu.com
1024 x 503 · png
INT4 Longevity
素材来自:london-electronics.com

1024 x 933 · png
MAXI-INT4-H | London Electronics
素材来自:london-electronics.com
2394 x 862 · png
int8，FLOPS，FLOPs，TOPS 等具体含义_int8 tops-CSDN博客
素材来自:blog.csdn.net

1200 x 648 · png
hlhr202/llama-7B-ggml-int4 at main
素材来自:huggingface.co

1919 x 1080 · jpeg
通义千问大模型Qwen-7B-Chat-Int4运行体验（huggingface+JetsonAGXOrin+int4量化） - 知乎
素材来自:zhuanlan.zhihu.com

1662 x 935 · jpeg
基于ChatGLM2-INT4 + LoRA训练一个属于自己的微信聊天机器人（Kaggle + Colab） - 哔哩哔哩
素材来自:bilibili.com

1920 x 1280 · jpeg
旷视天元MegEngine开源 CUDA INT4 量化源码实现_AI&大模型_刘燕_InfoQ精选文章
素材来自:infoq.cn
883 x 892 · jpeg
装1746-NINO4I AB 1746IO4I原现货问价询价_虎窝淘
素材来自:tao.hooos.com

1600 x 900 · png
The Future of Model Efficiency for Edge AI - Edge AI and Vision Alliance
素材来自:edge-ai-vision.com

720 x 306 · png
通义千问大模型Qwen-7B-Chat-Int4运行体验（huggingface+JetsonAGXOrin+int4量化） - 知乎
素材来自:zhuanlan.zhihu.com

1016 x 739 · png
Benchmarking Large Language Models On NVIDIA H100 GPUs With, 50% OFF
素材来自:prode.clubtalleres.com.ar
1000 x 814 · jpeg
一种基于Tensorcore处理int4数据类型的方法、系统、设备及介质【掌桥专利】
素材来自:zhuanli.zhangqiaokeyan.com

1746 x 1268 · png
chatglm-6B-int4 如何在 Mac M2 上微调 · Issue #977 · THUDM/ChatGLM-6B · GitHub
素材来自:github.com
2810 x 1138 · png
【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解-CSDN博客
素材来自:blog.csdn.net

1350 x 766 · png
旷视天元 MegEngine 开源 CUDA INT4 量化源码实现 - 极术社区 - 连接开发者与智能计算生态
素材来自:aijishu.com
474 x 266 · jpeg
SAP partner Int4 helps customers migrate from SAP Process Orchestration ...
素材来自:sap.com

1936 x 1354 · jpeg
Mistral 7B: Unleashing AI Powerhouse | Encord
素材来自:encord.com
1263 x 960 · jpeg
PLC Hardware - Allen Bradley 1746-INT4 Series A, Used in a PLCH Packaging
素材来自:plchardware.com

1920 x 1080 · jpeg
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践_魔搭ModelScope社区-ModelScope魔搭社区
素材来自:community.modelscope.cn

1803 x 726 · png
Windows环境部署安装Chatglm2-6B-int4-CSDN博客
素材来自:blog.csdn.net

624 x 304 · jpeg
Mistral-7B Chat Int4 | NVIDIA NGC
素材来自:catalog.ngc.nvidia.com

1081 x 1081 · jpeg
INT4-AH | London Electronics
素材来自:london-electronics.com
1269 x 817 · png
前端架构师-week5-脚手架创建项目流程设计和开发
素材来自:ppmy.cn

2048 x 1365 · jpeg
Qwen/Qwen-VL-Chat-Int4 · Hugging Face
素材来自:huggingface.co
1987 x 1202 · png
无门槛人人可用本地搭建chatglm-6b-int4-slim | Sicmatr1x's Blog
素材来自:sicmatr1x.github.io

1200 x 648 · png
README.md · innev/ChatGLM-6B-INT4 at main
素材来自:huggingface.co

1482 x 345 · jpeg
手把手教你本地部署清华大学KEG的ChatGLM-6B模型——Windows+6GB显卡版本和CPU版本的本地部署 - 知乎
素材来自:zhuanlan.zhihu.com

1919 x 1079 · jpeg
NVIDIA Ada Lovelace vs. Ampere: 5 Key Improvements for the RTX 4000-Series
素材来自:makeuseof.com

2401 x 2028 · png
Sensors | Free Full-Text | Dynamic Resource Optimization for Energy ...
素材来自:mdpi.com
2230 x 1826 · png
星星之火，能否燎原？讯飞星火认知大模型测试 | BoGe's Blog
素材来自:frspble.github.io

2287 x 1082 · png
无门槛人人可用本地搭建chatglm-6b-int4-slim | Sicmatr1x's Blog
素材来自:sicmatr1x.github.io

2066 x 1218 · png
【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解-CSDN博客
素材来自:blog.csdn.net
1200 x 648 · png
josStorer/ChatGLM-6B-Int4-API-OpenAI-Compatible at main
素材来自:huggingface.co

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)