-
AIGC大模型微调与私有化部署的应用及案例
AIGC（人工智能生成内容）大模型与私有化部署的结合，特别适用于需要高度数据隐私和定制化需求的场景。以下是AIGC大模型与私有化部署的应用及具体案例分析： 1. 医疗健康 应用 - 临床决策支持：通过私有化部署大模型对患者数据进行分析，生成个性化的诊...
-
突破AI性能瓶颈 揭秘LLaMA-MoE模型的高效分配策略
获取本文论文原文PDF，请在公众号【AI论文解读】留言：论文解读 本文介绍了一种名为“LLaMA-MoE”的方法，通过将现有的大型语言模型（LLMs）转化为混合专家网络（MoE），从而解决了训练MoE时遇到的数据饥饿和不稳定性问题。该方法基于著名的LLa...
-
调研分析：LLama大模型
1. 引言 在当前的自然语言处理（NLP）研究中，大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展，新的模型不断涌现，推动了NLP领域的持续进步。本文将聚焦于LLama模型，分析其结构、预训练策略、优...
-
【从0到1 在AMD显卡的win上安装stable-diffusion】
摘要： 终于换了台电脑了，这太电脑32G运行内存，4G核显（想买有独显的，不过好贵哦），AMD R7 8核处理器。看着这么高的配置，心有点痒痒的，不能浪费了这个配置呀，哈哈，于是就有了安装Stable-Diffusion的想法。 安装步骤： 1...
-
如何利用文心一言辅助技术选型
文心一言介绍 一、概述 文心一言（ERNIE Bot）是百度基于文心大模型技术推出的生成式对话产品。它能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。 二、技术特点 1. 大模型技术 文心大模型：文心一言背后依托...
-
混元单日调用tokens达千亿后，腾讯大模型战略露出全貌
大模型之争，到了不只是拼技术的时刻。 最新的行业风向是:谁能大范围应用落地?谁能笑到最后?谁能真正产生价值? 对大模型行业玩家的评判标准也不再只看技术。战略布局、落地进展、未来判断……成为了更被重视的维度。 无论“杨植麟们”还是大厂高管，公开探讨大模型的频...
-
003篇 - AIGC提示词工程 - 提示词在AI模型中的作用（Prompt Engineering - Role of Prompts in AI Models）
大家好，我是元壤教育的张涛，一名知识博主，专注于生成式人工智能（AIGC）各领域的研究与实践。我喜欢用简单的方法，帮助大家轻松掌握AIGC应用技术。我的愿景是通过我的文章和教程，帮助1000万人学好AIGC，用好AIGC。 小伙伴们，上节咱们说到这个提示...
-
Mozilla 开源 llamafile:大语言模型分发与部署新范式
引言 随着 ChatGPT、BERT 等大型语言模型(Large Language Model, LLM 在自然语言处理领域掀起巨大波澜,AI 技术正以前所未有的速度走近大众生活。然而,这些 LLM 的训练和推理对计算资源提出了极高要求,动辄数十甚至数百...
-
AMD Zen5锐龙AI 300笔记本推迟两周：差点和锐龙9000撞车
快科技6月29日消息，对于Zen5架构的锐龙AI 300笔记本、锐龙9000台式机处理器，官方给出的上市时间只是模糊的7月份，种种迹象表明分别在7月15日、7月31日，但是突然情况有变。 根据不同渠道的爆料，锐龙AI 300笔记本的评测解禁、开卖时间推迟到...
-
使用 llama.cpp 在本地部署 AI 大模型的一次尝试
对于刚刚落下帷幕的2023年，人们曾经给予其高度评价——AIGC元年。随着 ChatGPT 的火爆出圈，大语言模型、AI 生成内容、多模态、提示词、量化…等等名词开始相继频频出现在人们的视野当中，而在这场足以引发第四次工业革命的技术浪潮里，人们对于人工智能...
-
政安晨【零基础玩转各类开源AI项目】解析开源：Stable Diffusion 3 论文及用户界面工具 StableSwarmUI
目录 关键成果 性能 结构细节 通过重新配重改善整形流量 比例整形变换模型 灵活的文本编码器 使用模型：StableSwarmUI 开源项目的现状： 政安晨的个人主页：政安晨 欢迎 ?点赞✍评论⭐收藏 收录专栏: 零基...
-
遥遥领先！阿里Qwen-2成全球开源大模型排行榜第一
快科技6月27日消息，全球知名的开源平台Hugging Face的联合创始人兼首席执行官Clem在社交平台激动宣布，阿里巴巴最新开源的Qwen2-72B指令微调版本在开源模型排行榜上荣登榜首。 为了打造一个更为公正和准确的开源大模型排名，Clem及其团队利...
-
AIGC 训练场景下的存储特征研究
云布道师 引言：在传统块存储大行其道的时代，需要针对很多行业的工作负载（Workload）进行调研，包含块大小、随机读、读写比例等等。知道行业的 Workload 对于预估业务的 I/OPS、时延、吞吐等性能有很好的指导意义，其次，也便于制定针对行业的...
-
揭秘XPU架构下AIGC的推理加速艺术--AI PC 新纪元：将 AI 引入 NPU，实现快速低功耗推理...
踏入AIPC新纪元 ，我们似乎穿越到了一个充满魔法的新世界 ，生成式AI和大模型如同现代法师 ，而AIPC和边缘计算则成为他们施展魔法的法杖，从AI聊天机器人到智能绘画工具， 再到数字化虚拟人物 ，魔法杖们不仅推动了新型处理器和计算架构的研发 ，也促...
-
提高Stable Diffusion渲染速度的技巧，来学习一下
了解如何使用快速、简单的修复将渲染速度提高高达 50%。了解特定配置如何优化您的Stable Diffusion过程并提高 Nvidia显卡上的渲染效率。ai绘图渲染速度太慢怎么办？请继续阅读，了解如何实现这个三秒解决方案并最大限度地提高渲染速度，想要提高...
-
面壁智能与华为云合作 开启大模型端云协同解决方案
6月22日，面壁智能与华为云达成正式合作，双方将开启大模型端云协同解决方案正式合作。 在消费电子终端端侧，大模型将能更好融入手机、PC、智能家居、穿戴式设备等，大模型也能与前沿的电动汽车、具身智能等结合，以及在传统的金融、法律、政务服务上，也能发挥效用。...
-
文心一言 VS 讯飞星火 VS chatgpt （242）-- 算法导论17.4 1题
一、假定我们希望实现一个动态的开地址散列表。为什么我们需要当装载因子达到一个严格小于 1 的值 a 时就认为表满？简要描述如何为动态开地址散列表设计一个插入算法，使得每个插入操作的摊还代价的期望值为 O(1 。为什么每个插入操作的实际代价的期望值不必对...
-
stable diffusion 的 GPU 不足怎么解决
稳定扩散（stable diffusion）是一种用于图像处理和计算机视觉任务的图像滤波算法。 当使用Stable Diffusion过程中遇到GPU显示内存不足的问题时。解决这个问题的方法有以下几种： 目前，对我来说，就最后一点能够暂时解决当...
-
GPT-4o攻破ARC-AGI无法被挑战的神话！71%准确率成新SOTA
【新智元导读】号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动，GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA! ARC-AGI是唯一可以用来衡量通用人工智能进展的基准，创造者François Chollets曾...
-
[AIGC] 事务的四大特性是怎么实现的
文章目录 原子性是通过 `undo log`实现的。 一致性是通过 `redo log`实现的。 隔离性的实现 （分事务的隔离级别讨论） 持久性是利用 redo log 实现的 写入过程 原子性是通过 undo log实现的。...
-
vivo X Fold3全球首发瑞声科技Whisper扬声器和AeroEngine
这么轻，还那么强！3月26日，vivo年度折叠旗舰X Fold3系轻盈亮相。作为可能是目前行业最轻的大折叠，vivo X Fold3重量仅219g，展开态厚度仅4.65mm。感知体验方面，vivo与瑞声科技创新合作，为X Fold3量身打造超轻薄触听解决方...
-
Whisper.cpp本地化：Windows端部署详解与实操
简介 什么是Whisper？ OpenAI的Whisper是一个自动语音识别（ASR）系统，它经过了大量多语言和多任务的监督数据训练，能够进行多语言语音识别、语音翻译和语言识别等任务。Whisper模型使用了一个编码器-解码器的Transforme...
-
大模型论文解读|| 数学新巅峰，微软&清华联合研究发现：7B级LLaMA-2模型数学能力惊人，准确率高达97.7%
开篇：数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域，只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而，最新的研究表明，即使是规模较小的常规语言模型，如LLaMA-2 7B，也已经展现出了强大的数学...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己： Gradient AI 近日宣布，通过其创新的渐进式训练方法，成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度，这大约相当于6000字或10页文档。为了适...
-
Stable Diffusion详细教程
目录 ?引言 ?Stable Diffusion基本概念 ?潜在扩散模型 ?图像生成原理 ?Stable Diffusion安装部署 ?环境要求 ?安装步骤 ?Stable Diffusion阶段 ?准备阶段 ?训练阶段 ?评估阶...
-
Llama.cpp大模型量化简明手册
大型语言模型 (LLM ，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易...
-
AIGC专题报告：通过NPU和异构计算开启终端侧生成式AI
今天分享的是AIGC系列深度研究报告：《AIGC专题：通过NPU和异构计算开启终端侧生成式AI》。 （报告出品方：Qualcomm） 摘要 生成式 AI 变革已经到来。随着生成式AI 用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要...
-
Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏
快科技6月7日消息，Intel官方宣布，旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2（Qwen2）的全球发布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。 为了最大限度地提升诸通义千问2等大模型的效率...
-
台积电5月销售额飙升30% AI需求成主要驱动力
据外媒报道，台积电在5月份的销售额实现了显著增长，达到了2296亿新台币（约合71亿美元），同比增长30%。这一增长主要得益于人工智能需求的激增以及部分消费电子产品的复苏。 作为全球最大的合同芯片制造商，台积电受益于全球范围内对人工智能服务的竞争加剧。公司...
-
LLM微调技术LoRA图解
译者 | 朱先忠 审校 | 重楼 简介 当涉及到大型语言模型时，微调可能是人们讨论最多的技术方面的内容之一。大多数人都知道，训练这些模型是非常昂贵的，需要大量的资本投资;所以，看到我们可以通过采用现有的模型并用自己的数据对模型进行微调，从而创建一个具有...
-
腾讯混元发布开源文生图大模型混元DiT加速库 生图时间缩短75%
腾讯混元发布了针对开源文生图大模型混元 DiT 的加速库，可将推理时间缩短75%，生图时间大幅缩短。 混元 DiT 模型也已部署至 Hugging Face Diffusers 通用模型库，用户可通过三行代码调用模型，无需下载原始代码。 通过知识蒸馏和 T...
-
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现
推荐：Lightning Whisper MLX —— 专为Apple Silicon优化的闪电般快速的Whisper实现 项目地址:https://gitcode.com/mustafaaljadery/lightning-whisper-mlx 在...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
llama.cpp制作GGUF文件及使用
llama.cpp的介绍 llama.cpp是一个开源项目，由Georgi Gerganov开发，旨在提供一个高性能的推理工具，专为在各种硬件平台上运行大型语言模型（LLMs）而设计。这个项目的重点在于优化推理过程中的性能问题，特别是针对CPU环境。以...
-
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推...
-
部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应
1. 在主机上挂载内存存储目录 创建目录用于挂载 mkdir /mnt/memory_storage 挂载 tmpfs 文件系统 mount -t tmpfs -o size=800G tmpfs /mnt/memory_storage 存储空间会按需使...
-
Stable Diffusion模型基于 TensorFlow 或 PyTorch 训练
安装必要的软件和库： 安装 Python（建议使用 Python 3.x 版本）。 安装 TensorFlow 或 PyTorch，具体版本取决于你的模型是基于哪个框架训练的。 安装其他可能需要的依赖，如 NumPy、Matplotlib 等。...
-
苏妈杀疯了：移动端最强NPU算力达50TOPS，最强AI芯片挑战英伟达
一年一度的 Computex 科技大会成为了 GPU 厂商们秀肌肉的舞台，其中当属英伟达和 AMD 最为亮眼。英伟达现场拿出了量产版 Blackwell 芯片，还公布了未来三年的产品路线，包括下一代 Rubin AI 平台。 AMD 当然也不甘示弱，CE...
-
为什么你的RAG不起作用？失败的主要原因和解决方案
无数企业正在尝试使用检索增强生成（RAG），但在制作这些系统达到生产质量时普遍会感到失望。因为他们的RAG不仅运行效果差，而且对于如何改进和如何进行后续的工作也感到十分的迷茫。 其实阻碍RAG系统的一个关键因素是语义不协调，这是由于任务的预期含义、RA...
-
[AIGC] redis 持久化相关的几道面试题
文章目录 1. 什么是Redis持久化？ 2. Redis 的持久化机制是什么？各自的优缺点？ 2.1 RDB（Redis DataBase），快照 2.2 AOF（Append Only File），日志 3. 优缺点是什么？ 4. 如何...
-
一键 input 苹果 OpenELM，零门槛 Llama 3 教程，40+ 优质模型/数据集/教程，建议收藏！...
现在 AI 行业什么最火？ 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来，大模型在各行各业已经带来了太多的惊喜，应用场景愈发丰富，同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下，无...
-
Stable Diffusion的微调方法详解
Stable Diffusion作为一种强大的文本到图像生成模型，已经在艺术、设计和科研等多个领域取得了广泛的应用。然而，为了使其更好地适应特定任务或领域，微调（Fine-tuning）技术显得尤为重要。本文将详细介绍Stable Diffusion的微调...
-
OpenAI正式重启机器人团队！之前曾一度被放弃
快科技5月31日消息，据媒体报道，OpenAI将重启其机器人团队。 这一团队在2020年因多种原因被解散，但随着对人工智能机器人的投资升温，OpenAI决定再次进军机器人领域。 据知情人士透露，OpenAI目前正在积极招募研究工程师，以重建曾经解散的机器人...
-
清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片
在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种「长尾问题」，如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。在这类任务上，传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制，往往面临失真、失效或高延迟的问题，严重影响...
-
通过强化学习策略进行特征选择
特征选择是构建机器学习模型过程中的决定性步骤。为模型和我们想要完成的任务选择好的特征，可以提高性能。 如果我们处理的是高维数据集，那么选择特征就显得尤为重要。它使模型能够更快更好地学习。我们的想法是找到最优数量的特征和最有意义的特征。 在本文中，我们将...
-
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
大型语言模型(llm 是在巨大的文本语料库上训练的，在那里他们获得了大量的事实知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在培训结束时被“具体化”。在预训练结束时，模型实际上停止学习。 对模型进行对齐或进行指令调优，让模型学习...
-
AIGC从入门到实战：ChatGPT 日均算力运营成本的推算
1. 背景介绍 1.1 AIGC的兴起与ChatGPT的突破 近年来，人工智能生成内容（AIGC）技术取得了显著进展，其中以ChatGPT为代表的大型语言模型（LLM）展现出强大的内容生成能力，在对话系统、文本创作、代码生成等领域取得了突破性成果，掀起...
-
通用大模型研究重点之五：llama family
LLAMA Family decoder-only类型 LLaMA（Large Language Model AI）在4月18日公布旗下最大模型LLAMA3，参数高达4000亿。目前meta已经开源了80亿和700亿版本模型，主要升级是多模态、长文本方...
-
腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。 4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训...
-
探寻Symfony爬虫：构建高效数据抓取解决方案
在当今数字化时代，数据已成为各行各业不可或缺的重要资源。随着互联网信息的爆炸式增长，如何高效地抓取和整合这些数据成为摆在我们面前的重要问题。而“Symfony爬虫”正是在这一背景下应运而生，它以其强大的功能和灵活的特性，为数据抓取提供了全新的解决方案。一、...