-
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC半月报】AIGC大模型启元：2024.09（上） (1 OCR-2.0（旷视科技） (2 MiniCPM 3.0（面壁智能） (3 RAGLAB（RAG框架） (4 Reflection 70B（HyperWrite）...
-
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
LLaMA-Factory 基础篇 LLaMA-Factory简介 LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mist...
-
如何部署Meta开源大模型Llama2，转换为Huggingface模型的权重文件
如何部署Meta开源大模型Llama2 一、申请下载权限 通过Meta AI官网(https://llama.meta.com/llama-downloads/ 申请下载权限，注意Country/Region选择这里，可能会影响审查速度吧，...
-
快速降低AIGC疑似率
标题：掌握AIGC技术，快速降低疑似率 一、了解AIGC技术基础 在当今数字化时代，人工智能生成内容（AIGC）技术正迅速成为创新和创造力的驱动力。AIGC技术指的是利用人工智能算法自动生成文本、图像、音频和视频等内容的技术。这项技术的应用范围广泛，从...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
新一代模型微调方案LLama-Pro ，快来围观！！！
❝ 大家好，我是 Bob! 😊 一个想和大家慢慢变富的 AI 程序员💸 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！💪 Y LLAMA PRO论文笔记 直达链接： 摘要 这篇论文介绍了一种名为L...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
openai whisper使用
whisper使用 介绍 Whisper是一种通用的语音识别模型。它是在大量不同音频数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 GitHub：https://github.com/openai/whisper...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task01笔记
赛题内容 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
【AIGC从零开始】AIGC小白学习心得第二讲：3D生成模型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、Stable Video 3D（sv3d） 二、TripoSR 三、LRM系列 1.LRM 2.GS-LRM 3.OpenLRM 四、CRM 五...
-
从【人工智能】到【计算机视觉】，【深度学习】引领的未来科技创新与变革
前几天偶然发现了一个超棒的人工智能学习网站，内容通俗易懂，讲解风趣幽默，简直让人欲罢不能。忍不住分享给大家，点击这里立刻跳转，开启你的AI学习之旅吧！ 前言 – 人工智能教程https://www.captainbed.cn/lzx 1. 引言...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
OpenAI GPT-3 Davinci：引领AI写作新纪元
本文还有配套的精品资源，点击获取 简介：OpenAI研发的GPT-3模型，尤其是其Davinci版本，代表了自然语言处理领域的重大突破，具有1750亿参数，提升了AI在理解和生成语言的能力。GPT-3的Davinci版本以顶级性能著称，在多种语...
-
AIGC辅助办公
1.什么是AIGC？ 早期内容生成方式为专业(人士 生成内容(Professional Generated Content，PGC 。 如：音乐专业人士的创作、设计师的平面设计创作 用户生成内容(User Generated Content，UGC 更...
-
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:h...
-
RWKV 已部署到 5 亿台 Windows 电脑？真正开源的新一代 AI 架构
2024 年 9 月 ，RWKV 社区成员发现：Office 系统在自动更新后（版本 2407 及以后）已自带 RWKV 运行库。 在 Windows 系统的 C:\Program Files\Microsoft Office\root\vfs\Pro...
-
AIGC入门（二）从零开始搭建Diffusion！（下）
上篇。https://blog.csdn.net/alxws/article/details/140058117?spm=1001.2014.3001.5502四、前向加噪过程（ForwardProcess.py） 当我们的去噪器设计完成后，接下来，就...
-
使用PyTorch从零构建Llama 3
我们上次发了用PyTorch从零开始编写DeepSeek-V2的文章后，有小伙伴留言说希望介绍一下Llama 3。那么今天他就来了，本文将详细指导如何从零开始构建完整的Llama 3模型架构，并在自定义数据集上执行训练和推理。 [图1]：Llama...
-
大模型之二十七-语音识别Whisper实例浅析
Whisper简介 Whisper是OpenAI于2022年9月开源的一个多语种识别模型，目前支持99种语言，是目前性能最好的开源多语种识别ASR大模型，第一版版使用了68万小时标注好的语料预训练模型，而large-v3的标注数据超过了500万小时，其...
-
猫头虎 Gemma和Gemini模型的区别是什么？
猫头虎 🐯 Gemma和Gemini模型的区别是什么？ 摘要📘 在这篇文章中，我们将深入探讨Gemma和Gemini这两个由Google开发的AI模型。我们会对比它们的参数规模、计算资源需求和集成难度，帮助大家了解这两者之间的主要区别。无论你是AI...
-
Distil-Whisper 开源项目教程
Distil-Whisper 开源项目教程 distil-whisperDistilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1% wor...
-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示
目录 Latent Diffusion Model LDM 主要思想 LDM使用示例 LDM Pipeline LDM 中的 UNET 准备时间步 time steps 预处理阶段 pre-process 下采样过程 down sampl...
-
重磅！Stable Diffusion创始团队推出FLUX.1：一夜颠覆MJ v6，DALL·E 3，SD3！
前言 Stable Diffusion 大家已经很熟悉了，是由 CompVis 团队开发的，这是一个隶属于德国慕尼黑大学的计算机视觉研究小组。该团队由多个研究人员和开发者组成，包括 Patrick Esser、Robin Rombach 和 Bjö...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
【扩散模型（六）】Stable Diffusion 3 diffusers 源码详解1-推理代码-文本处理部分
系列文章目录 【扩散模型（一）】中介绍了 Stable Diffusion 可以被理解为重建分支（reconstruction branch）和条件分支（condition branch） 【扩散模型（二）】IP-Adapter 从条件分支的视角，快...
-
基于大模型的原神对话系统尝试
一.简介 该项目为一次大模型+游戏的尝试，成功实现了一个与原神内角色的对话系统。 演示视频：https://www.bilibili.com/video/BV1b48CeuELL github地址：https://github.com/goodlu...
-
普通人如何零基础进入AIGC大模型人形机器人赛道，自学攻略，应用转化项目案例
要进入人形机器人赛道，普通人需要了解和掌握一系列的技能和知识，包括机器人设计、编程、电子工程、机械工程以及团队合作和项目管理。以下是一个详细的指南，帮助你从零基础开始，逐步进入这个充满挑战和机遇的领域。 基础教育和技能培养 进入人形机器人领域，基础...
-
Stable-Diffusion1.5
SD1.5权重：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main SDXL权重：https://huggingface.co/stabilityai/stable-diffus...
-
大模型应用新战场：揭秘终端侧AI竞争关键
2024年过去2/3，大模型领域的一个共识开始愈加清晰: AI技术的真正价值在于其普惠性。没有应用，基础模型将无法发挥其价值。 于是乎，回顾这大半年，从互联网大厂到手机厂商，各路人马都在探索AI时代Killer APP的道路上狂奔。这股风潮，也开始在顶级学...
-
Llama-X 开源项目指南
Llama-X 开源项目指南 Llama-XOpen Academic Research on Improving LLaMA to SOTA LLM项目地址:https://gitcode.com/gh_mirrors/ll/Llama-X 项目...
-
Stable Diffusion模型训练：从数据准备到模型优化
Stable Diffusion模型训练：从数据准备到模型优化 开篇引入：探索创意无限的Stable Diffusion 数据集构建秘籍：打造专属训练素材 如何收集高质量图像数据？ 数据预处理小技巧：清洗与标注 模型配置与训练实战：让创意流...
-
Stable diffusion: AttributeError: module ‘jax.random‘ has no attribute ‘KeyArray‘
错误提示 安装from diffusers import StableDiffusionPipeline 提示错误 AttributeError: module ‘jax.random’ has no attribute ‘KeyArray’...
-
一文看懂llama2(原理&模型&训练）
一文看懂Llama2（原理&模型&训练） 一、引言 Llama2是Meta（原Facebook AI）最新开源的大型语言模型，它基于Transformer架构进行了多项优化和改进，旨在提供更高效、更准确的自然语言处理能力。Llama2...
-
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
北京时间7月24号, Meta 正式发布 Llama 3.1开源大语言模型, 包含8B、70B 及 405B 参数版本。其中的Llama 3.1 405B模型，在多项基准测试中可以媲美GPT4、Claude3.5等目前最强的闭源大模型。此外，8B 与 70...
-
Chinese-Llama-2-7b 开源项目教程
Chinese-Llama-2-7b 开源项目教程 Chinese-Llama-2-7b开源社区第一个能下载、能运行的中文 LLaMA2 模型！项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-Llama-2...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
让AI更懂物理世界，人大北邮上海AI Lab等提出多模态分割新方法
让AI像人类一样借助多模态线索定位感兴趣的物体，有新招了! 来自人大高瓴GeWu-Lab、北邮、上海AI Lab等机构的研究人员提出Ref-AVS（Refer and Segment Objects in Audio-Visual Scenes，视听场景下...
-
AIGC大模型产品经理高频面试大揭秘‼️
近期有十几个学生在面试大模型产品经理（薪资还可以，详情见下图），根据他们面试（包括1-4面）中出现高频大于3次的问题汇总如下，一共32道题目（有答案）。 29.讲讲T5和Bart的区别，讲讲Bart的DAE任务 T5（Text-to-Text Tr...
-
AIGC-视频生成-AnimateDiff-基于T2I模型的动态生成论文详细解读
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 代码:https://github.com/guoyww/a...
-
论文分析｜高效长文本生成的技术与应用
Preface 前言 目前大模型公司很多在追求长文a本， 对算力需求极大，如何能够现实地处理该问题很重要。特别是随着Transformer模型尺寸和复杂性的增长，它们在训练期间的内存需求呈指数级增加。 语言模型训练的瓶颈在于显存占用非常大，这需要创...
-
探索Llama 3.1 : 405B参数模型：部署、硬件配置、测试与训练的心得
引言 随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了显著的突破。MetaAI最新发布的Llama 3.1 : 405B参数模型，凭借其庞大的参数规模和先进的架构，展...
-
【AIGC】训练数据入库（Milvus）
之前的文章有写如何获取数据、如何补充数据，也有说如何对数据进行清洗、如何使用结构化数据进行训练。但好像没有说如何将训练数据“入库”。这里说的入库不是指 MySQL 数据库，而是指向量检索库 Milvus。 众所周知，人工智能多用向量数据进行训练。数据先做...
-
异常检测算法在可观测性平台的落地和实践｜得物技术
一、背景 在稳定性保证中，重要的一个环节就是故障管理体系建设，故障管理体系的四大核心功能------故障发现、故障触达、故障定位和故障恢复，其中故障发现作为故障管理的第一步至关重要，包含了指标预测、异常检测和故障预测等方面，主要目标是能及时、准确地发现故...
-
英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生
【新智元导读】MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。 大语言模型（LLM）推理是一个全栈挑战。 为了实现高吞吐量、低延迟的...
-
AIGC大模型实践总结（非常详细）零基础入门到精通，收藏这一篇就够了
大模型浪潮席卷全球，在各行各业中的重要性愈发凸显，呈现出一股不可逆转的发展趋势。这一年本人所在业产技也在这一过程中持续探索和尝试AIGC。本文一方面是对AIGC实践的总结回顾，同时也是本人学习实践AIGC过程中一些笔记、心得分享。因个人能力限制，文章中可能...
-
关掉MidJourney！ AI绘画Stable Diffusion开源模型新王 FLUX.1整合包来了！
各位小伙伴们，今天我要给大家带来一个超级重磅的消息！Stable Diffusion的创始团队又双叒叕搞事情了，推出了一个全新的开源AI图像生成模型——FLUX.1！这不仅是一个技术上的突破，更是为创意工作者们带来了无限的可能性。话不多说，赶紧来看看吧！...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型，广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...