-
基于llama模型进行增量预训练
目录 1、llama模型转换(pytorch格式转换为HuggingFace格式 1.1、拉取Chinese-LLaMA-Alpaca项目 1.2、准备文件夹 1.3、下载llama官方原始模型 1.4、移动文件到指定位置 1.5、执行转换脚...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
中科大和 IDEA 研究院封神榜团队合作开发了一款名为 ChiMed-GPT 的中文医疗领域大语言模型（LLM）。该模型基于封神榜团队的 Ziya2-13B 模型构建，拥有130亿个参数，并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的...
-
ChatGLM-LLaMA-chinese-insturct 学习记录（含LoRA的源码理解）
ChatGLM-LLaMA-chinese-insturct 前言 一、实验记录 1.1 环境配置 1.2 代码理解 1.2.1 LoRA 1.4 实验结果 二、总结 前言 介绍：探索中文instruct数据在C...
-
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。 目前在对抗攻击...
-
【AI绘画发展史】AI绘画从历史到技术突破，何以突飞猛进？
文章目录 AI绘画的进展 开源贡献 一、CLIP+VQGAN 二、CLIP 三、LAION-5B和LAION-Aesthetics AI绘画模型/产品 一、Disco Diffusion 二、MidJourney 三、Stable Dif...
-
SDXL-Stable Diffusion改进版
文章目录 1. 摘要 2. 算法： 2.1 结构： 2.2 微小的条件机制 2.3 多宽高比训练 2.4 改进自编码器 2.5 所有组合放到一起 2.6 主流方案比较 3. 未来工作 4. 限制 论文： 《SDXL: Improv...
-
【朱颜不曾改，芳菲万户香。AIGC人物图片创作---InsCode Stable Diffusion 美图活动一期】
【朱颜不曾改，芳菲万户香。AIGC人物图片创作 ---InsCode Stable Diffusion 美图活动一期】 本文目录： 一、 Stable Diffusion 模型在线使用 1.1、模板运行环境配置 1.2、运行InsCo...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
AI重塑媒体行业，凤凰卫视重磅入场AI数据赛道
媒体人在2023年或多或少都有点“失业”焦虑——媒体人被认为是最可能被ChatGPT取代的高危职业之一。 面对人工智能的冲击，部分媒体选择以防御之态应对，保护自己的内容不受大语言模型的“侵略”。根据《卫报》的报道，CNN、纽约时报和路透社等多个媒体巨头在...
-
AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，...
-
Stable Diffusion AI 绘画入门指南
Stable Diffusion AI 绘画入门指南 市面上用的最多的AI绘画工具是 Stable-Diffusion（SD） 和 Midjourney（Mid），SD是在本地运行的服务，开源，门槛高，但自控性极高。而Mid作为在线的服务，门槛低，效果...
-
如何有效减少 AI 模型的数据中心能源消耗？
在让人工智能变得更好的竞赛中，麻省理工学院（MIT）林肯实验室正在开发降低功耗、高效训练和透明能源使用的方法。 在 Google 上搜索航班时，您可能已经注意到，现在每个航班的碳排放量估算值都显示在其成本旁边。这是一种告知客户其对环境影响的方式，并让他...
-
TPC 联盟成立：目标万亿以上参数 AI 模型，推进科学发现
11 月 16 日消息，业内领先的科研机构、美国国家超级计算中心和诸多 AI 领域龙头公司，近日联合组建了万亿参数联盟（Trillion Parameter Consortium，简称 TPC）。 由 DALL-E 3 生成 IT之家从报道中获悉，TPC...
-
【2023云栖】黄博远：阿里云人工智能平台PAI年度发布
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：黄博远 | 阿里云计算平台事业部资深产品专家、阿里云人工智能平台PAI产品负责人 演讲主题：阿里云人工智能平台PAI年度发布 AIGC是我们这个时代的新机遇 今年云栖大会，阿里云机器...
-
[stable-diffusion-art] 指北-4 模型
Beginner's guide to Stable Diffusion models and the ones you should know - Stable Diffusion ArtHow to install, use and merge sta...
-
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
源码链接 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA-7B/13B for PyTorch...
-
OpenAI Whisper中文语音识别效果尝试和应用（一）
近期，OpenAI发布了Whisper语音识别模型，声称其在英语语音识别方面已接近人类水平的鲁棒性和准确性。出于对自动语音识别的兴趣，本人对此进行了一些尝试，看看它对中文语音识别的效果。 本内容仅供对语音识别有兴趣或者仅仅...
-
ChatGPT应用在AIGC内容生产【赠书活动｜第一期《硅基物语》】
文章目录 爆火的AI工具ChatGPT 走入大众视野的AIGC AIGC领域的发展 AIGC价值引领 『赠书活动 ｜ 第一期』 本期中奖者 爆火的AI工具ChatGPT 2023年伊始，ChatGPT就火遍全网，成为了全球最快拥有...
-
不是LlaMa套壳！李开复麾下大模型陷套壳争议，团队二次回应来了！
整理丨诺亚、小欧 出品 | 51CTO技术栈（微信号：blog51cto） 昨天科技圈社区Hacker News突然出现一则消息，矛头直指不久前发布的大模型Yi-34B，认为其除了两个张量被重新命名外，完全使用了Llama的架构。 图片 而根据公开信息，...
-
OpenAI“疯狂一周”的威力已经影响到各行各业
对于OpenAI来说，上周无疑是比以往更加疯狂的一周。 这家用户数量领先的生成式AI公司在旧金山总部的首次开发者大会DevDay上推出了一系列更新，还宣布开放用户可以在ChatGPT基础上自行构建的定制GPT功能，此外还有OpenAI CEO山姆·奥特...
-
Ghostbuster：一个准确度高的AI生成文本检测工具
大语言模型如ChatGPT，以其卓越的写作能力引发了问题。学生们纷纷利用这些模型代写作业，导致一些学校不得不采取禁止ChatGPT的措施。此外，这些模型还存在生成带有事实错误的文本的倾向，因此谨慎的读者可能想知道，在信任某些新闻文章或其他来源之前，是否有生...
-
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca
昨天在github上看到一个在本地部署中文大模型的项目，和大家分享一下。先把地址po出来。 项目名称：中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs 项目地址：https://...
-
抖音AI绘画变成真人软件
抖音AI绘画成人软件的发展可能包括以下几个方面： 算法优化：随着深度学习算法的不断发展，未来该技术可能会通过改进模型架构、优化训练方式等手段，提高生成图像的质量和自然度。 多样化的绘画风格：为了满足用户个性化的需求，未来的AI绘画成...
-
基于LLaMA却改张量名，李开复公司大模型引争议，官方回应来了
前段时间，开源大模型领域迎来了一个新的模型 —— 上下文窗口大小突破 200k，能一次处理 40 万汉字的「Yi」。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建，包括了 Yi-6B 和 Yi-34B 两个版本。 根据 H...
-
AI 绘画Stable Diffusion 研究（四）sd文生图功能详解（上）
大家好，我是风雨无阻。 通过前面几篇AI 绘画Stable Diffusion 研究系列的介绍，我们完成了Stable Diffusion整合包的安装、模型ControlNet1.1 安装、模型种类介绍与安装，相信看过教程的朋友们，手上已经有可以操作实践...
-
Meta工程师称全球AI推理用电仅需新增两座核电站即可满足
近日，Meta公司的生成式人工智能工程总监谢尔盖·埃杜诺夫在硅谷数字工人论坛上透露，为满足明年全球不断增长的人工智能应用推理需求，仅需新增两座核电站的发电量即可。 埃杜诺夫表示，他仅通过简单的数学计算得出这个结果。他专门分析了人工智能“推理”阶段的用电量。...
-
GPT-5已开工！奥特曼：月入7亿不够烧，希望微软再投点
月入7个亿，仍然覆盖不了训练GPT的海量投入。 这是OpenAI CEO奥特曼公开透露的最新信息。 他对《金融时报》表示，OpenAI今年收入增长良好，但公司仍未盈利。OpenAI计划继续从金主爸爸微软和其他投资者那里筹集资金—— 而就在今年初，已有微...
-
Silo AI面向欧洲推新开源语言模型“Poro” 涵盖欧盟24种语言
芬兰赫尔辛基的人工智能初创公司Silo AI本周发布了Poro，这是一个旨在提升欧洲语言多语言人工智能能力的新开源大型语言模型（LLM）。Poro是计划中的首个开源模型，旨在最终涵盖欧盟所有24种官方语言。这些模型由Silo AI的SiloGen生成人工智...
-
Stable Diffusion WebUI 整合包
现在网络上出现的各种整合包只是整合了运行 Stable Diffusion WebUI（以下简称为 SD-WebUI）必需的 Python 和 Git 环境，并且预置好模型，有些整合包还添加了一些常用的插件，其实际与手动进行本地部署并没有区别。...
-
网易云音乐推荐系统的冷启动技术
一、问题背景：冷启动建模的必要性和重要性 作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的...
-
私人定制AI绘画——快速finetune stable diffusion教程
最近AI绘图非常火，只需要输入文本就能得到令人惊艳的图。 举个例子，输入 “photo of a gorgeous young woman in the style of stefan kostic and david la chapelle, coy,...
-
Stable Diffusion WebUI本地部署中遇到的一些错误
进来AI绘画大火，我便尝试在本地部署一下，电脑是M1的MacBook，不过windows应该也差不多。 参考官网的方法一步步安装，虽然最后成功了，但中途还是有不少问题。 首先安装homebrew，由于我早就已经安装好了，自然也没遇到什么问题。初次安装的...
-
[大模型] 搭建llama主流大模型训练环境
关键词：大模型，LLAMA，CUDA，模型训练 1. 基础环境 OS： Ubuntu 18.04GPU： 4*A100(40G (单机4卡A100 40G CUDA：11.7cuDNN： 8.4.1 (需要登录官网后下载 nccl： 2.12.12...
-
实验证明，基于AI的干预帮助大学生通过STEM课程
在当前的STEM课程领域，美国大学生的毕业率比非STEM专业的同龄人低20%，这为更好地协助这些学生，特别是在他们的最初几个学期里，提出了迫切的需求。尽管系统性、长期的转变，如从讲授式教学向共享基于证据的教学实践的转变，应该会有所帮助，但学术界的惯性有时会...
-
详解超强ResNet变体NFNet：抛弃归一化后，性能却达到了最强！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 从上古时期一直到今天，Batch Norm (BN 一直都是视觉骨干架构里面很重要的一个环节。BN 使得研究人员可以训练更深的网络，并在训练集和测试集上实现更高的精度。Batch Norm 还可以平...
-
图生图—AI图片生成Stable Diffusion参数及使用方式详细介绍
本文为博主原创文章，未经博主允许不得转载。 本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章，地址为“https://blog.csdn.net/suiyingy/article/details/13...
-
谷歌正谈判向AI初创公司 Character.AI 投资数亿美元
Alphabet 旗下的谷歌正与人工智能初创公司 Character.AI 进行投资谈判，计划投资数亿美元。据消息人士透露，Character.AI 是一家快速增长的人工智能聊天机器人初创公司，目前正在寻求资金用于模型训练，以满足不断增长的用户需求。 这笔...
-
2028年人类将迎来AGI：DeepMind联合创始人长文预测未来AI发展
10月26日，在X上有三万订阅的Dwarkesh Podcast（矮人播客）主持人Dwarkesh Patel采访了谷歌DeepMind的创始人兼首席AGI科学家Shane Legg。 他们讨论了AGI出现的时间节点、可能的AGI新架构、作为下一个行业标...
-
Stable Diffusion 多人绘画经验札记
今天有小伙伴提起了多人生成的问题，自己之前也尝试过，不过当时比较低级，prompt 中就抄袭了 2girl 的提示词，好在抄的模型比较好，勉强能看。 新技能插件 后来了解到了几个插件， Composable LoRA 和...
-
企业不会用、不敢用AIGC+ 服务怎么办，不妨试一下它？
自从去年ChatGPT上线后,国内外与AIGC相关的话题就一直备受关注。AIGC是指人工智能通用语言模型(Artificial General Language Model ,是一种具有极高自然语言理解能力的人工智能模型,其通过大规模语料库训练,能够像人类...
-
stable diffusion webui中的sampler
Stable Diffusion-采样器篇 - 知乎采样器：Stable Diffusion的webUI中，提供了大量的采样器供我们选择，例如Eular a， Heum，DDIM等，不同的采样器之间究竟有什么区别，在操作时又该如何进行选择，本文将会详细讲解...
-
基于Amazon SageMaker平台部署Stable Diffusion模型实现——图片识别
序言： 当谈到机器学习和人工智能的开发和部署时，Amazon SageMaker是一个非常强大和全面的平台。作为一项托管式的机器学习服务，Amazon SageMaker提供了一套完整的工具和功能，帮助开发者轻松构建、训练和部署机器学习模型。 首先，让...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
AIGC 爆火，浪潮信息要做大模型的数据存储大底座
AIGC 在 2023 年爆火，各类大模型层出不穷，参数动辄达到千亿数量级。这些背后，数据的类型和形式也走向复杂多样。例如大模型会采用到我们真实物理世界中的文字、视觉、音频、3D、雷达、多谱等复杂多样的不同模态信号和数据，数据则又存在结构化、半结构化、非结...
-
百度「文心一言」阿里「通义千问」腾讯的AI将会叫什么呢
阿里于昨天2023.4.7下午上线通义千问，与ChatGPT类似，同样是基于语言模型训练的人工智能聊天平台。通义千问的核心功能分为四个大类：撰写短文、职场助理、电影脚本和写封邮件。 通义千问通义千问https://tongyi.aliyun.com/...
-
Stable Diffusion+ControlNet+Lora 指导AI+艺术设计的WebUI全流程使用教程
目录 一. 背景知识 1.1 Stable Diffusion背景知识 1.1.1 安装stable-diffusion-webui 1.2 ControlNet 背景知识 二. 使用方法 2.1 环境配置 2.2 运行WebUI 三....
-
AIGC图像分辨率太低？快来试试像素感知扩散超分模型，你想要的细节都在这里
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：GitHub - mo...
-
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chim...