-
裁撤朝夕光年、成立Flow，字节的海外首个AI产品Cici多国爬榜中
字节对游戏业务的放弃，可谓决绝。 关于原因，大家也是各种猜想。有人觉得游戏作为现金流业务线撑不住、同时又不具想象空间，字节要回流去做 AI 了;有认为腾讯和字节握手言和的，字节放弃游戏业务后，腾讯系游戏去字节买量做直播不再有心理负担;甚至，还有说张一鸣不喜...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
Docker AIGC等大模型深度学习环境搭建（完整详细版）
本文是《Python从零开始进行AIGC大模型训练与推理》（https://blog.csdn.net/suiyingy/article/details/130169592）专栏的一部分，所述方法和步骤基本上是通用的，不局限于AIGC大模型深度学习环境。...
-
Emu Video官网体验入口 AI视频生成免费软件app下载
《Emu Video》是一种基于扩散模型的文本到视频生成工具，它可以将文本提示转化为图像，然后再将这些图像转化为视频。这一分步生成方法提高了视频生成模型的训练效率。《Emu Video》在哪里可以体验呢?下面就给大家带来《Emu Video》官网体验入口和...
-
大模型之Bloom&LLAMA----RHLF(强化学习)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
OpenAI 的领导权争议表明了商业化的危险性
在人工智能（AI）领域，保持与快速发展的行业同步是一项艰巨的任务。上周 AI 创业公司 OpenAI 的领导争议成为不容忽视的焦点。该公司的董事会原本罢免了首席执行官兼联合创始人 Sam Altman，据称是因为他过分重视商业化而忽视了 AI 的安全性。...
-
如何使用ChatGPT辅助AI绘画？
如何使用ChatGPT辅助AI绘画？ AI自动化内容生成（AIGC）是一种利用人工智能技术生成新内容的方法。它可以快速、自动、准确地从大量原始数据中生成新内容，大大提高了内容创作效率。AIGC 使用机器学习算法，自动识别文本特征，并从原始内容中抽取出有用...
-
在少样本学习中，用SetFit进行文本分类
译者 | 陈峻 审校 | 重楼 在本文中，我将向您介绍“少样本（Few-shot）学习”的相关概念，并重点讨论被广泛应用于文本分类的SetFit方法。 传统的机器学习（ML） 在监督（Supervised）机器学习中，大量数据集被用于模型训练，以便...
-
QQGC？揭秘QQ的AI绘画大模型技术
?腾小云导读 2022年来，AIGC概念迅速出圈并快速形成产业生态，成为继PGC、UGC之后新的数字内容创作形式。QQ影像中心提出了自研的AI画画技术方案——QQGC，本文将介绍在QQGC基础大模型训练中的实践和探索，接着往下看吧~...
-
IDEA提出ToG思维图谱 大模型性能提升214%！
近期，由IDEA研究院、微软亚洲研究院、香港科技大学等多方研究团队合作推出的Think-on-Graph技术，在深度推理领域掀起了一场革新。这一技术通过紧耦合大模型（LLM）与知识图谱(KG ，成功弥补了大模型在金融、法律、医疗等领域幻觉问题上的能力短板。...
-
AI视野：Azure AI新增40种大模型；Yi-34B-Chat微调模型开源；GPT-4在图灵测试中成功率超过41%；微软谷歌推出AI入门课程
???AI新鲜事 微软Azure AI新增40种大模型 微软宣布在Azure AI云开发平台中新增40个大模型，包括Whisper V3、Stable Diffusion、Phi、Falcon、SAM、CLIP、Code Llama等，支持文本生成、图像处...
-
腾讯披露最新大模型训练方法:Angel框架升级 效率提升2.6倍
在当前大模型参数规模呈指数级增长的情况下，腾讯近日披露了混元大模型训练的最新方法，通过升级自研机器学习框架Angel，成功提升大模型训练效率。这一升级使得千亿级大模型训练可以节省高达50%的算力成本，为应对算力紧缺提供了有力支持。Angel框架的升级不仅仅...
-
Inflection推Inflection-2：号称全球计算级别最佳AI模型及全球第二最强大LLM
Inflection AI最近推出的语言模型Inflection-2，被宣称为全球计算级别最佳的AI模型，位列全球第二最强大的大型语言模型（LLM），仅次于OpenAI的最新模型。这一创新的AI模型的开发是为了满足对能够在各种任务中理解和生成类似人类文本的...
-
看百度文心一言实力，再聊ChatGPT触类旁通的学习能力如何而来？
图文原创：亲爱的数据 美国大模型水平领先，国内大模型蓄势而发。 国内大模型参与者众多，百度文心一言第一个有勇气站出来发布。 此处应有掌声。 事前事后，中国网友的呐喊声不绝于耳：“文心一言到底什么水平啊？” 其实网友更想知道：国内A...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理
前几天，Meta 发布了 LIMA 大模型，在LLaMA-65B的基础上，无需使用 RLHF，只用了 1000 个精心准备的样本数据进行微调，就达到了和 GPT-4 相媲美的程度。这激发了我探索 LLaMA 65B 大模型的兴趣。 之前的一系列大模型相...
-
李沐大模型公司细节曝光，项目GitHub空仓标星超500
AI大神李沐大模型创业方向，终于“水落石出”: 利用大模型能力，做游戏引擎，且是面向4A游戏。 关于4A游戏这个概念，目前业内没有统一的“名词解释”，但通常理解为比3A游戏更强大一点的游戏（doge）。 被曝从亚马逊首席科学家的职务上离职后，李沐联手其导师...
-
大模型界的“熊猫烧香”，可对文生图模型造成巨大伤害！
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具，可以对DALL-E、Midjourney 和Stable Diffusion等文生图模型的训练数据造成造成巨大伤害，以帮助艺术家们防止非法爬取其画作数据，用于大模型训练，同时揭露了模型存在的...
-
【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
今日思考（2） — 训练机器学习模型用GPU还是NUP更有优势（基于文心一言的回答）
前言 深度学习用GPU，强化学习用NPU。 1.训练深度学习模型，强化学习模型用NPU还是GPU更有优势 在训练深度学习模型时，GPU相比NPU有优势。GPU拥有更高的访存速度和更高的浮点运算能力，因此更适合深度学...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数...
-
亚马逊云科技【云上探索实验室】使用 Amazon SageMaker 构建机器学习应用、构建细粒度情感分析应用、基于Stable Diffusion模型，快速搭建你的第一个AIGC应用
亚马逊云科技【云上探索实验室】使用 Amazon SageMaker 构建机器学习应用、基于 Amazon SageMaker构建细粒度情感分析应用、使用 Amazon SageMaker基于Stable Diffusion模型，快速搭建你的第一个AIG...
-
音频质量评估方法浅析
Part 01 评价方法 当涉及音频质量评价时，我们可以从主观评价和客观评价两个角度展开，以全面了解音频质量的好坏。这两种评价方法各自涉及不同的评估方式和应用场景，专家可以根据业务特点选取其中的一种或者多种评价方法结合的形式来评价业务音频质量。 主观评...
-
Stable Diffusion 系列教程 | 打破模型壁垒
目录 1.模型基本分类 1.1 CheckPoint 大模型/底模型/主模型 1.2 VAE美化模型/变分自编码器 1.3 HyperNetwork 超网络 1.4 embeddings（/Textual Inversion） 嵌入式向量 1....
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
【网安AIGC专题11.1】11 Coreset-C 主动学习：特征选择+11种采样方法+CodeBERT、GraphCodeBERT+多分类(问题分类)二元分类(克隆检测)非分类任务(代码总结)
Active Code Learning: Benchmarking Sample-Efficient Training of Code Models 写在最前面 论文名片 先验知识的补充 主动学习 采样函数 benchmark基准和base...
-
Meta AI研究团队新AI模型： Llama 2 大语言模型
Llama是Facebook Research团队开发的基础语言模型集，旨在提供广泛的语言理解能力。它基于转换器架构，参数范围从7B到65B。通过使用Llama模型，研究人员和开发人员可以构建更先进的自然语言处理系统。您可以在GitHub上找到相关的代...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
PBT集团表示，数据质量对训练ChatGPT至关重要
距离OpenAI向公众发布ChatGPT已经接近一年，其采纳率呈现了前所未有的飙升。截至2023年2月，据路透社报道，ChatGPT拥有大约1亿活跃用户。快进到9月，ChatGPT网站吸引了近15亿访问者，展示了该平台在当今数字领域中的巨大流行和重要作用。...
-
视频生成新突破：PixelDance，轻松呈现复杂动作与炫酷特效
最近，除了大语言模型继续持续刷屏，视频生成技术也取得了重大进展，多家公司相继发布了新模型。 首先，作为最早探索视频生成领域的领头羊之一，Runway 升级了其 Gen-2 模型，带来了电影级别的高清晰度，令人瞩目，并称视频生成的一致性得到了重大改进。 但...
-
AI加速“科技权势”集中，巨头垄断AI会造成严重后果吗？
大家有没有发现，AI技术似乎相当集中，科技巨头占尽优势。基于这一现实，许多科技高管纷纷发声预警，他们认为：科技巨头本来已经拥有相当大的权势，到了AI时代权势将会更大。 去年OpenAI推出ChatGPT，它可以根据提示给出答案，瞬间引爆了生成式AI大变革...
-
“大模型本质就是两个文件！”特斯拉前AI总监爆火LLM科普，时长1小时，面向普通大众
特斯拉前AI总监Andrej Karpathy的新教程火了。 这次，他专门面向普通大众做了一个关于大语言模型的科普视频。 时长1小时，全部为“非技术介绍”，涵盖模型推理、训练、微调和新兴大模型操作系统以及安全挑战，涉及的知识全部截止到本月（非常新）。...
-
牛津大学AI研究员发出警告:大语言模型对科学真相构成风险
在最新的一篇研究中，牛津大学互联网研究所的人工智能研究员发出了对大语言模型（LLMs）对科学真相构成威胁的警告。由Brent Mittelstadt、Chris Russell和Sandra Wachter等研究员在《自然人类行为》期刊上发表的论文中，他们...
-
淘天集团联合爱橙科技开源大模型训练框架Megatron-LLaMA
9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的...
-
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
大家好，我是风雨无阻。本期内容： Lora的原理是什么？ Lora如何下载安装？ Lora如何使用？ 大家还记得 AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解 这篇文章中，曾简单介绍了Lora的安装和使用吗 ？...
-
智慧政务，长远布局——AIGC引领，加速推进数字化政府建设
在人工智能、虚拟现实等领域迅猛发展且日益成熟的背景下，AI行业正迈向蓬勃发展的全新阶段，市场规模持续扩张。与此同时，数字服务也正在蓬勃兴起，新一代信息技术为数字政府构建了坚实支撑，重塑了政务信息化管理、业务架构以及技术架构。在这一背景下，政府以大数据为驱动...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
微调 Code Llama 完整指南
一、前言 今天这篇文章将向大家详细介绍如何对 Code Llama 进行微调，让它变成适合 SQL 开发的有利工具。对于编程开发任务，经过适当微调后的 Code Llama 的性能通常都会比普通的 Llama 强很多，特别是当我们针对具体任务进行优化时:...
-
微软ChatGPT的投资在AI上赚的是名声大起，又爆新品微软Copilot
微软宣布向ChatGPT开发者OpenAI追加投资数十亿美元，这也是人工智能领域史上规模最大的一笔投资。 微软公司周一公告称，这将是一项“多年、数十亿美元”的投资协议，下一阶段将专注于将各类工具推向市场。微软CEO纳德拉在公告中表示，“各行各业的...
-
AIGC繁花，绽放在精耕的算力土壤之上
2023年的春天，称得上一句AI之春。大模型成为技术力量新的爆发点，生成式AI（AIGC）应用风起云涌。 产业界争先恐后训大模型之际，广大用户最大的困惑是——发布了，但就是玩不到啊！ OpenAI有地域限制且不去说它，各种国产大模型也很...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插
LLMs之Colossal-LLaMA-2：源码解读(train.py文件 基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件 →数据预处理(初始化分词器+数据处理器+数据加载器 ...
-
大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora
前言 为了使用开放权重的LLM(大语言模型 ，基于自己的训练集，微调模型，会涉及到如下一些技术要点： 配置运行环境 下载、加载基础模型 收集语料、微调训练 检验训练效果 在实施过程中，遇到不少困难，因此写下这篇文档，做为记录。 环境配置...
-
【文心一言 vs. 通义千文】一言对千问：自百度之后，阿里终于还是出手了——通义千问
通义千问 ： https://tongyi.aliyun.com/通义千问https://tongyi.aliyun.com/ 目录 通义千问 ： 达摩院 GPT-30B 模型复现 GPT-3 模型介绍 GPT3中文30B参数量文本生...
-
【AI绘图】一、stable diffusion的发展史
一、stable diffusion的发展史 本文目标：学习交流 对于熟悉SD的同学，一起学习和交流使用过程中的技巧和心得。 帮助新手 帮助没有尝试过SD但又对它感兴趣的同学快速入门，并且能够独立生成以上效果图。 1.发展史介绍： 2...
-
NoveAI本地环境搭建、AI作画
鉴于按照别人的教程安装过程中遇到各种问题,极其痛苦,所以还是自己也整理总结一份. 1 diffusion vs GAN 所谓扩散算法diffusion是指先将一幅画面逐步加入噪点，一直到整个画面都变成白噪声。记录这个过程，然后逆转过来给AI学习。...
-
九章云极DataCanvas公司与生态伙伴强强联手，构建人工智能强生态！
11月21日，在「筑基赋能 智向未来」九章云极DataCanvas大模型系列成果发布会上，九章云极DataCanvas公司与人工智能产业链上下游合作伙伴广东民营投资股份有限公司（以下简称“粤民投”）、西藏赛富合银投资有限公司（以下简称“西藏赛富”）、广...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...