-
AIGC领域优秀的资源汇总(应用、论文、开源项目)
AIGC领域介绍，及一些比较优秀的应用，和论文，开源项目汇总。 AIGC大纲 一、AIGC概念 AIGC，全名“AI generated content”，又称生成式AI，意为人工智能生成内容。例如AI文本续写，文字转图像的AI图、AI主...
-
一文了解AIGC与ChatGPT
关注微信公众号掌握更多技术动态 --------------------------------------------------------------- 一、AIGC简介 1.AIGC基础 (1 AIGC是什么 AIGC是人...
-
AIGC的底层核心结构Transformer是如何彻底改变NLP游戏规则的？OJAC近屿智能带你一探究竟
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 没有Transformer，就没有NLP的突破，听起来有些夸张，但事实确实如此。什么是Transformer？Transforme...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
AIGC、ChatGPT、GPT系列？我的认识
AIGC（AI generated content），新型内容生产方式。AIGC是利用人工智能技术来生成内容，也就是，它可以用输入数据生成相同或不同类型的内容，比如输入文字、生成文字，输入文字、生成图像等。 GPT-3是生成型的预训练变换模型，是...
-
RoSA: 一种新的大模型参数高效微调方法
随着语言模型不断扩展到前所未有的规模，对下游任务的所有参数进行微调变得非常昂贵，PEFT方法已成为自然语言处理领域的研究热点。PEFT方法将微调限制在一小部分参数中，以很小的计算成本实现自然语言理解任务的最先进性能。 (RoSA 是一种新的PEFT技术...
-
20源代码模型的数据增强方法：克隆检测、缺陷检测和修复、代码摘要、代码搜索、代码补全、代码翻译、代码问答、问题分类、方法名称预测和类型预测对论文进行分组【网安AIGC专题11.15】
Data Augmentation Approaches for Source Code Models: A Survey 写在最前面 对nlp领域其他方向的启发 英文版： 论文名片 论文总结 一个有意思的表 1.背景Background...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
AIGC大模型必备知识——LLM ，你知道它是如何训练的吗？小白必读深度好文
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 近年来，人工智能（AI）领域经历了令人瞩目的增长，尤其是自然语言处理（NLP）。你知道是什么推动了NLP领域的这种飞速发展吗？没错，那...
-
大模型时代下AIGC新浪潮
大模型时代下AIGC新浪潮 文章目录 大模型时代下AIGC新浪潮 1. **相关概念** 2. **迎接大模型时代** 3. **ChatGPT引爆AIGC产业** 4. **从产业链宏观看AIGC** 1. **上游：基础层**...
-
如何将知识图谱与AIGC结合？京东是这么做的
一、导言 首先介绍一下京东在电商场景下 AIGC 方面的探索。 这是一个商品营销文案自动生成的全景图，自下而上首先是商品的输入信息。输入信息是异构多源的，包括商品的商详页里的图片、文本、商品的标题以及商品的知识图谱。通用的知识图谱是三元组的形式，...
-
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm 变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。 计算机要处理语言，...
-
终于，NLP顶会ACL投稿不用匿名了
对于自然语言处理领域的研究人员，最近有一条好消息。 近日，计算语言学协会年会（ACL）正式宣布，该系列会议论文投稿已取消匿名期，同时允许作者在投稿期间宣传自身工作。新规定直接适用于下一个审稿周期。 今年的 ACL 是第 62 届，将于 2024 年 8...
-
使用 DPO 微调 Llama 2
简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全...
-
互联网新时代要来了（二）什么是AIGC？
什么是AIGC？ 最近，又火了一个词“**AIGC”**2022年被称为是AIGC元年。那么我们敬请期待，AIGC为我们迎接人工智能的下一个时代。 TIPS:内容来自百度百科、知乎、腾讯、《AIGC白皮书》等网页 什么是AIGC？ 1...
-
使用Gradio搭建Stable Diffusion模型生成图像：简单快捷的图像生成体验
目录 0 开发环境 1 介绍 1.1 Gradio简介 1.2 Stable Diffusion模型简介 2 使用Gradio搭建基本界面 2.1 安装依赖库 2.2 加载预训练模型 2.3 解析返回的数据 2.4 构建图像字幕应用程序...
-
碎片笔记｜AIGC核心技术综述
前言：AIGC全称为AI-Generated Content，直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发，主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的...
-
最新开源！更擅长推理的LLaMA大模型，支持中文
©PaperWeekly 原创 · 作者 | 李忠利 研究方向 | 自然语言处理 跟大家介绍一下自己最近训练的 LLaMA 模型——BiLLa: A Bilingual LLaMA with Enhanced Reasoning Abi...
-
AIGC和ChatGPT推进百度、阿里、腾讯、华为大模型技术创新
AIGC | PC集群 | PC Farm | GPU服务器 生成式AI | Stable Diffusion | ChatGPT 2022 年 12 月，OpenAI 推出了 ChatGPT，这是一种高性能计算的大型语言生成模型。它的出现推动了人...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
【LLM】微调LLM：LoRA 还是全参数？Llama 2 的深入分析
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
ChatGPT在亚马逊上「开网店」，一夜之间成了网红
「我们的 [产品] 可用于多种任务，例如 [任务 1]、[任务 2] 和 [任务 3]，使其成为你家庭的多功能补充。」 没想到，ChatGPT 的机器人话竟然在电商网站上火了。 GPT-5 的发布还尚需时日，最近 OpenAI 正在发力大语言模型的...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
ChatGPT探索系列之六：思考ChatGPT的未来发展趋势和挑战
文章目录 前言 一、未来发展趋势 1. ChatGPT重塑数据分析之道 2. ChatGPT颠覆企业运用人工智能和机器学习的途径 3. ChatGPT颠覆自动化商业流程 4. ChatGPT引领企业决策迈向新纪元 二、ChatGPT掀开未来...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
LexisNexis 迎接生成式人工智能挑战
正在寻找抵御生成式人工智能破坏性威胁的突破口的 IT 领导者可能会从身为 LexisNexis 执行副总裁兼 CTO 的 Jeff Reihl 的建议中获益：快速采用该技术，以领先于潜在的破坏者。 Reih 指出，自 20 世纪 70 年代初成立以来，L...
-
AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.4 -大模型发展历程 之 多模态）
文章大纲 什么是多模态 为什么 Transformer 也是多模态模型的基础架构 视觉 Transformer 和 Text Transformer 如何结合 - contrastive learning 对比学习 stable diffu...
-
为大模型恶补数学，上交开源MathPile语料库，95亿tokens，还可商用
在当前智能对话模型的发展中，强大的底层模型起着至关重要的作用。这些先进模型的预训练往往依赖于高质量且多样化的语料库，而如何构建这样的语料库，已成为行业中的一大挑战。 在备受瞩目的 AI for Math 领域，由于高质量的数学语料相对稀缺，这限制了生成式...
-
为什么人工智能如此需要资源？
截至2023年底，任何关于生成式人工智能需要多少能源的预测都是不准确的。 头条新闻倾向于猜测“人工智能需要5倍、10倍、30倍的电力”和“足够运行10万个家庭的电力”等。与此同时，数据中心新闻等专业出版物的报道称，功率密度将上升到每机架50千瓦或100千...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录 一、 GPT系列 1.1 GPTs（OpenAI，2018——2020） 1.2 InstructGPT（2022-3） 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT（2022.11.30） 1.4 ChatG...
-
AIGC之文本内容生成概述（下）——Transformer
在上一篇文章中，我们一口气介绍了LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展，以及每种模型的优缺点与应用场景，全文超过一万字，显得冗长且繁杂，在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2/GPT3/C...
-
微软祭出代码大模型WaveCoder！四项代码任务两万个实例数据集，让LLM泛化能力飙升
用高质量数据集进行指令调优，能让大模型性能快速提升。 对此，微软研究团队训练了一个CodeOcean数据集，包含了2万个指令实例的数据集，以及4个通用代码相关任务。 与此同时，研究人员微调了一个代码大模型WaveCoder。 论文地址：https://...
-
法国一公司发布全球首款 AI 智能镜子：可识别用户情绪、缓解压力
1 月 8 日消息，在 CES 2024 期间，法国一家名为 Baracoda 的智慧健康科技公司发布了全球首款 AI 智能镜子 BMind，按照官方的说法，这是一款专为心理健康而设计，能够识别情绪、帮助管理压力的“健康伴侣”。 BMind 由生成式...
-
【好书推荐-第二期】《实战AI大模型 》：带你走进大模型GPTs、AIGC的世界（李开复、周鸿祎、颜水成倾力推荐）
? 作者介绍：我是程序员洲洲，一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公粽号：程序员洲洲。 ? 本文专栏：本文收录于洲洲的《送书福利》系列专栏，该专栏福利多多，只需...
-
AIGC 综述 2023：A History of Generative AI from GAN to ChatGPT
GAI：发展历史，核心技术，应用领域以及未来发展 摘要 1、引言 1.1、主要贡献 1.2、组织结构 2、生成式AI的发展历史 2.1、NLP领域的发展 2.2、CV领域的发展 2.3、CV与NLP的融合 3、AIGC的核心技术基础...
-
十个值得收藏的AI人工智能网站（AI绘画、AI插件）
1、伯乐 AI 伯乐 AI（https://ai.bleai.cn）是一种基于文心大模型的知识增强大语言模型，专注于自然语言处理（NLP）领域的技术研发。它具备强大的语义理解和生成能力，能够处理各种复杂的自然语言任务。 伯乐 AI在NLP领域有着广泛的应用...
-
Llama~transformers搭建
本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入输出类似如下： 输入："12345+54321=" 输出："66666" 我们把这个任务当做一个...
-
2024 CSRankings全球计算机科学排名发布！AI领域中国高校霸榜，清华排名第一
【新智元导读】CSRankings2024结果出炉!全世界计算机科学机构的排名进行了大更新。在AI板块，清华、北大、上交分列TOP3，CMU和浙大并列第4。AI TOP10中的中国高校，还包括人大、南京大学、复旦大学、哈工大等。 2024CSRanking...
-
【人工智能革命】：AIGC时代的到来 | 探索AI生成内容的未来
? 屿小夏 ： 个人主页 ?个人专栏 ： IT杂谈 ? 莫道桑榆晚，为霞尚满天！ 文章目录 ?前言 一. AIGC 技术的概述和发展趋势 1.1 AIGC 技术的概述 1.2 AI...
-
第二证券|ChatGPT被“玩坏”，美图大涨45%，AIGC赛道风口来了？
AIGC（人工智能主动生成内容）近期被ChatGPT带火了！ 近来明星人工智能公司OpenAI发布了全新的谈天机器人模型ChatGPT。该模型能够主动生成代码以及绘画、答复一系列问题、承认自己的错误、质疑不正确的假设，乃至回绝不合理的要求，且支撑中文。...
-
万字长文谈自动驾驶BEV感知
本文经自动驾驶之心公众号授权转载，转载请联系出处。 prologue 这有可能是更的最长的文章系列了，先说为什么，一方面是看到分割大模型对小模型的提升效果需要时间，另一方面是之前对自动驾驶的BEV算法做了很长时间的预研，自己也应该好好梳理一下了。 （很...
-
AI平台：文心大模型-产业级知识增强大模型
文心大模型-产业级知识增强大模型···大模型···产品中心···星河社区···合作咨询···文心一言，你的智能伙伴有用、有趣、有温度写方案、想点子、问万事、闲聊天现已全面开放，快来和我聊天吧查看详情两小时玩转大模型创意应用学习课程文心一言向全社会开放文心一...
-
《Cocos Creator游戏实战》AIGC之将草稿内容转为真实内容
目录 前言 训练AI 从识别结果中提取必要数据 发送图片并生成最终代码 总结与提高 资源下载 前言 当创作灵感来的时候，我们可能会先把灵感记录在草稿上，之后再去实现它。比方说有一天，我突然来了游戏创作灵感，想着那可以先把一些简单的组件...
-
aAMUSEd官网体验入口 AI自然语言处理工具软件免费下载地址
aAMUSEd是一个开源平台，提供各种自然语言处理（NLP）模型、数据集和工具。它包含一个基于MUSE的轻量级遮蔽图像模型（MIM），专用于文本到图像的生成。与潜在扩散（latent diffusion）方法相比，MIM需要更少的推理步骤，且更易于解释。此...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
OpenAI的ChatGPT、微软的New Bing、百度的文心一言、Google的Bard、阿里云的通义千问
随着 ChatGPT 热潮卷起来，微软发布New Bing、百度发布了文心一言、Google 发布了 Bard，阿里云官方终于也宣布了，旗下的 AI 大模型“通义千问”也正式开启测试！ ChatGPT ChatGPT是一种由OpenAI训练的大...
-
大模型中幻觉缓解技术的综合调查
大型语言模型（LLMs）是具有大量参数和数据的深度神经网络，能够在自然语言处理（NLP）领域实现多种任务，如文本理解和生成。近年来，随着计算能力和数据规模的提升，LLMs取得了令人瞩目的进展，如GPT-4、BART、T5等，展现了强大的泛化能力和创造力。...
-
维基百科+大模型打败幻觉！斯坦福WikiChat性能领先GPT-4
斯坦福大学的研究人员利用维基百科数据训练了一个大模型，命名为WikiChat，通过优化和改进，成功解决了大模型的幻觉问题，并在事实准确性和其他指标上表现优秀。他们的最佳模型在新的基准测试中获得了97.3%的事实准确性，远远超过了GPT-4的66.1%。此外...