-
手撕Llama3第1层: 从零开始实现llama3
一、Llama3的架构在本系列文章中，我们从头开始实现llama3。 Llama3的整体架构： 图片 Llama3的模型参数： 让我们来看看这些参数在LlaMa 3模型中的实际数值。 图片 [1] 上下文窗口（context-window）在实例化Lla...
-
Llama大型语言模型原理详解
Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。本文将详细解析Llama模型的原理，包括其结构、训练过程以及工作机制，帮助读者深入理解这一先进的模型。 一、模型结构 Llama模型...
-
AI绘画工具：艺术与技术的新融合
目录 一、引言 二、AI绘画工具的原理 三、AI绘画工具的应用 四、AI绘画工具的挑战 五、AI绘画工具的未来发展 六、结论 一、引言 随着人工智能（AI）技术的飞速发展，其在各个领域的应用日益广泛，其中，AI绘画工具的出现，为艺术创...
-
知识分享系列五：大模型与AIGC
大模型（LLM，Large Language Mode）是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务，给模型一些文本输入，它能返回相应的输出，完成的具体任务包括生成、分类、总结、改写...
-
「AIGC」AIGC技术入门
人工智能（AI）领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
AIGC的崛起：定义未来内容创作的新纪元
?文章目录 ?AIGC简介 ? AIGC的相关技术与特点 ?AIGC有哪些应用场景？ ?AIGC对其他行业影响 ?面临的挑战与问题 ?AIGC未来发展 ?AIGC十大热门网站推荐： 文心一言：https://aigc.izzi.c...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
AIGC技术带给我们什么？基于AIGC原理及其技术更迭的思考
AIGC技术带给我们什么？基于AIGC原理以及技术更迭的思考 前言 AI，这个词在如今人们的视野中出现频率几乎超过了所有一切其他的事物，更有意思的是，出现频率仅次于这个词的，几乎都会加上一个修饰亦或是前缀——AI，没错，还是它。 正值五一假期，我们...
-
长文干货！老程序员测评文心一言4.0模型代码能力！
目录 前言：老程序员聊聊AI和国产大模型 第一关：代码质量和可用性——写个可运行的游戏代码 第二关：需求理解和记忆能力——多轮对话下的任务能力 总结 前言：老程序员聊聊AI和国产大模型 大家好，我是一名老程序员了，大模型出来后我算是一...
-
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
[从0开始AIGC][Transformer相关]：Transformer中的激活函数 文章目录 [从0开始AIGC][Transformer相关]：Transformer中的激活函数 1. FFN 块 计算公式？ 2. GeLU 计...
-
一篇文章详细介绍Stable Diffusion模型原理及实现过程(附常用模型网站、下载方式)
目录 前言 何为Stable Diffusion模型？ Stable Diffusion工作原理： Stable Diffusion模型的应用场景 Stable Diffusion免费使用网站 stability.ai: 本地部...
-
第一篇【AI与传奇开心果系列】Python的AI相关库技术点案例示例:详解AI作画原理
AI与传奇开心果博文系列 系列博文目录 Python的AI相关库技术点案例示例系列 博文目录 前言 一、AI作画算法原理介绍 二、深度学习的神经网络AI作画算法原理应用示例代码 三、特征学习AI作画算法原理应用示例代码 四、风格迁移AI作画算...
-
AIGC实战——MuseGAN详解与实现
AIGC实战——MuseGAN详解与实现 0. 前言 1. MuseGAN 1.1 Bach Chorale 数据集 1.2 MuseGAN 生成器 1.3 MuseGAN 判别器 2. MuseGAN 分析 小结 系列链接 0...
-
世界模型也扩散！训练出的智能体竟然不错
世界模型提供了一种以安全且样本高效的方式训练强化学习智能体的方法。近期，世界模型主要对离散潜在变量序列进行操作来模拟环境动态。 然而，这种压缩为紧凑离散表征的方式可能会忽略对强化学习很重要的视觉细节。另一方面，扩散模型已成为图像生成的主要方法，对离散潜在...
-
【热门话题】AI作画算法原理解析
?个人主页: 鑫宝Code?热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ?个人格言: "如无必要，勿增实体" 文章目录 AI作画算法原理解析 AI作画算法概述 基础原理：机器学习与深度学习 卷积...
-
【赠书第22期】AI绘画全面精通
文章目录 前言 1 AI绘画基础知识 2 AI绘画技术应用 2.1 风格迁移 2.2 自动绘画 2.3 辅助绘画 3 AI绘画发展前景 3.1 艺术创作领域的变革 3.2 跨领域融合与创新 3.3 个性化艺术创作的普及 4 结语 5...
-
yolov部署到iPhone或终端实践全过程
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 期待已久的检测经典又来来了一波强袭——yolov5。其实yolov5没有完整的文件，现在最重要的应该是把yolov4弄清楚，在目标检测领域中受益匪浅，可以在某些场景得到较高的提升。今天我们还是给大...
-
七个很酷的GenAI & LLM技术性面试问题
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 译者 | 晶颜 审校 | 重楼 不同于互联网上随处可见的传统问题库，这些问题需要跳出常规思维。 大语言模型(LLM 在数据科学、生成式...
-
克雷研究所100万美元奖金要归AI了数学界规则大改，未来数学家如何应对「海量猜想」
在数学的世界里，想要对「一个未经证实的猜想」进行完整的证明，往往需要天赋、直觉和经验的结合，即使是数学家也很难解释自己的发现过程。 然而，随着近几年大模型的崛起，我们共同见证了一种新的变革力量，AI不仅在预测椭圆曲线的复杂度上超越了人类，还在探索基本常...
-
Meta首席科学家：大模型永远达不到人类智力
快科技5月23日消息，据媒体报道，Meta的首席人工智能科学家、深度学习领域的先驱杨立昆（Yann LeCun）近日对ChatGPT等生成式AI产品背后的大语言模型的能力提出了质疑。 他表示，大模型永远无法实现像人类一样的推理和规划能力。 杨立昆明确指出，...
-
万字长文专访IEEE Fellow丛京生院士：意外结缘EDA领域，寻找半导体技术「拐点」
2023年9月，IEEE集成电路与系统杂志（IEEE Circuits and Systems Magazine）的总编辑陈怡然教授和副主编陈凡教授非常荣幸地采访了丛京生院士。 丛院士是世界电子设计自动化 (EDA 和高性能计算领域的杰出学者，本次采访...
-
单模型斩获「蛋白质突变预测」榜一！西湖大学提出基于结构词表方法 | ICLR 2024 Spotlight
蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能。 而随着AlphaFold2带来的巨大突破，大量的预测结构被发布出来供人研究使用，如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用F...
-
Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴
「这份访谈的每一秒都是精华。」最近，图灵奖得主 Geoffrey Hinton 的一个访谈视频得到了网友的高度评价。 视频链接：https://www.youtube.com/watch?v=tP-4njhyGvo&t=660s 在访谈中，Hi...
-
一文读懂 GPT-4o vs GPT-4 Turbo
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - GPT-4o 模型 。 在 2024 年 5 月 13 日，OpenAI 创新性地推出了其最先进、最前沿的模型 GPT-4o，这是标志着人工智能聊天机器人...
-
250行代码从头搭建Llama 3，GitHub一天4.6k星！Karpathy大赞
Llama系列作为为数不多的优质开源LLM，一直受到开发者们的追捧。在Hugging Face社区的文本生成模型中，几乎是「霸榜」的存在。 就在520这天，一位名叫Nishant Aklecha的开发者在推特上宣布了自己的一个开源项目，名为「从头开始实...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
复旦团队重大突破登Cell，破纪录复活「冰封」18个月人脑！三体云天明计划成真？
就在刚刚，科学家们成功地复活了冷冻的人类大脑！ 这项技术，是低温技术领域的重大突破，为改进神经系统疾病的研究方法铺平了道路。 本月，复旦大学邵志成博士团队的这篇工作，也正式登上了Cell子刊。 论文地址：https://www.cell.com/cel...
-
替代MLP的KAN，被开源项目扩展到卷积了
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。 KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化...
-
谷歌推出开源工具Model Explorer，助力AI透明度和问责制
随着人工智能模型日益复杂化，理解其内部工作机制的挑战也日益凸显，这对研究人员和工程师来说是一个紧迫的问题。谷歌最新推出的开源工具Model Explorer承诺为这些系统的不透明性带来曙光，有望开启AI透明度和问责制的新时代。 Model Explore...
-
Ilya离职后第一个动作：点赞了这篇论文，网友抢着传看
自Ilya Sutskever官宣离职OpenAI后，他的下一步动作成了大家关注焦点。 甚至有人密切关注着他的一举一动。 这不，Ilya前脚刚刚点赞❤️了一篇新论文—— ——网友们后脚就抢着都看上了： 论文来自MIT，作者提出了一个假说，用一句话总结...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
不止3D高斯！最新综述一览最先进的3D重建技术
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于图像的3D重建是一项具有挑战性的任务，涉及从一组输入图像推断目标或场景的3D形状。基于学习的方法因其直接估计3D形状的能力而受到关注。这篇综述论文的重点是最先进的...
-
告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了
本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究...
-
突发！OpenAI首席科学家Ilya官宣离职，GPT-4负责人接任
今天，OpenAI 联合创始人、首席科学家 Ilya Sutskever 发推宣告离职。 在 OpenAI 工作近 10 年后，我做出了离开的决定。OpenAI 的发展轨迹可以称得上是奇迹，我相信 OpenAI 会在 Sam Altman、G...
-
GPT-4o深夜炸场！AI实时视频通话丝滑如人类，Plus功能免费可用，奥特曼：《她》来了
不开玩笑，电影《她》真的来了。 OpenAI最新旗舰大模型GPT-4o，不仅免费可用，能力更是横跨听、看、说，丝滑流畅毫无延迟，就像在打一个视频电话。 现场直播的效果更是炸裂： 它能感受到你的呼吸节奏，也能用比以前更丰富的语气实时回复，甚至可以做到随时打...
-
美国教授用2岁女儿训AI模型登Science！人类幼崽头戴相机训练全新AI
【新智元导读】为训练AI模型，纽约州立大学的一名教授Brenden Lake，竟让自己不到2岁女儿头戴相机收集数据!要知道，Meta训Llama3直接用了15万亿个token，如果Lake真能让AI模型学习人类幼崽，从有限的输入中学习，那LLM的全球数据荒...
-
力压Transformer？首篇Mamba综述来了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型，在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于Transfo...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到，通过映射得到对应item相关的entity后，基于图谱推理流程，我们可以得到许多和映射得到的entity相关的高阶信息，如苹果这个公司有手机产品，而手机这类产品相关的公司有三星等，从而可以潜在的拉近和其他相关实体（如三星生产的手机等）间的关系。...
-
万字长文超全总结Pytorch核心操作！
在深度学习与人工智能领域，PyTorch已成为研究者与开发者手中的利剑，以其灵活高效的特性，不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说，深入了解其核心操作不仅是提升技能的关键，也是迈向高级应用与创新研究的必经之路。本文精心...
-
网传Ilya Sutskever的推荐清单火了，掌握当前AI 90%
随着生成式 AI 模型掀起新一轮 AI 浪潮，越来越多的行业迎来技术变革。许多行业从业者、基础科学研究者需要快速了解 AI 领域发展现状、掌握必要的基础知识。 如果有一份「机器学习精炼秘笈」，你认为应该涵盖哪些知识？ 近日，一份网传 OpenAI 联合创...
-
Stack Overflow 用户抗议不愿将其知识用于 AI 训练
Stack Overflow 用户正在抗议该问答网站与 OpenAI 的合作，宣布他们宁愿删除自己的帖子并牺牲声誉分数，也不愿让自己的回答被用于训练 ChatGPT。 本周早些时候宣，OpenAI 将能够使用 Stack Overflow 用户在过去15年...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
AlphaFold 3一夜预测地球所有生物分子，谷歌DeepMind颠覆生物学登Nature头版！
时隔3年，AlphaFold 3横空出世，再次掀起AI学术圈巨震！ 初代AlphaFold诞生之后，一直停留在预测「蛋白质」的宇宙中。 今天，升级后的AlphaFold 3能够以前所未有的「原子精度」，预测出所有生物分子的结构和相互作用。 图片 最重要的...
-
综述170篇「自监督学习」推荐算法，港大发布SSL4Rec：代码、资料库全面开源！
推荐系统对于应对信息过载挑战至关重要，它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展，提升了对用户行为和偏好的洞察力。 然而，由于数据稀疏性的问题，传统的监督学习方法在实际应用中面临挑战，这限制了它们有效学习用户表示的...
-
据报道，微软正在开发拥有5000亿个参数的MAI-1人工智能模型
据The Information近日报道，微软公司正在开发一个拥有约5000亿个参数的大型语言模型。 据悉，这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。 OpenAI在2020年中期推出 GPT-3 时，详细说明了该模型的初始版...
-
干翻AI PC!苹果M4芯片首发 新款iPad Pro顶配超2万
在春季新品发布会上，苹果公司展示了其最新技术和产品革新，包括配备M4芯片和双层OLED屏幕的新款iPad Pro，以及Apple Pencil Pro和更大尺寸的iPad Air。 iPad Pro升级亮点 超薄设计:新款iPad Pro以超薄机身亮相...
-
苹果深夜扔出M4核弹，iPad Pro碾压所有AI PC！280亿晶体管3nm工艺称霸地表
不出所料，发布会上，苹果又开大了！ 此次发布会的一系列重磅更新，都是围绕着主角iPad展开。 库克直言：这将是iPad诞生以来的一个里程碑。 新款iPad Pro，轻薄到不可思议，直接让便携性和性能提升到史诗级水平。用苹果的话说就是——我们在打破iPa...
-
爆火后反转？「一夜干掉MLP」的KAN：其实我也是MLP
多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。 但是最近，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。...
-
LeCun转发，AI让失语者重新说话！纽约大学发布全新「神经-语音」解码器
脑机接口（BCI）在科研和应用领域的进展在近期屡屡获得广泛的关注，大家通常都对脑机接口的应用前景有着广泛的畅享。 比如，由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活，还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展，...
-
ChatGPT们的幕后先驱，斯坦福教授Manning的四十年NLP生涯
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物，在词向量 GloVe...