-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
【AIGC】本地部署通义千问 1.5 (PyTorch)
今天想分享一下 Qwen 1.5 官方用例的二次封装（ huggingface 说明页也有提供源码），其实没有太多的技术含量。主要是想记录一下如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。...
-
「AIGC」AIGC技术入门
人工智能（AI）领域的多个重要概念和实践。 一、思考问题 什么是AI? 什么是AIGC? 什么是AGI? 什么是模型? 什么是大模型(LLM ,什么是小模型? 什么是提示词工程?如何写提示词 什么是神经网络? 召回率是什么含义?...
-
Llama 3 开源了「GitHub 热点速览」
近日，Meta（原 Facebook）开源了他们公司的新一代大模型 Llama 3，虽然目前只放出了 8B 和 70B 两个版本，但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等大模...
-
李飞飞：大模型不具备知觉，参数再多也不行
大模型已经具备知觉? AI教母李飞飞的最新回答旗帜鲜明:No。 她和斯坦福逻辑学家、哲学家John Etchemendy刚刚发表一篇合著文章，标题很直接: 文章中还写道: 这与图灵奖得主Yann LeCun的最新观点不谋而合。LeCun的言论还要更...
-
Llama3-8B+ LLaMA-Factory 中文微调
Llama3-8B+ LLaMA-Factory 中文微调 Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！ 本教程就以Llama3-8B-Instruct开源模型为模...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的...
-
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在w...
-
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 基于大模型实践和技术交流，我...
-
使用 ollama 部署最新的Llama 3 70B本地模型
一、ollama是什么? 在本地启动并运行大型语言模型。运行Llama 3，Mistral, Gemma, Code Llama和其他模型。自定义并创建您自己的。 综合优点： 快速下载+容器自动运行大模型，现在下载，马上上手。...
-
李飞飞亲自撰文：大模型不存在主观感觉能力，多少亿参数都不行
「空间智能是人工智能拼图中的关键一环。」知名「AI 教母」李飞飞曾这样表示。 近段时间，李飞飞开始把目光瞄准到这一领域，并为此创建了一家初创公司。她曾表示，「大自然创造了一个以空间智能为动力的观察和行动的良性循环。」她所在的斯坦福大学实验室正在尝试教计...
-
这些AI芯片创企想挑战英伟达，它们能成功吗？
科幻小说《沙丘》中有这样一句话：“谁控制了GPU，谁就控制了宇宙。”在今天的科技世界，如果哪家企业想在AI领域有所见树，就要购买英伟达GPU。 分析师们喋喋不休，将追逐AI梦想的企业分成两类，也就是“GPU-rich”和“GPU-poor”，前者拥有大...
-
首测！GPT-4o做Code Review可行吗？
编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 近日，OpenAI一记重拳，推出了GPT-4o（“o”表示“omni”），将语音识别和对话方面的优势展示的淋漓尽致。几乎可以肯定，它也是一个更强的LLM。但它能进行代码审查吗？本文...
-
定制自己的 AI 角色CustomChar；AI知识点和面试题；提高llama 3 的微调速度Unsloth
✨ 1: CustomChar 允许你创建和定制自己的 AI 角色 CustomChar 是一个开源项目，它允许你创建和定制自己的 AI 角色。无论是游戏中的角色，还是个人的虚拟助手（比如电脑上的 JARVIS），甚至是在线教育体验中的虚拟...
-
生成式AI赋能零售银行产业：发掘潜力空间，规避业务陷阱
银行业领导者，对于生成式AI（GenAI）重塑客户体验和优化运营的潜力感到兴奋。麦肯锡的一项调查发现，生成式AI每年可增加2000亿至3400亿美元价值，推动收入增长2.8%至4.7%。零售银行业务成为银行业的第二大盈利部门，创造了540亿美元的新价值...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
GitHub Accelerator 2024扶持11个开源 AI 项目 推动技术创新
GitHub 最新宣布了其2024年加速器计划，将支持11个前沿的开源人工智能项目。这些入选项目涵盖了机器学习框架、生物医学研究、AI 模型测试平台等多个领域，旨在推动 AI 技术的创新和应用。 根据计划，每个入选项目将获得高达40，000美元的赞助资金，...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
通用世界模型问世：不学习就能生成新领域视频，可实时控制
随着 OpenAI 今年 2 月发布 Sora，世界模型（World Model）再次成为了 AI 领域的热门。 世界模型，即通过预测未来的范式对数字世界和物理世界进行理解，一直以来被认为是通往通用人工智能（AGI）的关键路径之一，与当前大模型推崇的智能...
-
利用大语言模型增强网络抓取：一种现代化的方法
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将探讨大语言模型(LLMs 与网络抓取的集成，以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。 作为一名数据工程...
-
字节携港大南大升级 LLaVA-NeXT：借 LLaMA-3 和 Qwen-1.5 脱胎换骨，轻松追平 GPT-4V
文 | 王启隆 出品 | 《新程序员》编辑部 2023 年，威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员共同开发的 LLaVA 首次亮相，彼时它被视为一个端到端训练的大型多模态模型，展现了在视觉与语言融合领域的潜力。今年...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章💥 AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
自回归模型的优缺点及改进方向
在学术界和人工智能产业中，关于自回归模型的演进与应用一直是一个引发深入讨论和多方观点交锋的热门议题。尤其是Yann LeCun，这位享誉全球的AI领域学者、图灵奖的获得者，以及被誉为人工智能领域的三大巨擘之一，他对于自回归模型持有独特的批判视角。值得注意...
-
大模型API接口费用对比：阿里百度字节AI哪家最便宜？
在过去一周内，阿里、百度、字节跳动三家科技巨头相继宣布了大模型API服务的重磅优惠，将价格战升级到了前所未有的"白热化"程度。短短 3 小时内，它们甚至让外界产生"发钱补贴"的荒诞感受。但实际上，这场噱头十足的促销活动的确引发了不少质疑。如何在混乱的宣传噪...
-
大模型API接口费用高吗多少钱？通义千问、文心一言、豆包、星火AI最新价格查询
5 月 21 日上午，阿里云在其例行峰会上意外地释放了大降价的消息：通义千问GPT- 4 级主力模型推理输入价格降至0. 5 元/百万tokens，直降97%。这一消息瞬间引发了业界的广泛关注和讨论。 然而，短短数小时后，百度智能云官宣文心大模型主力模型...
-
前Reddit CEO称科技巨头AI竞赛过度导致产品质量下降
前 Reddit CEO Yishan Wong 指出，科技巨头对人工智能（AI）的过度迷恋已经开始影响他们推出的产品质量。在周三的一篇文章中，Wong 表示:“大型互联网巨头正陷入 AI 的模因竞争中，而 Google 对 OpenAI 的生存恐惧则处于...
-
大模型API价格计算器使用入口 国内AI调用接口费用在线计算
在AI领域，尤其是大型语言模型（LLM）的市场竞争愈发激烈。近期，阿里云、百度智能云以及字节跳动等科技巨头纷纷调整其API接口费用，以吸引更多的开发者和企业用户。这一系列的价格变动不仅反映了市场对于AI技术的强烈需求，也预示着行业内部竞争的加剧。 首先，...
-
除了RAG，还有这五种方法消除大模型幻觉
出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息。 有意思的是，一些人，如OpenAI的CEO Sam Altman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新...
-
Kimi、GPT、豆包、智谱大模型API接口费用价格详细对比 哪家AI最便宜？
人工智能大模型的价格战正在如火如荼地进行中。随着更多科技巨头加入战团，大模型API费用的天花板不断被刷新，给消费者带来了前所未有的实惠。在这场空前的价格大战中，AIbase将全程追踪各家最新行情，助你抢占先机。 价格新地板已现雏形 5 月 21 日，阿里...
-
七个很酷的GenAI & LLM技术性面试问题
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 译者 | 晶颜 审校 | 重楼 不同于互联网上随处可见的传统问题库，这些问题需要跳出常规思维。 大语言模型(LLM 在数据科学、生成式...
-
大模型降价狂潮引发价格战：通义千问、豆包最新API接口费用查询对比
人工智能正在以前所未有的速度发展，大模型已经成为当下科技领域的热门话题。近期，一场大模型API费用的降价狂潮在国内外掀起了轩然大波，多家科技巨头纷纷加入战团，推出史无前例的优惠促销措施。在这场价格大战中，消费者无疑将成为最大赢家。 降价潮源头:字节豆包大...
-
拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失（...
-
KubeAI大模型推理加速实践｜得物技术
除了上面提到的技术外，提高大模型推理速度的还有大模型的量化技术等，这里先不探讨，后面有机会，我们会单独发文章来介绍。 二、大模型发展面临的挑战 未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势，对推理加速的要求会越来越高。 OpenAI在其论...
-
拒绝AI生成代码！开源操作系统陆续举起“禁令”，Debian尚无行动
整理丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 当下，AI的崛起已成大势。但是，当AI的触角伸向开源操作系统时，一些社区陆续亮起了“红灯”。 先是Linux发行版Gentoo 在四月中旬发布了一项理事会政策，禁止使用AI工具生成...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
通过检索增强生成(RAG) 增强LLM的实战演练
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拥有正确的数据来支持用例对于在任何业务中成功采用大型语言模型(LLM 都是至关重要的。虽然大多数现成的LLM在完成一般任务上表现出色，...
-
众包新玩法！LLM竞技场诞生基准测试，严格分离学渣学霸
大模型排行榜哪家强？还看LLM竞技场~ 截至此刻，已有共计90名LLM加入战斗，用户总投票数超过了77万。 图片 然而，在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时， 人家竞技场背后的组织LMSYS，已经悄悄完成了成果转化：从实战中诞生的最有说服力的...
-
谷歌数学版Gemini解开奥赛难题，堪比人类数学家！
四个月的迭代，让Gemini 1.5 Pro成为了全球最强的LLM（几乎）。 谷歌I/O发布会上，劈柴宣布了Gemini 1.5 Pro一系列升级，包括支持更长上下文200k，超过35种语言。 与此同时，新成员Gemini 1.5 Flash推出，设计...
-
AI在软件开发中的角色：辅助而非替代
事实表明，AI无法替代开发者，但更适用于优秀的开发者。而识别大型语言模型（LLM）生成的代码什么时候会出错，需要开发人员具有丰富的知识和经验。 软件工程师David Showalter在谈到AI编程时表示：“目前，AI模型在帮助编程人员提高工作效率方面...
-
Karpathy称赞，从零实现LLaMa3项目爆火，半天1.5k star
一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并在代码生成任务上全面领先。 此后，开发者们便开始了本地部署和实现，比如 llama3 的中文实现、llama3 的纯 NumPy 实现等。 十几个小...
-
数据更多更好还是质量更高更好？这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练，简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴，但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法，所谓量变引起质变，这种观点也...
-
GPT-4通过图灵测试，胜率高达54%！UCSD新作：人类无法认出GPT-4
GPT-4可以通过图灵测试吗？ 当一个足以强大的模型诞生之后，人们往往会用图灵测试去衡量这一LLM的智能程度。 最近，来自UCSD的认知科学系研究人员发现： 在图灵测试中，人们根本无法区分GPT-4与人类！ 论文地址：https://arxiv.org...
-
欧盟警告微软可能面临数十亿美元罚款，因未提供生成式AI风险信息
欧洲联盟（EU）警告微软，根据该联盟的数字服务法案(Digital Services Act，DSA ，微软可能面临高达全球年收入的1% 的罚款，因为该公司未能回应关于其生成式人工智能工具的信息请求。 今年3月，欧盟要求微软和其他一些科技巨头提供关于生成式...
-
我们一起聊聊AI模型组合指南
实施需要周密的计划、资源管理以及采用现代部署实践和工具。 译自A Guide to Model Composition，作者 Sherlock Xu。 考虑一款旨在识别和分类野生动物照片的 AI 驱动的图像识别应用程序。您上传一张远足时拍摄的照片，几分钟...
-
研究发现英国 AI 聊天机器人的安全措施容易被绕过
英国政府的 AI 安全研究所（AISI）发现，防止聊天机器人背后的人工智能模型发出非法、有毒或露骨回应的保护措施可以被简单的技术绕过。AISI 表示，他们测试的系统 “极易受到攻击”，这些系统很容易被 “越狱”，即用文字提示来引发模型本应避免的回应。 图...
-
Meta首发「变色龙」挑战GPT-4o，34B参数引领多模态革命！10万亿token训练刷新SOTA
GPT-4o的横空出世，再次创立了一个多模态模型发展的新范式！ 为什么这么说？ OpenAI将其称为「首个『原生』多模态」模型，意味着GPT-4o与以往所有的模型，都不尽相同。 传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不...
-
GPT-4o成为全领域SOTA！基准测试远超Gemini和Claude，多模态功能远超GPT-4
OpenAI在发布会上官宣GPT-4o之后，各路大神也开始了对这个新模型的测评，结果就是，GPT-4o在多项基准测试上都展现了SOTA的实力。 别家发布会都在画饼，OpanAI却总能开出一种「欲扬先抑」的效果，惊喜全在发布会之后。 基准测试结果 首先...
-
一文读懂常见的几种 LangChain 替代品
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 开发框架 。 在 LLM (大规模语言模型 应用开发领域，开源框架扮演着至关重要的角色，为广大开发者提供了强大的工具支持。作为这一领域的领军者，Lan...
-
数据分析师噩梦？ChatGPT实时互动分析Excel数据，网友挖出背后新模型
ChatGPT更强了... 刚刚，OpenAI再次放出大招——ChatGPT可以直接打开线上数据文件，完成实时数据分析。 图片 全新的增强功能，具体包括： - 直接从Google Drive和Microsoft OneDrive上传最新版本的文件 - 在...