-
解读Lawyer LLaMA，延申专业领域大模型微调：数据集构建，模型训练
解读Lawyer LLaMA，延申自己领域大模型微调：数据集构建，模型训练 项目地址link 自己领域的大模型微调，实现思路大都和这篇文章是一样的，有的是基于LLaMA,或者有的是基于Chinese-LLaMA,或者是其他开源的大模型，本文基于自己训...
-
百度商业AI 技术创新大赛赛道二：AIGC推理性能优化TOP10之经验分享
朋友们，AIGC性能优化大赛已经结束了，看新闻很多队员已经完成了答辩和领奖环节，我根据内幕人了解到，比赛的最终代码及结果是不会分享出来的，因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本，相当于外包出去了，应该是不会公开的。抱着技术共享及开...
-
百度CTO王海峰：全栈AI技术加持，打造新一代大语言模型文心一言
3月16日，百度在北京总部召开新闻发布会，百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰出席，李彦宏展示了新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力，王海峰解读了文心一言...
-
网络安全领域的12个大语言模型用例
网络安全是人工智能最大的细分市场，过去几年网络安全厂商纷纷宣称整合了人工智能技术（当然也有很多仅仅是炒作），其中大部分是基于基线和统计异常的机器学习。 随着ChatGPT和类似生成式人工智能技术的飞速发展，基于大语言模型的生成式人工智能安全用例已经成为...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...
-
斯坦福美女博士创业项目爆火！AI视频生成出道即顶流
斯坦福华人博士休学搞创业，直接火爆AI圈！ 新产品瞄准AI视频生成，刚出道就成行业顶流，引来一众大佬围观评价。 OpenAI大牛Andrej Karpathy转发，并激情附上长文一段： 每个人都能成为多模态梦境的导演，就像《盗梦空间》里的筑梦师一样。...
-
大模型部署实战（一）——Ziya-LLaMA-13B
❤️觉得内容不错的话，欢迎点赞收藏加关注???，后续会继续输入更多优质内容❤️ ?有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）? 博主原文链接：https://www.yo...
-
Keras 3.0正式发布 引入全新的大模型训练和部署功能
Keras3.0的发布标志着一次重大的更新迭代，经过5个月的努力，该版本在多个方面带来了显著的改进。首先，Keras3.0全面支持了TensorFlow、JAX和PyTorch框架，这意味着用户现在可以选择在不同框架上运行他们的Keras工作流。这种灵活性...
-
人工智能十大基础术语
这里有10个关键的术语，每个人工智能爱好者都应该知道并了解。 人工智能(AI 已经成为各行各业的变革力量，塑造了我们与技术和周围世界互动的方式。对于那些深入人工智能领域的人而言，理解基础术语至关重要。 1、人工智能(AI ：人工智能的核心是指开发能够执...
-
Copilot 工作原理
Copilot 是如何工作的？它的背后算法是什么？ Copilot 的工作原理可以大致分为两个阶段：第一阶段是从海量代码库中抽取出有效的代码段和语句，这些代码段用于训练AI模型；第二阶段则是谷歌的自然语言处理技术和深度神经网络技术，将文本解析成进一步的代...
-
AIGC零基础30天学习——CLIP模型
1. 模型架构 Contrastive Language-Image Pre-training（以下简称“CLIP”）是OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的...
-
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身...
-
谷歌：LLM找不到推理错误，但能纠正它
今年，大型语言模型（LLM）成为 AI 领域关注的焦点。LLM 在各种自然语言处理（NLP）任务上取得了显著的进展，在推理方面的突破尤其令人惊艳。但在复杂的推理任务上，LLM 的表现仍然欠佳。 那么，LLM 能否判断出自己的推理存在错误？最近，剑桥大学和...
-
中文版LLaMA：Chinese-LLaMA-Alpaca
GitHub：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs 以ChatGPT、GP...
-
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm 的出现刺激了多个领域的创新。但是在思维链(CoT 提示和情境学习(ICL 等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的...
-
如何利用人工智能挖掘会话式客户体验的潜力
企业可以依靠人工智能工具来部署对话式客户体验计划，从而积极影响客户忠诚度并增加利润。 支持人工智能的虚拟助理已成为塑造现代客户体验(CX 的变革力量。这些技术工具重新定义了客户期望和交互的格局，并为所谓的会话式客户体验奠定了基础。对话式客户体验的范围广...
-
看百度文心一言实力，再聊ChatGPT触类旁通的学习能力如何而来？
图文原创：亲爱的数据 美国大模型水平领先，国内大模型蓄势而发。 国内大模型参与者众多，百度文心一言第一个有勇气站出来发布。 此处应有掌声。 事前事后，中国网友的呐喊声不绝于耳：“文心一言到底什么水平啊？” 其实网友更想知道：国内A...
-
AI绘画的崛起与多平台对比
目录 引言 AI绘画技术的发展历程 主流AI绘画平台概览 DeepArt.io Prisma NVIDIA Canvas 对比分析与评价 画风迁移能力 创造力和创新性 使用便利性和用户体验 是否开源与社区互动 引言...
-
本地免费GPT4？Llama 2开源大模型，一键部署且无需硬件要求教程
目前扎克布格带来了最新的Llama 2开源NLP大模型，目前有三个版本分别是70亿参数量，130亿参数量和700亿参数量，庞大的数据集和参数量保证了模型的强大，官网宣称性能与gpt4相比不落下风，又因为开源使得我们可以实现本地化gpt4的梦...
-
大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明
大家好，我是微学AI，今天给大家讲一下大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明。在大规模语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义模式，并通过微调的方式一致地提高各种NLP...
-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
2 天：我用文字 AI-ChatGPT 写了绘画 AI-Stable Diffusion 跨平台绘画应用
文本 AI - ChatGPT 和绘画 AI - Stable Diffusion，平地惊雷，突然进入寻常百姓家。 如果时间可以快进，未来的人们对于我们这段时光的历史评价，大概会说： 当时的人们在短时间连续经历了这几种情感。从不信，去试试看；到远超预期...
-
数字人系列四：Motionverse 接入chatgpt、文心一言等国内外大语言模型
1. 下载插件：motionverse官网地址：概述 · Motionverse 接口文档 (deepscience.cn 2. 按照官方文档新建Unity工程：对接说明 · Motionverse 接口文档 (deepscience.cn ...
-
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。 导入库...
-
要点初见：Stable Diffusion NovelAI模型优质文字Tag汇总与实践【魔咒汇总】
目前贴吧、B站上有大量Stable Diffusion的模型资源、TAG、TAG生成器分享，其中居然有不少试图靠信息差把这些开源资源卖钱的。加上目前网上相关的TAG整理贴极少，不少TAG也是以图片的形式存在，故博主打算在此专门整理一下网友们实践过的成套的“...
-
Hugging Face最受欢迎15大AI机构出炉！清华第五，OpenAI第十，冠军竟是它？
【新智元导读】Hugging Face作为开源AI社区的代表，总结了社区最欢迎的前15个公司和机构。让我们看看在开源社区眼里，哪些机构对于开源AI贡献最大。 Hugging Face上最受欢迎的15个AI公司出炉了! 目前的冠军，是Stability AI...
-
以Llama-2为例，在生成模型中使用自定义StoppingCriteria
以Llama-2为例，在生成模型中使用自定义StoppingCriteria 1. 前言 2. 场景介绍 3. 解决方法 4. 结语 1. 前言 在之前的文章中，介绍了使用transformers模块创建的模型，其generate...
-
历数5年89篇研究，这篇综述告诉我们深度学习中的代码数据增强怎么样了
当今深度学习以及大模型的飞速发展，带来了对创新技术的不断追求。在这一进程中，代码数据增强技术显现出其不可忽视的价值。 最近，由蒙纳士大学、新加坡管理大学、华为诺亚方舟实验室、北京航空航天大学以及澳大利亚国立大学联合进行的对近 5 年的 89 篇相关研究调...
-
AIGC技术周报｜ChatDoctor：哪里不舒服；HuggingGPT：连接大模型和机器学习社区；ChatGPT真的鲁棒吗？
AIGC通过借鉴现有的、人类创造的内容来快速完成内容创作。ChatGPT、Bard等AI聊天机器人以及Dall·E 2、Stable Diffusion等文生图模型都属于AIGC的典型案例。「AIGC技术周报」将为你带来最新的paper、博客等前瞻性研究。...
-
【文心一言 vs. 通义千文】一言对千问：自百度之后，阿里终于还是出手了——通义千问
通义千问 ： https://tongyi.aliyun.com/通义千问https://tongyi.aliyun.com/ 目录 通义千问 ： 达摩院 GPT-30B 模型复现 GPT-3 模型介绍 GPT3中文30B参数量文本生...
-
NLP实践——使用Llama-2进行中文对话
NLP实践——使用Llama-2进行中文对话 1. 前言 2. 利用prompt 3. 利用Logit Processor 3.1 修改1 3.2 修改2 3.3 修改3 3.4 修改4 1. 前言 在之前的博客 NLP实践—...
-
AI写作助手
在计算机科技瞬息万变的时代，人工智能 (AI 已经成为了日常生活的一部分，尤其是在文本生成和自然语言处理方面。华丽的明珠之一就是OpenAI的GPT-4，一个能够体验多种写作情景的AI写作助手。本文将深入探讨GPT-4的特点，优势，局限性以及如何使用它，...
-
用检索增强生成让大模型更强大，这里有个手把手的Python实现
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排（orchestration）的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。 检索增强生成是什么？ 检索增强生成（RAG）这一...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
中科大和 IDEA 研究院封神榜团队合作开发了一款名为 ChiMed-GPT 的中文医疗领域大语言模型（LLM）。该模型基于封神榜团队的 Ziya2-13B 模型构建，拥有130亿个参数，并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的...
-
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。 目前在对抗攻击...
-
OpenAI 新发布GPT 最佳实践；WordPress新增 AI写作助手；国产语言模型TigerBot发布
? AI新闻 ? WordPress新增Jetpack AI Assistant AI写作助手 摘要：Automattic公司宣布，为其WordPress新增AI写作助手–Jetpack AI Assistant。该工具可根据用户提示撰写博文、详情...
-
解决LLaMA、BERT等部署难题：首个4-bit浮点量化LLM来了
大语言模型 (LLM 压缩一直备受关注，后训练量化（Post-training Quantization 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 In...
-
使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：
一、下载示例 from huggingface_hub import snapshot_download repo_id = "THUDM/chatglm2-6b" local_dir = './chatglm2-6b/' cache_dir = l...
-
谷歌研究:通过对抗性数据生成和多元评估应对GenAI的道德和安全风险
谷歌研究团队在人工智能领域持续推动着对生成式AI（GenAI）安全的研究，以应对其在虚假信息、偏见和安全性方面带来的挑战。作为谷歌研究的一部分，负责构建负责任的AI和数据系统的Responsible AI and Human-Centered Techno...
-
【NLP】Llama & Alpaca大模型
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
NLP（六十四）使用FastChat计算LLaMA-2模型的token长度
LLaMA-2模型部署 在文章NLP（五十九）使用FastChat部署百川大模型中，笔者介绍了FastChat框架，以及如何使用FastChat来部署百川模型。 本文将会部署LLaMA-2 70B模型，使得其兼容OpenAI的调用风格。部署的D...
-
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub 进行模型权重合并(llama-7b模型与delta模型权重 、模型部署且实现模型推理全流程步骤的图文教程(非常详细 ...
-
Whisper JAX 语音识别本地部署
https://nlpcloud.com/zh/how-to-install-and-deploy-whisper-the-best-open-source-alternative-to-google-speech-to-text.html whispe...
-
OpenAI、微软押注，大模型应用的尽头是AI Agent ？｜对话面壁智能
你见过Agent们“吵架”么? “这个产品需要具备XX需求，为什么没有?”，“你提出的需求完全不合理，技术上达不到!”，现场顿时乱作一团，越来越多的“员工”也被卷进了这场大乱斗中。 激烈的争吵声越过了屏幕外，面壁智能的测试人员通过后台日志，发现Agents...
-
成本2元开发游戏，最快3分钟完成！全程都是AI智能体“打工”，大模型加持的那种
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发;后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来! 只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。 例如开发一个红包雨的小软件，现...