-
如何基于 Arthur Bench 进行 LLM 评估 ？
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来，随着大型语言模型(LLM 的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估...
-
什么是机器学习中的模型部署？
在机器学习中，模型部署是将机器学习模型集成到现有生产环境中的过程，在该环境中，模型可以接受输入并返回输出。目标是让其他人可以使用经过训练的机器学习模型的预测。 大多数在线资源侧重于机器学习生命周期的前期步骤，例如探索性数据分析(EDA 、模型选择和模型...
-
llama/llama2论文解读
llama 摘要 llama在约1.4T的token上，训练出参数量7B到65B的模型，其模型规模如下 在仅使用开源数据集的情况下，llama-13B在多数benchmarks上与GPT-3效果相当；llama-65B也与最好的模型（Chin...
-
AIGC知识速递——Google的Bert模型是如何fine-tuning的？
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 选择合适的预训练模型： 从预训练的BERT模型开始，例如Google 提供的BERT-base 或 BERT-large。这些模型已经...
-
ChatLaw：基于LLaMA微调的法律大模型
文章目录 动机 数据组成 模型框架 模型评估 北大团队发布首个的中文法律大模型落地产品ChatLaw，为大众提供普惠法律服务。模型支持文件、语音输出，同时支持法律文书写作、法律建议、法律援助推荐。 github地址：https://g...
-
一文搞懂使用 Arthur Bench 进行 LLM 评估
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来，随着大型语言模型(LLM 的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领...
-
中文创意写作能力超GPT-4，「最会写」的中文大模型Weaver来了
ChatGPT 等通用大模型支持的功能成百上千，但是对于普通日常用户来说，智能写作一定是最常见的，也是大模型最能真正帮上忙的使用场景之一。尽管大模型经常能写出看起来像模像样的文字，但是大多数情况下内容的创意程度和文风都经不起深究。尤其是在创作领域，大模型...
-
华科大发布多模态大模型新基准 覆盖五大任务
近期，华中科技大学等机构发布了一项关于多模态大模型（LMMs）的全面评估新基准，旨在解决多模态大模型性能评估的问题。这项研究涉及了14个主流多模态大模型，包括谷歌Gemini、OpenAI GPT-4V等，覆盖了五大任务、27个数据集。然而，由于多模态大模...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
stable diffusion模型评价框架
GhostReview:全球第一套AI绘画ckpt评测框架代码 - 知乎大家好，我是_GhostInShell_，是全球AI绘画模型网站Civitai的All Time Highest Rated (全球历史最高评价 第二名的GhostMix的作者。在上...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
在文心一言超越ChatGPT3.5后，我们做了大模型对比测试。
IDC发布的AI大模型评估报告中，文心一言拿下12个指标中的7个满分，综合评分第一。百度副总裁吴甜表示，新版文心一言已超越ChatGPT3.5。这是令人振奋的新闻。不过，我们还没能体验到文心一言。 除了文心一言，号称超过ChatGPT3.5大模型，还有g...
-
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二...
-
探索学习和入门使用GitHub Copilot：提升代码开发的新利器
目录 引言 1. 什么是GitHub Copilot？ 2. 入门使用GitHub Copilot 3. GitHub Copilot的基础知识 4. GitHub Copilot的应用场景 结论 在最近的开发工作中，发现了一个比较实用...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）
目录 一、clone仓库 二、数据集下载与处理 1、数据集下载 2、数据集标记化（耗时较长） 三、修改配置 四、开始训练 五、模型推理 六、train.py训练代码讲解 1、导包 2、定义模型训练参数与相关设置 3、加载模型配置 4、迭代...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
九大Pytorch最重要操作！！
今儿咱们聊聊pytorch的事情，今儿总结了九个最重要的pytorch的操作，一定会给你一个总体的概念。 张量创建和基本操作 PyTorch的张量类似于NumPy数组，但它们提供了GPU加速和自动求导的功能。张量的创建可以通过torch.tensor，...
-
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。 混淆矩阵 混淆矩阵是在分类问题中用于评估模型性能的表格，它展示了模型对样本的分类情况。混淆矩阵的行表示实际类别，列表示预...
-
关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama
生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT...
-
深度学习之目标检测中的常用算法
随着深度学习的不断发展，深度卷积神经网络在目标检测领域中的应用愈加广泛，现已被应用于农业、交通和医学等众多领域。 与基于特征的传统手工方法相比，基于深度学习的目标检测方法可以学习低级和高级图像特征，有更好的检测精度和泛化能力。 什么是目标检测？ 目标检测...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
通义千问72B模型荣登大模型评测平台OpenCompass榜首
中国权威的大型模型评估平台OpenCompass最近更新其排名，通义千问72B模型以67.1的高分荣登榜首。 OpenCompass是由上海人工智能实验室推出的开源大型模型评估平台，其评估范围涵盖学科、语言、知识、理解和推理五个维度，能够全面评估大型模型的...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数据...
-
火星探测器背后的人工智能：从原理到实战的强化学习
本文详细探讨了强化学习在火星探测器任务中的应用。从基础概念到模型设计，再到实战代码演示，我们深入分析了任务需求、环境模型构建及算法实现，提供了一个全面的强化学习案例解析，旨在推动人工智能技术在太空探索中的应用。 关注TechLead，分享AI全...
-
一文读懂常用的 “生成式 AI 框架”
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - Gen AI ，即“生成式 AI” 技术。 随着 AI 技术的不断发展，Gen AI 的力量超越了单纯的技术奇迹，更是一种具有变革性的动态力量，深刻地塑造了...
-
Koala：加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来，围绕它开发的模型与日俱增，比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等，相关的博客可以参考如下： 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时...
-
机器学习 - 混淆矩阵：技术与实战全方位解析
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。...
-
构建实时推荐系统：利用MongoDB和机器学习算法
实时推荐系统是当今互联网应用中十分重要的一部分，能够根据用户的兴趣和行为，实时地提供个性化的推荐内容。下面将介绍如何利用MongoDB作为数据存储和管理的基础，并结合机器学习算法来构建一个高效的实时推荐系统。主要包括数据处理与存储、特征工程、机器学习模型...
-
机器学习 - 似然函数：概念、应用与代码实例
本文深入探讨了似然函数的基础概念、与概率密度函数的关系、在最大似然估计以及机器学习中的应用。通过详尽的定义、举例和Python/PyTorch代码示例，文章旨在提供一个全面而深入的理解。 关注TechLead，分享AI全维度知识。作者拥有10+...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
自驱力超强的羊驼？斯坦福微调LLaMa
大型“指令调优”语言模型在新任务上展现了Zero-shot的卓越能力，但严重依赖于人类编写的指令数据，而这些数据在数量、多样性和创造性方面都是有限的。 斯坦福科研人员引入了self-instruction框架，提高指令遵循能力来自我迭代进化，与Instr...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数...
-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
CART算法解密：从原理到Python实现
本文深入探讨了CART（分类与回归树）算法的核心原理、实现方法以及应用场景。文章首先介绍了决策树的基础知识，然后详细解析了CART算法的工作机制，包括特征选择和树的构建。接着，通过Python和PyTorch的实例代码展示了CART算法在实际问题中的应用。...
-
Vectara排行榜:OpenAI的GPT-4在文档摘要中幻觉率最低
在一项由Vectara进行的开源模型评估中，OpenAI的GPT-4在文档摘要中表现卓越，凭借其出色的97%准确率和令人瞩目的3%的幻觉率，成为幻觉率最低的大型语言模型。 Vectara在GitHub上发布了一个排行榜，评估了一些大型语言模型在其“Hall...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
谷歌研究:通过对抗性数据生成和多元评估应对GenAI的道德和安全风险
谷歌研究团队在人工智能领域持续推动着对生成式AI（GenAI）安全的研究，以应对其在虚假信息、偏见和安全性方面带来的挑战。作为谷歌研究的一部分，负责构建负责任的AI和数据系统的Responsible AI and Human-Centered Techno...
-
AI重塑媒体行业，凤凰卫视重磅入场AI数据赛道
媒体人在2023年或多或少都有点“失业”焦虑——媒体人被认为是最可能被ChatGPT取代的高危职业之一。 面对人工智能的冲击，部分媒体选择以防御之态应对，保护自己的内容不受大语言模型的“侵略”。根据《卫报》的报道，CNN、纽约时报和路透社等多个媒体巨头在...
-
一招分辨刷榜作弊大模型，博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学，谁有真才实学？谁是靠背测试题“作弊”的？ 有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。 很多模型一下子就“现原形”了。 先看绿色部分，这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多，...
-
浅析半监督学习及其应用场景
Labs 导读 随着互联网的发展，企业可以获得越来越多的数据，这些数据可以用于帮助企业更好的了解用户，即客户画像，也可以用来改善用户的体验。但这些数据中可能存在大量没有标记的数据。如果所有数据均采用人工标记的方式则存在两方面的缺点，一是花费的时间成本较...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
大模型走捷径「刷榜」？数据污染问题值得重视
生成式 AI 元年，大家的工作节奏快了一大截。 特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要 Benchmark 榜单，要么排第一，要么第一梯队。 在兴奋于技术进展速...
-
谨防大模型基准评估陷阱！测试集乱入预训练，模型变傻
最新研究警告，大型模型在基准评估中可能面临潜在危害，原因是测试集中的数据可能意外进入预训练过程。这项研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校的学者联合进行。 研究发现，由于预训练语料包含大量公开文本，而评估基准建立在这些信...
-
使用百度EasyDL实现电动车进电梯自动预警
项目说明 业务背景 近年来，电动车进楼入户发生火灾的事故屡见不鲜，针对该问题，社区物业已明令禁止电动车入户，但是依然有住户忽视这个问题的严重性。 业务难点 由于小区电梯多，人工监控很难及时发现电瓶车入户违规，最终造成严重的人员伤亡事故。 同...
-
百度智能云千帆大模型平台推出千帆SDK开源版本
百度智能云千帆大模型平台再次升级，推出千帆 SDK，全面开源并免费下载使用。 该 SDK 提供了从数据集管理、模型训练、模型评估到服务部署等一系列功能，用户可以通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现 LLMOps 全流程的落地，快速构建...