-
详解各种LLM系列｜LLaMA 2模型架构、 预训练、SFT内容详解 (PART1)
作者 | Sunnyyyyy 整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/670002922 大家好，这里是 NewBeeNLP。之前我们分享了详解各种LLM系列｜...
-
手把手教你基于华为云，实现MindSpore模型训练
本文分享自华为云社区《【昇腾开发全流程】MindSpore华为云模型训练》，作者：沉迷sk。 前言 学会如何安装配置华为云ModelArts、开发板Atlas 200I DK A2。 并打通一个Ascend910训练到Ascend310推理的全流程...
-
== **探索eyoucms爬虫：开启智能内容抓取新时代**
==在数字化信息时代，数据已经成为一种宝贵的资源，而内容的获取与管理更是每个网站运营者不可忽视的环节。eyoucms作为一款知名的内容管理系统，其强大的功能与灵活的扩展性备受用户青睐。而结合了爬虫技术的eyoucms，则为用户打开了一扇高效、智能内容抓取的...
-
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具 项目地址:https://gitcode.com/SYSTRAN/faster-whisper 在自然语言处理（NLP）领域，Transformer架构的模型如Whis...
-
深入解析“boaphp爬虫”：原理、应用与未来趋势
在当今数字化时代，网络爬虫已成为数据获取与分析领域的重要工具。作为一种自动化程序，爬虫能够遍历互联网，抓取并解析网页数据，为各行各业提供丰富的数据资源。在众多爬虫框架中，“boaphp爬虫”以其高效、稳定、易用的特点，受到了广大开发者的青睐。本文将深入解析...
-
解读注意力机制原理，教你使用Python实现深度学习模型
本文分享自华为云社区《使用Python实现深度学习模型：注意力机制（Attention）》，作者：Echo_Wish。 在深度学习的世界里，注意力机制（Attention Mechanism）是一种强大的技术，被广泛应用于自然语言处理（NLP）和计算机视...
-
一文读懂 Arthur Bench LLM 评估框架
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 众所周知，LLM 评估是人工智能领域的一个重要议题。随着 LLM 在各个场景中的广泛应用,评估它们的能力和局限性变得越来越重要。作为一款新兴...
-
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些...
-
Llama大型语言模型原理详解
Llama大型语言模型是一种基于深度学习的自然语言处理模型，它在文本生成、问答、摘要等多种NLP任务中展现出强大的性能。本文将详细解析Llama模型的原理，包括其结构、训练过程以及工作机制，帮助读者深入理解这一先进的模型。 一、模型结构 Llama模型...
-
在Mac电脑上本地部署Llama大型语言模型
Llama大型语言模型以其出色的性能和广泛的应用场景，吸引了众多NLP研究者和开发者的关注。在Mac电脑上本地部署Llama模型，可以让我们更加便捷地利用这一强大工具进行各种NLP任务。本文将详细介绍在Mac电脑上本地部署Llama模型的步骤和注意事项。...
-
深入剖析“多多客CMS爬虫”：技术原理、应用场景与未来趋势
随着互联网技术的飞速发展，数据已经成为当今时代最宝贵的资源之一。为了获取海量数据，各种爬虫技术应运而生，其中“多多客CMS爬虫”以其高效、稳定的特点，在众多爬虫工具中脱颖而出。本文将深入探讨多多客CMS爬虫的技术原理、应用场景以及未来发展趋势，带领大家一探...
-
探索 Obsidian Copilot：智能笔记的新里程碑
探索 Obsidian Copilot：智能笔记的新里程碑 项目地址:https://gitcode.com/logancyang/obsidian-copilot 项目简介 Obsidian Copilot 是一个创新的插件，为流行的 markdo...
-
Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
阿里投资Kimi AI开发商月之暗面细节曝光：8亿美元换36%股权
快科技5月24日消息，日前阿里巴巴发布了2024财年年报，其中披露了一项投资细节：阿里巴巴在2024财年向AI初创公司月之暗面（Moonshot AI）投资约8亿美元，以此换取了该公司约36%的股权。 并且此次投资为优先股投资，显示了阿里巴巴对月之暗面及其...
-
Hugging Face全攻略：轻松下载Llama 3模型，探索NLP的无限可能！【实操】
Hugging Face：自然语言处理的强大开源模型库 在数字化时代，自然语言处理（NLP）技术的崛起为人工智能的发展注入了新的活力。而Hugging Face，作为这一领域的佼佼者，凭借其强大的模型仓库、易用的API以及活跃的社区支持，成为无数NL...
-
LLamaFactory：当下最容易上手的大模型微调工具
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的s...
-
中国AI独角兽资本大冒险
冰火两重天。 成立不过一年多时间，月之暗面已然成为中国大模型赛道上，最炙手可热的明星公司。 5 月 21 日，华尔街见闻获悉，月之暗面将按照投前估值 30 亿美元（合217. 3 亿人民币）进行融资，完成后依然是当前中国估值最高的AI创业公司。 过去一年，...
-
250行代码从头搭建Llama 3，GitHub一天4.6k星！Karpathy大赞
Llama系列作为为数不多的优质开源LLM，一直受到开发者们的追捧。在Hugging Face社区的文本生成模型中，几乎是「霸榜」的存在。 就在520这天，一位名叫Nishant Aklecha的开发者在推特上宣布了自己的一个开源项目，名为「从头开始实...
-
150B token从头训练，普林斯顿Meta发布完全可微MoE架构Lory
不同于大多数模型使用字母缩略起名，论文作者在脚注中解释道，Lory是一种羽毛有彩虹颜色的鹦鹉，和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址：https://arxiv.org/abs/2405.03133 主要作者...
-
深入解析“QueryPHP爬虫”：原理、应用与未来发展
在当今数字化信息时代，数据已经成为驱动一切的关键要素。随着互联网技术的不断进步，如何高效、准确地抓取与利用网络数据，成为了众多开发者和企业关注的焦点。在这个背景下，基于QueryPHP的爬虫技术以其独特的优势，逐渐受到业界的青睐。本文将从QueryPHP爬...
-
“蓝宝石留言本爬虫”探索与数据处理
随着互联网的蓬勃发展，网络留言本已成为人们交流信息、分享观点的重要平台。在这个信息爆炸的时代，如何从海量的留言数据中高效获取有价值的信息，成为数据分析领域的一大挑战。本文将围绕“蓝宝石留言本爬虫”的构建与应用，深入探讨爬虫技术的实现原理、留言数据的处理分析...
-
又被 OpenAI 截胡，Google推出开源视觉语言模型：PaliGemma
前言 该模型结合了 SigLIP 视觉模型和 Gemma 语言模型，这两种模型都是开放组件，使得PaliGemma在处理视觉与语言结合的任务上表现出色。 PaliGemma的使用场景包括图像字幕、图像标签和视觉问答等。这些应用场景利用了PaliGemm...
-
「大模型」之所短，「知识图谱」之所长
最近一年以来，大语言模型技术突飞猛进，被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来，给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图，其中包括了文本生成、图像生成等技术。本次分享...
-
使用Quarkus和LangChain4j，LLM在Java中可以实现哪些功能？
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文试图通过一个有趣的原创项目，利用Quarkus和LangChain4j来揭开LLM在Java中使用的神秘面纱。 自从2022年11...
-
力压Transformer？首篇Mamba综述来了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型，在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于Transfo...
-
LLM 评估新纪元：Arthur Bench 全方位解读
一、传统文本评估面临的挑战 近年来，随着大型语言模型（LLM）的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领域，我们可能已经听说过一些方法，例如基于“单词出现”的评估方法，比如 BLEU，以及基于“预训练的自然语言处理模型”...
-
算法在 58 画像平台建设中的应用
一、58 画像平台建设背景 首先和大家分享下 58 画像平台的建设背景。 1. 传统的画像平台 传统的思路来看，建设用户画像平台依赖数仓建模能力，整合多业务线数据，构建准确的用户画像；还需要数据挖掘，理解用户行为、兴趣和需求，提供算法侧的能力；最后，...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里，自然语言处理（NLP）领域发生了显著的变化，这主要得益于OpenAI的GPT系列等大语言模型（LLM）的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法，在翻译、情绪分析和文本自动...
-
ChatGPT们的幕后先驱，斯坦福教授Manning的四十年NLP生涯
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物，在词向量 GloVe...
-
小红书正内测自研大模型“小地瓜”：已达国内主流水平
快科技4月30日消息，据媒体报道，小红书已经开始在部分内部产品中，灰度测试自研通用大模型基座小地瓜”。 报道表示，有知情者透露称，小红书对上线新AI产品的态度非常谨慎，原因是害怕破坏现有的内容生态，小红书的内容生态是活人种草，AI在里面怎么样才不违和，这是...
-
如何利用AI实现文档处理自动化
译者 | 陈峻 审校 | 重楼 文件处理在许多企业及员工看来是一项必不可少、却又耗时费力的工作。每天，他们往往需要花费无数个小时去对文件进行分类、归档、以及搜索。不过，如今人工智能（AI）正在以自动化的方式改变着这些琐碎的工作。 通过利用人工智能，企业...
-
打破壁垒：生成式人工智能如何重塑数据分析场景
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 深入探讨生成式人工智能的原则和模型，以及它在数据分析中的应用。 面对快速变化的市场格局，企业必须不断寻求新的技术突破来保持领先地位。生...
-
为什么人形机器人如此受欢迎?
随着技术的快速进步和人工智能(AI 在我们生活的许多方面的结合，人形机器人已经成为一种杰出的、受欢迎的创新。由于具有自主交互、学习和执行任务的能力，这些类人机器在各种行业的需求越来越大，包括娱乐、酒店、医疗保健和教育。本文揭示了为什么需要人形机器人。...
-
AI风险发现中的十种方法
除了聊天机器人或个性化建议的喧嚣之外，人工智能预测和消除风险的强大能力正在组织中获得发展动力。随着大量数据的激增和监管的收紧，传统的风险评估工具在重压下变得举步维艰。 在这样的背景下，利用人工智能的风险管理能力可确保遵守不断变化的法规并积极应对不可预见的...
-
聊聊机器学习与人力资源管理碰撞什么火花？
前 言 近年来，机器学习领域取得了许多重大突破，人工智能技术驱动的人力资源管理服务产品也拥有一个庞大且充满活力的市场。越来越多的企业和政府机构逐渐开始思考将机器学习技术应用于人力资源管理，通过神经网络做出正确有效的决策，准确地预测人力资源管理的结果。...
-
华为开发者大会定档 将发布盘古大模型5.0
华为开发者大会定于6月21日至23日在东莞松山湖盛大举行，届时将见证盘古大模型5.0与HarmonyOS NEXT鸿蒙星河版的首次同台展示。 盘古大模型系列，作为华为精心打造的一系列预训练大模型，涵盖了自然语言处理（NLP）、计算机视觉(CV 以及科学计算...
-
与纯血鸿蒙同台亮相！华为盘古大模型5.0六月发布
快科技4月25日消息，华为开发者大会（HDC 2024）将于6月21日-23日在东莞松山湖举办，这将是华为史上规模最大的开发者大会。 邀请函显示，华为将在大会上重磅发布盘古大模型5.0，并将和纯血鸿蒙”HarmonyOS NEXT鸿蒙星河版首次同台亮相。...
-
人工智能可以帮助识别门牌号吗？
人工智能(AI 是一项进步，使计算机和机器能够复制人类的知识和解决问题的能力。如今，人们正在使用人工智能识别门牌号码。人工智能可以单独或与其他技术相结合来执行任务，如传感器、地理定位、机器人技术，无需人类参与。 人工智能在识别门牌号码方面的作用 在计算...
-
自然语言处理(NLP)的工作原理
本文旨在揭开语言模型的神秘面纱，阐明其处理原始文本数据的基本概念和机制。它涵盖了几种类型的语言模型和大型语言模型，重点关注基于神经网络的模型。 语言模型定义 语言模型专注于生成类似人类的文本的能力。通用语言模型本质上是单词序列的统计模型或概率分布，用于...
-
防止AI系统受到提示注入攻击的五个方法
译者 | 布加迪 审校 | 重楼 提示注入攻击是一种网络安全威胁，专门针对基于人工智能（AI）的系统，包括聊天机器人、虚拟助理及其他基于AI的界面。当攻击者以某种方式操纵AI模型的输入，导致模型执行意外操作或泄露敏感信息时，就会发生这类攻击。这种操纵可以...
-
人工智能如何给智能手机带来革命性的转变？
人工智能(AI 一直被认为是各领域的核心功能技术，智能手机是展现新一代可能性和能量的典型例子。人工智能不再仅仅是匹配人类界面水平的问题，而是让设备比以往任何时候都表现得更好的问题。本文将讨论智能手机的人工智能，以及它将如何给现代智能手机带来革命性的变化...
-
为下一波创新做准备：人工智能和元宇宙
我们正在见证两项变革性技术的激动人心的发展:人工智能和元宇宙。元宇宙的发展及其未来已经成为科技专业人士的热门话题。简而言之，元宇宙是一个虚拟现实世界，允许用户使用人工智能、增强现实和虚拟现实等先进技术进行互动。 根据彭博的报告，元宇宙市场预计到2030...
-
人工智能如何重塑每个行业
人工智能正在改变它所接触的各个行业,从医疗到物流，从交通到农业。这种非凡的创新正在重塑组织的工作方式,进一步提高熟练程度,推动进步,并为发展打开新的大门。本文探讨人工智能是如何改变不同领域的,以及它对全球经济的意义。 医疗服务是因人工智能而发...
-
JS 的 AI 时代来了
近几年，技术飞速发展，AI 正以前所未有的速度改变着我们的生活。而在这一浪潮中，JS 作为前端开发的基石，也正在迎来其 AI 时代的新篇章。本文将分享几个引领 JS 迈向 AI 时代的机器学习库，探索这些库的魅力，携手迎接 JS 的 AI 时代吧！ T...
-
一文搞懂Tokenization！
语言模型是对文本进行推理，文本通常是字符串形式，但是模型的输入只能是数字，因此需要将文本转换成数字形式。 Tokenization是NLP的基本任务，按照特定需求能把一段连续的文本序列（如句子、段落等）切分为一个字符串序列（如单词、短语、字符、标点等多个...
-
AI公司面壁智能完成新一轮数亿元融资
面壁智能近日完成新一轮数亿元融资，由春华创投、华为哈勃领投，北京市人工智能产业投资基金等跟投，知乎作为战略股东持续跟投支持。 这次融资将用于推进优秀人才引入，加固大模型发展的底层算力与数据基础，持续引领「高效大模型」路线，推动大模型高效训练、快步应用落地。...
-
大模型的学习 LLaMa和ChatGLM，minichatgpt4
LLaMa和ChatGLM，minichatgpt4 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？ 答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
大模型在金融领域落地思路与实践
一、恒生电子的大模型应用实践 1. 大模型的发展趋势 （1）大模型推动第三次信息化浪潮 上图是恒生电子董事长刘曙峰先生经常引用的经典图，将金融领域的数字化推进分为三个阶段，恒生电子目前正处于 2.0 到 3.0 的过渡阶段。在迁徙的过程中，最重要的生产...
-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用，并被用于许多变体(Ro...