-
五种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术，并比较它们的优点，以及使用Pytorch实现以了解它们的底层工作原理。 令牌掩码Token Masking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用，并被用于许多变体(Ro...
-
机器学习如何提高商业智能
机器学习(ML 在商业智能(BI 的持续发展中发挥着关键作用。随着ML的出现，企业正在超越传统分析，采用更复杂的方法来解读庞大的数据集。本文探讨了ML为BI带来的革命，标志着从单纯的数据分析到预测洞察和决策策略的重大转变。 ML在BI中的集成 将ML集...
-
华人开源最强「AI 程序员」炸场，让 GPT-4 自己修 Bug！
自从“AI 程序员”Devin问世之后，近期的一大趋势就是程序员们争先恐后地要让自己失业，试图抢先造出比自己更强大的程序员。 普林斯顿大学为软件工程界迎来了一位新星——SWE-agent，论文将在4月10日正式发布，目前项目已在 GitHub 上开源。...
-
Transformer引领AI百花齐放：从算法创新到产业应用，一文读懂人工智能的未来
一、引言 近年来，人工智能技术取得了举世瞩目的成果，其中，自然语言处理（NLP）和计算机视觉等领域的研究尤为突出。在这些领域，一种名为Transformer的模型逐渐成为研究热点，以其为核心的创新成果层出不穷。本文将从Transformer的原理、应用和...
-
开源版AI程序员来了：GPT-4加持，能力比肩Devin，一天1.4k Star
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近，有很多人在为 AI 代替自己的工作而担忧。 上个月火遍 AI 圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技...
-
华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
出品 | 51CTO技术栈（微信号：blog51cto） 华人又来炸场了！昨天，普林斯顿的CS/NLP硕士生John Yang在Github上开源了一款堪比Devin的利器。不到一天，就在Github上斩获了1.3k 星，异常生猛。据悉，4月10日，详细...
-
华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复...
-
ChatGPT也在评审你的顶会投稿，斯坦福新研究捅了马蜂窝，“这下闭环了”
尴了个大尬！ 人们还在嘲讽有人用ChatGPT写论文忘了删掉“狐狸尾巴”，另一边审稿人也被曝出用ChatGPT写同行评论了。 而且，还是来自ICLR、NeurIPS等顶会的那种。 来自斯坦福的学者对一些顶级AI会议（如ICLR、NeurIPS、CoRL...
-
“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂
大模型长文本能力测试，又有新方法了！ 腾讯MLPD实验室，用全新开源的“数星星”方法替代了传统的“大海捞针”测试。 相比之下，新方法更注重对模型处理长依赖关系能力的考察，对模型的评估更加全面精准。 利用这种方法，研究人员对GPT-4和国内知名的Kimi...
-
描述 Microsoft Copilot for Security
人工智能辅助内容。该模块部分是在人工智能的帮助下创建的。了解更多 熟悉 Microsoft Copilot for Security。我们将向您介绍一些基本术语、Microsoft Copilot for Security...
-
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE 的引入，2022年标志着该领域的...
-
探索LLaMA模型：架构创新与Transformer模型的进化之路
引言 在人工智能和自然语言处理领域，预训练语言模型的发展一直在引领着前沿科技的进步。Meta AI（前身为Facebook）在2023年2月推出的LLaMA（Large Language Model Meta AI）模型引起了广泛关注。LLaMA模型以...
-
AIGC发展史
1 AIGC概况 1.1 AIGC定义 AIGC（AI Generated Content）是指利用人工智能技术生成的内容。它也被认为是继PGC,UGC之后的新型内容生产方式，AI绘画、AI写作等都属于AIGC的具体形式。2022年AIGC发展速度惊人...
-
AI21发布世界首个Mamba的生产级模型Jamba 支持256K上下文长度
AI21发布了世界首个Mamba的生产级模型:Jamba。这个模型采用了开创性的SSM-Transformer架构，具有52B参数，其中12B在生成时处于活动状态。Jamba结合了Joint Attention和Mamba技术，支持256K上下文长度。单个...
-
【AIGC调研系列】AIGC企业级模型Command-R介绍
Command-R与其他大语言模型的主要区别在于其专为企业级应用设计，特别是在检索增强生成（RAG）和工具使用方面。Command-R是一个350亿参数的高性能生成模型，具有开放式权重，能够支持多种用例，包括推理、摘要和问答[2]。它特别针对大规模生产工作...
-
十个推荐开源免费文本标注工具
文本标注工作是将标签或标记与文本的特定部分（如短语、单词或句子）相关联的过程。其目的是提供有关文本的额外信息，用于进一步的分析或处理，特别是在人工智能领域。 文本标注对于人工智能应用中的监督机器学习任务至关重要。用于训练AI模型，有助更准确地理解自然语...
-
报告：ChatGPT 撰写的近期AI会议同行评审高达 17%
最近的一项研究揭示了一个重要发现:2023-2024年顶级人工智能会议的同行评审中可能包含大量来自 ChatGPT 等模型的 AI 生成内容。 图源备注：图片由AI生成，图片授权服务商Midjourney 研究人员利用一种新颖的统计技术，估计了大量文档中...
-
TensorFlow深度学习框架模型推理Pipeline进行人像抠图推理
概述 为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，提供了一套功能完备的Python library，其中包含了ModelScope官方模型的实现，以及使用这些模型进行推理，finetune等任务所需的数据预处理，后处理，效果...
-
2024 CSRankings全美计算机科学排名发布！CMU霸榜，MIT跌出前5
2024 CSRankings全美计算机科学专业排名，刚刚发布了！ 今年，全美全美CS最佳大学排名中， 卡耐基梅隆大学（CMU）位列全美第一，同时是CS世界第一。与此同时，伊利诺伊大学香槟分校（UIUC），连续6年稳居榜单第二。佐治亚理工学院位列第三。...
-
【八股】2024春招八股复习笔记1（搜索推荐、AIGC）
【八股】2024春招八股复习笔记1（搜索推荐、AIGC） 文章目录 1、推荐系统 1.1 推荐系统流程 1.2 协同过滤 、 矩阵分解 1.3 逻辑回归 2、算法常识（应用算法） 2.1 重点复习 xgboost 2.2 大模型 t...
-
人工智能技术在群聊类数据分析中的探索
引言 随着互联网的快速发展，社交网络已经成为了现代人日常生活中不可或缺的一部分。其中，群聊作为一种集体交流的方式，承载了丰富多样的信息，从文字到语音，再到图片和视频，内容形式多样，且充满碎片化特性。这种碎片化、多样化的群聊数据不仅丰富了信息的来源，也为舆...
-
到2030年，电子商务领域的人工智能市场将达到226亿美元
在技术进步的推动下，电子商务市场中的人工智能(AI 正在经历显著增长，以及对个性化和高效购物体验的需求不断增加。根据最近的数据，2023年市场规模为58.1亿美元，预计到2030年将达到226亿美元，2024-2030年预测期间的复合年增长率...
-
AIGC赋能，天猫精灵、华米科技“抢跑”智能穿戴
随着国内外AI大模型研发的持续井喷，AIGC已经从理论走向了应用。近两年，AIGC技术正在加速迈向更加多元化的应用场景，开始和越来越多的智能终端结合。尤其是从智能手机到智能家居，从智能汽车到智能可穿戴设备，各类智能终端都纷纷开始拥抱AI大模型。 智能硬件...
-
旷视实战大模型：把多模态扎进行业
距离ChatGPT、GPT-4等引爆新一轮人工智能变革的时刻，已经过去了整整一年的时间。在这一年里，国内外大量公司涌入大模型的“斗兽场”，加速大模型技术的迭代与跃迁。 大模型前所未有的通用任务处理能力，让所有人看到了解锁更多应用场景的可能性。各行各业开始...
-
50+国内外大模型专家齐聚，全球机器学习技术大会第二批嘉宾阵容公布！
50+ 国内外大模型重磅专家 智谱、百川、零一万物、智源、面壁智能 微软、阿里通义、小米、北大、复旦 eBay、恒生、达观、金山、度小满等 共同探讨 AI 前沿发展与落地实践 全球机器学习技术大会第二批嘉宾重磅出炉 Daniel Povey 博士毕业于英...
-
华为天才少年谢凌曦：关于视觉识别领域发展的个人观点！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，我参加了几个高强度的学术活动，包括CCF计算机视觉专委会的闭门研讨会和VALSE线下大会。经过与其他学者的交流，我产生了许多想法，千头万绪，便希望把它们整理下来，供自己和同行们参考。当然，受限于...
-
AI写作的奥秘：从深度学习到智能创造的突破
大家好，小发猫降重今天来聊聊 AI写作的奥秘：从深度学习到智能创造的突破，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题： AI写作的奥秘：从深度学习到智能创造的突破 内容： 当我们谈...
-
文言一心与文心一言：深度解读自然语言处理领域的两大巨头
大家好，小发猫降ai今天来聊聊文言一心与文心一言：深度解读自然语言处理领域的两大巨头，希望能给大家提供一点参考。降ai辅写 以下是针对论文AI辅写率高的情况，提供一些修改建议和技巧，可以借助此类工具： 还有： 文言一心与文心一言：深度解读自然...
-
【AIGC调研系列】embeding模型有哪些，各有什么优势
在AIGC中，Embedding模型是一种将文本数据转换为多维向量数组的技术，这些向量可以代表任何事物，如文本、音乐、视频等[2]。有几种不同的Embedding模型，它们各有其优势和应用领域。 Word2vec：这是一种经典的嵌入模型，通过学习单词...
-
时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt
今天给大家介绍一篇最新的大模型+时间序列预测工作，由康涅狄格大学发表，提出了一种将时间序列在隐空间和NLP大模型对齐，并利用隐空间prompt提升时间序列预测效果的方法。 论文标题：S2IP-LLM: Semantic Space Informed P...
-
ChatGPT-4 VS 文心一言4.0
在线体验 地址（含 gpt 3.5 / 4.0，文心 3.5 / 4.0）：https://chat.tool4j.com 点击访问 文心一言和ChatGPT-4都是非常强大的自然语言处理模型，它们都能够在对话系统和其他NLP应用中发挥巨大的作用。然而，它...
-
仅需200M参数，零样本性能超越有监督！谷歌发布时序预测基础模型TimesFM
时间序列预测在零售、金融、制造业、医疗保健和自然科学等各个领域无处不在：比如说在零售场景下中，「提高需求预测准确性」可以有显著降低库存成本并增加收入。 深度学习（DL）模型基本上垄断了「多变量时间序列预测」任务，在各个竞赛、现实应用中的表现都非常好。 与...
-
人工智能如何增强用户体验研究
将人工智能(AI 整合到这些用户体验(UX 研究过程中，可能会改变做出重要设计决策的方式。 在用户体验研究中，人工智能被证明是一个强大的工具，可以获得更深入的见解，简化流程，并最终提供更多以用户为中心的设计。 本文将探讨人工智能积极增强用户体验研究方法...
-
127k引用数的AI大牛创业：为机器人造大脑！OpenAI红杉排队塞钱
谷歌学术被引数超127000的大神宣布创业，获OpenAI等机构在内投资7000万美元！ 他就是来自UC伯克利的副教授Sergey Levine，创业前任职于电气工程与计算机科学系，是深度强化学习领域超受欢迎的网红老师。 他在推特上兴奋地表示，此番创业...
-
万字带你了解ChatGLM
本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题（第二期）-第一课：ChatGLM》，作者： 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动...
-
仅需格式转换提升9%数学推理能力，上交开源新对齐方法ReAlign
大模型对齐新方法，让数学推理能力直接提升9%。 上海交通大学生成式人工智能实验室（GAIR Lab）新成果ReAlign，现已开源。 随着以ChatGPT为代表的语言大模型的快速发展，研究人员意识到训练数据的质量才是大模型对齐的关键。 然而，目前主流的...
-
探索数据科学对机器人的影响
数据驱动的感知: 数据科学彻底改变机器人技术的关键领域之一是感知。配备了传感器、摄像头和其他数据收集机制的机器人会产生大量有关其环境的数据。数据科学技术，包括计算机视觉、传感器融合和深度学习，使机器人能够解释和理解这些数据，促进强大的感知能力。从物体识...
-
discuz采集发布的优势和操作指引
随着互联网信息技术的发展和社交论坛的蓬勃兴起，网民之间的交流与信息分享达到了前所未有的频率。Discuz！作为一种多年稳定运行并广泛应用于众多论坛社区的程序系统，具备完善的功能和极高的自定义能力，在用户数据采集和内容自动发布上扮演着重要的角色。本文将就Di...
-
自然语言编程系列（二）：自然语言处理（NLP）、编程语言处理（PPL）和GitHub Copilot X
编程语言处理的核心是计算机如何理解和执行预定义的人工语言（编程语言），而自然语言处理则是研究如何使计算机理解并生成非正式、多样化的自然语言。GPT-4.0作为自然语言处理技术的最新迭代，其编程语言处理能力相较于前代模型有了显著提升。Copil...
-
==如何实现高效的thinksns采集插件功能与运用
======随着互联网信息的快速发展和社交平台数据量的迅猛增长，各类信息采集技术受到广泛关注和研究，特别在社交媒体领域的数据采集更为引人注目。Thinksns作为一款备受欢迎的社交网络软件系统，针对其内容的采集和管理是诸多用户和开发者非常重视的一个问题。在...
-
清华NLP组发布InfLLM：无需额外训练，「1024K超长上下文」100%召回！
大模型只能够记忆与理解有限的上下文已经成为大模型在真实应用中的能力瓶颈，例如对话式AI系统往往无法记忆你前一天对话的内容，利用大模型构建智能体会产生前后不一致的行为与记忆。 为了让大模型能够记忆并处理更长的上下文，来自清华大学、麻省理工学院和人民大学的研...
-
我们一起聊聊大模型的模型融合方法
模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别模型那样直观。 另外，由于大模型的参数量增大，在参数规模更大的场景，简单的集成学习可以考量的方法相比低参数的机器学习更受限制，...
-
We7 CMS采集插件的深入解析与应用实战
在当今的信息化时代，内容管理系统（CMS）在各种类型的网站和应用程序中都发挥着不可替代的作用。而作为内容管理和数据收集的重要环节之一，采集插件就显得尤为重要。在这其中，“we7 CMS采集插件”以其独特的功能和优秀的表现受到了广泛的关注和应用。本文旨在对w...
-
基于自动采集发布文章的技术洞见与应用前景
随着互联网信息时代的迅猛发展，内容的创造、分享和传播方式正经历着翻天覆地的变化。在这一浪潮中，“自动采集发布文章”作为一种新型的信息处理技术，正逐渐在各行各业中发挥着其独特而重要的作用。本文将围绕这一技术进行深入探讨，从基本原理、应用场景到未来发展趋势等多...
-
AIGC启示录：深度解析AIGC技术的现代性与系统性的奇幻旅程
✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨ ?? 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢，在这里我会分享我的知识和经验。? 希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。?...
-
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10...
-
澜舟科技：将展示孟子大模型及全方位技术与产品体系
澜舟科技宣布，将于2024年3月18日举办大模型技术与产品发布会，主题为 “创新落地，生态共赢”。该发布会旨在展示孟子大模型及“一横N纵”全方位技术与产品体系，分享在金融等领域的技术创新和落地实践案例。 据悉，澜舟科技是一家业界领先的认知智能公司，专注于...
-
人工智能驱动的测试自动化的七个好处
人工智能驱动的测试自动化可以为企业带来什么?人们需要了解其主要的好处。 如何描述企业当前的测试过程?它们是人工实施的或自动实施的，还是两者的结合?在过去的几年里，更多的企业已经将测试自动化添加到混合中，原因很容易看出。行业专家分享了人工智能驱动的测试自...
-
文心一言 VS ChatGPT-4
文心一言和ChatGPT-4都是非常强大的自然语言处理模型，它们都能够在对话系统和其他NLP应用中发挥巨大的作用。然而，它们之间还是存在一些区别： 训练数据：ChatGPT-4是由OpenAI训练的，它使用了大量的网络文本来进行训练，因此它具有非常广...
-
了解人工智能生成内容（AIGC）的基本原理和应用
1. 简介 • AIGC的定义和背景 人工智能生成内容（Artificial Intelligence Generated Content，简称AIGC）是指利用人工智能技术和算法来自动生成各种形式的内容，例如文章、新闻、广告、代码等。AIGC的发展可...