-
语音识别技术发展的驱动力：语音数据的采集和处理
语音识别技术是一项基于人工智能的技术，通过计算机对人的语音进行分析和处理，将语音转化成文字，以此达到自动化处理的目的。语音识别技术的应用广泛，包括智能助手、语音导航、语音搜索、电话自动语音应答等等。但是要实现高质量的语音识别，一个非常重要的因素就是语音数据...
-
使用scws组件分词和phpanalysis分词类实现简单的php分词搜索
什么是scws： SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。 这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在...
-
微软推出 “从错误中学习” 模型训练法，号称可“模仿人类学习过程，改善 AI 推理能力”
IT之家 11 月 7 日消息，微软亚洲研究院联合北京大学、西安交通大学等高校，提出了一项名为“从错误中学习（Learning from Mistake，LeMA）”的 AI 训练方法，号称可以通过模仿人类学习知识的过程，来改进 AI 推理能力。 当下...
-
强化学习与多任务推荐
一、短视频推荐两阶段约束强化学习算法 首先介绍的一项快手自研的 WWW 2023 Research Track 工作，主要解决短视频推荐场景下的带约束多目标优化问题。 在短视频推荐单列场景中，用户通过上下滑形式和系统进行交互，观看多个视频。用户对每个...
-
PubDef：使用公共模型防御迁移攻击
译者 | 布加迪 审校 | 重楼 对抗性攻击对机器学习系统的可靠性和安全性构成了严重威胁。通过对输入进行微小的变动，攻击者就可以导致模型生成完全错误的输出。防御这种攻击是一个很活跃的研究领域，但大多数提议的防御措施都存在重大的缺点。 这篇来自加州大学伯克...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
蚂蚁集团CodeFuse代码大模型开源ModelCache大模型语义缓存
蚂蚁集团旗下CodeFuse 代码大模型宣布开源了 ModelCache 大模型语义缓存，可以降低大型模型应用的推理成本，提升用户体验。 ModelCache 的架构包括 adapter、embedding、similarity 和 data_manage...
-
用AI整顿AI？这些检测工具了解了解
自生成式AI创作机器人出现以来，各行各业都开始用来撰写文章甚至学术论文，针对该情况，一些AI内容检测工具也随之诞生，一起看看吧。 1.Copyleaks AI Content Detector https://copyleaks.com/ai-co...
-
人工智能将面孔识别技术带入动物界：AI 被用来识别鹅的面孔
维也纳大学的生物学家 Sonia Kleindorfer 博士，现任 Konrad Lorenz 行为与认知研究中心主任，最近发起了一项突破性研究。继承了著名的奥地利生物学家 Konrad Lorenz 研究灰雁鹅群行为的遗产，Kleindorfer 博士...
-
给大模型评分的基准靠谱吗？Anthropic来了次大评估
现阶段，大多数围绕人工智能 （AI）对社会影响的讨论可归结为 AI 系统的某些属性，例如真实性、公平性、滥用的可能性等。但现在面临的问题是，许多研究人员并没有完全意识到建立稳健可靠的模型评估是多么困难。当今许多现有的评估套件在各个方面的表现都很有限。 A...
-
AI能理解自己生成的东西吗? 在GPT-4、Midjourney上实验后，有人破案了
从 ChatGPT 到 GPT4，从 DALL・E 2/3 到 Midjourney，生成式 AI 引发了前所未有的全球关注。强大的潜力让人们对 AI 产生了许多期待，但是强大的智能也会引发人们的恐惧和担忧。近期大牛们针对该问题还上演了一场激烈的论战。先...
-
SciMatch：AI看相为你找灵魂伴侣 准确率达87%
一款名为SciMatch的应用声称通过"AI+社会科学"的方法，帮助用户找到高度匹配的灵魂伴侣，准确率达到87%。用户只需上传一张自拍照，应用的"A.I.Ruby"算法会分析面部特征，识别性格特质，然后推荐相应的潜在约会对象。这一过程涉及用户的年龄和面部特...
-
代码能力超越GPT-4，这个模型登顶Big Code排行榜，YC创始人点赞
一款号称代码能力超越GPT-4的模型，引发了不少网友的关注。 准确率比GPT-4高出超过10%，速度却接近GPT-3.5，而且窗口长度也更长。 据开发者描述，他们的模型取得了74.7%的Pass@1通过率，超过了原始GPT-4的67%，登上了Big C...
-
机器学习 | PyTorch简明教程上篇
前面几篇文章介绍了特征归一化和张量，接下来开始写两篇PyTorch简明教程，主要介绍PyTorch简单实践。 1、四则运算 import torch a = torch.tensor([2, 3, 4] b = torch.tensor([3, 4,...
-
机器学习|PyTorch简明教程下篇
接着上篇《PyTorch简明教程上篇》，继续学习多层感知机，卷积神经网络和LSTMNet。 1、多层感知机 多层感知机通过在网络中加入一个或多个隐藏层来克服线性模型的限制，是一个简单的神经网络，也是深度学习的重要基础，具体图如下： import num...
-
AI视野：英伟达发布大模型ChipNeMo；百度推出文心一言会员；OpenAI潜入黑客群聊；微软AI助手Copilot上线
????大模型动态 英伟达发布430亿参数大模型ChipNeMo 英伟达发布了拥有430亿参数的大语言模型ChipNeMo，专注于辅助芯片设计，提高工程师的工作效率，支持问答、EDA脚本生成和Bug总结等任务。 vivo发布AI蓝心大模型并宣布开源7B...
-
AI圈巨震！微软论文曝光GPT-3.5参数量仅有200亿
最近，微软的一篇论文引发了广泛讨论，揭示了GPT-3.5的真实参数量可能只有20B，远远小于之前官方宣布的1750亿。这一曝料在AI圈内引起了巨大的震动，让人们开始重新评估这一庞大模型的性能和潜力。此论文还介绍了一个小型扩散模型CodeFusion，它只有...
-
八张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍
随着GPT-4的架构被知名业内大佬「开源」，混合专家架构（MoE）再次成为了研究的重点。 GPT-4拥有16个专家模型，总共包含1.8万亿个参数。每生成一个token需要使用大约2800亿参数和560TFLOPs 然而，模型更快、更准确的代价，则是巨大...
-
ChatGPT、Llama-2等大模型，能推算出你的隐私数据！
ChatGPT等大语言模型的推理能力有多强大?通过你发过的帖子或部分隐私数据，就能推算出你的住址、年龄、性别、职业、收入等隐私数据。 瑞士联邦理工学院通过搜集并手工标注了包含520个Reddit（知名论坛）用户的个人资料真实数据集PersonalReddi...
-
多模态大模型幻觉降低30%！中科大等提出首个幻觉修正架构「Woodpecker」啄木鸟
视觉幻觉是常见于多模态大语言模型（Multimodal Large Language Models, MLLMs）的一个典型问题。 简单来说就是：模型输出的描述与图片内容不相符。 下图中体现了两种幻觉，红色部分错误地描述了狗的颜色（属性幻觉），蓝色部分描...
-
对比GPU，使用FPGA创建神经网络
当代的CPU按照一维方式进行计算，顺序执行指令，并将算法分解为逐条加载和执行的指令。然而，未来的计算发展趋势表明，我们将越来越多地依赖硬件加速器来支持并行执行，这将成为计算的常态。这种发展趋势将统一算法和硬件结构的利用，从而实现更快、更高效的解决方案。...
-
多模态LLM幻觉问题降低30%！业内首个“啄木鸟”免重训方法诞生
还在用指令微调解决多模态大模型的“幻觉”问题吗？ 比如下图中模型将橙色柯基错认为“红狗”，还指出周围还有几条。 图片 现在，中科大的一项研究想到了一个全新办法： 一个免重训、即插即用的通用架构，直接从模型给出的错误文本下手，“倒推”出可能出现“幻觉”之处...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...
-
DeepMind：谁说卷积网络不如ViT？
深度学习的早期成功可归功于卷积神经网络（ConvNets）的发展。近十年来，ConvNets 主导了计算机视觉基准测试。然而近年来，它们越来越多地被 ViTs（Vision Transformers）所取代。 很多人认为，ConvNets 在小型或中等规...
-
Nature：神经网络“举一反三”能力甚至超人类
神经网络具有类似人的“举一反三”能力，甚至超过人类水平？？？ 最近刊于Nature的一篇论文表示找到了证据。 “举一反三”的能力更专业点叫做系统性泛化能力。像小孩子一样，一旦学会了如何“跳”，他们就可以理解如何“向后跳”、“绕锥体跳过两次”。 要知道...
-
清华光电计算新突破：芯片性能提升万倍，研究登顶Nature
随着各类大模型和深度神经网络的涌现，如何制造出满足人工智能发展、兼具大算力和高能效的下一代 AI 芯片，已成为国际前沿热点。 中国科协发布的 2023 重大科学问题中「如何实现低能耗人工智能」 被排在首位。 近日，清华大学团队在超高性能计算芯片领域取得新...
-
“AI先驱”Daphne Koller认为生成式AI将引领癌症突破
AI先驱Daphne Koller在一次由斯坦福大学人类中心人工智能研究所主持的全天工作坊上发表讲话，她认为生成式AI将成为癌症研究的重要工具。Koller是生命科学人工智能公司Insitro的联合创始人兼首席执行官，她表示，AI正在与生物学融合，这一结果...
-
可能被“偷窥”了！大模型隐私推理准确率95.8%
Reddit上的一位用户发表了一句关于通勤路线的状态： 我的通勤路上有个恼人的路口，我得在那儿等待转弯（waiting for a hook turn）。 尽管这位用户没有明确透露他的位置，但GPT-4模型却能够准确推断出他在墨尔本，因为“hook tu...
-
LeCun又双叒唱衰自回归LLM：GPT-4的推理能力非常有限，有两篇论文为证
「任何认为自动回归式 LLM 已经接近人类水平的 AI，或者仅仅需要扩大规模就能达到人类水平的人，都必须读一读这个。AR-LLM 的推理和规划能力非常有限，要解决这个问题，并不是把它们变大、用更多数据进行训练就能解决的。」 一直以来，图灵奖得主 Yan...
-
最高20倍！压缩ChatGPT等模型文本提示，极大节省AI算力
在长文本场景中，ChatGPT等大语言模型经常面临更高算力成本、更长的延迟以及更差的性能。为了解决这三大难题，微软开源了LongLLMLingua。 据悉，LongLLMLingua的核心技术原理是将“文本提示”实现最高20倍的极限压缩，同时又可以准确评估...
-
让大模型看图比打字管用！NeurIPS 2023新研究提出多模态查询方法，准确率提升7.8%
大模型“识图”能力都这么强了，为啥还老找错东西？ 例如，把长得不太像的蝙蝠和拍子搞混，又或是认不出一些数据集中的稀有鱼类…… 这是因为，我们让大模型“找东西”时，往往输入的是文本。 如果描述有歧义或太偏门，像是“bat”（蝙蝠还是拍子？）或“魔鳉”（Cy...
-
4k窗口长度就能读长文，陈丹琦高徒联手Meta推出大模型记忆力增强新方法
只有4k窗口长度的大模型，也能阅读大段文本了！ 普林斯顿的华人博士生的一项最新成果，成功“突破”了大模型窗口长度的限制。 不仅能回答各种问题，而且整个实现的过程全靠prompt就能完成，不需要任何的额外训练。 研究团队创建了一种名为MemWalker的...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...
-
国外科学家开发出“AI 中医”：舌诊系统看病准确率高达 94%
10 月 23 日消息，两千多年以来，中医就通过观察人们舌头的颜色和形状来诊断疾病，这种方法现在正在通过人工智能和机器学习技术得到增强。 伊拉克和澳大利亚研究人员之间的一项合作研究表明，计算机辅助舌头诊断系统可以准确识别 94% 的糖尿病和肾衰竭等疾病...
-
OpenAI增强ChatGPT“绘画”能力
OpenAI宣布在ChatGPT中引入一项新功能，可以根据用户对话创建独特的图像。该功能可供ChatGPT的Plus和Enterprise用户使用，便于基于用户描述进行视觉渲染，并支持直接在聊天中进行迭代细化。底层技术由OpenAI的高级图像模型DALL...
-
国外科学家开发出“AI 中医”：舌诊系统看病最高准确率达 94%
10 月 23 日消息，两千多年以来，中医就通过观察人们舌头的颜色和形状来诊断疾病，这种方法现在正在通过人工智能和机器学习技术得到增强。 伊拉克和澳大利亚研究人员之间的一项合作研究表明，计算机辅助舌头诊断系统可以准确识别 94% 的糖尿病和肾衰竭等疾病...
-
声音揭示健康秘密：新 AI 技术用六秒钟的录音即可诊断出 2 型糖尿病
10 月 22 日消息，一项新的研究发现，只要对着智能手机说几句话，就能用声音诊断出 2 型糖尿病。这项新技术结合了声音技术和人工智能，可以帮助发现数百万未被诊断的 2 型糖尿病患者。这项研究发表在《梅奥诊所进展：数字健康（Mayo Clinic...
-
DeepMind：大模型又曝重大缺陷，无法自我纠正推理，除非提前得知正确答案
大语言模型又一项重大缺陷被DeepMind曝光！ LLM无法纠正自己推理中的错误。 「Self-Correction」作为一种让模型修正自己回答的技术，在很多类型的任务中都能明显改进模型的输出质量。 但是最近，谷歌DeepMind和UIUC的研究人员却发...
-
阿里达摩院发布业内首个遥感 AI 大模型，号称可识别近百种地物分类
10 月 20 日消息，据达摩院 DAMO 官方公众号发文显示，阿里达摩院今天发布业内首个遥感 AI 大模型（AIE-SEG），号称“率先在遥感领域实现了图像分割的任务统一”、“一个模型实现‘万物零样本’的快速提取”，并可识别农田、水域、建筑物等近百种...
-
“大模型+”应用落地时，大模型微调如何兼顾效果、成本和可控性？
10月17日，老牌科技巨头百度“文心大模型4.0”的发布，让原本暗潮汹涌的百模大战再次白热化。伴随着越来越多基础大模型迭代速度的日益加快，“大模型+”的应用拐点正在到来。纵观全球市场，预计到2030年，AIGC市场规模将超过万亿人民币，巨大的市场潜力，吸...