-
什么是机器学习中的正则化?
1. 引言 在机器学习领域中,相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生,我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说,正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。 在本文...
-
字节“开盒”OpenAI所有大模型,揭秘GPT-3到GPT-4进化路径!把李沐都炸出来了
GPT-3究竟是如何进化到GPT-4的? 字节给OpenAI所有大模型来了个“开盒”操作。 结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。 比如: SFT是早期GPT进化的推动者 帮助GPT提升编码能力的最大功臣是SFT和RLHF 在...
-
Gen-2颠覆AI生成视频!一句话秒出4K高清大片,网友:彻底改变游戏规则
这,绝对称得上是生成式AI进程中的里程碑。 就在深夜,Runway家标志性的AI视频生成工具Gen-2,迎来了“iPhone时刻”般的史诗级更新—— 依旧是简单一句话输入,不过这一次,视频效果一口气拉到了4K超逼真的高度! 话不多说,我们直接来看炸裂的效...
-
代码能力超越GPT-4,这个模型登顶Big Code排行榜,YC创始人点赞
一款号称代码能力超越GPT-4的模型,引发了不少网友的关注。 准确率比GPT-4高出超过10%,速度却接近GPT-3.5,而且窗口长度也更长。 据开发者描述,他们的模型取得了74.7%的Pass@1通过率,超过了原始GPT-4的67%,登上了Big C...
-
AI玩推理桌游一眼识破骗局!清华通院联合推出心智理论新框架,六个指标评估表现均明显优于思维链
清华自动化系团队联合北京通用人工智能研究院,让几个AI智能体玩起了桌游! 游戏名叫阿瓦隆,是一个策略性的社交推理游戏,玩家被隐秘地分为“正义”与“邪恶”两派,通过任务投票、互相猜测与欺骗来完成或阻止任务,最终确定胜负。 为了能让AI智能体成功识别并应...
-
ChatGPT、Llama-2等大模型,能推算出你的隐私数据!
ChatGPT等大语言模型的推理能力有多强大?通过你发过的帖子或部分隐私数据,就能推算出你的住址、年龄、性别、职业、收入等隐私数据。 瑞士联邦理工学院通过搜集并手工标注了包含520个Reddit(知名论坛)用户的个人资料真实数据集PersonalReddi...
-
对比GPU,使用FPGA创建神经网络
当代的CPU按照一维方式进行计算,顺序执行指令,并将算法分解为逐条加载和执行的指令。然而,未来的计算发展趋势表明,我们将越来越多地依赖硬件加速器来支持并行执行,这将成为计算的常态。这种发展趋势将统一算法和硬件结构的利用,从而实现更快、更高效的解决方案。...
-
MIT等机构推出数据溯源平台 解决AI领域的数据透明危机
研究人员来自麻省理工学院(MIT)、Cohere for AI以及其他11个机构,他们共同发布了Data Provenance Platform,旨在应对AI领域的数据透明危机。这一平台的推出旨在解决AI模型训练数据集的来源和使用透明度不足的问题,这是当前...
-
评论能力强于GPT-4,上交开源13B评估大模型Auto-J
随着生成式人工智能技术的快速发展,确保大模型与人类价值(意图)对齐(Alignment)已经成为行业的重要挑战。 虽然模型的对齐至关重要,但目前的评估方法往往存在局限性,这也让开发者往往困惑:大模型对齐程度如何?这不仅制约了对齐技术的进一步发展,也引发了...