-
「大模型」之所短，「知识图谱」之所长
最近一年以来，大语言模型技术突飞猛进，被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来，给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图，其中包括了文本生成、图像生成等技术。本次分享...
-
127k引用数的AI大牛创业：为机器人造大脑！OpenAI红杉排队塞钱
谷歌学术被引数超127000的大神宣布创业，获OpenAI等机构在内投资7000万美元！ 他就是来自UC伯克利的副教授Sergey Levine，创业前任职于电气工程与计算机科学系，是深度强化学习领域超受欢迎的网红老师。 他在推特上兴奋地表示，此番创业...
-
【社区图书馆】《一本书读懂AIGC：ChatGPT、AI绘画、智能文明与生产力变革》
这是一本关于人工智能生成内容（AIGC）的科普书，由 a15a 团队编写，于 2023 年 4 月出版，由电子工业出版社出版。它以通俗易懂的方式从各个层面介绍了 AIGC 的基础知识，并辅以大量案例引领读者了解 AIGC 的应用实践，让读者可以更快速地利用...
-
谷歌AI视频再出王炸！全能通用视觉编码器VideoPrism，性能刷新30项SOTA
AI视频模型Sora爆火之后，Meta、谷歌等大厂纷纷下场做研究，追赶OpenAI的步伐。 最近，来自谷歌团队的研究人员提出了一种通用视频编码器——VideoPrism。 它能够通过单一冻结模型，处理各种视频理解任务。 图片 论文地址：https://a...
-
什么是预训练Pre-training—— AIGC必备知识点，您get了吗？
Look！👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 随着人工智能(AI 不断重塑我们的世界，其发展的一个关键方面已经成为现代机器学习模型的支柱:预训练。在本篇文章中，我们将探讨预训练的概...
-
斯坦福和OpenAI提出meta-prompting，最强零样本prompting技术诞生了
最新一代语言模型（尤其是 GPT-4、PaLM 和 LLaMa）已经成功拓展了自然语言处理和生成的边界。这些大规模模型可以解决许多不同任务，从写莎士比亚风格的十四行诗到总结复杂的医疗报告和解决竞赛级的编程问题。尽管这些模型可以解决多种多样的问题，但它们并...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
使用 DPO 微调 Llama 2
简介 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
【AI绘图 丨 Midjourney 系列教程一】— 风靡全球的 Midjourney 到底是什么
一、Midjourney 的原理 由 2022 年 3 月，美国一家工作室首次推出一款 AI 制图工具，它就是 Midjourney。Midjourney 同样使用了类似于 GPT-4 的深度学习技术——“生成对抗网络”（Generative Adver...
-
LLaMa、Qwen、ChatGLM、ChatGLM2的区别
LLaMa、Qwen、ChatGLM、ChatGLM2的区别 以下比较的前提是首先和BERT(transfomer 的对比 感谢帮忙给我github repository的star，更多最新模型长期更新：https://github.com/zysN...
-
使用 PyTorch FSDP 微调 Llama 2 70B
引言 通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SL...
-
AIGC专题报告：ChatGPT纪要分享
今天分享的AIGC系列深度研究报告：《AIGC专题报告：ChatGPT纪要分享》。 （报告出品方：久谦中台） 报告共计：135页 OpenAI 高管解密 ChatGPT ¶ GPT-3 是一种大型语言模型，被训练用来在给定上下文中预测下...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
李开复官宣全球最强开源大模型Yi-34B 一次可处理40万汉字
零一万物推出了「Yi」系列开源大模型，其中Yi-34B在全球开源大模型排行榜上取得了显著成就，击败了其他竞品模型，成为双料冠军，尤其在中文指标上表现卓越。Yi-34B的性能超越了全球其他大模型，拥有强大的语言理解和处理能力，可以满足国内市场的需求。 ht...