-
使用 Llama-Agents、Qdrant 和 Kafka 进行高级实时 RAG
简介 在当今数据驱动的世界中，实时处理和检索信息的能力至关重要。本文深入探讨了使用Llama-Agents、Qdrant 和 Kafka 的高级实时检索增强生成 (RAG 。通过集成这些强大的工具，我们创建了一个可以有效管理数据提取、处理和检索的代理系...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
使用Llama 私有化模型检索文档回答问题
部署 Llama 模型 Llama 属于文字生成模型，可以用于聊天。使用 Ollama 部署 Llama 模型，先安装 Ollama sudo curl -L https://ollama.com/download/ollama-linux-amd64...
-
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
在LangChain中使用Llama.cpp：从安装到实践
在LangChain中使用Llama.cpp：从安装到实践 引言 Llama.cpp是一个高效的C++库，用于在CPU上运行大型语言模型（LLMs）。本文将介绍如何在LangChain中集成和使用Llama.cpp，包括安装、设置以及使用LLM和嵌...
-
鹅厂也下场，文档解析的痛点是什么？
最近，文档解析赛道颇为火热，产品更新迭代频繁，与各类大模型上下游一样发展势头很劲。6月下旬，鹅厂也在多个产品上线了文档解析功能。 文档智能交互是企业、学术、个人工作中必不可少的一环，作为大模型应用的典型场景之一，它对准确、高效的文档解析工具有着长期需求。...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
使用FastChat快速部署LLM服务
原文：https://zhuanlan.zhihu.com/p/705915093 FastChat 是一个用于训练、服务和评估基于LLM的聊天机器人的开放平台，它的核心功能包括： 最先进模型（例如 Vicuna、MT-Bench）的训练和评估代码。...
-
CopilotKit：开源 Copilot 框架，部署应用内 AI 代理，使用 Langchain 自动执行任何任务！
原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！） CopilotKit：开源 Copilot 框架，部署应用内 AI 代理，使用 Langchain 自动执行任何任务！ 🌟如何仅用一行代码将强大的 AI...
-
Llama-2-Open-Source-LLM-CPU-Inference 使用教程
Llama-2-Open-Source-LLM-CPU-Inference 使用教程 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on...
-
Xinference安装及部署大模型
1. Xinference 介绍 Xorbits Inference (Xinference 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理...
-
stable diffusion+LangChain+LLM自动生成图片
最近都在研究和学习stable diffusion和langchain的相关知识，并且看到stable diffusion也是有类似于ChatGLM的api调用方式，那在想有没有可能将stable diffusion也集成到langchain中来呢？看到网...
-
如何在本地运行Llama 3系列：完整指南
今天咱们来聊聊 AI 界的重要事情——那些像 Llama3 系列这样的超大型语言模型（LLMs），现在居然可以在咱们自己的地盘上运行啦！想象一下，这就像是把一个超级智能的助手请进了家门，而且还是私密的，不用担心信息泄露的问题。 本文，虽然是基于之前 Ll...
-
使用langchain4j调用大模型写个聊天助手
LangChain4j是一款基于Java的高效、灵活的AI大模型应用框架，专为简化Java应用程序与LLMs（大语言模型）的集成而设计。它提供统一API和模块化设计，支持多种LLM提供商和嵌入模型，以及丰富的工具箱，如AI服务和RAG（检索增强生成）。La...
-
【Reflextion论文总结】
Reflextion论文总结 文章目录 Reflextion论文总结 1、简介 2、创新点 3、主要内容 整体框架 记忆组件 流程 4、自我反思适用情形 5、实验结果 6、Langchain实现 AnswerQuestion I...
-
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
我将向你展示如何使用 LLama 3.1（一个本地运行的模型）来执行GraphRAG操作，总共就50号代码。。。 首先，什么是GraphRAG？GraphRAG是一种通过考虑实体和文档之间的关系来执行检索增强生成的方式，关键概念是节点和关系。 ▲...
-
深入剖析大模型安全问题：Langchain框架的隐藏风险
随着大模型热度持续，基于大模型的各类应用层出不穷。Langchain 作为一个以 LLM 模型为核心的开发框架，可以帮助我们灵活地创建各类应用，同时也为大模型的应用引入新的安全隐患。从今年 4 月 Langchain 被爆出在野 0day 漏洞开始，各类安...
-
LangChain +Streamlit+ Llama ：将对话式人工智能引入您的本地设备成为可能（上篇）
🦜️ LangChain +Streamlit🔥+ Llama 🦙：将对话式人工智能引入您的本地设备🤯 将开源LLMs和LangChain集成以进行免费生成式问答（不需要API密钥） 在过去的几个月中，大型语言模型(LLMs 得到了广...
-
一文彻底搞定 RAG、知识库、 Llama-3！！
▼最近直播超级多，预约保你有收获 —1— 使用 Llama-3 搞定 RAG 检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将企业外部知识整合到生成过程中，增强了大语言...
-
本地部署私人知识库的大模型！Llama 3 + RAG！
在今天的的教程中，我们将打造更加个性化的大模型，可以定制搭载私人知识库的本地大模型！ 我们探讨Meta AI 的尖端 Llama 3 语言模型构建强大的检索增强生成 （RAG） 来实现。通过利用 Llama 3 和 RAG 技术的功能，我们将创建一个应用...
-
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
简介 Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3....
-
LLaMA 3.1：开源大模型的新里程碑
7月23日，Meta公布了它的人工智能模型Llama的最新版本——Llama 3.1。这次更新推出了三种不同的版本，其中包括了Meta迄今为止最高级的人工智能模型。重要的是，Llama 3.1依旧是开源的，这意味着谁都可以免费使用这款模型。这次发布展示了M...
-
大数据最新大模型学习路线与建议_大模型学习路径
1 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！ 由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后...
-
大模型应用开发之业务架构和技术架构（从AI Embedded 到 Copilot,再到Agent）_embedding、copilot、agents
前言 截止到目前，我们已经从大模型的定义概念，应用层涉及的一些概念做了些了解。在大模型的应用开发中，RAG、Agent等概念我们之前也做了些简述，没有看过的可以粗略回顾一下：[大模型06-大模型应用开发之准备篇。 本文我们重点讲的就是伴随着大模型的广...
-
本地私有化部署开源大模型完整教程：LangChain + Streamlit+ Llama 【LLM大模型】
在过去的几个月里，大型语言模型(llm 获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使...
-
Streaming local LLM with FastAPI, Llama.cpp and Langchain
题意： 使用FastAPI、Llama.cpp和Langchain流式传输本地大型语言模型 问题背景： I have setup FastAPI with Llama.cpp and Langchain. Now I want to enable...
-
自定义 LLM：LangChain与文心一言擦出火花
自定义 LLM 自定义 LLM 需要实现以下必要的函数： _call ：它需要接受一个字符串、可选的停用词，并返回一个字符串。 它还可以实现第二个可选的函数： _identifying_params ：用于帮助打印 LLM 信息。该函数应该返回...
-
半小时教你手搓AI视频通话，还有懒人版代码已开源
GPT-4o的“AI视频通话”一鸽再鸽，但网友却是急不可耐想要体验。 于是，一位名叫Santiago（我们叫他三哥）的博主，用160行Python代码尝试了复刻。 虽然技术路线和《Her》有所差别，但从直观效果来看，也算得上是给网友们带来了新的玩具。 而...
-
【AIGC】LangChain入门指南—第二章 LangChain入门指南
第二章 LangChain入门指南 文章目录 第二章 LangChain入门指南 前言 一、主要内容 1、初识LangChain 1.1 为什么需要LangChain 1.2 LLM应用开发的最后1公里 1.3 LangChain的...
-
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰...
-
AIGC安全研究简述（附资料下载）
2023 AIGC技术实践及展望资料合集（29份）.zip 2023 AIGC大型语言模型(LLM 实例代码合集.zip 2023大模型与AIGC峰会（公开）PPT汇总（25份）.zip AIGC的安全研究是一个复杂且重要的领域，涉及多个关键方面...
-
构建您的私人语音助手：在本地运行的Whisper + Ollama + Bark之旅
构建您的私人语音助手：在本地运行的Whisper + Ollama + Bark之旅 在深入了解如何构建并本地运行自己的大型语言模型（RAG）后，今天我们将更进一步，不仅实现高级对话功能，还赋予其听和说的能力。想象一下拥有如电影《钢铁侠》中Jarvis或...
-
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
使用 Llama 3 开源和 Elastic 构建 RAG
作者：Rishikesh Radhakrishnan 使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 G...
-
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调 、安装、案例实战应用之详细攻略 导读 ：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
Llama 3 构建语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成
Llama 3 构建语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成 文章目录 Llama 3 构建语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成 不同行...
-
笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
选择 Llama 3 模型版本（8B，80 亿参数） 特别注意： Meta 虽然开源了 Llama 3 大模型，但是每个版本都有 Meta 的许可协议，建议大家在接受使用这些模型所需的条款之前仔细阅读。 Llama 3 模型版本有几个，我们主要关注...
-
使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序
文章目录 使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序 Llama 2-70B-聊天 LlamaIndex 解决方案概述 先决条件 使用 SageMaker JumpStart 部署 GPT-J 嵌...
-
【AIGC调研系列】进行大模型调用开发使用的框架有哪些
AIGC大模型进行调用开发使用的框架包括但不限于以下几种： LangChain：这是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型（LLM）和聊天机器人驱动的应用程序的过程[8...
-
基于 langchain 和大语言模型 (LLM) 的自然语言数据库查询系统 (RAG)——data copilot
data-copilot ✨ 基于 langchain 和大语言模型 (LLM 的自然语言数据库查询系统 (RAG 通过自然语言提问，使用大语言模型智能解析数据库结构，对数据进行智能多表结构化查询和统计计算，根据查询结果智能绘制多种图表。 Pyw...
-
【AIGC调研系列】FireCrawl工具是什么
FireCrawl是一个由Mendable.ai开发的项目，它能够抓取任何网站的所有可访问子页面，无需站点地图，并将这些内容转换为干净的Markdown格式[1]。这个工具支持复杂的任务，如处理反向代理、缓存、速率限制以及被JavaScript阻止的内容[...
-
本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）
本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。 函数调用介绍 函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用...
-
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器 的简介、安装、使用方法之详细攻略 目录 LlamaIndex的简介 1、LlamaIndex有什么帮助? 2、核心原理 llama-i...
-
MVP 聚技站｜生成式 AI 系列（五）：M365 极致驾驭 - Copilot 实战攻略
点击蓝字 关注我们 MVP 聚技站 微软最有价值专家推出“MVP 聚技站”系列主题专栏，邀请多位微软最有价值专家，针对初学者、开发者感兴趣的技术话题，带来专业的技术课程讲解与实践经验分享，帮助大家更快掌握最新的技术技能。 随着人工智能...
-
使用LangChain和Llama-Index实现多重检索RAG
大家好，在信息检索的世界里，查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索，以及其是如何在LangChain和Llama-Index中得到应用的。 1.查询扩展 查询扩展是一种信息检索技术，通过在原始查询的基础上增加相关或同义的词...
-
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型？
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。 我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤指导，帮助每个...
-
【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma
【背景】 还是继续致力于实践可以保护数据隐私的本地化LLM部署。 这次用的是Llama 2 + GPT4All + Chroma实现RAG。 【概念】 基于LangChain模板的各个部分的作用： Llama2-》语言模型管理 GPT4AL...
-
开发arXiv论文引擎机器人程序：基于RAG＋LangChain＋Chainlit＋ChromaDB
译者 | 朱先忠 审校 | 重楼 简介 在本文中，我将演示如何使用检索增强生成(RAG 技术构建语义研究论文引擎。具体地说，我将使用LangChain(https://www.langchain.com/ 作为构建语义引擎的主要框架，以及OpenAI公...