Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
由于Dify内置了构建LLM应用所需的关键技术栈,包括对数百个模型的支持、直观的Prompt 编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排,并同时提供了一套易用的界面和API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。
2、为什么使用Dify?
你或许可以把LangChain这类的开发库(Library)想象为有着锤子、钉子的工具箱。与之相比,Dify提供了更接近生产需要的完整方案,Dify好比是一套脚手架,并且经过了精良的工程设计和软件测试。
重要的是,Dify是开源的,它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似Assistants API和GPTs的能力,在灵活和安全的基础上,同时保持对数据的完全控制。
3、Dify能做什么?
Dify一词源自 Define + Modify,意指定义并且持续的改进你的AI应用,它是为你而做的(Do it for you)。
创业,快速的将你的AI应用创意变成现实,无论成功和失败都需要加速。在真实世界,已经有几十个团队通过Dify构建 MVP(最小可用产品)获得投资,或通过 POC(概念验证)赢得了客户的订单。
将LLM 集成至已有业务,通过引入LLM增强现有应用的能力,接入Dify的 RESTful API 从而实现Prompt与业务代码的解耦,在Dify的管理界面是跟踪数据、成本和用量,持续改进应用效果。
作为企业级LLM基础设施,一些银行和大型互联网公司正在将Dify部署为企业内的LLM网关,加速GenAI技术在企业内的推广,并实现中心化的监管。
探索LLM的能力边界,即使你是一个技术爱好者,通过Dify也可以轻松的实践Prompt工程和Agent技术,在GPTs 推出以前就已经有超过60,000 开发者在Dify上创建了自己的第一个应用。
4、特性与技术规格
对于已经熟悉LLM应用技术栈的技术人士来说,这份文档将是你了解Dify独特优势的捷径。让你能够明智地比较和选择,甚至向同事和朋友推荐。
在Dify,我们采用透明化的产品特性和技术规格政策,确保你在全面了解我们产品的基础上做出决策。这种透明度不仅有利于你的技术选型,也促进了社区成员对产品的深入理解。
项目基础信息 | |
项目设立 | 2023 年 3 月 |
开源协议 | 基于 Apache License 2.0 有限商业许可 |
官方研发团队 | 超过 15 名全职员工 |
社区贡献者 | 超过 290 人 (截止 2024 Q2) |
后端技术 | Python/Flask/PostgreSQL |
前端技术 | Next.js |
代码行数 | 超过13万行 |
发版周期 | 平均每周一次 |
技术特征 | |
LLM推理引擎 | Dify Runtime (自v0.4起移除了LangChain) |
商业模型支持 | 10+家,包括OpenAI与Anthropic,新的主流模型通常在48小时内完成接入。 |
MaaS供应商支持 | 7 家,Hugging Face,Replicate,AWS Bedrock,NVIDIA,GroqCloud,together.ai,OpenRoute |
本地推理Runtime支持 | 6 家,Xoribits(推荐),OpenLLM,LocalAI,ChatGLM,Ollama,NVIDIA TIS |
OpenAI接口标准模型接入支持 | 不限制 |
多模态技术 | ASR模型,GPT-4o 规格的富文本模型 |
预置应用类型 | 对话型应用,文本生成应用,Agent,工作流。 |
Prompt即服务编排 | 编排模式简易模式编排Assistant 模式编排Flow 模式编排Prompt 变量类型字符串单选枚举外部 API文件(Q3即将推出) |
Agentic Workflow 特性 | 行业领先的可视化流程编排界面,所见即所得的节点调试,可插拔的 DSL,原生的代码运行时,构建更复杂、可靠、稳定的 LLM 应用。支持节点LLM知识库检索问题分类条件分支代码执行模板转换HTTP 请求工具 |
RAG 特性 | 首创的可视化的知识库管理界面,支持分段预览和召回效果测试。索引方式关键词文本向量由 LLM 辅助的问题-分段模式检索方式关键词文本相似度匹配混合检索N选1模式(即将下线)多路召回召回优化技术使用 ReRank 模型 |
ETL 技术 | 支持对 TXT、Markdown、PDF、HTML、DOC、CSV 等格式文件进行自动清洗,内置的 Unstructured 服务开启后可获得最大化支持。支持同步来自 Notion 的文档为知识库。支持同步网页为知识库。 |
向量数据库支持 | Qdrant(推荐),Weaviate,Zilliz/Milvus,Pgvector,Pgvector-rs,Chroma,OpenSearch,TiDB,Tencent Vector,Oracle,Relyt,Analyticdb, Couchbase |
Agent 技术 | ReAct,Function Call工具支持可调用 OpenAI Plugin 标准的工具可直接加载 OpenAPI Specification 的API作为工具内置工具40+ 款(截2024Q2) |
日志 | 支持,可基于日志进行标注 |
标注回复 | 基于经人类标注的 Q&A 对,可用于相似度对比回复 可导出为供模型微调环节使用的数据格式 |
内容审查机制 | OpenAI Moderation 或外部 API |
团队协同 | 工作空间与多成员管理支持 |
API 规格 | ESTful,已覆盖大部分功能 |
部署方式 | Docker,Helm |