Dify一款开源大语言模型(LLM) 应用开发平台介绍
Home » 惠米科技  »  Dify一款开源大语言模型(LLM) 应用开发平台介绍
Dify一款开源大语言模型(LLM) 应用开发平台介绍

Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和LLMOps的理念,使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

由于Dify内置了构建LLM应用所需的关键技术栈,包括对数百个模型的支持、直观的Prompt 编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排,并同时提供了一套易用的界面和API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。

2、为什么使用Dify?

你或许可以把LangChain这类的开发库(Library)想象为有着锤子、钉子的工具箱。与之相比,Dify提供了更接近生产需要的完整方案,Dify好比是一套脚手架,并且经过了精良的工程设计和软件测试。

重要的是,Dify是开源的,它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似Assistants API和GPTs的能力,在灵活和安全的基础上,同时保持对数据的完全控制。

3、Dify能做什么?

Dify一词源自 Define + Modify,意指定义并且持续的改进你的AI应用,它是为你而做的(Do it for you)。

创业,快速的将你的AI应用创意变成现实,无论成功和失败都需要加速。在真实世界,已经有几十个团队通过Dify构建 MVP(最小可用产品)获得投资,或通过 POC(概念验证)赢得了客户的订单。

将LLM 集成至已有业务,通过引入LLM增强现有应用的能力,接入Dify的 RESTful API 从而实现Prompt与业务代码的解耦,在Dify的管理界面是跟踪数据、成本和用量,持续改进应用效果。

作为企业级LLM基础设施,一些银行和大型互联网公司正在将Dify部署为企业内的LLM网关,加速GenAI技术在企业内的推广,并实现中心化的监管。

探索LLM的能力边界,即使你是一个技术爱好者,通过Dify也可以轻松的实践Prompt工程和Agent技术,在GPTs 推出以前就已经有超过60,000 开发者在Dify上创建了自己的第一个应用。

4、特性与技术规格

对于已经熟悉LLM应用技术栈的技术人士来说,这份文档将是你了解Dify独特优势的捷径。让你能够明智地比较和选择,甚至向同事和朋友推荐。

在Dify,我们采用透明化的产品特性和技术规格政策,确保你在全面了解我们产品的基础上做出决策。这种透明度不仅有利于你的技术选型,也促进了社区成员对产品的深入理解。

项目基础信息
项目设立2023 年 3 月
开源协议基于 Apache License 2.0 有限商业许可
官方研发团队超过 15 名全职员工
社区贡献者超过 290 人 (截止 2024 Q2)
后端技术Python/Flask/PostgreSQL
前端技术Next.js
代码行数超过13万行
发版周期平均每周一次
技术特征
LLM推理引擎Dify Runtime (自v0.4起移除了LangChain)
商业模型支持10+家,包括OpenAI与Anthropic,新的主流模型通常在48小时内完成接入。
MaaS供应商支持7 家,Hugging Face,Replicate,AWS Bedrock,NVIDIA,GroqCloud,together.ai,OpenRoute
本地推理Runtime支持6 家,Xoribits(推荐),OpenLLM,LocalAI,ChatGLM,Ollama,NVIDIA TIS
OpenAI接口标准模型接入支持不限制
多模态技术ASR模型,GPT-4o 规格的富文本模型
预置应用类型对话型应用,文本生成应用,Agent,工作流。
Prompt即服务编排编排模式简易模式编排Assistant 模式编排Flow 模式编排Prompt 变量类型字符串单选枚举外部 API文件(Q3即将推出)
Agentic Workflow 特性行业领先的可视化流程编排界面,所见即所得的节点调试,可插拔的 DSL,原生的代码运行时,构建更复杂、可靠、稳定的 LLM 应用。支持节点LLM知识库检索问题分类条件分支代码执行模板转换HTTP 请求工具
RAG 特性首创的可视化的知识库管理界面,支持分段预览和召回效果测试。索引方式关键词文本向量由 LLM 辅助的问题-分段模式检索方式关键词文本相似度匹配混合检索N选1模式(即将下线)多路召回召回优化技术使用 ReRank 模型
ETL 技术支持对 TXT、Markdown、PDF、HTML、DOC、CSV 等格式文件进行自动清洗,内置的 Unstructured 服务开启后可获得最大化支持。支持同步来自 Notion 的文档为知识库。支持同步网页为知识库。
向量数据库支持Qdrant(推荐),Weaviate,Zilliz/Milvus,Pgvector,Pgvector-rs,Chroma,OpenSearch,TiDB,Tencent Vector,Oracle,Relyt,Analyticdb, Couchbase
Agent 技术ReAct,Function Call工具支持可调用 OpenAI Plugin 标准的工具可直接加载 OpenAPI Specification 的API作为工具内置工具40+ 款(截2024Q2)
日志支持,可基于日志进行标注
标注回复基于经人类标注的 Q&A 对,可用于相似度对比回复 可导出为供模型微调环节使用的数据格式
内容审查机制OpenAI Moderation 或外部 API
团队协同工作空间与多成员管理支持
API 规格ESTful,已覆盖大部分功能
部署方式Docker,Helm