大模型趋势下，金融企业如何进行向量数据库的技术选型评估？

社区探讨，供大家参考：

大模型趋势下，金融企业如何进行向量数据库的技术选型评估？

向量数据库定位为大模型落地解决数据更新、知识图谱构建、消除幻觉等问题，当前向量数据库市场存在不同的技术路线和诸多厂商的产品，企业面临根据自身应用场景和大模型技术栈，选择适合自身需求的向量数据库的难题。

通过本话题的探讨重点考察向量数据类型、向量检索算法、数据一致性、编程接口、多租户、数据导入导出功能，以及系统架构和技术路线。

问题来自社区会员@rechen 银行云计算架构师，以下内容来自社区同行探讨

@朱祥磊 某移动公司 系统架构师：

在大模型趋势下，金融企业进行向量数据库的技术选型评估时，需要从多个维度进行考量，具体如下：

1、 向量数据类型：一是评估数据库支持的向量数据类型（如浮点数向量、二进制向量等）是否与金融企业的数据需求相匹配。二是考虑向量维度和大小的限制，确保数据库能够处理金融领域所需的高维向量数据。

2、 向量检索算法：一是分析数据库提供的向量检索算法（如余弦相似度、欧几里得距离等）的性能和准确性。二是确保所选数据库支持高效的相似度搜索和快速的响应时间，以满足金融交易和风控等场景对实时性的要求。

3、 数据一致性：一是考察数据库在并发读写、故障恢复等情况下的数据一致性保证。二是考虑到金融对数据的一致性和完整性要求很高，需要选择具有高可靠性的数据库系统。

4、 编程接口：一是评估数据库提供的编程接口（如SQL、NoSQL、REST API等）是否易于集成到现有的金融应用系统中。二是考虑接口的兼容性、稳定性和可扩展性，以确保顺畅的系统集成和开发体验。

5、 多租户支持：一是考察数据库是否支持多租户架构，二是多租户功能可以实现数据隔离、资源分配和访问控制，从而确保不同客户之间的数据安全和隐私保护。

6、 数据导入导出功能：一是分析数据库提，二是供的数据导入导出工具是否方便高效，支持常见的文件格式（如CSV、JSON等），二是考虑数据迁移的灵活性和可扩展性，如在需要时能够轻松地将数据从一个系统迁移到另一个系统

7、 系统架构和技术路线：主要包括如是否分布式、可扩展且容错性强，以适应金融领域不断增长的数据量和业务需求，以及考虑数据库与现有技术栈（如大数据平台、机器学习框架等）的兼容性和集成能力等。

@jinhaibo 昆仑银行 技术管理：

金融企业在进行向量数据库的技术选型评估时，需要综合考虑多个方面，以确保所选的向量数据库能够满足其特定的业务需求和技术要求。以下是一些建议的评估要点：

向量数据类型和维度：评估向量数据库是否支持所需的向量数据类型和维度。

向量检索算法：考察向量数据库支持的向量检索算法，如最近邻搜索（k-NN）、余弦相似度等。确保所选的向量数据库能够提供高效且准确的检索算法。

编程接口多样性：评估向量数据库提供的编程接口支持主流接口格式。

数据库性能：评估向量数据库是否提供高效的数据处理性能，包括查询速度、响应时间、吞吐量等。

服务支持和发展趋势：考察向量数据库的活跃度、文档完善程度以及厂商的技术支持和服务质量。

综上所述，金融企业在进行向量数据库的技术选型评估时，需要综合考虑多个方面，确保所选的向量数据库能够满足其业务需求和技术要求。同时，建议企业在评估过程中与多个厂商进行沟通，获取更详细的产品信息和技术支持。

@朱向东 某银行 高级工程师：

在进行向量数据库的技术选型评估时，可以考虑以下几个方面：

1、数据需求和规模：了解企业的具体数据需求，包括数据量、数据类型、数据维度和数据更新频率等。根据数据规模，评估向量数据库的承载能力和性能要求。

2、查询和计算需求：确定企业对向量数据库的查询和计算需求，包括相似性搜索、聚类、分类等功能。评估向量数据库的查询速度、支持的计算操作和算法库。

3、可扩展性和性能：考虑企业未来的数据增长和业务需求，评估向量数据库的可扩展性和性能表现。了解数据库在增加节点或扩展硬件资源时的性能变化和成本效益。

4、数据一致性和可靠性：对于金融企业来说，数据一致性和可靠性非常重要。评估向量数据库的数据复制和备份机制，了解数据的冗余性和恢复能力。

5、安全和隐私：金融企业处理敏感的客户和交易数据，因此安全和隐私保护是至关重要的。评估向量数据库的安全特性，包括数据加密、访问控制、身份认证等功能。

6、社区支持和生态：考虑向量数据库的社区支持和生态环境。了解是否有活跃的社区和开发者支持，以及是否有丰富的文档、示例代码和工具可用。

7、成本和可行性：评估向量数据库的成本和可行性。考虑购买或部署向量数据库的成本、许可模式、技术支持等因素，并与预算和资源可用性进行匹配。

结合自身企业需求，在选型时还需要考察以下因素：

1、向量数据类型：确定金融企业所使用的向量数据类型，例如稠密向量、稀疏向量、文本向量等。评估向量数据库是否能够支持这些数据类型，并具备高效的存储和索引机制。

2、向量检索算法：考虑金融企业对向量的检索需求，评估向量数据库所提供的相似性搜索算法和索引结构。确保选择的向量数据库能够高效地进行相似性查询和快速的结果返回。

3、编程接口：了解向量数据库所提供的编程接口和语言支持，例如Python、Java、C++等。评估编程接口的易用性、灵活性和性能，以便与现有的应用程序和工具集成。

4、多租户支持：如果金融企业需要在向量数据库中支持多个租户或多个业务部门，评估向量数据库的多租户支持能力。确保向量数据库能够提供隔离性、资源分配和权限管理等特性。

5、数据导入导出功能：考虑金融企业的数据导入和导出需求，评估向量数据库的数据导入导出功能和工具。确保向量数据库能够方便地导入和导出大规模的向量数据。

6、系统架构和技术路线：评估向量数据库的系统架构和技术路线，包括水平扩展性、容错性、高可用性等方面。了解向量数据库的部署模式和未来的技术发展方向，以确保选型与金融企业的长期需求相符。

@Ethan_Yang 某金融司 技术架构师：

向量数据在2023年才开始兴起来，之前大家对之知之甚少。火起来是因为2023 年 3 月英伟达的黄仁勋在 GTC 大会上点名了向量数据库，且是作为大语言模型的外挂记忆体作为场景定义而出现的，被接纳为 RAG（Retrieval-Augmented Generation）——基于检索增强的内容生成。

RAG 一开始就致力于解决大语言模型（LLM）本身存在的一些问题。做法是：把数据先用工具切分好，通过一个 Embedding 模型转成为向量保存到向量数据库。回答问题时，先把问题也转化为一条向量，再用该向量去数据库内进行 Top K 相似度比对，然后把返回的结果拼接成提示词，交给 LLM 回答。

现在市面上的一种争议是：研发一款向量数据？还是在成熟的数据库中插入内嵌向量搜索能力？（如 pg_vector可让 PostgreSQL 具备向量搜索能力 ）。

这边比较倾向于第二种，在现有成熟的数据库中集成向量搜索能力，可以具备检索能力、向量化能力；同时又具备成熟数据库的执行引擎，提供更多的访问能力。让向量搜索成为现有的数据库中的一个功能。

这对于企业来说也许是一个更好的、更容易落地的选择，毕竟做下现有数据库的版本升级即可了。

随着大语言模型（LLM）的发展，企业的数字化转型需要借助LLM构建自身的企业搜索引擎，而现有数据库中引入向量搜索能力，能够帮助企业实现这一目的。

@jillme 某大型银行 CIO：

对金融业而言，影响因素最大的不是技术因素而是业务因素。

1、若要处理金融行业的海量数据，并提供高性能的查询处理，且需要强一致性保证和多租户支持符合金融行业对数据准确性和安全性的要求，建议选择分布式向量数据库，主要考虑的影响因素：

数据类型与规模：金融行业通常处理海量数据，包括结构化、半结构化和非结构化数据。分布式向量数据库能够支持大规模数据存储和处理。

检索性能：金融应用中可能需要高效的相似性搜索和复杂查询。分布式架构可以提供高性能的查询处理。

数据一致性：金融行业对数据一致性要求极高。分布式向量数据库通常支持事务处理和强一致性保证。

多租户支持：金融服务可能涉及多个租户（如不同的金融机构或客户）。分布式数据库可以提供良好的租户隔离和资源分配。

对于实时交易和风险监控，实时性强的，适合选择内存向量数据库。

主要考虑的选择因素：

实时性：内存数据库将数据存储在内存中，提供极快的查询速度和响应时间。

资源消耗：内存数据库可能消耗大量内存资源，需要考虑硬件成本和资源管理。

对于复杂关联关系分析，适合用图向量数据库。

通常考虑评估向量数据库是否提供适合金融领域需求的检索算法，如基于余弦相似度的搜索、K近邻算法等。

4、安全性方面，金融行业天然的数据隐私保护要求，对多租户的数据隔离、资源分配、安全性、管理性有更高的要求。

@杨博 某科技公司 IT顾问：

我觉得最好的向量数据库是Pincone，但不是开源的。

国内就是milvus，或者星环科技、爱可生也有，自己通过redis也可以实现。

所以看自己的需求。

  您怎么看？

欢迎来探讨

欢迎点击文末 阅读原文 到社区阅读和讨论交流，发表您的看法

觉得本文有用，请 转发 或点击 赏 ，让更多同行看到

 资料/文章推荐：

• 大模型应用设计与实现最新实践心得

• ChatGPT vs LLaMa 2 差异性对比【大模型行业应用入门系列】

• 深度解读：金融行业如何训练大语言模型优化智能客服等AI应用？

• 知识图谱与大模型之间究竟是什么关系？

• 如何从零设计大模型基础设施

欢迎关注社区以下   “大语言模型”技术主题  ，将会不断更新优质资料、文章。地址： https://www.talkwithtrend.com/Topic/154263

下载 twt 社区客户端 APP

长按识别二维码即可下载

或到应用商店搜索“twt”

长按二维码关注公众号

*本公众号所发布内容仅代表作者观点，不代表社区立场