☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
来源 | 新言科技
文 | 贾宁宇
12月20日，数据库国际顶会VLDB2024公布新一批论文，阿里云新技术PilotScope成功入围，该平台技术可实现AI算法在数据库的“一键部署”，极大降低数据库中AI算法的应用门槛，为数据库智能化开辟了全新道路。 On December 20th, the international top conference for databases VLDB2024 announced a new batch of papers, and Alibaba Cloud's new technology PilotScope successfully made it to the list. The platform's technology can achieve "one-click deployment" of AI algorithms in databases, greatly reducing the application threshold of AI algorithms in databases and opening up a brand new path for database intelligence.
阿里云宣布同一天将PilotScope的所有技术免费开源
数据库智能化为何难？
数据库是对国家经济和人民生活至关重要的基础软件技术。数据库技术的不断更新对数字时代的各行各业产生着重要影响，其中一个前沿领域就是数据库智能化（AI4DB，即数据库智能化）
目前的数据库系统非常复杂，对稳定性要求非常高。即使只是将一个AI算法与一个数据库进行匹配调试，也需要两方工程师密切合作数周甚至数月，效率低下，效果不佳
更常见的情况是，AI工程师不懂数据库细节，数据库开发者用不明白AI，两个领域连编程语言都不通（AI开发多用Python，数据库多是C/Java），很容易造成割裂。
一般来说，工业界的公司通常会选择将一些AI算法直接嵌入数据库中，以替换数据库的某些功能模块，例如智能查询优化模块。然而，这种定制化的方法会导致开发、维护和升级的成本非常高。每次升级和更换AI算法时，都需要重新进行开发流程。同时，改动数据库的代码库也会带来额外的风险
正因为如此，尽管人工智能的发展日新月异，但在数据库领域，相关成果的实际应用仍然尚未普及
是否存在一种通用的平台技术，可以更有效地将人工智能算法应用于数据库中？
这成为阿里巴巴PilotScope项目团队思考的起点
PilotScope项目负责人朱鎔介绍说：“AI4DB，AI和DB两端都有人做，但是这个连接处的桥，却一直没做好。我们想要为AI算法和数据库之间搭一座公共的桥，使得双方的沟通更加顺畅。”
从0到1的交叉技术创新
朱鎔将PilotScope描述为数据库AI的“超级管理员”，通过PilotScope平台，AI工程师只需专注于设计通用的AI算法，就能够实现对不同数据库的部署和应用；而数据库使用者可以像调用API一样，方便又高效地使用AI
这个想法从构思到实施，花费了大约2年的时间。朱鎔表示：“涉及到算法和系统的交叉、AI和数据库的交叉、研究和开发的交叉、学界和业界的交叉，是真正的交叉技术。”
根据他的介绍，项目团队经过多次打磨，最终开发出一个全新的中间件系统平台，通过在数据库和AI系统级别进行抽象和通用化模块及接口定义，实现了AI算法在数小时乃至数分钟内在数据库内实现“一键部署”，这就是现在的PilotScope
重新编写内容如下：阿里云PilotScope架构图的图注
PilotScope对于参数调优、索引推荐、基数估计、查询优化等数据库主流任务，提供了10多种AI算法，并成功适配了PostgreSQL和Spark等两个主流开源数据库
根据实验数据显示，使用PilotScope将AI算法嵌入数据库相较于传统的“硬植入”方法，在查询优化等任务上可以提速1到2倍不等。此外，PilotScope本身对部署产生的额外代价基本可忽略，表现出色
图片说明：PilotScope效果图
PilotScope对数据库进行了“微侵入”，并引入了智能检测、回退、隔离等机制，以降低AI幻觉风险，并在确保数据库稳定性的前提下实现智能化提升
朱鎔介紹說，以前，人工智能工程師和數據庫開發者需要不斷協作和精磨，可能需要數周甚至數個月才能確保穩定性。"借助我們的PilotScope，只需幾小時甚至幾十分鐘，就能直接上線測試。這項從零到一的技術創新，大大提高了開發效率。"
开源撬动AI4DB产业化进程
PilotScope论文成果已被VLDB收录。VLDB评议认为，PilotScope基于应用场景开创性的系统设计，将开启数据库智能化的全新方向
根据了解，VLDB是数据库三大国际顶级会议之一，每年只收录对学术界和产业实践有重要影响的新成果。它是数据库技术的权威指标，第50届VLDB大会计划于2024年8月在中国广州举办
图注：数据库顶会VLDB2024
朱鎔介绍说，PilotScope相关技术已经在GitHub和Modelscope魔搭社区上免费开源。团队希望通过开源社区的力量，将更多的AI算法和更广泛的数据库纳入到PilotScope中，与开发者一同探索更多的AI4DB创新
在此同时，PilotScope已经开始在阿里云内部进行试点应用，以便对产业化部署进行相应的测试
朱鎔表示，AI4DB只有在真實的生產環境中才能產生價值，我們希望PilotScope能夠真正實現這一點，幫助各行各業的數據庫實現智能化的效率和效果提升
请附上开源地址：
https://github.com/alibaba/pilotscope
