结合图数据库与分片文档库的多租户数据隔离与动态权限架构实现


为大规模SaaS平台设计数据架构时,两个核心矛盾几乎无法回避:如何实现租户间严格的数据隔离以确保安全与合规,以及如何支撑复杂且动态变化的权限模型。传统的单体关系型数据库在租户数量和权限维度激增后,会迅速成为性能瓶颈和维护噩梦。单纯的数据库分片解决了数据隔离和水平扩展问题,却在处理跨租户、跨实体的复杂权限关系时力不从心;而仅依赖NoSQL数据库,同样难以优雅地对权限这种高度连接的数据进行建模。

方案A:基于关系型数据库的完全分片策略

初步的构想是采用成熟的关系型数据库分片方案,例如使用tenant_id作为分片键。每个租户的数据被物理隔离在不同的分片上。

优势:

  1. 强隔离性: 数据在物理层面隔离,安全性高。
  2. 水平扩展: 新增租户可以通过增加分片来线性扩展写入能力。
  3. 成熟生态: 围绕MySQL等数据库的分片中间件、备份、监控工具非常成熟。

劣势:

这是一个致命的缺陷。在SaaS应用中,权限模型远非简单的“用户-角色”所能概括。我们面临的需求是:

  • 角色继承: 管理员角色拥有编辑角色的所有权限。
  • 组织架构: 用户继承其所在部门、项目组的权限。
  • 资源授权: 权限可以被授予给单个用户、角色、部门,甚至可以跨租户进行有限的资源共享(例如,一个供应商被授权访问多个租户的特定采购订单)。

在分片的关系型数据库中实现这一点,通常意味着大量的递归查询(Recursive CTEs)或者在应用层维护复杂的权限关系树。当用户A请求资源X时,权限校验的查询可能需要遍历多张关联表,跨越多个层级,这在数据库层面是极其低效的操作,尤其是在高并发场景下。更糟糕的是,任何权限模型的变更都可能引发大规模的数据库模式重构和数据迁移。

方案B:统一文档数据库与内嵌权限模型

另一个思路是拥抱NoSQL,特别是文档数据库(如MongoDB)。所有数据,包括租户的应用数据和权限信息,都存储在一个按tenant_id分片的MongoDB集群中。权限信息可以作为子文档内嵌在用户或资源文档中。

优势:

  1. 模型灵活: 无需严格的Schema,可以快速迭代业务模型。
  2. 原生分片: MongoDB对基于片键的分片支持非常完善。
  3. 查询便利: 对于单个租户内的操作,数据局部性很好,一次查询即可获取所有相关信息。

劣势:

这种方案在处理复杂关系时,比关系型数据库更显笨拙。

  • 数据冗余与一致性: 如果一个角色Editor的权限发生变化,需要更新所有拥有该角色的用户的文档,这是一个庞大的写放大操作,且难以保证事务一致性。
  • 关系查询的无力: “查询所有能访问资源Y的用户” 这类逆向查找,在文档模型中几乎是灾难。这需要对整个集合进行扫描,或者为每个可能的权限路径建立复杂的索引。
  • 跨租户授权的噩梦: 实现跨租户的权限共享,意味着要在租户A的文档中引用租户B的实体,这破坏了分片带来的数据隔离原则,并引入了复杂的应用层逻辑来维护这些跨分片的引用。

最终选择:Neo4j + 分片文档库的混合架构

两种方案都有明显短板,其根源在于试图用一种数据模型解决两种本质不同的问题:租户业务数据的隔离存储与全局权限关系的复杂查询。因此,最终的架构决策是采用混合模型:

  • 使用Neo4j作为全局权限中心: 所有的用户、角色、组织、资源等实体作为节点,权限关系(如HAS_ROLE, CAN_EDIT, MEMBER_OF)作为边。这个图数据库实例是全局唯一的,不进行租户级别的分片。它专门负责回答“谁能对什么做什么操作”这一类问题。
  • 使用按tenant_id分片的文档数据库(MongoDB)作为业务数据存储: 每个租户的应用数据(如订单、产品、用户信息详情等)完全隔离在各自的逻辑分片中。

这个架构将关系查询的压力从业务数据库中完全剥离,交给了最擅长处理它的图数据库。

graph TD
    subgraph "请求入口 (API Gateway)"
        A[Client Request]
    end

    subgraph "应用服务层 (Stateless)"
        B(Auth Service)
        C(Business Logic Service)
    end

    subgraph "数据存储层"
        D[Neo4j: Global Permission Graph]
        E[MongoDB Sharded Cluster]
        F[Shard 1: Tenant_A_Data]
        G[Shard 2: Tenant_B_Data]
        H[Shard n: Tenant_N_Data]
    end

    A -- "携带Token" --> B
    B -- "1. 解析Token获取userId, tenantId" --> C
    C -- "2. 权限校验请求 (userId, resourceId, action)" --> D
    D -- "3. 返回校验结果 (Allow/Deny)" --> C
    C -- "4. [If Allow] 携带tenantId查询业务数据" --> E
    E -- "路由到对应分片" --> F
    E -- "路由到对应分片" --> G
    E -- "路由到对应分片" --> H
    F --> C
    G --> C
    H --> C
    C -- "5. 返回业务数据" --> A

核心实现概览

1. Neo4j 权限图模型设计

权限模型是这个架构的核心。我们定义以下节点和关系:

  • 节点 (Labels): User, Tenant, Role, Group, Resource
  • 关系 (Types):
    • BELONGS_TO: (User)-[:BELONGS_TO]->(Tenant)
    • MEMBER_OF: (User)-[:MEMBER_OF]->(Group)
    • HAS_ROLE: (User)-[:HAS_ROLE]->(Role) or (Group)-[:HAS_ROLE]->(Role)
    • INHERITS: (Role)-[:INHERITS]->(Role)
    • CAN_ACCESS: (Role)-[:CAN_ACCESS {permissions:['READ', 'WRITE']}]->(Resource)

一个典型的权限校验查询,例如检查用户u-123是否对租户t-abc下的资源res-456WRITE权限,对应的Cypher查询如下。

// 参数: $userId, $tenantId, $resourceId, $permission
MATCH (user:User {id: $userId})-[:BELONGS_TO]->(tenant:Tenant {id: $tenantId})
MATCH (resource:Resource {id: $resourceId})

// 寻找所有直接或间接赋予该用户的角色路径
// - 用户直接拥有角色
// - 用户通过所属的组拥有角色
// - 角色之间存在继承关系 (*0..5 表示最大继承深度为5,防止无限循环)
CALL {
    WITH user
    MATCH (user)-[:HAS_ROLE|MEMBER_OF*1..5]->(role:Role)
    RETURN role
    UNION
    WITH user
    MATCH (user)-[:HAS_ROLE|MEMBER_OF*1..5]->(intermediateRole:Role)-[:INHERITS*0..5]->(role:Role)
    RETURN role
}

// 检查这些角色中,是否有任何一个可以访问目标资源并拥有所需权限
MATCH (role)-[access:CAN_ACCESS]->(resource)
WHERE $permission IN access.permissions

// 如果找到任何一条路径,则返回true
RETURN count(access) > 0 AS hasPermission

这个查询的性能远高于关系型数据库的递归查询,因为图数据库的原生指针跟踪使其在遍历关系时非常高效。

2. 权限校验服务的实现 (Java示例)

权限服务是与Neo4j交互的唯一入口,它需要被设计成高可用的。在真实项目中,会引入缓存来降低对Neo4j的直接访问压力。

import org.neo4j.driver.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.google.common.cache.Cache;
import com.google.common.cache.CacheBuilder;

import java.util.Map;
import java.util.concurrent.TimeUnit;

public class Neo4jPermissionService implements PermissionService {

    private static final Logger logger = LoggerFactory.getLogger(Neo4jPermissionService.class);
    private final Driver driver;
    // 引入Guava Cache作为本地缓存,缓存权限校验结果
    private final Cache<String, Boolean> permissionCache;

    public Neo4jPermissionService(String uri, String user, String password) {
        this.driver = GraphDatabase.driver(uri, AuthTokens.basic(user, password));
        // 配置缓存:最大容量10000条,写入后5分钟过期
        this.permissionCache = CacheBuilder.newBuilder()
                .maximumSize(10000)
                .expireAfterWrite(5, TimeUnit.MINUTES)
                .build();
        
        // 保证驱动正常关闭
        Runtime.getRuntime().addShutdownHook(new Thread(this.driver::close));
    }

    @Override
    public boolean hasPermission(String userId, String tenantId, String resourceId, String permission) {
        String cacheKey = String.format("%s:%s:%s:%s", userId, tenantId, resourceId, permission);
        
        // 1. 尝试从缓存获取
        Boolean cachedResult = permissionCache.getIfPresent(cacheKey);
        if (cachedResult != null) {
            logger.debug("Permission check cache hit for key: {}", cacheKey);
            return cachedResult;
        }
        
        logger.debug("Permission check cache miss for key: {}. Querying Neo4j.", cacheKey);

        // 2. 缓存未命中,查询数据库
        String cypherQuery = """
            MATCH (user:User {id: $userId})-[:BELONGS_TO]->(tenant:Tenant {id: $tenantId})
            MATCH (resource:Resource {id: $resourceId})
            CALL {
                WITH user
                MATCH (user)-[:HAS_ROLE|MEMBER_OF*1..5]->(role:Role) RETURN role
                UNION
                WITH user
                MATCH (user)-[:HAS_ROLE|MEMBER_OF*1..5]->(g:Group)-[:HAS_ROLE]->(role:Role) RETURN role
                UNION
                WITH user
                MATCH (user)-[:HAS_ROLE|MEMBER_OF*1..5]->(startRole:Role)-[:INHERITS*0..5]->(role:Role) RETURN role
            }
            MATCH (role)-[access:CAN_ACCESS]->(resource)
            WHERE $permission IN access.permissions
            RETURN count(access) > 0 AS hasPermission
            LIMIT 1
            """;

        try (Session session = driver.session()) {
            boolean result = session.readTransaction(tx -> {
                Result queryResult = tx.run(cypherQuery, Map.of(
                        "userId", userId,
                        "tenantId", tenantId,
                        "resourceId", resourceId,
                        "permission", permission
                ));
                // 如果查询有结果行,则取第一个结果的hasPermission字段
                return queryResult.hasNext() && queryResult.single().get("hasPermission").asBoolean();
            });

            // 3. 将结果存入缓存
            permissionCache.put(cacheKey, result);
            return result;

        } catch (Exception e) {
            logger.error("Error checking permission in Neo4j for key: {}", cacheKey, e);
            // 在生产环境中,权限系统故障应该默认拒绝访问
            return false;
        }
    }

    // 清理缓存的方法,例如当用户角色发生变化时调用
    @Override
    public void invalidateCacheForUser(String userId) {
        // 这是一个简化的实现,实际中可能需要更精细的缓存失效策略
        permissionCache.asMap().keySet().removeIf(key -> key.startsWith(userId + ":"));
        logger.info("Invalidated all caches for user: {}", userId);
    }
}

单元测试思路:

  • 使用neo4j-harness库启动一个内存中的Neo4j实例。
  • @BeforeEach中预置测试用的图数据(用户、角色、资源和关系)。
  • 编写测试用例覆盖各种场景:直接授权、通过组授权、通过角色继承授权、无权限、参数错误等。
  • 验证缓存逻辑:第一次调用应该查询数据库,第二次调用应该命中缓存(可以通过mock日志或AOP来验证)。

3. 业务数据服务与分片访问

业务服务在执行任何数据操作前,必须先调用PermissionService。通过后,它利用从用户上下文(如JWT)中获取的tenantId来访问MongoDB。

import org.springframework.data.mongodb.core.MongoTemplate;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.stereotype.Service;

// 假设我们有一个OrderService
@Service
public class OrderService {

    private final MongoTemplate mongoTemplate;
    private final PermissionService permissionService;
    private final TenantContext tenantContext; // 用于获取当前线程的tenantId

    public OrderService(MongoTemplate mongoTemplate, PermissionService permissionService, TenantContext tenantContext) {
        this.mongoTemplate = mongoTemplate;
        this.permissionService = permissionService;
        this.tenantContext = tenantContext;
    }

    public Order getOrderById(String orderId) {
        String userId = tenantContext.getUserId();
        String tenantId = tenantContext.getTenantId();
        String resourceId = "order:" + orderId; // 定义资源的唯一标识

        // 1. 权限校验
        if (!permissionService.hasPermission(userId, tenantId, resourceId, "READ")) {
            throw new SecurityException("Access Denied: User does not have READ permission for order " + orderId);
        }

        // 2. 构造带租户ID的查询
        // MongoDB的Java驱动或Spring Data MongoDB会自动将查询路由到正确的shard,
        // 前提是集合已基于 tenantId 进行了分片。
        // 这里的查询必须包含分片键 tenantId,否则会成为一个低效的scatter-gather查询。
        Query query = new Query(Criteria.where("_id").is(orderId).and("tenantId").is(tenantId));

        Order order = mongoTemplate.findOne(query, Order.class);
        if (order == null) {
            // 注意:这里可能是订单不存在,也可能是tenantId不匹配,都应视为找不到
            logger.warn("Order not found or tenantId mismatch for orderId: {} and tenantId: {}", orderId, tenantId);
            return null;
        }

        return order;
    }

    // 写入操作同样需要校验
    public Order createOrder(OrderCreationRequest request) {
        String userId = tenantContext.getUserId();
        String tenantId = tenantContext.getTenantId();
        // 假设创建订单需要在租户级别有CREATE_ORDER权限
        String resourceId = "tenant:" + tenantId;

        if (!permissionService.hasPermission(userId, tenantId, resourceId, "CREATE_ORDER")) {
            throw new SecurityException("Access Denied: User cannot create orders in this tenant.");
        }
        
        Order newOrder = new Order();
        // ... 填充订单信息 ...
        newOrder.setTenantId(tenantId); // **关键:必须设置分片键**
        
        return mongoTemplate.save(newOrder);
    }
}

分片配置 (MongoDB Shell):

// 假设数据库名为 'saas_db', 集合为 'orders'
// 1. 启用数据库分片
sh.enableSharding("saas_db")

// 2. 对 orders 集合进行分片,使用 tenantId 作为哈希分片键
// 哈希分片可以确保租户数据在所有分片上均匀分布
sh.shardCollection("saas_db.orders", { "tenantId" : "hashed" })

Order实体类中,tenantId字段必须存在,并且是索引的一部分,它是分片键。

架构的扩展性与局限性

这种混合架构的优势在于它承认了不同类型的数据问题需要不同类型的数据库来解决。它将复杂的、全局性的图查询与海量的、隔离的文档存储解耦,使得每一部分都可以独立扩展和优化。例如,当权限查询成为瓶颈时,我们可以对Neo4j集群进行垂直或水平扩展(使用Causal Clustering),而当业务数据量增长时,我们只需要向MongoDB集群添加更多的分片即可。

然而,这个方案并非没有成本。
首先,它引入了更高的运维复杂性。团队需要同时维护和监控两种完全不同的数据库系统,这需要更广泛的技能集。
其次,数据一致性是一个挑战。在创建用户的流程中,需要在Neo4j中创建用户节点,并在MongoDB中创建用户详情文档。这个过程不是原子的,如果其中一步失败,就会导致数据不一致。这通常需要引入Saga模式或补偿事务来确保最终一致性。
最后,权限校验引入了额外的网络延迟。尽管可以通过本地缓存缓解,但缓存失效策略需要精心设计,以在性能和数据新鲜度之间找到平衡。对于权限变更频率极高的场景,缓存可能效果不佳,此时需要考虑将权限服务部署得离业务服务更近,甚至以Sidecar模式部署。


  目录