zealotlab
本站致力于IT相关技术的分享
构建边缘设备高基数时序数据平台的架构权衡与实现 构建边缘设备高基数时序数据平台的架构权衡与实现
摆在面前的技术挑战是明确的：为数百万潜在的边缘设备构建一个遥测数据采集与处理平台。这些设备会通过持久化的 WebSocket 连接，以每秒数次的频率上报包含状态、环境读数等信息的时序数据。核心的技术难点可以归结为三点：海量连接管理、时序数据
2023-10-27 架构设计
TimescaleDB Istio WebSockets ORM OpenFaaS
基于 Go 实现感知前端状态的 IAM 网关授权层 基于 Go 实现感知前端状态的 IAM 网关授权层
微服务拆分后，我们团队遇到了一个棘手的难题：授权逻辑散落在十几个后端服务中，实现方式五花八门。有的用中间件，有的在业务逻辑里硬编码，不仅难以维护，更可怕的是权限变更时需要协调多个团队发布，任何一次疏忽都可能导致安全漏洞。前端团队也苦不堪言，
2023-10-27 后端架构
Go 网关与代理 IAM Zustand React
在 Kubernetes 上利用 C#、Celery 与 Clojure 构建异构模型推理工作流 在 Kubernetes 上利用 C#、Celery 与 Clojure 构建异构模型推理工作流
我们面临的局面是典型的技术债与创新需求的碰撞：一个用 C# 和 .NET Framework 构建的、庞大而稳定的金融风控单体应用，需要集成一组基于 Python (PyTorch) 的复杂机器学习模型。直接通过 REST API 同步调用
2023-10-27 分布式架构
Kubernetes Celery C# 模型部署 Clojure RabbitMQ 微服务
使用 GitHub Actions 实现跨 AWS Azure 与 Google Cloud 的 AI 函数统一 GitOps 部署 使用 GitHub Actions 实现跨 AWS Azure 与 Google Cloud 的 AI 函数统一 GitOps 部署
最初的痛点源于混乱。我们的数据科学团队负责产出模型，而平台团队负责将这些模型封装成服务并部署。问题在于，我们的基础设施横跨三大公有云：AWS、Azure 和 Google Cloud。每个云都有自己的一套 Serverless 方案——La
2023-10-27 DevOps
GitHub Google Cloud Functions Azure AWS AI Data Science & Big Data
利用Google Cloud Pub/Sub实现GKE上高韧性的解耦式Jenkins流水线 利用Google Cloud Pub/Sub实现GKE上高韧性的解耦式Jenkins流水线
一个45分钟的CI/CD流水线，在第40分钟的端到端测试阶段因为网络抖动而失败。在传统的单体Jenkinsfile设计中，这意味着从头再来：重新拉取代码、重新编译、重新运行单元测试、重新打包镜像。这不仅仅是40分钟的计算资源浪费，更是对开发
2023-10-27 云原生与DevOps
CI/CD Jenkins Google Cloud Pub/Sub GCP GKE 事件驱动架构
使用Ansible自动化部署基于ScyllaDB实时特征存储的Keras生成式AI推理服务 使用Ansible自动化部署基于ScyllaDB实时特征存储的Keras生成式AI推理服务
我们的新一代个性化内容生成服务在原型阶段表现惊人，但部署到准生产环境后，推理延迟的P99指标直接飙升到了无法接受的3秒。问题根源很快被定位：模型需要实时获取用户最新的行为特征作为Prompt的一部分，而我们现有的特征平台是基于Hadoop/
2023-10-27 MLOps
Ansible ScyllaDB 生成式AI Keras Feature Store
4 / 5