我们的新一代个性化内容生成服务在原型阶段表现惊人,但部署到准生产环境后,推理延迟的P99指标直接飙升到了无法接受的3秒。问题根源很快被定位:模型需要实时获取用户最新的行为特征作为Prompt的一部分,而我们现有的特征平台是基于Hadoop/
2023-10-27