DaydreamCoding
|
07633ddbf8
|
feat: enhance concurrency queue with health check and admin endpoints
- Add queue health check for fast-fail when overloaded (P90 > threshold)
- Implement socket identity verification with UUID token
- Add wait time statistics (P50/P90/P99) and queue stats tracking
- Add admin endpoints for queue stats and cleanup
- Add CLEAR_CONCURRENCY_QUEUES_ON_STARTUP config option
- Update documentation with troubleshooting and proxy config guide
|
2025-12-12 14:32:09 +08:00 |
|
QTom
|
3b9c96dff8
|
feat(queue): 优化用户消息队列锁释放时机
将队列锁释放时机从"请求完成后"提前到"请求发送后"，因为 Claude API
限流（RPM）基于请求发送时刻计算，无需等待响应完成。
主要变更：
- 移除锁续租机制（startLockRenewal、refreshUserMessageLock）
- 所有 relay 服务在请求发送成功后立即释放锁
- 流式请求通过 onResponseStart 回调在收到响应头时释放
- 调整默认配置：timeoutMs 60s→5s，lockTtlMs 120s→5s
- 新增 USER_MESSAGE_QUEUE_LOCK_TTL_MS 环境变量支持
|
2025-12-10 01:26:00 +08:00 |
|
QTom
|
dc96447d72
|
style: 格式化文件以符合 Prettier 规范
|
2025-12-09 17:18:43 +08:00 |
|
QTom
|
f5d1c25295
|
feat: 添加用户消息串行队列功能，防止同账户并发请求触发限流
- 新增 userMessageQueueService.js 实现基于 Redis 的队列锁机制
- 在 claudeRelayService、claudeConsoleRelayService、bedrockRelayService、ccrRelayService 中集成队列锁
- 添加 Redis 原子性 Lua 脚本：acquireUserMessageLock、releaseUserMessageLock、refreshUserMessageLock
- 支持锁续租机制，防止长时间请求锁过期
- 添加可配置参数：USER_MESSAGE_QUEUE_ENABLED、USER_MESSAGE_QUEUE_DELAY_MS、USER_MESSAGE_QUEUE_TIMEOUT_MS
- 添加 Web 管理界面配置入口
- 添加 logger.performance 方法用于结构化性能日志
- 添加完整单元测试 (tests/userMessageQueue.test.js)
|
2025-12-09 17:04:01 +08:00 |
|