github/claude-relay-service
1
0
Fork 0
mirror of https://github.com/Wei-Shaw/claude-relay-service.git synced 2026-01-23 09:38:02 +00:00
Code Issues Packages Projects Releases Wiki Activity
1,487 Commits 7 Branches 50 Tags
79f2cebdb82238c9bb4fba7deb9dc53cfd600bea
Commit Graph

58 Commits

Author SHA1 Message Date
DaydreamCoding
07633ddbf8 feat: enhance concurrency queue with health check and admin endpoints 
- Add queue health check for fast-fail when overloaded (P90 > threshold)
  - Implement socket identity verification with UUID token
  - Add wait time statistics (P50/P90/P99) and queue stats tracking
  - Add admin endpoints for queue stats and cleanup
  - Add CLEAR_CONCURRENCY_QUEUES_ON_STARTUP config option
  - Update documentation with troubleshooting and proxy config guide
 2025-12-12 14:32:09 +08:00
QTom
3b9c96dff8 feat(queue): 优化用户消息队列锁释放时机 
将队列锁释放时机从"请求完成后"提前到"请求发送后"，因为 Claude API
限流（RPM）基于请求发送时刻计算，无需等待响应完成。

主要变更：
- 移除锁续租机制（startLockRenewal、refreshUserMessageLock）
- 所有 relay 服务在请求发送成功后立即释放锁
- 流式请求通过 onResponseStart 回调在收到响应头时释放
- 调整默认配置：timeoutMs 60s→5s，lockTtlMs 120s→5s
- 新增 USER_MESSAGE_QUEUE_LOCK_TTL_MS 环境变量支持
 2025-12-10 01:26:00 +08:00
QTom
f5d1c25295 feat: 添加用户消息串行队列功能，防止同账户并发请求触发限流 
- 新增 userMessageQueueService.js 实现基于 Redis 的队列锁机制
- 在 claudeRelayService、claudeConsoleRelayService、bedrockRelayService、ccrRelayService 中集成队列锁
- 添加 Redis 原子性 Lua 脚本：acquireUserMessageLock、releaseUserMessageLock、refreshUserMessageLock
- 支持锁续租机制，防止长时间请求锁过期
- 添加可配置参数：USER_MESSAGE_QUEUE_ENABLED、USER_MESSAGE_QUEUE_DELAY_MS、USER_MESSAGE_QUEUE_TIMEOUT_MS
- 添加 Web 管理界面配置入口
- 添加 logger.performance 方法用于结构化性能日志
- 添加完整单元测试 (tests/userMessageQueue.test.js)
 2025-12-09 17:04:01 +08:00
Wesley Liddick
e89e2964e7 Merge pull request #773 from DaydreamCoding/feature/concurrency [skip ci] 
feat(concurrencyManagement): implement concurrency status management …
 2025-12-06 22:43:29 -05:00
SunSeekerX
0828746281 fix: 修复 ESLint 错误 - if 语句花括号和箭头函数简写 2025-12-06 18:30:44 +08:00
DaydreamCoding
f74f77ef65 feat(concurrencyManagement): implement concurrency status management API and enhance concurrency handling in middleware 2025-12-06 17:23:42 +08:00
SunSeekerX
2429bad2b7 feat(api-keys): 添加模型筛选功能 2025-12-05 13:44:09 +08:00
shaw
89238818eb fix: 修复apikeys页面状态排序失效的问题 2025-11-26 19:45:15 +08:00
shaw
dea6964116 fix: 修复apikeys页面部分bug 2025-11-25 20:38:52 +08:00
shaw
22fbabbc47 fix: 优化apikeys页面加载速度 2025-11-25 15:01:15 +08:00
shaw
a2b04eea07 fix: 修复总费用被重置的bug 2025-10-30 15:59:24 +08:00
sususu98
1458d609ca feat: 为 Claude Console 账户添加并发控制机制 
实现了完整的 Claude Console 账户并发任务数控制功能，防止单账户过载，提升服务稳定性。

  **核心功能**

  - 🔒 **原子性并发控制**: 基于 Redis Sorted Set 实现的抢占式并发槽位管理，防止竞态条件
  - 🔄 **自动租约刷新**: 流式请求每 5 分钟自动刷新租约，防止长连接租约过期
  - 🚨 **智能降级处理**: 并发满额时自动清理粘性会话并重试其他账户（最多 1 次）
  - 🎯 **专用错误码**: 引入 `CONSOLE_ACCOUNT_CONCURRENCY_FULL` 错误码，区分并发限制和其他错误
  - 📊 **批量性能优化**: 调度器使用 Promise.all 并行查询账户并发数，减少 Redis 往返

  **后端实现**

  1. **Redis 并发控制方法** (src/models/redis.js)
     - `incrConsoleAccountConcurrency()`: 增加并发计数（带租约）
     - `decrConsoleAccountConcurrency()`: 释放并发槽位
     - `refreshConsoleAccountConcurrencyLease()`: 刷新租约（流式请求）
     - `getConsoleAccountConcurrency()`: 查询当前并发数

  2. **账户服务增强** (src/services/claudeConsoleAccountService.js)
     - 添加 `maxConcurrentTasks` 字段（默认 0 表示无限制）
     - 获取账户时自动查询实时并发数 (`activeTaskCount`)
     - 支持更新并发限制配置

  3. **转发服务并发保护** (src/services/claudeConsoleRelayService.js)
     - 请求前原子性抢占槽位，超限则立即回滚并抛出专用错误
     - 流式请求启动定时器每 5 分钟刷新租约
     - `finally` 块确保槽位释放（即使发生异常）
     - 为每个请求分配唯一 `requestId` 用于并发追踪

  4. **统一调度器优化** (src/services/unifiedClaudeScheduler.js)
     - 获取可用账户时批量查询并发数（Promise.all 并行）
     - 预检查并发限制，避免选择已满的账户
     - 检查分组成员时也验证并发状态
     - 所有账户并发满额时抛出专用错误码

  5. **API 路由降级处理** (src/routes/api.js)
     - 捕获 `CONSOLE_ACCOUNT_CONCURRENCY_FULL` 错误
     - 自动清理粘性会话映射并重试（最多 1 次）
     - 重试失败返回 503 错误和友好提示
     - count_tokens 端点也支持并发满额重试

  6. **管理端点验证** (src/routes/admin.js)
     - 创建/更新账户时验证 `maxConcurrentTasks` 为非负整数
     - 支持前端传入并发限制配置

  **前端实现**

  1. **表单字段** (web/admin-spa/src/components/accounts/AccountForm.vue)
     - 添加"最大并发任务数"输入框（创建和编辑模式）
     - 支持占位符提示"0 表示不限制"
     - 表单数据自动映射到后端 API

  2. **实时监控** (web/admin-spa/src/views/AccountsView.vue)
     - 账户列表显示并发状态进度条和百分比
     - 颜色编码：绿色（<80%）、黄色（80%-100%）、红色（100%）
     - 显示"X / Y"格式的并发数（如"2 / 5"）
     - 未配置限制时显示"并发无限制"徽章
 2025-10-21 13:43:57 +08:00
shaw
1145fb7b7d fix: 修复apikey的并发控制问题 2025-10-13 09:48:13 +08:00
shaw
42db271848 feat: droid平台账户数据统计及调度能力 2025-10-10 15:13:45 +08:00
shaw
2fc84a6aca feat: 新增Droid cli支持 2025-10-09 23:05:09 +08:00
shaw
fcf54565ec chore: 其他文件修改 
🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-30 11:25:43 +08:00
shaw
90dce32cfc fix: 优化并发限制数的控制逻辑 2025-09-28 13:58:59 +08:00
itzhan
200149b9ee chore: fix prettier formatting 2025-09-19 22:41:46 +08:00
itzhan
ec28b66e7f feat: 给key增加总用量限制 2025-09-19 21:57:24 +08:00
shaw
7c4feec5aa feat: 添加账户状态监控和自动恢复机制 
- 实现账户健康度监控系统，支持30分钟内错误率检测
- 添加自动恢复机制，失败账户在30分钟后自动尝试恢复
- 优化账户选择策略，优先选择健康账户
- 增强Redis键管理，添加账户状态和错误追踪功能
- 改进Gemini服务错误处理和重试逻辑
- 新增standardGeminiRoutes标准化路由支持

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-11 22:02:53 +08:00
shaw
08946c67ea feat: 新增 OpenAI-Responses 账户管理功能和独立自动停止标记机制 
## 功能新增
- 实现 OpenAI-Responses 账户服务（openaiResponsesAccountService.js）
  - 支持使用账户内置 API Key 进行请求转发
  - 实现每日额度管理和重置机制
  - 支持代理配置和优先级设置
- 实现 OpenAI-Responses 中继服务（openaiResponsesRelayService.js）
  - 处理请求转发和响应流处理
  - 自动记录使用统计信息
  - 支持流式和非流式响应
- 新增管理界面的 OpenAI-Responses 账户管理功能
  - 完整的 CRUD 操作支持
  - 实时额度监控和状态管理
  - 支持手动重置限流和每日额度

## 架构改进
- 引入独立的自动停止标记机制，区分不同原因的自动停止
  - rateLimitAutoStopped: 限流自动停止
  - fiveHourAutoStopped: 5小时限制自动停止
  - tempErrorAutoStopped: 临时错误自动停止
  - quotaAutoStopped: 额度耗尽自动停止
- 修复手动修改调度状态时自动恢复的问题
- 统一清理逻辑，防止状态冲突

## 其他优化
- getAccountUsageStats 支持不同账户类型参数
- 统一调度器支持 OpenAI-Responses 账户类型
- WebHook 通知增强，支持新账户类型的事件

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-10 15:41:52 +08:00
Edric Li
8cb9f52c1a feat: 优化粘性会话TTL管理策略 
- 将TTL默认值从15天改为1小时，更适合短期会话场景
- 将续期阈值默认设为0，默认不自动续期，提高控制精度
- 时间单位从天调整为小时/分钟，提供更细粒度的控制
- 添加环境变量配置支持：STICKY_SESSION_TTL_HOURS 和 STICKY_SESSION_RENEWAL_THRESHOLD_MINUTES
- 保持向后兼容性，所有现有部署将自动使用新的默认值

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-08 16:06:12 +08:00
Edric Li
9cbf3195e0 feat: 优化粘性会话TTL管理策略 
- 将默认TTL从1小时延长至15天，更适合长期项目开发
- 实现智能续期机制：剩余时间<14天时自动续期到15天
- 添加配置化支持：通过环境变量STICKY_SESSION_TTL_DAYS和STICKY_SESSION_RENEWAL_THRESHOLD_DAYS调整TTL策略
- 集成到所有调度器：Claude、OpenAI、Gemini的普通会话和分组会话
- 提升用户体验：活跃项目会话持续有效，停用项目自动清理
- 性能优化：智能判断减少不必要的Redis EXPIRE操作

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-08 16:06:12 +08:00
Feng Yue
68603bc046 Merge branch 'dev' into um-5 2025-09-01 12:19:53 +08:00
shaw
5cfa3cc72f feat: 添加精确的账户费用计算和时区支持 
- 实现基于模型使用量的精确每日费用计算
- 添加 dateHelper 工具支持时区转换
- 移除未使用的 webhook 配置代码
- 清理环境变量和配置文件中的 webhook 相关设置
- 优化前端费用显示，使用后端精确计算的数据
- 添加 DEBUG_HTTP_TRAFFIC 调试选项支持

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-09-01 11:29:16 +08:00
Feng Yue
50b372473c Merge remote-tracking branch 'f3n9/main' into um-5 2025-08-31 23:12:46 +08:00
shaw
9a46310238 fix: 修复会话窗口使用统计问题 2025-08-31 20:14:12 +08:00
shaw
07e9bc1137 fix: 修复会话窗口使用统计问题 2025-08-31 19:04:12 +08:00
shaw
ef21c118e9 feat: 添加模型级别的小时统计数据 
在 recordApiKeyUsage 方法中添加了模型级别的小时统计记录，
用于支持基于会话窗口的详细使用统计功能。

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-31 18:20:35 +08:00
shaw
e84c6a5555 feat: 实现基于费用的速率限制功能 
- 新增 rateLimitCost 字段，支持按费用进行速率限制
- 新增 weeklyOpusCostLimit 字段，支持 Opus 模型周费用限制
- 优化速率限制逻辑，支持费用、请求数、token多维度控制
- 更新前端界面，添加费用限制配置选项
- 增强账户管理功能，支持费用统计和限制
- 改进 Redis 数据模型，支持费用计数器
- 优化价格计算服务，支持更精确的成本核算

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-31 17:27:37 +08:00
Feng Yue
77338276db Merge remote-tracking branch 'f3n9/main' into user-management-new 2025-08-18 15:32:17 +08:00
shaw
3d1cd21bc4 fix: 修复 ESLint 错误和代码格式问题 
- 修复 cacheMonitor.js 中未使用的变量 'name'
- 移除未使用的变量以通过 ESLint 检查
- 确保 npm run dev 能正常运行

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-17 16:54:08 +08:00
shaw
3bcdb511fe feat: 实现多服务账户缓存优化系统 
- 添加通用LRU缓存工具类，支持过期时间和内存限制
- 实现缓存监控系统，提供统计和健康检查接口
- 为所有账户服务（Claude、Gemini、OpenAI、Bedrock、Claude Console）添加缓存层
- 优化账户选择性能，减少Redis查询频率
- 添加缓存统计监控端点 /admin/cache/stats

性能提升：
- 账户列表查询从O(n)优化到O(1)
- 减少90%以上的Redis查询
- 响应时间降低50ms以上

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-17 15:38:49 +08:00
Feng Yue
39c6e3146c fix: redis issue in user management 2025-08-14 11:37:32 +08:00
shaw
f462684f97 feat: 实现OpenAI账户管理和统一调度系统 
- 新增 OpenAI 账户管理服务，支持多账户轮询和负载均衡
- 实现统一的 OpenAI API 调度器，智能选择最优账户
- 优化成本计算器，支持更精确的 token 计算
- 更新模型定价数据，包含最新的 OpenAI 模型价格
- 增强 API Key 管理，支持更灵活的配额控制
- 改进管理界面，添加教程视图和账户分组管理
- 优化限流配置组件，提供更直观的用户体验

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-11 13:58:43 +08:00
千羽
11fc856999 chore: commit all changes 2025-08-10 17:46:31 +09:00
千羽
8a74bf5afe refactor: standardize code formatting and linting configuration 
- Replace .eslintrc.js with .eslintrc.cjs for better ES module compatibility
- Add .prettierrc configuration for consistent code formatting
- Update package.json with new lint and format scripts
- Add nodemon.json for development hot reloading configuration
- Standardize code formatting across all JavaScript and Vue files
- Update web admin SPA with improved linting rules and formatting
- Add prettier configuration to web admin SPA

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-08-07 18:19:31 +09:00
andersonby
7ea899bd30 feat: add model name normalization for statistics aggregation in Redis and admin routes 2025-08-07 01:35:01 +08:00
shaw
321be986a6 feat: 优化仪表盘数据展示和用户体验 
- 优化实时TPM显示格式，添加智能单位（K/M）
- 折线图tooltip添加token数单位格式化
- API Keys使用趋势图增加USD金额计算和显示
- 实现鼠标悬浮时数据倒序展示，前3名添加🥇🥈🥉标识
- 后端API添加费用计算支持
- 删除测试脚本，保持代码整洁

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-30 15:37:58 +08:00
shaw
21461863af fix: 修复实时RPM/TPM指标显示为0的问题 
- 添加调试日志以追踪数据读取过程
- 修复getRealtimeSystemMetrics中的数据验证逻辑
- 添加测试脚本用于验证时间戳匹配问题
- 改进错误处理和日志记录

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-30 15:37:58 +08:00
shaw
a6ab6b7abe feat: 实现基于滑动窗口的实时RPM/TPM统计 
- 添加系统级分钟统计，支持1-60分钟可配置时间窗口
- 新增 getRealtimeSystemMetrics 方法计算滑动窗口内的平均值
- 前端显示实时RPM/TPM，标注时间窗口和数据来源
- 修复 EditApiKeyModal 中模型限制和客户端限制复选框状态错误
- 优化性能：使用Pipeline批量操作替代Promise.all
- TPM包含所有token类型：input、output、cache_creation、cache_read
- 添加降级方案：实时数据不可用时返回历史平均值

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-30 15:37:57 +08:00
shaw
4c64e6df4b fix(timezone): 修复数据写入时的时区错误（关键修复） 
- 修复 redis.js 中所有时区相关的日期获取方法
  - 使用 getUTC* 方法替代 get* 方法获取正确的时区日期
  - 影响：incrementTokenUsage, incrementAccountUsage, incrementDailyCost 等
- 修复 admin.js 中查询数据时的日期键生成
- 确保所有 Redis 键格式一致：
  - 日期：YYYY-MM-DD
  - 月份：YYYY-MM
  - 小时：YYYY-MM-DD:HH
- 添加服务端时间标签，避免前端时区转换问题

这是核心修复，确保数据从源头就是正确的。
 2025-07-30 10:07:25 +08:00
shaw
5503004b66 fix(admin): 修复时区转换和时间显示格式问题 
- 修复小时粒度下时间显示为完整日期的问题
- 修复时区转换逻辑，使用正确的UTC偏移计算
- 统一时间标签格式：小时粒度显示MM/DD HH:00，天粒度显示MM/DD
- 修复图表时间显示比实际时间快7小时的问题
 2025-07-30 09:42:09 +08:00
KevinLiao
ac1e367a69 feat: 增加每日费用限制 2025-07-27 14:47:59 +08:00
leslie
5522967792 添加claude账号维度计算token费用 2025-07-25 21:27:17 +08:00
KevinLiao
f614d54ab5 fix: APIKey列表费用及Token显示不准确的问题，目前显示总数 
feat: 增加APIKey过期设置，以及到期续期的能力
 2025-07-25 09:53:16 +08:00
shaw
f962083752 feat: 为API Key添加模型限制功能 
- 前端：在API Key创建和编辑表单中添加模型限制开关和标签输入
- 前端：支持动态添加/删除限制的模型列表
- 后端：更新API Key数据结构，新增enableModelRestriction和restrictedModels字段
- 后端：在中转请求时检查模型访问权限
- 修复：Enter键提交表单问题，使用@keydown.enter.prevent
- 优化：限制模型数据持久化，关闭开关时不清空数据

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-19 20:54:26 +08:00
shaw
f5968e518e feat: 改进管理界面弹窗体验和滚动条美化 
- 修复API Key创建/编辑弹窗和账户信息修改弹窗在低高度屏幕上被遮挡的问题
- 为所有弹窗添加自适应高度支持，最大高度限制为90vh
- 美化Claude账户弹窗的滚动条样式，使用紫蓝渐变色与主题保持一致
- 添加响应式适配，移动设备上弹窗高度调整为85vh
- 优化滚动条交互体验，支持悬停和激活状态

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-18 23:49:55 +08:00
shaw
567e3b25aa feat: 优化并发控制和移除冗余限制功能 
主要改进：
1. 改进并发控制机制
   - 使用 once 代替 on 避免重复监听
   - 监听多个事件确保可靠性（close、finish）
   - 支持客户端断开时立即释放并发槽位

2. 支持非流式请求的客户端断开处理
   - 客户端断开时立即中断上游请求
   - 避免资源浪费和不必要的 API 调用

3. 移除 requestLimit（请求数限制）功能
   - 移除配置和验证逻辑
   - 保留请求统计用于监控分析

4. 移除速率限制（Rate Limit）功能
   - 移除 RATE_LIMIT_* 配置
   - 简化中间件逻辑
   - 避免与并发控制重复

现在系统仅保留：
- Token 使用量限制
- 并发数限制（更精确的资源控制）

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-16 14:40:37 +08:00
shaw
f9bc2ddb23 fix: 优化 API Key 并发控制机制 
- 调整并发计数器过期时间为3分钟，支持长时间流式请求
- 为流式响应添加客户端断开检测，确保计数正确减少
- 添加响应关闭和错误事件监听器，防止并发计数泄漏
- 提高系统稳定性和资源管理准确性

🤖 Generated with [Claude Code](https://claude.ai/code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-07-16 11:10:44 +08:00