ForcePilot/backend/package/yuxi/channel/extensions/qqbot/dedupe.py
Kris 2ab65f153f feat(channel): 添加 QQ Bot 渠道扩展
新增 QQ Bot 渠道扩展,支持在 Yuxi 平台中集成 QQ 机器人渠道。

包含以下功能模块:
- api_client: QQ API 客户端封装
- api_routes: API 路由管理
- config: 渠道配置管理
- gateway: SSE/WebSocket 网关接入
- websocket: WebSocket 实时连接
- credentials: 凭证管理
- token: Token 管理
- outbound: 外发消息管理
- outbound_media: 媒体外发
- streaming: 流式消息处理
- streaming_media: 媒体流处理
- pairing: 用户配对与绑定
- security: 安全校验
- dedupe: 消息去重
- monitor: 渠道状态监控
- status: 会话状态管理
- session: 会话管理
- pipeline: 消息管道
- pipeline_stages: 管道阶段
- commands: 指令处理
- commands_builtin: 内置指令
- interaction: 交互处理
- approval: 审批流程
- ark: ARK 消息
- audio: 音频处理
- media: 媒体资源
- media_chunked: 分块媒体
- media_tags: 媒体标签
- message_queue: 消息队列
- delivery: 消息送达确认
- reconnect: 重连机制
- typing_keepalive: 输入状态保活
- group_activation: 群激活
- group_gating: 群门控
- group_history: 群历史
- known_users: 已知用户
- ref_index: 引用索引
- tools: Agent 工具集成
- types: 类型定义
2026-05-21 11:35:12 +08:00

40 lines
1.2 KiB
Python

from __future__ import annotations
import logging
import time
logger = logging.getLogger(__name__)
class MessageDeduplicator:
def __init__(self, ttl_seconds: int = 300, max_entries: int = 10000):
self._seen: dict[str, float] = {}
self._ttl = ttl_seconds
self._max_entries = max_entries
def is_duplicate(self, msg_id: str) -> bool:
self._cleanup()
if msg_id in self._seen:
return True
self._seen[msg_id] = time.time()
return False
def mark_seen(self, msg_id: str) -> None:
self._seen[msg_id] = time.time()
if len(self._seen) > self._max_entries:
self._cleanup(aggressive=True)
def clear(self) -> None:
self._seen.clear()
def _cleanup(self, aggressive: bool = False) -> None:
now = time.time()
expired = [k for k, v in self._seen.items() if now - v > self._ttl]
for k in expired:
del self._seen[k]
if aggressive and len(self._seen) > self._max_entries:
sorted_entries = sorted(self._seen.items(), key=lambda x: x[1])
to_remove = len(self._seen) - self._max_entries // 2
for k, _ in sorted_entries[:to_remove]:
del self._seen[k]