Kris
7b5d1e5c69
新增 Webex、微信 iLink、微信小程序三个渠道扩展。 Webex 渠道扩展功能模块： - config: 渠道配置管理 - gateway: SSE/WebSocket 网关接入 - webhook: Webhook 事件处理 - outbound: 外发消息管理 - streaming: 流式消息处理 - pairing: 用户配对与绑定 - security: 安全校验 - dedupe: 消息去重 - monitor: 渠道状态监控 - status: 会话状态管理 - media: 媒体资源处理 微信 iLink 渠道扩展功能模块： - config: 渠道配置管理 - gateway: SSE/WebSocket 网关接入 - outbound: 外发消息管理 - streaming: 流式消息处理 - pairing: 用户配对与绑定 - security: 安全校验 - dedupe: 消息去重 - monitor: 渠道状态监控 - status: 会话状态管理 - context_store: 上下文存储 - aes_ecb: AES-ECB 加解密 - media: 媒体资源处理 - typing: 输入状态 微信小程序渠道扩展功能模块： - config: 渠道配置管理 - gateway: SSE/WebSocket 网关接入 - webhook: Webhook 事件处理 - outbound: 外发消息管理 - streaming: 流式消息处理 - pairing: 用户配对与绑定 - security: 安全校验 - crypto: 加解密处理 - dedupe: 消息去重 - message: 消息处理 - passive_reply: 被动回复 - media: 媒体资源处理 - status: 会话状态管理
55 lines
1.3 KiB
Python
55 lines
1.3 KiB
Python
from __future__ import annotations
|
|
|
|
import time
|
|
import logging
|
|
|
|
from yuxi.channel.protocols import DedupeProtocol
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
class MessageDeduplicator(DedupeProtocol):
|
|
def __init__(self, ttl_seconds: int = 300, max_entries: int = 10000):
|
|
self._seen: dict[str, float] = {}
|
|
self._ttl = ttl_seconds
|
|
self._max_entries = max_entries
|
|
|
|
def is_duplicate(self, key: str) -> bool:
|
|
if not key:
|
|
return False
|
|
|
|
self._cleanup()
|
|
|
|
if key in self._seen:
|
|
return True
|
|
|
|
self._seen[key] = time.time()
|
|
|
|
if len(self._seen) > self._max_entries:
|
|
sorted_items = sorted(self._seen.items(), key=lambda x: x[1])
|
|
for old_id, _ in sorted_items[: len(self._seen) // 2]:
|
|
del self._seen[old_id]
|
|
|
|
return False
|
|
|
|
def mark_seen(self, key: str) -> None:
|
|
if key:
|
|
self._seen[key] = time.time()
|
|
|
|
def _cleanup(self) -> None:
|
|
now = time.time()
|
|
expired = [k for k, v in self._seen.items() if now - v > self._ttl]
|
|
for k in expired:
|
|
del self._seen[k]
|
|
|
|
def reset(self) -> None:
|
|
self._seen.clear()
|
|
|
|
@property
|
|
def ttl_seconds(self) -> int:
|
|
return self._ttl
|
|
|
|
@property
|
|
def max_entries(self) -> int:
|
|
return self._max_entries
|