Gym-Arc/RSI 闭环
Business-grounded RSI

让业务本身,成为模型的训练信号.

企业手里已经有大量资料:规则手册、政策表格、历史工单、Agent 的对话轨迹和业务结果反馈。Gym-Arc 把它们汇成一张 Context Graph,再从图上生成整族合成世界,编译成 RL 环境与 Judge,训练出 Agent;上线后的每一次对话又流回来,进入下一轮。闭环不断转动,Agent 持续变强。

加载行业
企业
0接入一家企业

一条命令,从资料包到可训练的环境

在上方选一个行业、一家企业。Gym-Arc 读取这家企业的原始资料,推断出它的经营规则,自我核对后为它生成专属的训练环境。新增企业不写代码,过程中也不依赖大模型,同一份资料包每次得到的 Context 完全一致。

1多源异构的原始数据

从企业已有的资料出发

写给一线员工看的业务手册,运营部门维护的政策表格,记录每一单怎么做、结果如何的历史工单,再加一份简短问卷。格式不同、归属部门不同,彼此之间有时还会打架。这就是起点。

2统一为 Context Graph

每一条规则,都能追溯到出处

Gym-Arc 把每个来源连到其中的证据,把证据连到它支撑的经营规则,再把规则连到执行它的环境机制和 Judge 检查项。点击任意一条规则即可查看来龙去脉。暂时没有对应字段的条款不会被丢掉,而是进入人工复核队列。

3基于图谱生成合成数据

一张图,生成一整族企业和客户

Context Graph 定义了哪些规则会变、怎么变。Gym-Arc 围绕它采样出一族企业,为每家企业生成需求、信任和耐心都对 Agent 隐藏的客户,并只根据 Agent 实际看得到的信息,算出每一步的最优决策。真实企业也落在同一个企业族里。

企业族

每一列是一家企业,每一行是一个规则维度。颜色越亮,离行业惯例越远。描边的列是通过资料包接入的企业。

合成客户

每一局采样一位客户。Agent 只看得到左栏;右栏决定客户的反应,只能靠提问一点点问出来。

同一位客户,换一家企业,正确答案就变了

环境根据 Agent 可观测的信息,算出每个下一步动作的期望价值。这就是监督信号,它随企业规则而变。

4编译成 RL Env + Judge

一个能练的环境,一个钻不了空子的 Judge

E = BuildEnv(T, C, A, V):任务结构 T 在行业内共享,Context C 来自图谱,A 是动作集,Verifier V 由同一份 Context 配置。只要违反企业规则就记 0 分,结果再好也不行。

5训练与评测

在企业族上训练,在从没见过的企业上验收

小模型在合成企业族上训练,然后到留出企业上评测:相似的新企业(E2)、新的规则组合(E3)、超出训练范围的取值(E4)、没见过的规则维度(E5),以及通过资料包接入的企业(E6)。所有假设都在第一次训练前预注册。

各评测集的规则合规率

遵守全部企业规则的决策占比,越高越好。

各评测集的决策质量提升

未训练模型损失的价值中,训练后挽回的比例,越高越好。

Gym-Arc 训练前只用 1 家企业训练用 Gym-Arc 企业族训练
6上线后的自迭代

部署、记录、校准、重训,一轮比一轮好

Agent 被部署到一个和训练环境不同的业务世界:客群结构不同,客户反应也不同。每一轮,它记录下所有轨迹和结果;Gym-Arc 用这些日志重新校准世界、重新训练,新模型过了 Judge 这一关才重新上线。

DEPLOYAgent 处理线上业务
LOG记录轨迹与结果
CALIBRATE按观测到的行为重新拟合世界
REGENERATE用更新后的图谱生成新一批 episode
RETRAIN用新的监督信号训练模型
GATEJudge 通过后才重新上线

各轮部署后的决策准确率

每一轮用同一批留出测试决策,两个 seed 取均值。

Gym-Arc 热启动冷启动:先上线规则手册

数据效率

准确率与用于训练的业务记录条数的关系。

业务记录 + Gym-Arc 合成世界只用业务记录
7训练场本身也在进化

真实反馈不只训练模型,也在打磨训练场

线上回流的每一条轨迹和业务结果,同时也是关于训练场本身的证据:客户真实的反应是什么样,哪些规则只体现在结果里,训练场在哪些地方还在「猜」。Gym-Arc 把这些证据写回 Context Graph,每一版环境都比上一版更贴近真实业务。

FEEDBACK线上轨迹与业务结果
RE-FIT按日志重新校准客户反应模型
RECOVER从工单里读出只体现在结果中的规则
ASK没把握的规则主动要数据
REVIEW新条款进入人工复核
NEXT GYM更贴近真实的下一版训练场

用线上轨迹校准世界

校准前:训练场原来的假设校准后:按日志重新拟合真实业务
加载你的行业

带一本规则手册和一份工单来,
我们现场把闭环跑起来。

演示中我们现场接入你的一份资料包,展示它生成的 Context Graph,并按你的规则开始训练。

contact@dataarctech.com ← 返回 Gym-Arc 首页