对话分享说明
分享默认关闭,要你自己打开。打开后,你和智能体的对话能帮我们找出本地模型和 harness 在哪里出错;只有在你另外允许时,才会用来训练模型。下面是具体的处理方式。应用界面目前只有英文,所以设置和选项名称保留英文原文。
打开分享
应用在第一次启动时会问你一次,之后随时可以在 Settings › Data sharing 里更改。一共三个勾选框:
- Share my chats to improve Local Quench(分享我的对话,帮助改进 Local Quench):从这一刻起的对话。
- Also chats from before I turned it on(也包括打开之前的对话):不勾就不包括。
- Also allow training models with my shared chats(也允许用我分享的对话训练模型):不勾就不允许。
每次更改都会连同时间和条款版本记录下来,记在你的电脑上,并在下次上传时记到我们的服务器上。
发送什么
每个对话包括:你的消息、模型的回复和推理过程、工具调用及其输出、模型名称、harness 设置、耗时,以及哪些内容是 harness 自己加进去的(这样训练时能分清哪些是你的话、哪些是我们的)。不发送:你的文件本身(只发送出现在对话里的部分)、你的设置、在 Settings 里填写的 API 密钥。基准测试运行的对话只会随你分享的基准测试结果一起发送(见下文)。
发送前删掉什么
对话进入发送队列之前,应用会在你的电脑上删掉:
- 已知服务(OpenAI、Anthropic、GitHub、Hugging Face、AWS、Google、Slack、Stripe 等)的 API 密钥和 token、私钥和 JWT;
- 赋给
password、secret、token或api_key这类名称的值,以及 URL 里的密码; - 看起来像密钥的长随机字符串;
- 邮箱地址;
- 路径里你的主目录(
/home/jan变成~),以及系统目录之外的所有其他绝对路径,只保留文件名和它所在的文件夹(/srv/customer-a/project/.env变成[PATH]/project/.env)。
Settings › Data sharing 里的“Preview on my chats”可以拿你的任何一个对话,把原文和将要发送的版本并排显示,并标出每处删除及其原因。真正发出去的副本在发送那一刻还会再脱敏一次;队列里无法作为对话读取的副本会被搁置,绝不发送。关闭分享或删除你的数据,也会中止正在进行的上传。
脱敏靠模式匹配,不可能识别所有内容:拆成两半写、经过编码或格式陌生的密钥,代码注释里的人名,数据库导出里的客户数据。如果项目里有这类数据,处理这个项目时请保持分享关闭。
什么时候发送
应用每五分钟查找一次有变化、且已经五分钟没有动静的对话,把它们放进本地发件箱,然后上传发件箱里的内容。没有网络也不会丢失:发件箱会等到下次联网再上传。之后继续进行的对话会重新完整发送一次,替换之前的副本。
我们怎么认出你
只靠应用生成的一个随机安装标识符,以及一个用来证明之后的上传来自同一个安装的密钥。没有账号,没有姓名,没有邮箱。你的标识符在 Settings › Data sharing 里:如果你就自己的数据写信给我们,请附上它,因为我们没有别的办法找到你的数据。
停止和删除
取消勾选第一个框,从那一刻起就不再发送任何内容:发件箱里等待的对话,以及还没发出的基准测试结果及其对话,都会被丢弃。关闭基准测试分享时,等待中的基准测试结果也会这样被丢弃;在应用里删除一次运行时,如果它的分享还没发出,也会一并丢弃。“Delete my shared data”会清空所有本地队列、关闭分享并发送删除请求:服务器会删除以你的安装标识符存储的全部内容,通常在下次联网后几分钟内完成;只有服务器确认后,应用才会显示删除完成。服务器只保留你的同意记录和删除记录、一份技术变更日志(其中你的安装标识符只以哈希形式出现),以及在被替换之前的备份副本(保留最近 14 份每日备份)。
两个独立的选择
- Share my chats to improve Local Quench。我们用这些对话找出模型和 harness 在哪里失败、测试改动、编写新的基准测试任务。
- Also allow training models with my shared chats。可选。只有勾选了这一项,你的对话才可能被用来训练或微调模型,这些模型以后可能会作为可下载的权重公开发布。
每个分享的对话都带着发送时你所做的训练选择,你的同意日志会记录每一次更改。收回训练许可适用于你分享过的所有对话(包括之前的),对此后开始的任何训练都有效。在此之前训练好的模型会保留它学到的东西,因为训练好的模型无法忘掉单个样本。
基准测试结果
这是另一个独立的选择,用于公开排行榜。每次 QuenchBench 运行结束后,应用会询问是否分享这次的结果,并展示将要发送的全部内容:模型、量化、模型服务器及其设置(推理引擎和版本、KV 缓存类型、flash attention、temperature 等采样设置)、处理器、显卡、内存、基准测试设置和每个任务的数据。绝不包括你的代码、你自己的对话、文件路径或命令。Settings › Data sharing 里的勾选只决定这个问题默认选哪个答案。同一个对话框里还有第二个勾选框“Also send the agent's conversations from this run”:勾上后,这次运行的对话会一起发送,也就是任务文本、模型的回复以及它在我们的任务文件上运行的命令,并像其他分享的对话一样脱敏。QuenchBench 的任务是我们的,所以这些对话不含你项目里的任何内容。它们永不公开、永不出售;它们和结果保存在一起,用于改进 harness;只有在你另外允许用分享的对话训练模型(并且模型是本地模型)时,才用于训练和评估模型;并与结果一起删除。打开了对话分享时,它们总会随你分享的结果一起发送。来自许多电脑的结果按模型、量化、KV 缓存类型和硬件合并,这样排行榜显示的就是在某块显卡上真实跑出来的情况。分享的结果不会出售:出售属于另一个用途,需要单独、明确的同意,而应用不会征求这项同意(详见隐私政策)。
你同意的条款
在你能勾选之前,应用会展示完整的分享条款:你允许我们为开发 Local Quench 而免费、非独占、在全球范围内存储、分析和修改你分享的对话,并且只有在你第二次同意之后,才可以用它们训练模型。对话本身永不公开、不出售,也不交给其他公司用于其自身目的。只分享你有权分享的对话:为雇主或客户做的工作可能需要他们的许可。如果条款有变,应用会重新征求你的同意,在你同意之前不再发送任何内容。