医院想利用人工智能共同训练医疗影像诊断模型,首先遇到的往往不是算法问题,而是数据问题。CT、MRI、皮肤镜、病理图像等医疗数据涉及患者隐私,很难把不同医院的数据直接集中到一个服务器。联邦学习因此成为医疗AI研究中的重要方向:数据留在医院本地,只交换模型参数或更新结果。但这里还有一个容易被忽视的问题——不上传原始影像,并不等于绝对不会泄露影像。攻击者仍可能通过梯度反演等方式,从模型更新中恢复部分训练信息。PASHE-FL正是针对这个问题提出的一种个性化选择性同态加密方案。它没有简单地把整个模型全部加密,而是识别共享骨干网络中更重要的参数,只对其中一部分实施CKKS同态加密,同时将个性化分类头保留在医院本地。实验显示,这种设计能够在医疗影像分类精度、患者隐私保护、通信开销和计算成本之间取得更实际的平衡。

一、为什么医疗AI很难直接集中数据训练
人工智能做医疗影像诊断,通常离不开大量训练数据。
问题在于,一家医院拥有的数据往往不够全面。
不同医院面对的患者群体、设备、疾病分布和影像类型都可能不同。如果能够把多家医疗机构的数据结合起来,理论上更容易训练出泛化能力较好的模型。
但医疗数据不是普通图片。
患者影像、诊断记录以及相关临床信息具有很强的隐私属性,也受到医疗机构内部管理制度和相关数据法规约束。
所以现实问题变成了:
能不能让多家医院一起训练AI,却不用把患者原始数据交出去?
Federated Learning,也就是联邦学习,就是在这种需求下越来越受到医疗AI领域关注。
二、什么是医疗联邦学习
联邦学习最直观的理解是:
数据不动,模型动。
假设现在有20家医疗机构。
传统集中式机器学习可能要求把20家机构的数据集中到一个服务器,再统一训练。
联邦学习则不同。
每家医院的数据仍然留在自己的服务器。
中央服务器向各个客户端发送当前Global Model,各医院利用自己的数据进行Local Training,然后把训练后的Model Update发送回服务器。
服务器完成Aggregation以后得到新的Global Model,再进入下一轮训练。
| 训练方式 | 患者数据位置 | 机构之间主要传输什么 |
|---|---|---|
| 集中式机器学习 | 集中到统一环境 | 原始数据 |
| 联邦学习 | 保留在各机构本地 | 模型参数或模型更新 |
| 个性化联邦学习 | 保留在各机构本地 | 共享模型部分 |
三、数据不离开医院就一定安全吗
这是理解这项研究最重要的一步。
答案是:
不一定。
很多人第一次接触Federated Learning,会认为只要Patient Data没有上传,Privacy Problem就已经解决。
但客户端仍然需要上传:
Gradient
Parameter Update
Model Weight
这些信息本身也可能携带训练数据的特征。
换句话说,攻击者不一定需要偷走原始CT或者皮肤镜图片。
如果能够观察模型更新,也可能尝试反推出训练数据。
四、什么是梯度反演攻击
Gradient Inversion Attack是联邦学习隐私研究里很典型的一类攻击。
攻击者已经看到客户端上传的Gradient。
接下来构造一张随机图片。
然后不断调整这张图片,让它产生的Gradient越来越接近客户端真正上传的Gradient。
经过大量Optimization以后,随机图片可能逐渐出现真实训练图像的结构。
这就是所谓的:
从Gradient反推Training Data。
对于普通图片,这已经属于隐私问题。
如果对象换成Medical Image,风险更加敏感。
五、为什么医疗影像特别关注Gradient Leakage
医疗图片本身可能包含具有诊断价值的信息。
例如:
皮肤病变图像
血细胞图像
肺部影像
病理图像
如果攻击者能够从模型更新里恢复出具有识别意义的医学结构,那么“原始数据没有离开医院”这件事本身,并不能说明训练过程不存在隐私泄露。
六、除了梯度反演,还有成员推断攻击
Membership Inference Attack解决的是另外一个问题。
它不一定恢复患者图片。
而是试图回答:
某一条患者数据,到底有没有参加过这个模型的训练?
攻击者可以观察Model Loss或者Confidence等信息,推断一个Sample是不是Training Member。
所以联邦学习的Privacy Risk至少可以分成两个方向。
| 攻击方式 | 攻击者想获得什么 |
|---|---|
| Gradient Inversion | 尝试恢复训练图像或训练数据结构 |
| Membership Inference | 判断某个样本是否参与过模型训练 |
七、怎样保护客户端上传的Model Update
常见方向主要包括:
Secure Aggregation
Differential Privacy
Homomorphic Encryption
三种技术解决问题的方式并不完全一样。
八、Secure Aggregation解决什么问题
Secure Aggregation的核心思想,是让Server只能看到多个客户端更新后的聚合结果,而不能直接看到某一家机构的完整Update。
它可以隐藏Individual Update。
但协议通常还需要考虑Client Dropout以及多方协同等实际问题。
九、Differential Privacy又是什么思路
Differential Privacy通常会向数据或者更新中加入经过设计的Noise。
它的重要优势是能够提供Formal Privacy Guarantee。
但这里存在一个经典矛盾:
Noise加得越强,模型Utility越可能受到影响。
医疗数据本身还经常存在Sample Size较小、类别不平衡、不同医院数据分布差异较大等情况。
因此Privacy和Accuracy之间的Trade-off需要仔细处理。
十、什么是Homomorphic Encryption
Homomorphic Encryption,也就是同态加密,是另一条路线。
普通Encryption通常需要:
先Decrypt,再计算。
同态加密的特点则是:
可以直接在Ciphertext上完成特定计算。
服务器不需要先看到每家医院的Plaintext Model Update,也能够执行Aggregation。
十一、为什么联邦学习经常使用CKKS
CKKS是一种适合近似数值运算的Homomorphic Encryption Scheme。
机器学习模型参数通常都是Real-valued Vector。
CKKS能够对这些向量进行Packing,并支持Ciphertext Addition以及和Plaintext Scalar之间的运算。
所以它比较适合FedAvg这一类需要Weighted Aggregation的联邦学习场景。
十二、既然同态加密这么好,为什么不把整个模型全部加密
因为:
贵。
这里的贵不只是钱。
主要包括:
通信量增加
客户端Encryption Time增加
服务器Aggregation Cost增加
Decryption Cost增加
CKKS Ciphertext通常明显大于它所承载的Plaintext Vector。
如果一个大型Neural Network拥有数百万甚至更多Parameters,把整个模型每一轮都做Homomorphic Encryption,会给实际部署带来很大压力。
十三、医疗机构的Cross-silo场景为什么尤其在意通信成本
医疗Federated Learning常见的是Cross-silo模式。
参与者不是几万台手机。
而可能是:
医院A
医院B
研究中心C
影像中心D
客户端数量相对有限,但每家机构的数据分布差异可能很大。
与此同时,大型Backbone本身的参数规模并不小。
如果每轮都把Full Model做CKKS Encryption,网络和计算成本就会迅速上升。
十四、PASHE-FL想解决的就是这个矛盾
PASHE-FL的基本问题可以概括成一句话:
能不能不要加密所有参数,而是优先加密真正重要的部分?
如果能够做到这一点,就有机会同时获得:
较低的通信成本
较低的Encryption Time
较好的模型Accuracy
更强的Gradient Reconstruction Resistance
十五、PASHE-FL首先使用个性化联邦学习结构
普通FedAvg通常把整个模型进行Global Aggregation。
个性化Federated Learning则可以把模型拆成:
Shared Backbone + Personalized Head。
Shared Backbone负责学习比较通用的Representation。
Personalized Head则根据每一家医院自己的数据进行训练。
十六、为什么Personalized Head要留在医院本地
不同医院的Patient Population往往不一样。
例如:
一家医院某类疾病患者很多。
另一家医院则可能主要面对另外一种疾病。
如果所有机构强制使用完全相同的Classifier,很容易受到Non-IID Data影响。
保留Local Head能够让每个Client根据自己的Label Distribution进行适配。
与此同时:
Head不上传,就不需要加密,也不会进入Server能够观察的通信Channel。
十七、PASHE-FL真正加密的是哪部分
只处理:
Shared Backbone。
但即使是Backbone,也没有全部进行Homomorphic Encryption。
系统会进一步判断:
哪些Coordinates更值得优先保护。
十八、它怎么判断哪个参数重要
PASHE-FL观察Global Backbone相邻两轮之间每个Coordinate发生了多大变化。
如果某个参数:
上一轮和这一轮变化很明显。
它的Importance Score就比较高。
这种方法称为:
Delta-based Importance Selection。
十九、为什么参数变化量可能和隐私风险有关
Gradient Inversion Attack本质上依赖模型Update里的信息。
如果某些Coordinates的Update很大,它们对Gradient Matching Objective的影响往往也更明显。
因此PASHE-FL提出一个直观假设:
优先隐藏这些信息量较大的Coordinates,可能比随机隐藏同样数量的Parameters更有效。
这里需要注意:
Delta Score是一种Heuristic Proxy。
它并不是某个患者样本Privacy Leakage的严格数学证明。
二十、为什么这个Importance Score很巧妙
因为它来自:
Public Global Model。
服务器自己就可以计算。
不需要每家医院先根据自己的Gradient产生一份Mask,再互相协调。
因此所有客户端天然得到同一套Encryption Mask。
二十一、为什么所有客户端必须使用同一个Mask
这是Selective Homomorphic Encryption里一个很实际的问题。
假设医院A认为Parameter 100需要加密。
医院B却把Parameter 1000放在同一个Ciphertext Slot。
服务器进行Homomorphic Addition以后:
两个位置根本对应不上。
最终Aggregate就会出错。
所以:
Coordinate Alignment非常重要。
二十二、PASHE-FL怎样避免Mask协商
服务器根据Public Global Backbone直接计算Importance Ranking。
然后选出Top Coordinates。
所有客户端收到同一个Mask。
因此:
医院A的第一个Encrypted Slot和医院B的第一个Encrypted Slot代表同一个Backbone Coordinate。
服务器可以直接进行Homomorphic Weighted Sum。
二十三、剩下没有加密的参数怎么办
没有进入Top Importance范围的Coordinates:
不做CKKS Encryption。
但是如果全部使用Float32传输,通信量仍然可能很大。
因此PASHE-FL进一步对这些Parameters进行:
Quantization。
二十四、Quantization为什么可以降低通信量
简单来说:
原本一个Weight可能使用32 bit表示。
经过量化以后,可以使用:
8 bit
12 bit
16 bit
等较低精度表示。
每个Parameter占用的Bytes下降,Network Payload自然也会下降。
二十五、Quantization是不是也属于隐私保护
不是这项研究中的主要Privacy Mechanism。
实验发现,改变Quantization Bit-width对Gradient Reconstruction Quality基本没有明显影响。
所以这里应该区分:
| 机制 | 主要作用 |
|---|---|
| Personalized Head | 适应不同Client数据,同时减少需要上传的参数 |
| Selective CKKS Encryption | 保护重要Backbone Coordinates |
| Quantization | 减少未加密部分的通信量 |
二十六、为什么Encryption Ratio还要动态变化
Gradient Inversion的风险并不是整个Training Process都一样。
训练早期的Update通常包含更明显的可重建信息。
所以PASHE-FL没有固定使用一个Encryption Ratio。
它使用:
Annealing Schedule。
训练早期加密比例较高。
随着Training Round增加,加密比例逐渐下降。
二十七、这种设计直观上是什么意思
可以理解成:
风险高的时候多花一些Encryption Budget,风险下降以后再减少成本。
实验默认:
最高Encryption Ratio为50%。
最低逐渐下降到5%。
这样不需要从第一轮到最后一轮都维持50%的高成本加密。
二十八、完整的一轮PASHE-FL怎么运行
第一步:Server广播当前Global Backbone。
第二步:Server根据Public Model计算Parameter Importance。
第三步:根据当前Training Round确定Encryption Ratio。
第四步:生成所有客户端共用的Encryption Mask。
第五步:每家医院在自己的Private Data上进行Local Training。
第六步:Personalized Head留在医院本地。
第七步:重要Backbone Coordinates使用CKKS Encryption。
第八步:其余Coordinates进行Quantization。
第九步:Server分别聚合Encrypted和Quantized部分。
第十步:重新组成新的Global Backbone,进入下一轮Training。
二十九、研究使用了哪些医疗影像数据
实验并没有只在一个Dataset上验证。
一共包含四个Medical Image Classification Tasks。
| 数据集 | 类别数量 | 联邦场景 |
|---|---|---|
| BloodMNIST | 8类 | 20 Clients Non-IID |
| DermaMNIST | 7类 | 20 Clients Non-IID |
| PneumoniaMNIST | 2类 | 20 Clients Non-IID |
| Fed-ISIC2019 | 8类 | 6个真实医疗中心Cross-silo |
三十、为什么Fed-ISIC2019特别值得关注
前三个MedMNIST Dataset使用人为构造的Non-IID Partition。
Fed-ISIC2019则不同。
它包含来自真实Acquisition Centers的数据分布。
六个Client对应原始医疗数据采集中心。
所以它更接近现实中的:
不同医院拥有不同Patient Distribution的Cross-silo Federated Learning。
三十一、实验比较了哪些方法
| 方法 | 主要作用 |
|---|---|
| FedAvg | 普通Global Federated Learning |
| FedHE | Full-model Homomorphic Encryption |
| FedPer | Personalized Federated Learning |
| Selective-HE | 固定比例Selective Encryption |
| PASHE-FL | Personalization + Selective HE + Annealing |
三十二、PASHE-FL的分类准确率怎么样
四个Medical Tasks上,PASHE-FL整体保持在Personalized FedPer附近。
以BloodMNIST为例:
FedPer Accuracy约为95.6%。
PASHE-FL约为94.7%。
在Fed-ISIC2019上:
FedPer约为82.1%。
PASHE-FL约为82.4%。
也就是说,Selective Encryption并没有带来非常明显的Accuracy Collapse。
三十三、这里有一个很容易误解的地方
PASHE-FL比FedAvg准确,并不能说:
“因为同态加密提高了模型Accuracy。”
真正带来Accuracy优势的是:
Personalization。
FedHE做了Encryption但没有Personalization,它的Accuracy仍然和FedAvg接近。
FedPer没有Encryption,却和PASHE-FL非常接近。
因此不同模块的贡献应该分开理解。
三十四、选择性同态加密真正带来了什么
主要是两件事情:
降低Update Leakage
降低Full-model HE的成本
而Personalized Head主要负责:
适应Non-IID Data
保持各Client的Classification Utility
三十五、PASHE-FL通信成本到底降低多少
相比Full-model FedHE:
Per-round Uplink降低约7.1至7.6倍。
Client Encryption Time:
降低约8倍。
这个差距已经不是几个百分点。
而是一个明显的Order-of-magnitude Improvement。
三十六、MedMNIST上的实际通信量是多少
Full-model FedHE:
每轮约911 MB。
PASHE-FL:
约120 MB。
Client Encryption Time:
FedHE约20秒。
PASHE-FL约2.5秒。
三十七、Fed-ISIC2019上的差距更明显
Fed-ISIC2019使用EfficientNet-B0 Backbone。
Full-model FedHE每轮通信量约:
1876 MB。
PASHE-FL约:
264 MB。
Encryption Time:
FedHE约42秒。
PASHE-FL约4.9秒。
| 场景 | Full-model FedHE | PASHE-FL |
|---|---|---|
| MedMNIST Uplink | 约911 MB | 约120 MB |
| MedMNIST Encryption Time | 约20秒 | 约2.5秒 |
| Fed-ISIC2019 Uplink | 约1876 MB | 约264 MB |
| Fed-ISIC2019 Encryption Time | 约42秒 | 约4.9秒 |
三十八、为什么只加密5%到10%也可能有效
这是整个实验最有意思的结果之一。
没有Encryption的时候:
Gradient Inversion Reconstruction的SSIM大约可以达到:
0.98。
这意味着重建图像和原图结构非常接近。
但如果按照Delta Importance加密Top 5%至10%的Backbone Coordinates:
SSIM会明显下降。
三十九、BloodMNIST的结果怎么样
没有Encryption时:
SSIM约0.98。
加密Top 5%重要Coordinates:
SSIM下降到约0.58。
加密Top 10%:
进一步下降到约0.36。
到25%时:
Reconstruction已经基本难以识别。
四十、DermaMNIST上的变化更明显
Top 5% Importance Encryption:
SSIM约0.54。
Top 10%:
下降到约0.23。
说明并不是一定要把整个Backbone全部Encryption以后,Gradient Reconstruction才会受到明显影响。
四十一、随机加密5%有没有一样的效果
没有。
这是验证PASHE-FL设计是否真正有效的关键实验。
如果只是随机挑选5%、10%甚至更多Coordinates进行Encryption:
SSIM仍然可以保持在大约:
0.97至0.98。
也就是说:
攻击者仍然能够恢复大量结构。
四十二、这说明比例不是唯一关键
Selective Encryption真正重要的问题不是“加密了多少参数”,而是“到底加密了哪些参数”。随机隐藏一部分Coordinates并不一定有明显效果,优先隐藏和当前模型更新关系更大的Coordinates才是这项研究的关键发现。
四十三、Parameter Magnitude可以代替Delta Score吗
研究还测试了:
Magnitude-based Selection。
也就是优先Encryption绝对值最大的Weights。
结果并不好。
在Encryption Ratio较低时,它的Reconstruction SSIM仍然接近0.98。
原因也比较容易理解:
一个Weight本身很大,不代表它在当前Training Round携带了最多关于当前Batch的信息。
四十四、Layer-wise Selection怎么样
另一种方法是按照Layer整体的重要程度进行Encryption。
这种方法表现介于Delta和Random之间。
但不同Dataset之间并不稳定。
原因之一是:
一个Layer可能非常大。
如果为了保护少数重要Coordinates直接把整个Layer加密,就会浪费大量Encryption Budget。
四十五、为什么Delta Selection更合理
Delta关注的是:
当前Global Model相对上一轮到底发生了哪些变化。
它更接近Current Update。
而Gradient Inversion Attack本身就是利用Update Signal进行Reconstruction。
所以实验结果支持:
Delta比Static Weight Magnitude更适合作为当前场景下的Importance Proxy。
四十六、Annealing Schedule是不是必须使用指数函数
不一定。
研究比较了:
Exponential Schedule
Linear Schedule
不同Decay Constant
不同Maximum和Minimum Encryption Ratio
结果发现:
不同Annealed Configurations之间的Accuracy变化通常不超过约0.2个百分点。
所以真正重要的不是一定要使用某个数学形式。
关键是:
Training Early Stage保持较高Protection,后期逐步降低Encryption Ratio。
四十七、为什么不一直保持50% Encryption
因为Accuracy没有得到明显提升。
但通信成本会明显增加。
实验中把Encryption Ratio固定在50%,虽然能够保持类似Utility,但Uplink接近使用Annealing方案的4倍。
因此动态调整Ratio主要解决的是:
Cost Efficiency。
四十八、Personalized Head越深是不是越好
研究还测试了不同Head Depth。
把更多Layers留在Client Local以后:
Shared Backbone会变小。
需要传输和Encryption的参数也会减少。
实验中,Uplink可以从约121.5 MB进一步下降到:
13.5 MB甚至6.5 MB。
Accuracy还可能略有提高。
四十九、那为什么不全部留在本地
因为Federated Learning仍然需要Shared Representation Learning。
Head越深:
每个Client自己的Local Capacity越大。
但跨机构共享的信息也越少。
而且如果某一家医院数据量很少:
太深的Local Head可能没有足够数据训练。
所以Head Depth本身也是:
Personalization和Shared Learning之间的Trade-off。
五十、研究中还发现了一个很实用的Quantization问题
在Fed-ISIC2019实验里:
直接对EfficientNet-B0使用8-bit Global Quantization:
Accuracy会明显下降。
实验结果大约只有:
53.7%。
而且不同Random Seeds之间波动很大。
五十一、为什么8-bit会突然失败
问题不是8-bit三个字本身。
而是:
Global Quantization Scale。
ImageNet Pretrained EfficientNet-B0的Weight Distribution具有Heavy-tailed特征。
少数非常大的Weights会决定整个模型的Scale。
大量比较小的Weights因此失去足够的Quantization Resolution。
训练就容易不稳定。
五十二、怎么解决这个问题
不要让整个Backbone共享一个Scale。
改成:
Per-tensor Quantization。
每一个Weight Tensor使用自己的Scale。
结果明显改善。
8-bit Per-tensor已经可以恢复到约74.5%的Accuracy。
12-bit或者16-bit Per-tensor进一步恢复到:
约82.0%至82.4%。
基本回到FedPer水平。
五十三、这个负面结果为什么值得保留
因为它说明:
模型压缩并不是Bit越低越好。
特别是在Pretrained Large Backbone里,Weight Distribution本身会影响Quantization Strategy。
只看通信量,很容易选择一个看起来最便宜、实际上把Training搞坏的方案。
五十四、Membership Inference实验结果怎么样
这里的结果和Gradient Inversion不同。
在三个MedMNIST Tasks中:
所有方法的Loss-threshold Membership Attack AUC都在:
0.49至0.51附近。
基本接近随机猜测。
但在Fed-ISIC2019上:
表现较好的模型都出现大约:
0.615至0.620的Attack AUC。
PASHE-FL约为:
0.618。
五十五、这是不是说明PASHE-FL对Membership Inference没有帮助
对于这项实验中的Loss-threshold Attack:
是的,不能声称它提供了Membership Inference Protection。
原因在于:
PASHE-FL保护的是:
客户端上传过程中的Model Update。
而这里的Membership Attack攻击的是:
最终训练完成的Model。
两者不是同一个Attack Surface。
五十六、为什么这个结果反而很重要
做Privacy-preserving AI研究时,很容易犯一个问题:
某一种Attack变差以后,就直接写成:
“模型隐私更安全。”
这个结论通常太大。
更严谨的说法应该是:
PASHE-FL在实验条件下明显增加了Gradient Inversion Reconstruction的难度。
但并没有证明能够防御所有Privacy Attacks。
五十七、这项方法有没有Formal Privacy Guarantee
没有。
研究提供的是Empirical Privacy Evidence。
也就是:
在给定Dataset、Attack Method和Encryption Setting下,通过实验观察攻击效果。
它不是Differential Privacy那种Formal Guarantee。
五十八、Server是不是完全不可能解密
研究中的Implementation属于Simulation。
一个Single Process持有CKKS Key Pair。
因此实验环境中Server可以直接解密Aggregate Ciphertext。
这样做便于测量:
Accuracy
Communication
Encryption Time
Aggregation Time
但真正Deployment不能简单照搬。
五十九、真实医院部署应该怎么处理Key
Secret Key应该避免直接放在Server。
可以考虑:
Client-side Decryption
Threshold Decryption
Multi-key CKKS
这样Server可以完成Encrypted Aggregation,却不能随意解密某一家医院的Individual Update。
六十、Threshold Decryption是不是没有额外成本
当然不是。
它会增加:
Downlink Traffic
Partial Decryption Share Uplink
Additional Round Trip
Key Management Complexity
因此论文中的Communication Cost主要是:
Client-to-server Uplink。
不能直接理解成完整真实Deployment的所有网络成本。
六十一、PASHE-FL真正解决了什么
| 问题 | PASHE-FL的处理方式 |
|---|---|
| 医院数据Non-IID | Personalized Local Head |
| Full-model HE成本太高 | Selective Homomorphic Encryption |
| 随机选择参数保护效率低 | Delta Importance Selection |
| 客户端Mask难以对齐 | Server从Public Model统一生成Mask |
| 训练后期仍维持高加密成本 | Annealing Encryption Ratio |
| 未加密参数通信量大 | Quantization |
六十二、这项研究有哪些明显局限
第一,没有Formal Differential Privacy Guarantee。
第二,Privacy Evidence主要来自特定Attack实验。
第三,更强或者Adaptive Attacker可能得到不同结果。
第四,真实Deployment的Key Management还需要完善。
第五,目前Datasets和Client Scale仍然有限。
第六,Delta Score只是Data-independent Proxy,并不是Per-sample Leakage的直接测量。
第七,Selective Encryption并没有解决Final Model的Membership Leakage。
六十三、为什么不能写成“PASHE-FL彻底解决医疗AI隐私问题”
因为实验并不支持这样的结论。
它证明的是一个更具体的问题:
选择重要Backbone Coordinates进行同态加密,可以在明显降低Full-model HE成本的同时,提高特定Gradient Inversion Attack下的Reconstruction Resistance。
这和“所有患者隐私问题都解决了”是两回事。
六十四、医疗联邦学习下一步还可以研究什么
比较值得继续研究的方向包括:
更强Gradient Inversion Attack
Adaptive Privacy Attack
Formal Differential Privacy
Threshold CKKS
Multi-key Homomorphic Encryption
Adaptive Encryption Schedule
Per-sample Leakage Estimation
大规模Cross-silo Medical FL
不同医疗机构Domain Shift
Communication-efficient Federated Learning
六十五、做医疗AI联邦学习论文时最容易忽略什么
第一,不要把“不传原始数据”等同于“绝对隐私”。
第二,不要只比较Classification Accuracy。
如果论文主题包含Privacy-preserving Federated Learning,还应该分析:
Attack Success
Communication Cost
Encryption Time
Privacy Boundary
Threat Model
第三,不要把Personalization带来的Accuracy提升归因给Encryption。
第四,必须把Negative Result留下来分析。
例如8-bit Global Quantization在EfficientNet-B0上失败,就是一个很有研究价值的结果。
六十六、为什么实验设计比单纯换算法更重要
如果只做:
FedAvg和FedPer比较。
然后再加入一个Homomorphic Encryption模块。
很容易回答不了:
到底是哪一部分真正产生效果。
更完整的Experimental Design应该把:
Personalization
Encryption
Selection Rule
Encryption Ratio
Quantization
Attack Type
分别进行Ablation。
这样最终结论才知道应该归因给哪个模块。
六十七、医疗人工智能和联邦学习论文可以怎样继续展开
如果研究方向涉及Medical Imaging、Federated Learning、Privacy-preserving AI、Homomorphic Encryption或者Differential Privacy,真正困难的部分往往不是把一个现成模型跑起来,而是把Research Question设计完整。
例如同样研究医疗联邦学习,可以继续追问:
不同医院Non-IID程度增加以后模型会怎样
Client数量增加以后Communication Cost如何变化
更强Gradient Inversion能否绕过Selective Encryption
Encryption Ratio怎样自动根据Risk变化
Threshold CKKS加入以后真实Latency是多少
不同Backbone对Quantization是否同样敏感
如何同时处理Gradient Leakage和Membership Leakage
对于已经有研究题目、数据集、模型代码或者论文初稿的项目,辅导时更值得花时间的地方通常是研究问题梳理、实验矩阵设计、Baseline选择、消融实验、统计检验、隐私攻击设置、结果解释以及目标期刊方向,而不是简单把模型堆得越来越复杂。
FAQ-医疗影像联邦学习与同态加密常见问题
Q1-什么是医疗联邦学习
医疗联邦学习允许不同医院在不直接集中患者原始数据的情况下共同训练机器学习模型,各机构通常保留自己的数据,只交换模型参数或更新。
Q2-联邦学习不上传患者数据是不是就绝对安全
不是。模型梯度和参数更新仍可能包含训练数据的信息,攻击者可能利用Gradient Inversion或者Membership Inference等方法分析这些信息。
Q3-什么是PASHE-FL
PASHE-FL是一种Personalized Selective Homomorphic Encryption联邦学习方案。它把个性化分类头留在客户端,只对共享Backbone中更重要的一部分Coordinates进行CKKS加密。
Q4-为什么不直接把整个医疗AI模型全部加密
Full-model Homomorphic Encryption会明显增加Ciphertext大小、客户端Encryption Time以及服务器聚合成本。PASHE-FL希望用Selective Encryption降低这部分开销。
Q5-PASHE-FL通信成本降低多少
实验中相比Full-model FedHE,每轮Uplink降低约7.1至7.6倍,Client Encryption Time约降低8倍。
Q6-只加密5%的参数真的有作用吗
关键取决于选择哪些参数。使用Delta Importance Selection时,Top 5%至10%的重要Backbone Coordinates被加密后,Gradient Reconstruction SSIM明显下降,而随机加密相同比例的Coordinates仍然可以保持较高重建质量。
Q7-Quantization能不能保护患者隐私
在这项研究的实验中,改变Quantization Bit-width并没有明显改变Gradient Reconstruction Quality,因此Quantization主要用于降低通信量,而不是主要隐私保护机制。
Q8-PASHE-FL可以防Membership Inference吗
目前不能这样声称。Fed-ISIC2019实验中PASHE-FL的Loss-threshold Membership Attack AUC约为0.618,与其他高Utility模型接近,因此Selective Encryption没有明显降低最终模型的Membership Leakage。
Q9-为什么医疗联邦学习需要Personalization
不同医院的患者和疾病类别分布往往不同。Personalized Head能够让每个Client根据自己的Local Data进行适配,减少单一Global Model在Non-IID环境下的性能下降。
Q10-PASHE-FL已经可以直接部署到医院吗
还不能简单这样理解。当前实验属于Simulation,真实Deployment还需要进一步解决Secret Key Management、Threshold Decryption、完整Downlink Cost、更强Privacy Attack以及更大规模Client测试等问题。
结语-医疗AI隐私保护不能只看有没有上传原始数据
联邦学习解决了医疗AI中的一个重要问题:医院不需要直接把患者原始影像集中到同一个地方,也可以参与Collaborative Training。
但它并没有自动消除所有Privacy Risk。
Gradient和Model Update仍然可能成为新的信息泄露入口。
PASHE-FL给出的思路比较务实:不追求把整个模型从头到尾全部同态加密,而是先利用Personalized Federated Learning减少必须共享的模型部分,再根据Public Global Model识别更重要的Backbone Coordinates,对这些位置实施Selective CKKS Encryption,其余参数则通过Quantization降低通信成本。
从实验结果来看,这种方式能够把Full-model HE的Uplink和Encryption Cost降低约7至8倍,同时把分类Accuracy保持在FedPer附近。更值得注意的是,Importance-based Encryption只需要覆盖较小比例的Coordinates,就能够明显降低Gradient Inversion的Reconstruction Quality,而Random Encryption相同比例的参数并没有产生类似效果。
不过,这项结果也说明了医疗AI隐私研究为什么不能只给出一句“更加安全”。Selective Encryption主要保护的是Transmission Update,并没有自动解决Final Model的Membership Inference,也没有提供完整Formal Privacy Guarantee。
对于医疗人工智能研究而言,更值得继续追问的问题已经从“联邦学习能不能训练”逐渐转向“怎样在Accuracy、Privacy、Communication、Computation和真实Deployment之间取得可验证的平衡”。这也是医疗联邦学习从实验研究走向真实临床协作时必须面对的问题。