疾病|“AI问诊就是抛硬币”!甚至漏掉67%病患( 二 )


文章图片

他们继续补充道,数据集是问题根源之一 。目前公开可用的数据集比较稀缺,这导致模型很容易产生带偏见的判断 。比如特定数据集中,医生给一个种族开的药比另一个种族多,这可能导致AI将病症与种族关联,而非病症本身 。
另一个问题是训练AI中的“透题”现象 。因数据集不足,用于训练模型的数据集和测试集会重叠,甚至该情况一些当事人还不知道,这也可能导致大家对模型的正确率过于乐观 。
疾病|“AI问诊就是抛硬币”!甚至漏掉67%病患
文章图片

△ Sayash Kapoor博士
尽管问题存在,但AI模型仍已被应用在实际诊断场景中,甚至直接下场看病 。
2021年,一个名为Epic Sepsis Model的医疗诊断模型被曝出严重漏检问题 。
该模型用于败血症筛查,通过识别病人早期患病特征检测,避免这种全身感染的发生,但密歇根大学医学院研究者通过调查分析了27697人的就诊情况,结果发现,该模型未能识别67%败血症病患 。
此后,该公司对模型进行了大调整 。
一位计算生物学家对此指出,该问题之所以较难解决,也同AI模型透明度不足有关 。“我们在实践中部署了无法理解的算法,也并不知道它带什么偏见”,他补充道 。
疾病|“AI问诊就是抛硬币”!甚至漏掉67%病患
文章图片

△ 曝出Epic Sepsis Model问题的文章
可以明确的是,只要上述问题一直未能解决,商业巨头及相关创业项目也有些举步维艰——
去年谷歌谷歌健康(Google Health)宣布人员拆分到各团队,前几天,谷歌孵化的生命健康子公司Verily又被曝裁员约15% 。
有没改进措施?
对于这样的现状,一些研究者和业内人士也在着手改进医疗AI 。
一方面,是构建靠谱的超大数据集 。
涵盖机构、国家和人口等多方面的数据,并向所有人开放 。
这种数据库其实已经出现了,比如英国和日本的国家生物库,以及重症病房远程监护系统eICU合作的数据库等 。
就拿eICU合作研究数据库来说,这里面大约有20万次的ICU入院相关数据,由飞利浦医疗集团和MIT的计算生理学实验室共同提供 。
为了规范数据库的内容,需要建立收集数据的标准 。例如一个关于医疗结果伙伴关系的可观测数据模型,让各医疗机构能以相同的方式收集信息,这样有利于加强医疗保健领域的机器学习研究 。
当然,与此同时,也必须重视严格保护患者的隐私,而且只有当患者本人同意时,才有资格把他们的数据纳入库 。
另一方面,想要提升机器学习质量的话,消除冗余数据也很有帮助 。
因为在机器学习中,冗余数据不仅会延长运行时间、消耗更多资源;而且还很可能造成模型过拟合——也就是训练出来的模型在训练集上表现很好,但是在测试集上表现较差 。
对于AI圈很热门的预测蛋白质结构,这个问题已经得到了有效缓解 。在机器学习过程中,科学家们成功地从测试集中删除了和训练集用到的过于相似的蛋白质 。
疾病|“AI问诊就是抛硬币”!甚至漏掉67%病患
文章图片

but,各病人医疗数据之间的差异,并没有不同蛋白质结构差异那么明显 。在一个数据库中,可能有许许多多病情非常相似的个体 。
【疾病|“AI问诊就是抛硬币”!甚至漏掉67%病患】