本文转自生信火公众号，点击名片加关注哦，持续分享最新科研热点
遥想当年，一进组准备大干一场，发它数篇SCI的小伙伴们，现在的产出如何？火火经常收到后台朋友们的私信，面临开题、毕业或者申请项目等等的时候，再开始追忆时间，妥妥的“白头搔更短，浑欲不胜簪”，火火深知大家的烦恼，都想发一篇生信文章，0实验弯道超车~话不多说，速速上车学习起来吧~
今天分享的这篇文章仅凭公共数据就发了82分+Nature顶级大子刊！强化学习也被称为是和监督学习、非监督学习并列的第三种机器学习方法。该文的强化学习（RL）模型能够提高黑色素瘤和基底细胞癌的诊断敏感性，减少了AI的过度自信。此外通过与皮肤科医生的合作，RL模型在提高正确诊断率和最佳管理决策率方面表现也是相当出色。研究表明，将人类偏好整合到基于图像的诊断算法中，可以改善AI的诊断决策支持，并可能推动个性化医疗决策在临床实践中的应用。关键是！作者还公开了监督学习模型和强化学习模型的代码（在GitHub）想发文章的小伙伴们，挖挖数据发几篇还不是自己说了算？(ps：该怎么思路创新，生信优先发文？那必须得跟上火火，另外生信必备得服务器火火也有！想拥有快点击下方名片关注吧)。
题目：基于人工智能的皮肤癌决策支持的强化学习模型
杂志：NATURE MEDICINE
影响因子：IF=82.9
该文是探索人类偏好如何改进基于人工智能（AI）的决策支持系统，特别是在皮肤癌诊断领域。研究团队发现，尽管AI在某些诊断成像领域展现出与临床专家相似或更高的准确性，但仅依赖敏感性来评估诊断测试是不够的，因为低特异性也会带来风险，如侵入性程序、患者焦虑和医疗资源浪费。因此，该研究的核心是利用强化学习（reinforcement learning）模型，通过考虑专家生成的奖励和惩罚表，平衡不同诊断错误的利弊，以提高AI在皮肤癌诊断中的敏感性和准确性。
数据来源
1.数据收集：使用公开可用的HAM10000数据集，包含了10,015张图像，涵盖了多种皮肤病变，包括黑色素瘤和基底细胞癌等，以及良性病变。
2.监督学习模型（SL）训练：首先，作者训练了一个监督学习模型，该模型旨在最小化类频率加权的交叉熵损失，以最大化平均召回率，并预测七种不同诊断的多类概率。
3.模型测试与评估：在独立的测试集上评估SL模型的外部有效性，该测试集包含1,511张图像。
4.强化学习模型（RL）：开发了一个基于深度Q学习的强化学习模型，该模型使用一维向量结合SL模型的多类概率和特征向量作为初始状态。
5.奖励和惩罚机制设计：创建了一个基于皮肤科医生生成的奖励表格，其中对于正确和错误的诊断根据皮肤癌的类型给予不同的奖励和惩罚。
6.模型训练与优化：RL模型使用探索-利用策略、回放缓冲区和目标Q网络进行训练，以稳定训练过程。
7.临床场景模拟：通过设计不同的临床场景，比较奖励调整的RL模型和基于阈值的SL模型的性能。
8.临床参与：研究团队让89名皮肤科医生在有无AI支持的情况下诊断相同的图像，并决定管理策略。
9.结果的统计分析：使用适当的统计测试对连续数据进行组间比较，并使用卡方检验或McNemar检验对比例进行比较。
a: 展示了用于训练RL模型的专家生成的奖励表，该表根据诊断的真实情况和预测结果来分配奖励和惩罚。
b, c: 展示了使用相同测试集的SL模型和RL模型的混淆矩阵，比较了它们的预测结果与真实情况之间的差异。
d: 通过箱线图展示了SL模型和RL模型预测结果熵的差异，RL模型增加了预测的不确定性，减少了AI的过度自信。
e, f: 通过读者研究比较了89名皮肤科医生在有无AI支持下诊断的敏感性和最佳管理决策的频率，RL模型支持下医生的诊断率和决策质量有显著提升。
a: 展示了专家对于决定切除的恶性概率阈值的中位数和四分位数范围。
b: 展示了基于SL模型和RL模型的接收者操作特征曲线，比较了不同专家使用阈值或奖励时的操作点。
c: 比较了使用SL模型的阈值和RL模型的奖励对黑色素瘤真正阳性率(TPR)的影响。
d-e: 在多类场景中，展示了专家对于局部治疗决策的阈值和每种行动的中位奖励。
f-h: 展示了不同模型（朴素方法、阈值调整的SL模型和RL模型）按诊断分类的行动混淆矩阵。
i-l: 在以患者为中心的方法中，展示了专家对于忽略、监测或切除的恶性概率阈值，以及每种行动和诊断的中位奖励，以及根据模型对良性病变进行切除和监测的数量。
m: 展示了针对55个黑色素瘤的管理策略，比较了不同模型的决策。
文章小结
总之，研究团队讨论了RL模型如何通过考虑管理决策的后果来减少AI的过度自信，并提高皮肤科医生的诊断准确性和管理决策的最优性。整个研究设计路线比较系统，从问题定义到数据收集、模型开发、临床模拟、实际应用测试，再到统计分析和结果讨论，每一步都为最终验证假设和得出结论奠定了基础。高分文章果然实力强悍，强化学习的涉及方法和验证思路这么赞，火火只分享给懂得朋友~手头的数据也别闲着，整合一下就能复现，有问题着火火来帮你，绝对的明智之选！
生信火公众号持续为大家带来最新！最优！最赞的生信思路，想复现思路或者定制更多适合自己的创新性思路，欢迎直接扫码联系火火，生信火团队竭诚为您的科研助力！
原文始发于微信公众号（云生信学生物信息学）：公共数据库中的强化学习大神，你不得不服！82分Nature大子刊就是这么来的！公共数据新套路，代码也公开，小白秒学会！
