2. 400038 重庆, 陆军军医大学(第三军医大学)基础医学院学员五大队;
3. 400714 重庆, 中国科学院重庆绿色与智能技术研究所
2. Regiment Five, Basical Medicine College, Army Medical University, Army Medical University (Third Military Medical University), Chongqing, 400038;
3. Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences, Chongqing, 400714, China
贫血是一种全世界都面临的红细胞数缺乏或低血红蛋白(hemoglobin,Hb)疾病。据世界卫生组织不完全统计,全球贫血的发病率为24.8%,儿童以及孕妇的发病率为40%[1-2]。长期慢性贫血可引起脑组织正常氧代谢下降,与呼吸衰竭[3]及心脏衰竭[4]等疾病密切相关。在贫血的早期诊断、输血指征的把握及术中失血量的评估等阶段进行Hb监测对贫血相关并发症的预防有重要的意义。现有的血红蛋白浓度检测方法[自动血液分析和动脉血气分析(arterial blood gas analysis,ABGs)]都依赖于专业人员、设备和无菌采血环境,且具有创伤性,等待结果时间长,不适用于贫血筛查及需要频繁行Hb监测的人群。没有指征的频繁检测Hb可能引起血液浪费、创伤增加、血液相关感染、费用增加等。随着技术的发展,无创技术开始应用于临床。美国Maasimo公司研发的SPHb无创监测仪[5]实现了Hb连续监测,但由于价格昂贵(需专门配套仪器,价格20万元左右),结果受器官灌注、指端温度、操作技术的影响等特点[6-7],限制了其广泛推广。因此便宜、无创、实时的贫血监测技术对于贫血普查的开展,围术期的安全保障具有重要应用价值。
血红蛋白具有特殊的光谱特性(吸收绿色光,反射红色光),Hb浓度不同,光谱波长不同[8]。越低的Hb,反射的红色光越弱,皮肤及黏膜组织表现更苍白,临床医生靠肉眼观察组织颜色来评估患者是否贫血及贫血的严重程度存在可行性[9-10]。睑结膜由于其黏膜表浅、血管丰富等特性,更适合用于贫血筛查。由于观察者间经验的不同,仅凭肉眼观察睑结膜颜色预测贫血是不可靠的[11]。随着科学技术的发展,机器学习在医学图像中的应用范围很广,不仅可以通过骨折图像来检测和分割骨折线[12],还可以通过分析乳腺断层图区分癌区和非癌区[13]。研究人员将睑结膜图像和机器学习联合,在贫血预测模型方面进行了探索。该预测研究是利用智能手机或数码相机获取睑结膜图像,在图像基础上拟合一个算法进行贫血预测[14],比较模型预测结果与实际贫血状况评估模型效果。COLLINGS等[18]利用索尼相机和苹果手机拍摄的睑结膜照片作为输入,基于机器学习算法区分正常与贫血患者,结果显示基于图像的机器学习模型预测贫血的准确性(LX5/iPhone5S 70%/72%)优于三位临床医生的评估(60%/57%/64%)。JAIN等[19]利用99张睑结膜图片,基于增强神经网络技术对贫血进行分类,得到了一个准确度很高的结果(准确性97%)。上述研究提示我们基于机器学习算法利用睑结膜图像行无创贫血预测在技术上存在可行性。该领域的研究有3个典型特征:①用于分析的图像可以由特殊设备[15, 20-21]或普通设备(智能手机或相机)拍摄。②大多数研究是小样本量分类研究,虽然通过图像增强、上采样等技术增加了样本量,提高预测的准确性,但是模型的泛化能力降低,不能应用到其他模型。③大多数模型输入的参数是人为提取的睑结膜图像特征,而基于特征的机器学习方法,具有处理数据能力差,模型泛化能力低、鲁棒性差等局限。
深度学习是机器学习研究中的一个新的领域,由多层神经元组成,模拟人脑进行分析学习的多层神经网络。可以处理大量数据集,自主学习图像特征,而不需要人为提取特征。因此本研究利用睑结膜图像作为输入,基于深度学习算法构建贫血预测模型。期望为贫血筛查、围术期血液管理提供一种新的方法。
1 资料和方法 1.1 病例选择选择陆军军医大学第一附属医院麻醉科2021年3月18日到4月26日择期手术患者284例。纳入标准为:①>18岁;②能依从研究方案;③依据临床医疗实践需要行ABGs;④Hb波动1.5 g/dL(包括输血前后、手术前后、出入室时等)。排除标准:①合并眼疾;②行面部放射性照射治疗;③合并CO中毒、亚硝酸盐中毒、黄疸等会改变睑结膜及甲床颜色的疾病。
研究人员在患者ABGs后10 min以内拍摄其充分暴露睑结膜的脸部照片,并记录图片对应实际Hb浓度。以Hb浓度12 g/dL为分类标签,将图像标记为正常或贫血。以睑结膜图像作为输入建立模型预测患者贫血状态,比较预测结果与实际贫血状态的差异以评价模型的性能。整个研究过程中,研究人员不参与麻醉医生的临床决策,ABGs时机由麻醉医生决定。图像获取过程不干扰手术进行,不影响患者结局。
本研究经过陆军军医大学第一附属医院伦理委员会批准(批件号:KY2021060),所有受试对象签署知情同意书。该研究已在中国临床试验注册中心登记注册(注册号:ChiCTR2100044138)。
1.2 图像获取及研究流程如图 1所示,预测模型的构建过程包括图像获取及处理、模型搭建及评估、网络工具构建3个步骤。共有8名研究人员参与该研究,其中一人负责患者登记,两人采集图像,两人收集数据及整理,一人负责睑结膜识别,两人进行质量控制。手术前一天所有符合标准且自愿参与研究的患者签署了书面知情同意书。手术当天,当入组患者进行ABGs时,两名研究人员来到手术室或麻醉后恢复室,在手术室和麻醉后恢复室的常规光线下,采用标准的睑结膜曝光方式拍摄左右面部照片。ABGs和图像采集之间的时间在10 min内。所有的图像都是在患者仰卧位,使用相同参数的同一部智能手机(2 000万像素,f/1.8光圈)通过后置摄像头拍摄。同时,其他2名研究人员收集了患者的信息。在全天的图像采集后,两位数据采集研究人员挑选出Hb变化>1.5 g/dL的患者。未选择的图像都被永久删除。在整个过程中,负责质量控制的两名研究人员检查了登记、图像、基本信息等。
![]() |
图 1 贫血分类研究深度模型构建流程图 |
1.3 图像处理
如图 1所示,模型构建之前需要对图像进行处理。根据图 2A所示标准将原始图像裁剪为眼睛图像:眼睛图像的范围包括上眼睑的最高点、下眼睑的最低点、内眦和外眦(橙色圆圈)。固定1名研究人员利用Photoshop (Photoshop cs 6.0,Adobe systems,California,USA)软件,沿着睑结膜边缘手动勾画感兴趣区域(region of interesting,ROI)。睑结膜套索标准为:避开视乳头和球结膜区域,尽可能标记整个睑结膜(图 2B)。为了防止图像改变大小后出现变形,在保留原始图像长宽比的基础上,利用标准化和归一化将睑结膜图像尺寸固定到224×224,随后将归一化图片随机排序并按4∶1比例划分为训练集和测试集。在训练集中采用随机水平平移、随机垂直平移、随机旋转、随机水平反转和随机垂直翻转方法来扩增数据集。
![]() |
A:将拍摄图像裁剪为眼睛图像,橙色圆圈为裁剪为眼睛图像的四个点;B:睑结膜套索区域(黑色框线内) 图 2 睑结膜图像裁剪和套索标准 |
1.4 模型建立及评估
本研究的实验环境:使用windows11专业版作为操作系统,使用12代Intel Core i5-12400F 2.50 GHz处理器和NVIDIA GeForce RTX 3060 GPU;编程语言使用Python3.9,编译器使用Pycharm,构建卷积神经网络使用Tensorflow2.10为后端的深度学习库Keras。基于归一化后的睑结膜图像作为输入,选用了InceptionV3[22],ResNet50V2[23],EfficientNetV2B0[24]和DenseNet121[25]等4种深度卷积神经网络构建预测模型。在模型构建时,使用在ImageNet数据集上预训练的权重来初始化模型,设置超参数batch size为8;采用动态学习率使网络模型按照正确的方向加速收敛,保留最优模型并基于最优模型构建网络服务应用程序。使用AUC、准确性、敏感性、特异性、阳性预测值(positive predictive value,PPV)、阴性预测值(negative predictive value,NPV)评估模型的诊断效能。
1.5 统计学分析应用SPSS23.0(Windows Software,version 23.0)和Medcalc15.8(MedCalc Software bvba,Ostend,Belgium; https://www.medcalc.org; 2015)软件进行统计分析。对于定量变量,采用x±s描述数据的集中趋势和离散情况。对于主要有效性变量,计算95%CI。所有统计检验均为双侧检验,应用MedCalc15.8绘制预测模型的ROC曲线,利用Delong法比较各模型对贫血的诊断效能及ROC曲线下面积的差异。P < 0.05表示有统计学意义。
2 结果 2.1 一般资料本研究共纳入284名患者,其中男性117人(41.2%),女性167人(58.8%),年龄(51.5±12.1)岁,肝胆胰系统疾病占比最多(35.9%,表 1)。收集的1 073张眼睛图片中,剔除3张曝光不足、5张曝光过度的图片后,最后共纳入1 065张图片进行分析。按4∶1比例将原始数据集拆分为训练集和测试集,增强训练集图像,最终划分出正常组训练集2 300张,测试集97张;贫血组训练集2 300张,测试集116张。
疾病类别 | 例数 | 百分比(%) |
泌尿系统疾病 | 27 | 9.5 |
妇产疾病 | 53 | 18.7 |
肝胆胰疾病 | 102 | 35.9 |
胃肠疾病 | 46 | 16.2 |
脊柱四肢疾病 | 22 | 7.7 |
颅脑疾病 | 12 | 4.2 |
心胸疾病 | 22 | 7.7 |
2.2 各模型的性能比较
将基于InceptionV3、ResNet50V2、EfficientNetV2B0、DenseNet121算法构建的模型在测试集中进行内部验证,如表 2、图 3所示,各模型的AUC差异没有统计学意义(P>0.05)。InceptionV3的AUC、敏感性、准确率、特异性、阳性预测值、阴性预测值分别为:0.709、0.750、0.695、0.412、0.707、0.629,因此该模型的综合评价性能最优。
深度学习算法 | AUC(95%CI) | 准确度 | 敏感度 | 特异度 | 阳性预测值 | 阴性预测值 |
InceptionV3 | 0.709 (0.643,0.769) | 0.695 | 0.750 | 0.412 | 0.707 | 0.629 |
ResNet50V2 | 0.661 (0.594,0.725) | 0.667 | 0.733 | 0.401 | 0.680 | 0.588 |
EfficientNetV2B0 | 0.670 (0.603,0.733) | 0.643 | 0.690 | 0.416 | 0.667 | 0.588 |
DenseNet121 | 0.695 (0.628,0.756) | 0.667 | 0.802 | 0.345 | 0.660 | 0.505 |
![]() |
图 3 4种贫血筛查模型的ROC曲线 |
基于最优模型,我们开发了一个网络服务应用程序(http://150.158.58.4),在程序中输入患者的睑结膜图像后,可以即刻显示患贫血的概率。
3 讨论 3.1 贫血筛查现状贫血可造成组织携氧能力下降,导致疲劳、虚弱、头晕和呼吸短促等症状;围术期贫血会增加患者术后死亡率、并发症发生率和意外再入院的风险[26-28]。定期行贫血筛查可以及时发现高危人群,从而进一步指导贫血的实验室检查及病因学诊断。现目前常用的诊断方法由于需特殊设备、专业人员操作、价格昂贵、耗费时间长等因素限制了其只能使用于大的医疗场所,且由于其创伤性,增加感染几率,降低了患者使用舒适度。对于需要行贫血筛查或反复行Hb检测的人群而言,无创、便捷的贫血监测手段更受欢迎。
3.2 基于睑结膜图像深度学习模型的研究价值本研究直接利用睑结膜图片作为输入,基于深度学习算法构建了一个数据集为1 065的贫血预测模型。各模型的AUC比较无差异,四种模型都可以用于贫血的快速、自动预测。InceptionV3的准确度、敏感度、PPV、NPV指标高于其余3种算法,其综合预测效果最优。该模型不需要其他特殊装置(头戴设备、微距摄像头等),仅利用便捷、便宜的智能手机作为图像获取工具。既往的图像分类研究多基于传统图像特征工程的方法,特征提取很大程度上需要人工设计算法,通过浅层学习获得图像底层特征。而浅层学习获得的图像底层特征与图像高级语义间还存在很大的“语义鸿沟”。我们采用的深度学习算法是利用构建好的网络模型,自主地从训练数据中学习图像的层级结构性特征,且特征为更加接近图像高级语义的抽象特征,不需要像既往研究一样人为设定特征[15, 29-30](包括RGB颜色特征、Lab颜色特征、熵、高色调比的二值化等)。对于机器学习来说,样本量越大,模型的拟合度越好,泛化能力越高。相较于既往的小样本量(65~300张图)[21, 31-32]研究,我们模型预测准确性(69.5%)与COLLINGS等[18]的传统机器学习算法模型性能相当(70%/72%),但我们扩大了样本量,且不需要人为提取图像特征,扩大的数据集增加了模型的鲁棒性和泛化能力。在算法方面,虽然有学者尝试将睑结膜图像与人工神经网络(artificial neural network,ANN)[14, 17]和卷积神经网络(convolutional neural networks,CNN)[33]等深度学习算法拟合,但他们依然是以提取的图像特征作为模型输入,而本研究是直接以图像作为输入,模型更自动化,更展现了深度学习算法在处理庞大数据方面的优势。依据最优模型建立的网络服务应用程序可以实现贫血的在线预测,为未来依托智能手机作为可移动的贫血筛查工具提供参考。
3.3 展望随着以深度学习网络为代表的人工智能技术在数据感知和图像处理方面的发展,图像分类、人机对弈、无人驾驶等人工智能技术实现了“不能用”到“可以用”的技术突破,跨越了科学和应用的鸿沟。AlphaGo在比赛中战胜人类,人工智能系统诊断皮肤癌达到专业医生水平,都证明将人工智能和医学的融合可以实现低成本、高效益、广范围的普惠型智能社会。
本研究也有一些不足:①我们虽然应用了图像增强技术增加了样本量,但是对于依靠数据驱动的深度学习算法来说,这个样本量依然不够;②模型只进行了内部验证,未进行外部验证,模型的准确性仍需今后通过更多的人群进行验证;③输入的睑结膜图像为手工裁剪,一些学者已经在睑结膜图像自动切割方面进行了一些研究,得到与手动选择的眼睑结膜图像相似的结果[34],后期进一步研究中可以加入睑结膜图像自动识别模块,省略人工裁剪的过程;④我们仅做了贫血的分类研究,没有做直接预测Hb浓度值的回归分析,有待进一步研究;⑤本研究构建的模型仅适用平原地区的贫血筛查,由于高原地区长期低压低氧环境对生理状态的影响[35](人群单侧血氧饱和度≥76%),睑结膜组织颜色和平原地区人群有异,需要建立适合高原人群的模型数据集。
综上所述,基于睑结膜图像深度学习算法的贫血筛查模型有一定的应用价值。快速、经济的筛查工具协助诊出高危的贫血人群,减轻了病人痛苦,节约了人力、物力、财力。ϼ有关呼吸衰竭治疗的临床决策。
[1] |
WHO. Worldwide prevalence of anaemia 1993-2005: WHO Global Database on Anaemia[EB/OL]. [2023-04-19]. https://www.who.int/publications-detail-redirect/9789241596657.
|
[2] |
STEVENS G A, FINUCANE M M, DE-REGIL L M, et al. Global, regional, and national trends in haemoglobin concentration and prevalence of total and severe anaemia in children and pregnant and non-pregnant women for 1995-2011: a systematic analysis of population-representative data[J]. Lancet Glob Health, 2013, 1(1): e16-e25. |
[3] |
CIRELI E, MERTOGLU A. The impact of anemia on the mortality of COPD patients hospitalized for acute exacerbation resulting in respiratory failure[J]. Monaldi Arch Chest Dis, 2022. |
[4] |
JONAITIENE N, RAMANTAUSKAITE G, LAUKAITIENE J. Anaemia in heart failure patients, associated with angiotensin-renin-aldosterone system altering medications[J]. Heart Views, 2021, 22(3): 196-200. |
[5] |
KE Y H, HWANG K Y, THIN T N, et al. The usefulness of non-invasive co-oximetry haemoglobin measurement for screening pre-operative anaemia[J]. Anaesthesia, 2021, 76(1): 54-60. |
[6] |
颜娅, 葛衡江. 无创连续血红蛋白监测在手术中的应用[J]. 第三军医大学学报, 2012, 34(23): 2425-2427. YAN Y, GE H J. Value of continuous noninvasive hemoglobin monitoring during surgery[J]. J Third Mil Med Univ, 2012, 34(23): 2425-2427. |
[7] |
GALVAGNO S M Jr, HU P, YANG S, et al. Accuracy of continuous noninvasive hemoglobin monitoring for the prediction of blood transfusions in trauma patients[J]. J Clin Monit Comput, 2015, 29(6): 815-821. |
[8] |
SARKAR P K, PAL S, POLLEY N, et al. Development and validation of a noncontact spectroscopic device for hemoglobin estimation at point-of-care[J]. J Biomed Opt, 2017, 22(5): 55006. |
[9] |
SPINELLI M G, SOUZA J M, SOUZA S B, et al. Reliability and validity of palmar and conjunctival pallor for anemia detection purposes[J]. Rev Saúde Pública, 2003, 37(4): 404-408. |
[10] |
KALANTRI A, KARAMBELKAR M, JOSHI R, et al. Accuracy and reliability of pallor for detecting anaemia: a hospital-based diagnostic accuracy study[J]. PloS One, 2010, 5(1): e8545. |
[11] |
TANG B, YU X, XU L, et al. Continuous noninvasive hemoglobin monitoring estimates timing for detecting anemia better than clinicians: a randomized controlled trial[J]. BMC anesthesiology, 2019, 19(1): 80. |
[12] |
JIN L, YANG J, KUANG K, et al. Deep-learning-assisted detection and segmentation of rib fractures from CT scans: Development and validation of FracNet[J]. EBio Medicine, 2020, 62: 103106. |
[13] |
MOJAHED D, HA R S, CHANG P, et al. Fully Automated Postlumpectomy Breast Margin Assessment Utilizing Convolutional Neural Network Based Optical Coherence Tomography Image Classification Method[J]. Acad Radiol, 2020, 27(5): e81-e86. |
[14] |
CHEN Y M, MIAOU S G, BIAN H. Examining palpebral conjunctiva for anemia assessment with image processing methods[J]. Computer Methods Programs Biomed, 2016, 137: 125-135. |
[15] |
BEVILACQUA V, DIMAURO G, MARINO F, et al. A novel approach to evaluate blood parameters using computer vision techniques[C]//2016 IEEE International symposium on medical measurements and applications(MeMeA). Benevento, Italy: IEEE, 2016: 1-6. DOI: 10.1109/MeMeA.2016.7533760.
|
[16] |
TAMIR A, JAHAN C S, SAIF M S, et al. Detection of anemia from image of the anterior conjunctiva of the eye by image processing and thresholding[C]//IEEE region 10 humanitarian technology conference (R10-HTC). Dhaka, Bangladesh: IEEE, 2017: 697-701. DOI: 10.1109/R10-HTC.2017.8289053.
|
[17] |
MUTHALAGU R, BAI V T, JOHN S. A Smart (phone) solution: An effective tool for screening anaemia-correlation with conjunctiva pallor and haemoglobin levels[J]. TAGA journal, 2018, 14: 2611-2621. |
[18] |
COLLINGS S, THOMPSON O, HIRST E, et al. Non-invasive detection of anaemia using digital photographs of the conjunctiva[J]. PloS One, 2016, 11(4): e0153286. |
[19] |
JAIN P, BAUSKAR S, GYANCHANDANI M. Neural network based non-invasive method to detect anemia from images of eye conjunctiva[J]. Int J Imaging Syst Technol, 2019, 30(1): 112-125. |
[20] |
SELIM, SUNER, MD M, et al. Non-invasive determination of hemoglobin by digital photography of palpebral conjunctiva[J]. J Emerg Med, 2007, 33(2): 105-111. |
[21] |
DIMAURO G, CAIVANO D, GIRARDI F. A new method and a non-invasive device to estimate Anemia based on digital images of the conjunctiva[J]. IEEE Access, 2018, 6: 46968-46975. |
[22] |
SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE conference on computer vision and pattern recognition (CVPR). Las Vegas, USA: IEEE, 2016: 2818-2826. DOI: 10.1109/CVPR.2016.308.
|
[23] |
HE K M, ZHANG X Y, REN S Q, et al. Identity mappings in deep residual networks[M]//Computer Vision-ECCV 2016. Cham: Springer International Publishing, 2016: 630-645. DOI: 10.1007/978-3-319-46493-0_38.
|
[24] |
TAN M X, LE Q V. EfficientNetV2: Smaller models and faster training[EB/OL]. ArXiv, abs/2104.00298. [2023-04-19]. https://arxiv.org/abs/2104.00298.
|
[25] |
HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE conference on computer vision and pattern recognition (CVPR). Honolulu, USA: IEEE, 2017: 2261-2269. DOI: 10.1109/CVPR.2017.243.
|
[26] |
ROSENCHER N, KERKKAMP H E, MACHERAS G, et al. Orthopedic surgery transfusion hemoglobin european overview (OSTHEO) study: blood management in elective knee and hip arthroplasty in Europe[J]. Transfusion, 2003, 43(4): 459-469. |
[27] |
KARKOUTI K, WIJEYSUNDERA D N, BEATTIE W S, et al. Risk associated with preoperative anemia in cardiac surgery: a multicenter cohort study[J]. Circulation, 2008, 117(4): 478-484. |
[28] |
NAKAMORI E, SHIGEMATSU K, HIGASHI M, et al. Postoperative noninvasive hemoglobin monitoring is useful to prevent unnoticed postoperative anemia and inappropriate blood transfusion in patients undergoing total hip or knee arthroplasty: a randomized controlled trial[J]. Geriatr Orthop Surg Rehabil, 2021, 12: 21514593211060575. |
[29] |
ANGGRAENI M D, FATONI A. Non-invasive self-care anemia detection during pregnancy using a smartphone camera[C]//IOP conference series: materials science and engineering. Purwokerto, Indonesia: IOP Publishing, 2017, 172: 012030. DOI: 10.1088/1757-899x/172/1/012030.
|
[30] |
CHEN Y M, MIAOU S G. A kalman filtering and nonlinear penalty regression approach for noninvasive anemia detection with palpebral conjunctiva images[J]. J Healthc Eng, 2017, 2017: 9580385. |
[31] |
DIMAURO G, GUARINI A, CAIVANO D, et al. Detecting clinical signs of anaemia from digital images of the palpebral conjunctiva[J]. IEEE Access, 2019, 7: 113488-113498. |
[32] |
BIN NOOR N, ANWAR M S, DEY M. Comparative study between decision tree, SVM and KNN to predict anaemic condition[C]//2019 IEEE International conference on biomedical engineering, computer and information technology for health (BECITHCON). Dhaka, Bangladesh: IEEE, 2020: 24-28. DOI: 10.1109/BECITHCON48839.2019.9063188.
|
[33] |
SALDIVAR-ESPINOZA B, NÚÑEZ-FERNÁNDEZ D, PORRAS-BARRIENTOS F, et al. Portable system for the prediction of anemia based on the ocular conjunctiva using artificial intelligence[EB/OL]. 2019: arXiv: 1910.12399. https://arxiv.org/abs/1910.12399.
|
[34] |
KASIVISWANATHAN S, BAI VIJAYAN T, SIMONE L, et al. Semantic segmentation of conjunctiva region for non-invasive anemia detection applications[J]. Electronics, 2020, 9(8): 1309. |
[35] |
李年华, 高亮, 李彬, 等. 海拔5 000 m以上男性健康习服青年血红蛋白和血氧饱和度参考值研究[J]. 国际检验医学杂志, 2018, 39(2): 204-206. LI N H, GAO L, LI B, et al. Study on reference value of hemoglobin and blood oxygen saturation of male healthy acclimatized youth above 5000 m above sea level[J]. Int J Lab Med, 2018, 39(2): 204-206. |