مجله علمی  رایانش نرم و فناوری اطلاعات

مجله علمی رایانش نرم و فناوری اطلاعات

افزایش داده‌ با تأکید بر استراتژی‌های چندمقیاسی و حذف تصادفی در زمان آزمون

نوع مقاله : مقاله پژوهشی فارسی

نویسندگان
دانشکده ریاضی، آمار و علوم کامپیوتر، دانشکدگان علوم، دانشگاه تهران، تهران، ایران.
چکیده
بخش‌بندی ضایعات پوستی با وجود پیشرفت مدل‌های یادگیری عمیق همچنان در مواجهه با چالش‌هایی مانند تغییر کیفیت تصویر، ناهمگونی ضایعات و اختلاف توزیع داده‌های آزمون دچار کاهش دقت می‌شود. از آن‌جا که مدل‌های یادگیری عمیق معمولاً یک‌بار در محیط‌های پژوهشی آموزش داده می‌شوند و پس از استقرار در سامانه‌های بالینی، بازآموزی یا تنظیم مجدد آن‌ها با داده‌های جدید به‌دلیل نیاز به داده برچسب‌دار، زمان و منابع محاسباتی به‌سادگی انجام نمی‌شود، در این پژوهش روشی سبک و بدون تغییر معماری برای بهبود عملکرد مرحله استنتاج مدل پایه EGE-UNet ارائه می‌شود.در این روش، دو روش مکمل شامل تقویت زمان آزمون (TTA) و حذف تصادفی زمان آزمون (TTD) و نسخه چندمقیاسی TTA، به‌عنوان لایه‌ای افزوده بر خروجی مدل پیش‌آموزش‌دیده اعمال شدند تا پایداری پیش‌بینی‌ها و مقاومت مدل در برابر تغییرات ورودی افزایش یابد. ایده اصلی، ایجاد چند نسخه افزوده‌شده یا مقیاس‌یافته از تصویر و اجرای چندباره مدل با Dropout فعال است که با میانگین‌گیری مناسب، خطای پیش‌بینی کاهش می‌یابد. ارزیابی‌ها روی مجموعه‌داده‌های ISIC2017 و ISIC2018 نشان می‌دهد که ترکیب TTA و TTD موجب بهبود دقت و کاهش نوسان نسبت به مدل پایه می‌شود و ترکیب نسخه چندمقیاسی TTA و TTD در ISIC2017 مرزبندی دقیق‌تری تولید می‌کند؛ هرچند در ISIC2018 بهبودی حاصل نشد. روش پیشنهادی بدون نیاز به بازآموزی، قابل تعمیم به سایر معماری‌های بخش‌بندی بوده و در کاربردهای حساس پزشکی، گزینه‌ای عملی و کم‌هزینه برای افزایش دقت مرحله استنتاج است.
کلیدواژه‌ها

  [1]     G. Wang, W. Li, et al., “Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks,” Neurocomputing, vol. 429, pp. 66–73, 2021. DOI: 10.1016/j.neucom.2020.11.103
  [2]     Y. Gal and Z. Ghahramani, “Dropout as a Bayesian approximation: Representing model uncertainty in deep learning,” in Proc. 33rd Int. Conf. Mach. Learn. (ICML), 2016, pp. 1050–1059. DOI: 10.48550/arXiv.1506.02142
  [3]     R. Cao, K. Ma, et al., “EGE-UNet: An efficient group enhanced U-Net for skin lesion segmentation,” Comput. Biol. Med., vol. 142, p. 105197, 2022. DOI: 10.1016/j.compbiomed.2022.105197
  [4]     J. Liang, R. He, and T. Tan, “A comprehensive survey on test-time adaptation under distribution shifts,” Int. J. Comput. Vis., vol. 133, no. 1, pp. 31–64, 2024. DOI: 10.1007/s11263-023-01925-4
  [5]     D. Wang, E. Shelhamer, S. Liu, B. Olshausen, and T. Darrell, “Tent: Fully test-time adaptation by entropy minimization,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2021. DOI: 10.48550/arXiv.2006.10726
  [6]     X. Zhang, Y. Qin, J. Huang, S. Yang, and M. Xu, “LTTA: Lightweight test-time adaptation via updating early layers and uncertainty estimation,” in Adv. Neural Inf. Process. Syst. (NeurIPS), 2024. DOI: 10.48550/arXiv.2311.08252
  [7]     S. Qin, W. Zhang, and Z. Li, “SelfEnsemble for test-time adaptation,” Neurocomputing, vol. 653, p. 131038, Nov. 2025. DOI: 10.1016/j.neucom.2025.131038
  [8]     J. Wang, Y. Liu, C. Gong, and Y. Qiao, “Feature alignment and uniformity for test-time adaptation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), 2023, pp. 19452–19461. DOI: 10.1109/CVPR52729.2023.01865
  [9]     J. Yu, H. Liu, and S. Wang, “Train/test-time adaptation with retrieval,” arXiv preprint, 2023. DOI: 10.48550/arXiv.2303.14333
[10]      J. Kang, N. Kim, J. Ok, and S. Kwak, “MemBN: Robust test-time adaptation via batch norm with statistics memory,” in Proc. Eur. Conf. Comput. Vis. (ECCV), 2024. DOI: 10.1007/978-3-031-72664-4_6
[11]      J. Sun, M. Ibrahim, M. Hall, I. Evtimov, Z. M. Mao, C. C. Ferrer, and C. Hazirbas, “VPA: Fully test-time visual prompt adaptation,” in Proc. 31st ACM Int. Conf. Multimedia (MM), 2023, pp. 5796–5806. DOI: 10.1145/3581783.3612293
[12]     International Skin Imaging Collaboration, “ISIC 2017 challenge dataset.” [Online]. Available: https://challenge.isicarchive.com/data/#2017. DOI: N/A
[13]     C. F. Codella et al., “Skin lesion analysis toward melanoma detection: A challenge at the 2017 ISBI,” in Proc. IEEE 15th Int. Symp. Biomed. Imaging (ISBI), Washington, DC, USA, 2018. DOI: 10.1109/ISBI.2018.8363547
[14]     International Skin Imaging Collaboration, “ISIC 2018 challenge dataset.” [Online]. Available: https://challenge.isicarchive.com/data/#2018. DOI: N/A
[15]     N. Codella et al., “Skin lesion analysis toward melanoma detection 2018: A challenge hosted by the ISIC,” arXiv preprint, 2019. DOI: 10.48550/arXiv.1902.03368
[16]     A. Paszke et al., “PyTorch: An imperative style, high-performance deep learning library,” in Adv. Neural Inf. Process. Syst., vol. 32, 2019. DOI: 10.48550/arXiv.1912.01703
[17]     I. Loshchilov and F. Hutter, “Decoupled weight decay regularization,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2019. DOI: 10.48550/arXiv.1711.05101
[18]     O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in Proc. MICCAI, 2015, pp. 234–241. DOI: 10.1007/978-3-319-24574-4_28
[19]     X. Gao, M. Zhou, D. Liu, and D. Metaxas, “A multiscale transformer for medical image segmentation,” arXiv preprint, 2022. DOI: 10.48550/arXiv.2203.00131
[20]     Y. Zhang, H. Liu, and Q. Hu, “TransFuse: Fusing transformers and CNNs for medical image segmentation,” in Proc. MICCAI, 2021, pp. 14–24. DOI: 10.1007/978-3-030-87231-1_2
[21]     S. Mehta and M. Rastegari, “Separable self-attention for mobile vision transformers,” arXiv preprint, 2022. DOI: 10.48550/arXiv.2206.02680
[22]     A. Howard et al., “Searching for MobileNetV3,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), 2019, pp. 1314–1324. DOI: 10.1109/ICCV.2019.00140
[23]     J. M. J. Valanarasu and V. M. Patel, “U-NeXt: MLP-based rapid medical image segmentation network,” arXiv preprint, 2022. DOI: 10.48550/arXiv.2203.04967
[24]     J. Ruan, S. Xiang, et al., “MALUNet: A multi-attention and lightweight U-Net for skin lesion segmentation,” in Proc. IEEE Int. Conf. Bioinf. Biomed. (BIBM), 2022, pp. 1150–1156. DOI: 10.1109/BIBM55620.2022.9995165
[25]     Z. Zhou, M. M. R. Siddiquee, N. Tajbakhsh, and J. Liang, “U-Net++: A nested U-Net architecture for medical image segmentation,” in Deep Learning in Medical Image Analysis, Springer, 2018, pp. 3–11. DOI: 10.1007/978-3-030-00889-5_1
[26]     O. Oktay et al., “Attention U-Net: Learning where to look for the pancreas,” arXiv preprint, 2018. DOI: 10.48550/arXiv.1804.03999
[27]     J. Wei et al., “Shallow attention network for polyp segmentation,” in Proc. MICCAI, 2021, pp. 699–708. DOI: 10.1007/978-3-030-87231-1_64