@article { author = {Nasiri, Majid and Rashidy Kanan, Hamidreza and Amiri, Seyed Hamid}, title = {Context-Aware Probabilities (CAP) for Semantic Image Segmentation}, journal = {Journal of Soft Computing and Information Technology}, volume = {9}, number = {4}, pages = {32-42}, year = {2020}, publisher = {Babol Noshirvani University of Technology}, issn = {2383-1006}, eissn = {2588-4913}, doi = {}, abstract = {Semantic image segmentation based on Convolutional Neural Networks (CNNs) is one of the main approaches in computer vision area. The methods based on deep convolutional neural networks, typically use a pre-trained CNN trained on the large image classification datasets as a backend to extract features (image descriptors) from the images. Whereas, the special size of output features from CNN backends are smaller than the input images, by stacking multiple deconvolutional layers on the last layer of backend network, the dimension of the output will be the same as the input image. Segmentation using local image descriptors without involving relationships between these local descriptors yield weak and uneven segmentation results. Inspired by these observations, in this research we propose Context-Aware Probabilities (CAP) unit. CAP unit generates probabilities for classes using local-image descriptors. This unit can be used in any semantic image segmentation architectures. We used CAP unit in Fully Convolutional Network (FCN) and DeepLab-v3-plus architectures and propose the new FCN-CAP and DeepLab-v3-plus-CAP architectures. Training the proposed architectures on PASCAL VOC2012 dataset shows 1.9% and 0.4% accuracy improvement compared to the corresponding basic architectures, respectively.}, keywords = {Semantic Image Segmentation,Deep Neural Network (DNN),Convolutional Neural Network (CNN),Context-Aware Probabilities (CAP) Unit}, title_fa = {احتمالات آگاه به محتوا برای قطعه بندی معنایی تصویر}, abstract_fa = {قطعه‌بندی معنایی تصویر مبتنی بر شبکه‌های عصبی عمیق، از رویکردهای مهم محققان بینایی ماشین می باشد. در روش های مبتنی بر شبکه‌های عصبی عمیق، بطور کلی از یک شبکه-پایه که برای کاربرد شناسایی تصویر، آموزش دیده است، بمنظور استخراج ویژگی از تصویر استفاده می‌شود. از آنجا که ابعاد ویژگی‌های خروجی از این شبکه‌های-پایه، کوچکتر از تصویر ورودی‌ می‌باشد، لذا با اضافه کردن چندین لایه پیچشی به انتهای این شبکه‌های-پایه، ابعاد ویژگی‌های خروجی از این شبکه‌ها را به اندازه ابعاد تصویر وروی می-رسانند. استفاده از ویژگی‌های‌ محلی خروجی از شبکه‌های-پایه، بدون در نظر گرفتن ارتباط کلی بین این ویژگی‌های محلی، منجر به قطعه‌بندی ضعیف و ناهموار می‌شود. بر این اساس، در این تحقیق واحدی با نام "واحد احتمالات آگاه به محتوا" پیشنهاد می‌شود. این واحد با کمک ویژگی‌های محلی خروجی از شبکه‌های-پایه، بردار احتمال حضور کلاس‌های مختلف را در تصویر تولید می‌کند. واحد پیشنهادی را می‌توان در معماری‌های مختلف قطعه‌بندی معنایی تصویر قرار داد. در این تحقیق، با اضافه کردن واحد پیشنهادی CAP به معماریهای پایه FCN و DeepLab-v3-plus، به ترتیب معماریهای FCN-CAP و DeepLab-v3-plus-CAP پیشنهاد شده است. بمنظور آموزش معماریهای پیشنهادی از دادگان PASCAL VOC2012 استفاده شده است. نتایج آزمایش‌ها نشان می دهد که معماریهای پیشنهادی نسبت به معماریهای پایه مربوطه، به ترتیب 9/1درصد و 4/0درصد بهبود دقت (mIoU) دارد.}, keywords_fa = {قطعه‌بندی معنایی تصویر,شبکه‌های عصبی عمیق,شبکه‌های عصبی کانولوشنی,واحد احتمالات آگاه به محتوا}, url = {https://jscit.nit.ac.ir/article_120447.html}, eprint = {https://jscit.nit.ac.ir/article_120447_19063c7bfc9319ba3757e05f06d8a623.pdf} }