Hand Gesture Segmentation And Sign Language Recognition Using Deep Learning

الموضوعات

علوم تطبيقية وتكنولوجية

الملخص

Communication through hand gestures is an active research in Human Computer Interaction (HCI). Deaf and speech-impaired community may benefit from the advancement of human gesture recognition, as it is an intermediary communication technique. Segmentation for gestures with complex background is a crucial task for better recognition. Semantic segmentation is gaining momentum in a range of fields. However, sign gestures have not witnessed a broad application of semantic segmentation. In this the- sis, we propose a CNN-based integrated mode for the segmentation and recognition of hand sign gestures with conditions such as complex background, blur, and variation of illuminations. Our model, dubbed as S3RNet, is composed of two components: a custom CNN-based segmenter with encoder-decoder architecture and a custom CNN-based recognition module. The segmentation component is designed with depth-wise separable convolutions networks with fine-tuned layers, and appropriate network parameters with an aim to have optimum performance even for a small dataset. In a second variation of our model, dubbed as DLSR, we replaced the segmentation component with a transfer learning-based ASPP module. The recognition module for both models remain the same. Besides, in designing a more suitable gesture recognition module, we proposed three architectures: two custom-based and one transfer learning-based. The proposed models were tested with three sign language datasets and one gesture dataset. A ground-truth gesture dataset has been created for evaluating the models. The results demonstrate that S3RNet achieved an mIoU score of 95.17% for segmentation and a recognition accuracy of 99.72% on the test dataset. Several sensitivity analysis experiments were also performed to observe the robustness of our models. We compared our results with other established models. Besides, as a separate task, this research also explored and presented a new deep classification approach for cross sign language recognition.

روابط وملفات

التعريف والنوع

رقم الوثيقة

02d4918d-70d1-4cb7-8c7f-6eeedb3844d6

رقم العقد

0

نوع الوسائط

Crawler

نوع المحتوى

الرسائل العلمية

صيغة المصدر

رسائل ماجيستير

نوع الملف

pdf text

أسماء الملفات

848309_1.pdf

بيانات النشر

ترجمة العنوان

التقسيم الدلالي لإيماءات اليد والتعرف على لغة الإشارة باستخدام التعلم العميق

ألقاب المؤلفين

[{"name_ar":" El-Sayed M. El-Alfy ","title_ar":"اشراف","title_en":"Supervision"},{"name_ar":"فيصل نور نبي","title_ar":"اعداد","title_en":"Preparation"}]

اللغة

English

المصدر والدورية

اسم المصدر

Hand Gesture Segmentation And Sign Language Recognition Using Deep Learning

المحتوى والصفحات

عدد الصفحات

0

ترجمة الملخص

يعد التواصل من خلال إيماءات اليد أحد الاتجاهات البحثية النشطة في مجال التفاعل البشري مع الحاسب، وقد كان له أثر بالغ في تطوير تطبيقات لتسهيل التواصل مع الصم من خلال التعرف على لغة الٕاشارة. ورغم التقدم الملحوظ في هذاالمجال خصوًصا مع التطور التقني الحديث، مازالت هناك تحديات لمعالجة الصور ذات الخلفيات المعقدة بشكل أفضل. وتهدف هذا الدراسة إلى مناقشة الجوانب المختلفة للمشكلة وتطوير ومقارنة مجموعة من الحلول المبينة على التعلم العميق لدمج التقسيم الدلالي للٕايماءات مع أساليب تصنيفها، مما يسهم في رفع كفاءة التعرف عليها عند وجود خلفية معقدة أو تشويش في الصورة. وقد بينت نتائج التجارب المختلفة فعالية النموذج الذي أطلقنا عليه اسم S3RNet في التقسيم الدلالي بلغت 95.17%مع دقة تصنيف للٕايماءات بلغت 99.72%. كذلك قمنا بٕاجراء العديد من تجارب تحليل الحساسية لمراقبة متانة النموذج المقترح ومقارنته مع نماذج أخرى.

إشراف وإعداد

الإشراف

El-Sayed M. El-Alfy

الإعداد

فيصل نور نبي

الاقتباسات الببليوغرافية