خوارزميات التشخيص الكلي لشواذ متعدد المتغيرات باستخدام مصفوفات تقدير الموقع و القياس الحصينة مع التطبيق

الموضوعات

إحصاء

الملخص

شهد القرن العشرين العديد من الدراسات والبحوث التي اثبتت أن وجود المشاهدات الشاذة في عينة البيانات يشكل خرقا لفرضية التوزيع الطبيعي الذي يشكل التوزيع الأساس في بناء النماذج الإحصائية. لذلك بذلت جهود كبيرة لتشخيص الشواذ في بيانات التطبيقات العلمية المختلفة . اذ تم تصنيف الشواذ تبعا لنوع النموذج المستخدم ففي نموذج متعدد المتغيرات هي شواذ ولكن مع نموذج الانحدار الخطي المتعدد فأن مصطلح الشواذ يختص بتلك القيم التي تظهر في بواقي الانحدار أو المتغيرالمعتمد فقط.أما تلك القيم الشاذة التي تظهر في مصفوفة المتغيرات التوضيحية فصنفت الى Good Leverage Point و Bad Leverage point و High Leverage Pointًارظن.لأهمية هذا الموضوع اقترح العديد من الباحثين طرق لًتشخيص هذه الشواذ في النماذج الإحصائية المختلفة إلا ان هذه الطرق للأسف اعتمدت على أسلوب التشخيص الفردي للشواذ ( مثل طريقة Hadi potential)لذلك اقترح عدد من الباحثين مؤخرا عدد ًامن طرق التشخيص الكلي Grouped Diagnostics لان طرق التشخيص الفردي أظهرت عدم قدرتها على كشف ظاهرت يالـ (Masking& Swamping ):ظاهرة الـــMaskingتحدث عندما تخفي قيمة شاذة قيمة أخرى على طريق التشخيص التي تكشف القيمة المؤثرة دون أن تكشف القيمة الشاذة الأخرى . اما ألـــ Swamping فهو ان طريقة التشخيص تعد إحدى القيم على الأقل شاذة ولكنها في الواقع نظيفة. قدمت طريقة Imoneكأ ول طريقة للتشخيص الكلي في الأدبيات الإحصائية لتشكل منطلقا للعديد من الباحثين اللذين سعوا لتطوير و تحسين اداء هذه الطريقة . لقد حسنت طريقة DRGP(MVE)من كفاءة طريقة Hadiفي اختزال التشخيص الخاطئ Swamping و لكن إلى حد ما لأنها لم تتمكن من اختزال هذا النوع من التشخيص قياسا بطريقة (IDRGP(MVE .لقد لاحظنا أمرين مهمين من خلال الطريقتين السابقتين أنهما لم يأخذا بنظر الاعتبار في طريقة Hadi ،الأول إن ظاهرتي (Masking& Swamping)ممكنتا الحدوث عند وجود قيم شاذة مؤثرة في حد الخطأ العشوائي و على وجه الخصوص نموذج الانحدار الخطي و بما إنHadiوضع طريقته لمعالجة الشواذ لبيانات متعدد المتغيرات فإن طريقة DRGP(MVE)و طريقة (IDRGP(MVEتعاملتا مع مصفوفة المتغيرات التوضيحية (𝑋)على أ نها مصفوفة متعدد متغيرات لا يمكن القول عنها إنها مصفوفة متعدد متغيرات طبيعية لان فرضية التوزيع الطبيعي المشترك لهذه المتغيرات تم خرقها بسبب وجود الشواذ و إن عملية تثبيتها في نموذج انحدار خطي متعدد يفقدها صفة العشوائية و يجعلها خاضعة للقياس. اما ألأمر الثاني لاحظنا أن الأساس في بناء خوارزميات DRGP(MVE)و (IDRGP(MVEهي حساب مسافة مهن الوبيز بالاعتماد على مصفوفة الموقع والقياس MVE .بناء على ما تقدم اقترحنا في هذه الرسالة التعامل مع مصفوفة المتغيرات التوضيحية لنموذج الانحدار الخطي المتعدد على أنها مصفوفة متعدد متغيرات تم خرق فرضية توزيعها المشترك بالشواذ. من جانب آخر وظفنا مصفوفة الموقع والقياس(RMVN)التي تعتمد على خوارزمية الخطوات الخمسة متعددة المراحل في ثلاث خوارزميات جديدة وهي (DRGP(RMVN) IDRGP(RMVN) ,IDRGP(MM)) بهدف الحصول على إختزال جيد للتشخيص الخاطئ للطريقتين السابقتين فضلا عن مراعاة زمن الاحتساب وإستقرار كل طريقة. لقد تم إخضاع الطرق كافة لعدد من دراسات المحاكاة ونوعين من البيانات الحقيقية ( هندسية ومالية ( , وأظهرت النتائج أن طريقة DRGP (RMVN)المقترحة هي طريقة كفوءة وفعالة مع أحجام البيانات الكبيرة , أما طريقة IDRGP(RMVN ) فهي طريقة كفوءة وفعالة مع أحجام البيانات الصغيرة. كما تبين أن الطريقتين المقترحتين سريعتان إلى حد ما لكنهما ليستا أسرع من طريقة IDRGP(LMS)وفقا لنتائج المحاكاة . بالإضافة إلى ذلك لاحظنا أن طريقة IDRGP(MM)نجحت من خلال دراسة المحاكاة بالوصول إلى الشواذ كافة إلا إنها عانت من ظاهرة swamp. بالضافة إلى ذلك لاحظنا ان طريقة IDRGP(LMS) طريقة سريعة جدا و فعالة الى حد ما خصوصا عن ارتفاع حجم العينة إلا إنها لم تكن مستقرة، علما إن كلتا الطريقتين لم تتعامل مع البيانات على انهما بيانات متعدد متغيرات لأنها ضمت المتغير المعتمد (𝑌)لنموذج الانحدار الخطي في مصفوفة بياناته

روابط وملفات

التعريف والنوع

رقم الوثيقة

0a9efc84-8b2c-4610-8d26-c52814e959ad

رقم العقد

0

نوع الوسائط

Crawler

نوع المحتوى

الرسائل العلمية

صيغة المصدر

رسائل ماجيستير

نوع الملف

pdf text

أسماء الملفات

2324376_1.pdf

بيانات النشر

ترجمة العنوان

The Algorithm of Grouped Diagnostics for Multivariate Outliers by Using Location and Scale Matrix with Application

ألقاب المؤلفين

[{"name_ar":"حسن سامي عريبي الشمري","title_ar":"اشراف","title_en":"Supervision"},{"name_ar":"سوسن عبد الأمير حرج","title_ar":"اعداد","title_en":"Preparation"}]

اللغة

Arabic

المصدر والدورية

اسم المصدر

خوارزميات التشخيص الكلي لشواذ متعدد المتغيرات باستخدام مصفوفات تقدير الموقع و القياس الحصينة مع التطبيق

المحتوى والصفحات

عدد الصفحات

121

ترجمة الملخص

The statistical literature is worth by the research papers, technical reports and books that discussed the effect of the presence of outliers in dataset. That because of its presence violates the hypothesis of the normal distribution, which constitutes the basic distribution in the construction of statistical models. Therefore, great efforts have been made to diagnose outliers in the datasets of various scientific applications. Since the outliers were classified according to the type of the model used, in the multivariate model they are outliers, but with the multiple linear regression model, the term of outliers is concerned only with those values that appear in the residuals of the regression or the dependent variable. As for those outliers that appear in the matrix of explanatory variables, they were classified into Good Leverage Point and Bad Leverage point and High Leverage Point. Given the importance of this topic, many researchers have suggested ways to diagnose these outliers in different statistical models, but unfortunately, these methods depended on the individual diagnosis method. Therefore, a number of researchers recently proposed a number of grouped diagnostics, because individual diagnosis methods showed their inability to detect the two phenomena of masking and swamping. The masking phenomenon occurs when an outlier hides another outlier on the path of diagnosis that reveals the effective value without revealing the other one. As for the swamping means the specific method of diagnosis identifying at least one of cleaning observation as outliers. Hadi Potentials Measure method was presented as the first method for Grouped diagnoses in the statistical literature, forming a basis for many researchers who sought to develop and improve the performance of this method. DRGP (MVE) has improved the Hadi method’s efficiency in reducing swamping, but only to some extent. However, this type of diagnosis could not be reduced by an IDRGP (MVE) method. We have noticed two important matters through the previous two methods that were not taken into consideration in the Hadi method. The first is that the phenomenon of (Masking & Swamping) is possible when there are outliers affecting the random error term and in particular the linear regression model and since Hadi developed his method for treating the outliers In multivariate data, the DRGP (MVE) method and the IDRGP (MVE) method treat the matrix of explanatory variables (X) as a multivariate matrix that cannot be said about a normal multivariate matrix because the hypothesis of the common normal distribution of these variables has been violated due to the presence of outliers and the process of fixing it in a multiple linear regression model makes it random and subject to measurement. The second thing we noticed is that the basis for building the DRGP (MVE) and IDRGP (MVE) algorithms is to calculate the Mahalanobis distance from the location and scale MVE matrix.Based on the foregoing, we proposed in this thesis to deal with the matrix of explanatory variables of the multiple linear regression model as a matrix of multiple variables whose common distribution hypothesis was violated by outliers. On the other hand, we employed the position and measurement matrix (RMVN) that depends on the five-step multi-stage algorithm in three new algorithms which are (DRGP (RMVN), IDRGP (RMVN), and IDRGP (MM)) in order to obtain a good reduction in the diagnosis of incorrect diagnosis of the previous two methods, with respect to take in to account the calculation time and the stability of each method. All methods have been subjected to a number of simulation studies and two types of real data (engineering and financial), and the results showed that the proposed DRGP (RMVN) method is an efficient and effective method with large data volumes, while the IDRGP method (RMVN) is an efficient and effective method with small data volumes. It also turns out that the two proposed methods are somewhat quick, but they are not faster than the IDRGP (LMS) method according to the simulation results.In addition, we noticed that the IDRGP (MM) method succeeded through studying the simulation to reach all the correct outliers, but it suffered the first type of error a lot when adding an unacceptable number of misdiagnoses to its correct diagnosis.Furthermore it, we noticed that the IDRGP method (LMS) is a very fast and somewhat effective method, especially for the high sample size, but it was not stable, noting that both methods were not used with the data as being multivariate data because it included the dependent variable (Y) of the linear regression model in its data matrix.

كلمات الباحثين

خوارزميات- التشخيص الكلي- متعدد المتغيرات

إشراف وإعداد

الإشراف

حسن سامي عريبي الشمري

الإعداد

سوسن عبد الأمير حرج

الاقتباسات الببليوغرافية