پایان نامه داده کاوی در بیمه با عنوان ارائه مدلی برای شناسایی عوامل اثرگذار و ضریب تاثیر آنها در سود و زیان بیمه شخص ثالث خودرو شرکتهای بیمه بوسیله روشهای داده کاوی شرکت سهامی بیمه ایران می باشد.در این تحقیق توانستیم اثبات کنیم که با روشهای داده کاوی می توان مدلی هایی ارائه داد که عوامل موثر در احتمال به بار آوردن خسارت یک مشتری را با توجه به میزان تاثیر آن عوامل مشخص کند. این موضوع از طریق الگوریتم های کاهش ویژگی و وزن دهی و شبکه عصبی مهیا شد. همچنین الگوریتم های خوشه بندی نیز نتایج مشابهی را ارائه داده اند. علاوه بر این، الگوریتم های دسته بندی با تشخیص عوامل اثر گذار توانسته اند مدلی را ارائه دهند که با دقت بسیار بالایی احتمال خسارتی بودن یک بیمه نامه را تشخیص می دهد.

 الگوریتم های درخت تصمیم نیز با دقت بالایی در تشخیص عوامل موثر در خسارتی بودن یک بیمه نامه و ارائه مدل و قوانین لازم موفق عمل کرده اند. الگوریتم های مبتنی بر قانون اگرچه قوانین بسیار محدودی ارائه داده اند اما درصد تشخیص عوامل اثر گذار و دقت قوانین استخراج شده قابل اطمینان بوده است. عوامل در الگوریتم های مختلف با ضریب تشخیصی متفاوت قید شده است. عوامل اثر گذار استخراج شده عمدتاً به تنهایی موثر نبوده بلکه دارای اثرات وابسته به دیگر عوامل بوده است که این موضوع در درختهای تصمیم و قواعد تلازمی(مبتنی بر قانون) به وضوح مشخص است و بیان شده است. 

در این پژوهش از8 الگوریتم دسته بندی شامل KNN, Naïve bayes, Neural Network,   SVM Linear, Meta Decision Tree, Wj48, Random Forest و رگرسیون لجستیک استفاده شده است که تعداد 3 الگوریتم آن درخت تصمیم بوده است. همچنین دو الگوریتم مبتنی بر قانون  Apriori, Fp Growthو 3 الگوریتم خوشه بندی K-Means، دوگامی و Kohonen نیز مورد استفاده قرار گرفته  اند. در این قسمت نتایج الگوریتمهای دسته بند غیر درخت با هم مقایسه می شوند و به ترتیب بهترین مدلها مشخص میگردند. همچنین سه الگوریتم دسته بند درختی با هم دیگر مقایسه شده و بهترین نتایجی که خسارتی بودن یک رکورد را مشخص میکند پس از مشاوره با یک متخصص و کارشناس در امور بیمه از هر درخت استخراج می گردد و به ترتیب دقت نهایی آن الگوریتم اعلام میگردد. در خصوص الگوریتم های مبتنی بر قانون نیز دو الگوریتم با هم دیگر مقایسه شده و بهترین قوانینی که خسارتی بودن یک رکورد را مشخص میکند پس از مشاوره با یک متخصص و کارشناس در امور بیمه از هر الگوریتم استخراج و اعلام میگردد. 

فهرست مطالب

فصل اول:  مقدمه
1-1    تعریف داده کاوی    4
1-2    تعریف بیمه    4
1-3    هدف پایان نامه    5
1-4    مراحل انجام تحقیق    5
1-5    ساختار پایان نامه    6

فصل دوم: ادبیات موضوع و تحقیقات پیشین
2-1    داده کاوی و یادگیری ماشین    8
2-2    ابزارها و تکنیک های داده کاوی    9
2-3    روشهای داده کاوی    11
2-3-1    روشهای توصیف داده ها    12
2-3-2    روشهای تجزیه و تحلیل وابستگی     12
2-3-3    روشهای دسته بندی و پیشگویی    12
2-3-4    درخت تصمیم    13
2-3-5    شبکه عصبی    14
2-3-6    استدلال مبتنی بر حافظه    14
2-3-7    ماشین های بردار پشتیبانی    15
2-3-8    روشهای خوشه بندی     16
2-3-9    روش K-Means    16
2-3-10    شبکه کوهنن    16
2-3-11    روش  دو گام    17
2-3-12    روشهای تجزیه و تحلیل نویز    17
2-4    دسته های نامتعادل]صنیعی آباده 1391[.    18
2-4-1    راهکار مبتنی بر معیار    18
2-4-2    راهکار مبتنی بر نمونه برداری    19
2-5    پیشینه تحقیق    20
2-6    خلاصه فصل    23

فصل سوم: شرح پژوهش
3-1    انتخاب نرم افزار    26
3-1-1    Rapidminer    26
3-1-2    مقایسه RapidMiner   با سایر نرم افزار های مشابه    27
3-2    داده ها    31
3-2-1    انتخاب داده    31
3-2-2    فیلدهای مجموعه داده صدور    31
3-2-3    کاهش ابعاد    31
3-2-4    فیلدهای مجموعه داده خسارت    37
3-2-5    پاکسازی داده ها    37
3-2-6    رسیدگی به داده های از دست رفته    37
3-2-7    کشف داده دور افتاده    39
3-2-8    انبوهش داده    41
3-2-9    ایجاد ویژگی دسته    41
3-2-10    تبدیل داده    41
3-2-11    انتقال داده به محیط داده کاوی    42
3-2-12    انواع داده تعیین شده    42
3-2-13    عملیات انتخاب ویژگیهای موثرتر    43
3-3    نتایج اعمال الگوریتم PCA و الگوریتم های وزن دهی    44
3-4    ویژگی های منتخب جهت استفاده در الگوریتمهای حساس به تعداد ویژگی    46
3-5    معیارهای ارزیابی الگوریتمهای دسته بندی    47
3-6    ماتریس درهم ریختگی    47
3-7    معیار AUC    48
3-8    روشهای ارزیابی الگوریتم های دسته بندی    49
3-8-1    روش Holdout    49
3-8-2    روش Random Subsampling    50
3-8-3    روش Cross-Validation    51
3-8-4    روش Bootstrap    51
3-9    الگوریتمهای دسته بندی    52
3-9-1    الگوریتم KNN    53
3-9-2    الگوریتم Naïve Bayes    54
3-9-3    الگوریتم Neural Network    54
3-9-4    الگوریتم   SVM   خطی    56
3-9-5    الگوریتم   رگرسیون لجستیک    58
3-9-6    الگوریتم  Meta Decision Tree    59
3-9-7    الگوریتم درخت Wj48    61
3-9-8    الگوریتم درخت Random forest    63
3-10    معیارهای ارزیابی الگوریتم های مبتنی بر قانون(کشف قوانین انجمنی)    65
3-10-1    الگوریتم FPgrowth    66
3-10-2    الگوریتم Weka Apriori    67
3-11    معیارهای ارزیابی الگوریتمهای خوشه بندی    67
3-12    الگوریتم های خوشه بندی    69
3-12-1    الگوریتم K-Means    69
3-12-2    الگوریتم Kohonen    73
3-12-3    الگوریتم دوگامی    77

فصل چهارم: ارزیابی و نتیجه گیری
4-1    مقایسه نتایج    83
4-2    الگوریتمهای دسته بندی    84
4-3    الگوریتم های دسته بندی درخت تصمیم    84
4-4    الگوریتم های خوشه بندی    96
4-5    الگوریتم های قواعد تلازمی(مبتنی بر قانون)    98
4-6    پیشنهادات به شرکت های بیمه    99
4-7    پیشنهادات جهت ادامه کار    101

منابع و مأخذ
    فهرست منابع فارسی    102
    فهرست منابع انگلیسی    103

فهرست جدول‌ها 
جدول شماره 3-1:  نتایج رای گیری استفاده از نرم افزارهای داده کاوی    24
جدول شماره 3-2: فیلدهای اولیه داده های صدور    26
جدول شماره 3-3: فیلدهای نهایی داده های صدور    27
 جدول شماره 3-4: فیلدهای  حذف شده داده های صدور و علت حذف آنها    28
جدول 3-5:  فیلدهای استخراج شده از داده های خسارت    28
جدول 3-6: نتایج  نمودار boxplot    31
جدول 3-7: انواع داده استفاده شده    33
جدول 3-8: نتایج حاصل از اجتماع فیلدهای با بالاترین وزن در الگوریتمهای مختلف    37
جدول 3-9: ماتریس در هم ریختگی رکوردهای تخمینی(Predicted  Records)    38
جدول 3-10: قوانین استخراج شده توسط الگوریتم Fpgrowth    55
جدول 3-11: قوانین استخراج شده توسط الگوریتم Weka Apriori    55
جدول 3-12: تنظیمات پارامترهای الگوریتم K-Means    57
اجرا برای 9 خوشه در الگوریتم K-Means    60
جدول 3-13: تنظیمات پارامترهای الگوریتم Kohonen    64
جدول 3-14: تنظیمات پارامترهای الگوریتم دوگامی    69
جدول 4-1: مقایسه الگوریتم های دسته بند    70
جدول 4-2: مقایسه الگوریتم های دسته بند درخت تصمیم    70
جدول 4-3: ماتریس آشفتگی قانون شماره 1    71
جدول 4-4: ماتریس آشفتگی قانون شماره 2    72
جدول 4-5: ماتریس آشفتگی قانون شماره 3 الف    72
جدول 4-6: ماتریس آشفتگی قانون شماره 3 ب    72
جدول 4-7: ماتریس آشفتگی قانون شماره 3 ج    73
جدول 4-8: ماتریس آشفتگی قانون شماره 3 د    73
جدول 4-9: ماتریس آشفتگی قانون شماره 3 ه    73
جدول 4-10: ماتریس آشفتگی قانون شماره 3 و    74
جدول 4-11: ماتریس آشفتگی قانون شماره 3 ز    76
جدول 4-12: ماتریس آشفتگی قانون شماره 4    76
جدول 4-13: ماتریس آشفتگی قانون شماره 5    77
جدول 4-14: ماتریس آشفتگی قانون شماره 6 الف    77
جدول 4-15: ماتریس آشفتگی قانون شماره 6 ب    78
جدول 4-16: ماتریس آشفتگی قانون شماره7    78
جدول 4-17: ماتریس آشفتگی قانون شماره8    79
جدول 4-18: مقایسه الگوریتم های خوشه بندی    79
جدول 4-19: فیلدهای حاصل از الگوریتم های خوشه بندی    80
جدول 4-20: نتایج الگوریتم های FpGrowth, Weka Apriori    81
    

فهرست شکل‌ها 
شکل شماره3-1: داده از دست رفته فیلد" نوع بیمه " پس از انتقال به محیط داده کاوی    33
شکل 3-2:  نتایج الگوریتمPCA     34
شکل 3-3:  نتایج الگوریتم SVM Weighting در ارزشدهی به ویژگی ها    35
شکل 3-4: نتایج الگوریتم Weighting Deviation  در ارزشدهی به ویژگی ها    35
شکل 3-5: نتایج الگوریتم Weighting Correlation در ارزشدهی به ویژگی ها    36
شکل 3-6:  نمای کلی استفاده از روشهای ارزیابی    41
شکل 3-7:  نمای کلی استفاده از یک مدل درون یک روش ارزیابی    42
شکل 3-8:  نمودار AUC الگوریتم KNN    42
شکل 3-9:  نمودار AUC الگوریتم Naïve Bayes    43
شکل 3-10:  تبدیل ویژگی های غیر عددی به عدد در الگوریتم شبکه عصبی    44
شکل 3-11:  نمودار AUC و ماتریس آشفتگی الگوریتم Neural Net    44
شکل 3-12:  تبدیل ویژگی های غیر عددی به عدد در الگوریتم  SVM  خطی    45
شکل 3-13 :  نمودار AUC الگوریتم  SVM Linear    46
شکل 3-14 :  نمودار AUC الگوریتم  رگرسیون لجستیک    47
شکل 3-15 : نمودار AUC الگوریتم  Meta Decision Tree    48
شکل 3-16 : قسمتی از نمودارtree الگوریتم  Meta Decision Tree    49
شکل 3-17 :  نمودار radial الگوریتم  Meta Decision Tree    49
شکل 3-18: نمودار AUC الگوریتم  Wj48    50
شکل 3-19 :  نمودار tree الگوریتم  Wj48    51
شکل 3-20 :  نمودار AUC الگوریتم  Random forest    52
شکل 3-21 :  نمودار تولید 20 درخت در الگوریتم  Random Forest    53
شکل 3-22 :  یک نمونه درخت تولید شده توسط الگوریتم  Random Forest    53
شکل 3-23 : رسیدن درصد خطا به صفر پس از 8مرتبه    57
شکل 3-24 : Predictor  Importance for K-Means    58
شکل 3-25 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در الگوریتم K-Means    59
شکل 3-26 : کیفیت خوشه ها در الگوریتمMeans K-    60
شکل 3-27 : Predictor  Importance for Kohonen    61
شکل 3-28 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در الگوریتم Kohonen    62
شکل 3-29 : کیفیت خوشه ها در الگوریتمMeans K-    63
شکل 3-30 : تعداد نرون های ورودی و خروجی در Kohonen    63
شکل 3-31 : Predictor  Importance for  دوگامی    64
شکل 3-32 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در الگوریتم دوگامی    65
شکل 3-33 : کیفیت خوشه ها در الگوریتم دوگامی    66
شکل4-1: نمودارنسبت تخفیف عدم خسارت به خسارت    75