رگرسیون لجستیک

رگرسیون لجستیک

مقدمه ای بر رگرسیون لجستیک (Logistic regression):

رگرسیون لجستیک یک الگوریتم طبقه بندی یادگیری تحت نظارت است که برای پیش بینی احتمال یک متغیر هدف از آن استفاده می شود. ذات متغیر هدف یا وابسته، دوتایی(dichotomous) است، به این معنا که فقط دو کلاس ممکن است وجود داشته باشد.

به بیان ساده تر، متغیر وابسته ذاتا دودیی(binary) است و داده را یا به صورت 1 (نشانگر موفقیت / بله) یا 0 (نشانگر شکست / خیر) نشان می دهد.

از نظر ریاضیات، یک مدل رگرسیون لجستیک، P(Y=1) را در قالب یک تابع از X پیش بینی می کند. این یکی از ساده ترین الگوریتم های ML است که می توان از آن برای مسائل متنوع طبقه بندی مانند تشخیص spam، پیش بینی دیابت، تشخیص سرطان و غیره استفاده کرد.

انواع رگرسیون لجستیک:

به طور کلی، رگرسیون لجستیک به معنای رگرسیون لجستیک دودویی(binary) است که متغیر های هدف دودویی دارد، اما دو دسته دیگر از متغیرهای هدف نیز وجود دارند که توسط رگرسیون لجستیک قابل پیش بینی کردن هستند. بر اساس تعداد دسته ها، رگرسیون لجستیک به انواع زیر تقسیم می شود.

دودویی / دو جمله ای (binary / binomial) :

در این نوع طبقه بندی، یک متغیر وابسته فقط می تواند دو نوع داشته باشد، 0 و 1 . برای مثال، این متغیر ها ممکن است بیانگر موفقیت یا شکست، بله یا خیر، برد یا باخت باشند.

چند جمله ای (multinomial):

در این نوع طبقه بندی، متغیر وابسته می تواند سه نوع غیر ترتیبی (unordered) یا بیشتر داشته باشد، و نیز می تواند دارای انواعی که بدون اهمیت کمی(quantitative) هستند، باشند. برای مثال، این متغیر ها ممکن است "نوع A "، "نوع B " یا "نوع C" را بیان کنند.

ترتیبی (ordinal):

در این نوع طبقه بندی، متغیر وابسته می تواند سه نوع ترتیبی یا بیشتر داشته باشد، و یا انواعی که دارای اهمیت کمی(quantitative) هستند داشته باشند. برای مثال، این متغیر ها ممکن است "ضعیف" ، "خوب" ، "خیلی خوب" ، "عالی" را نشان دهند، و هر دسته هم می تواند امتیازی مانند 0 ,1,2,3 داشته باشد.

فرضیات رگرسیون لجستیک:

پیش از شروع پیاده سازی رگرسیون لجستیک، باید از مفروضات آن که در ادامه مطرح می شود آگاهی داشته باشیم.

• در رگرسیون لجستیک دودویی، متغیر هدف باید همیشه دودویی باشد و خروجی مورد نظر با عامل سطح 1 نشان داده می شود.
• در مدل، هیچ چند-همبستگی (multi-collinearity) نباید وجود داشته باشد، به این معنا که متغیر های مستقل باید مستقل از هم باشند.
• باید متغیر های معنا دار در مدل داشته باشیم.
• برای رگرسیون لجستیک باید یک نمونه با اندازه بزرگ انتخاب کنیم.

مدل های رگرسیون:

مدل رگرسیون لجستیک دودویی (Binary Logistic Regression Model):

ساده ترین نوع رگرسیون لجستیک, نوع دودویی یا دو جمله ای است که متغیر های هدف یا وابسته تنها می توانند دو نوع 0 یا 1 را در آن داشته باشند.

مدل رگرسیون لجستیک چند جمله ای(Multinomial Logistic Regression Model):

نوع مفید دیگری از رگرسیون لجستیک، رگرسیون لجستیک دودویی است که متغیر هدف یا وابسته می تواند سه نوع غیر ترتیبی یا بیشتر در آن داشته باشد، برای مثال، انواعی که از لحاظ کمی اهمیت ندارند.