تاثیر توزیع نرمال و روش کمترین حداقل مربعات در تئوری خطاها

برازش منحنیبه برازش یک تابع  از پیش تعریف شده اطلاق می شود که متغیرهای مستقل و وابسته را به یکدیگر مربوط می کند. گام اول در محاسبه بهترین منحنی یا خط، پارامتری کردن تابع خطا با استفاده از متغیرهای اسکالر کمتر، محاسبه مشتق خطا نسبت به پارامترها و در نهایت محاسبه پارامترهایی است که تابع هزینه خطا را کمینه می کنند. در روش «برازش حداقل مربعات» (Least-Square Fitting)، به جای آنکه از قدر مطلق خطا استفاده کنیم، مربع آن را در نظر می گیریم بنابراین، کمینه سازی مجموع مربعات خطا منجر به برازشی می شود که خطاهای کوچک تری را در نظر می گیرد. رایج ترین روش برای تعیین پارامترهایی که منحنی را مشخص می کنند، تعیین جهت کاهش خطا و یک گام کوچک در آن جهت و تکرار فرایند تا جایی است که به همگرایی برسیم. این فرایند حل تکراری پارامترها به عنوان روش «گرادیان کاهشی» (Gradient Descent) نیز شناخته می شود. در این آموزش، از محاسبات ماتریسی پایه استفاده می کنیم و آن ها را برای به دست آوردن پارامترها به منظور بهترین برازش منحنی به کار می گیریم.