نزول گرادیان در Cauchy در سال 1847 اختراع شد. صفحات 536-538 برای اطلاعات بیشتر در مورد آن اینجا را ببینید.
SGD چه زمانی اختراع شد؟
دلار سنگاپور اولین بار در 1965 پس از فروپاشی اتحادیه پولی بین مالزی و برونئی منتشر شد، اما در هر دو کشور قابل تعویض با دلار برونئی باقی مانده است.
چه کسی تقویت گرادیان را اختراع کرد؟
چه کسی ماشین های تقویت کننده گرادیان را اختراع کرد؟ جروم فریدمن، در مقاله اصلی خود در سال 1999 (به روز شده در سال 2001) به نام تقریب تابع حریص: ماشین تقویت گرادیان، ماشین تقویت گرادیان را معرفی کرد، اگرچه ایده تقویت خود جدید نبود.
آدام از نزول گرادیان تصادفی استفاده می کند؟
Adam یک الگوریتم بهینه‌سازی جایگزینی برای نزول گرادیان تصادفی برای آموزش مدل‌های یادگیری عمیق است. Adam بهترین ویژگی‌های الگوریتم‌های AdaGrad و RMSProp را برای ارائه یک الگوریتم بهینه‌سازی که می‌تواند شیب‌های پراکنده را در مسائل نویز مدیریت کند، ترکیب می‌کند.
چرا به آن نزول گرادیان تصادفی می گویند؟
کلمه "استوکاستیک" به معنای سیستم یا فرآیندی است که با یک احتمال تصادفی مرتبط است. بنابراین، در نزول گرادیان تصادفی، چند نمونه به‌جای کل مجموعه داده‌ها برای هر تکرار به‌طور تصادفی انتخاب می‌شوند..
