Logo fa.boatexistence.com

نقشه‌برها و کاهنده‌ها چگونه کار می‌کنند؟

فهرست مطالب:

نقشه‌برها و کاهنده‌ها چگونه کار می‌کنند؟
نقشه‌برها و کاهنده‌ها چگونه کار می‌کنند؟

تصویری: نقشه‌برها و کاهنده‌ها چگونه کار می‌کنند؟

تصویری: نقشه‌برها و کاهنده‌ها چگونه کار می‌کنند؟
تصویری: .ترانس چیست و چگونه کار می کند ترانس كاهنده ولتاژ چيست , ترانس كاهنده و نحوه تست آن 2024, ممکن است
Anonim

خروجی یک کار نقشه برداری یا نقشه (جفت کلید-مقدار) ورودی به Reducer است کاهنده جفت کلید-مقدار را از چندین کار نقشه دریافت می کند. سپس، کاهنده آن تاپل های داده میانی (جفت کلید-مقدار میانی) را در مجموعه کوچکتری از تاپل ها یا جفت های کلید-مقدار جمع می کند که خروجی نهایی است.

نقشه نگارها و کاهنده ها چه می کنند؟

Hadoop Mapper یک تابع یا وظیفه است که از برای پردازش تمام رکوردهای ورودی از یک فایل و تولید خروجی استفاده می شود که به عنوان ورودی برای Reducer کار می کند با برگرداندن جدید خروجی را تولید می کند. جفت های کلید-مقدار … نقشه‌بردار همچنین بلوک‌های کوچکی از داده را در حین پردازش رکوردهای ورودی به عنوان یک جفت کلید-مقدار تولید می‌کند.

تفاوت بین نقشه کش و کاهنده چیست؟

تفاوت اصلی بین Mapper و Reducer چیست؟ وظیفه Mapper مرحله اول پردازش است که هر رکورد ورودی (از RecordReader) را پردازش می کند و یک جفت کلید-مقدار میانی ایجاد می کند. روش کاهش به طور جداگانه برای هر جفت فهرست کلید/مقدار فراخوانی می شود.

چگونه تعداد نگاشت ها و کاهنده ها را محاسبه می کنید؟

بستگی به تعداد هسته و میزان حافظه شما در هر برده دارد. به طور کلی، یک نقشه‌بردار باید 1 تا 1.5 هسته پردازنده دریافت کند. بنابراین اگر 100 گره داده در Hadoop Cluster دارید، می توانید 1000 Mappers را در یک Cluster اجرا کنید.

عملکرد Mapper چگونه کار می کند؟

Mapper تابعی است که داده های ورودی را پردازش می کند نقشه نگار داده ها را پردازش می کند و چندین تکه کوچک از داده را ایجاد می کند. ورودی تابع mapper به صورت جفت (کلید، مقدار) است، حتی اگر ورودی برنامه MapReduce یک فایل یا دایرکتوری باشد (که در HDFS ذخیره می شود).

توصیه شده: