Logo fa.boatexistence.com

آیا فایل پارکت طرحواره دارد؟

فهرست مطالب:

آیا فایل پارکت طرحواره دارد؟
آیا فایل پارکت طرحواره دارد؟

تصویری: آیا فایل پارکت طرحواره دارد؟

تصویری: آیا فایل پارکت طرحواره دارد؟
تصویری: مقدمه ای بر پارکت آپاچی 2024, ممکن است
Anonim

فایل پارکت یک فایل hdfs است که باید متادیتای فایل را در خود داشته باشد. این اجازه می دهد تا ستون ها را به چندین فایل تقسیم کنید، و همچنین یک فایل ابرداده تنها به چندین فایل پارکت اشاره دارد. فراداده شامل طرح واره برای داده های ذخیره شده در فایل است.

چگونه یک طرحواره برای فایل پارکت ایجاد کنم؟

برای ایجاد طرح واره داده های نمونه پارکت، موارد زیر را انجام دهید:

  1. وارد کادر Haddop/Hive شوید.
  2. این طرحواره را در stdout به صورت زیر تولید می کند: -------------- [~] parquet-tools schema abc.parquet. پیام hive_schema { …
  3. این طرحواره را در فایلی با. پارکت/. پسوند همتراز.

آیا پارکت از تکامل طرحواره پشتیبانی می کند؟

ادغام طرحواره

مانند Protocol Buffer، Avro، و Thrift، Parquet همچنین از تکامل طرحواره پشتیبانی می کند کاربران می توانند با یک طرحواره ساده شروع کنند و به تدریج ستون های بیشتری را به آن اضافه کنند. طرحواره در صورت نیاز به این ترتیب، کاربران ممکن است با چندین فایل پارکت با طرح‌واره‌های متفاوت اما با یکدیگر سازگار شوند.

آیا فایل های پارکت انواع داده دارند؟

انواع داده های فایل پارکت به انواع داده های تبدیلی که سرویس یکپارچه سازی داده برای انتقال داده ها در پلتفرم ها استفاده می کند، نگاشت می کند. طرح پارکت که برای خواندن یا نوشتن فایل پارکت مشخص می کنید باید با حروف کوچکتر باشد.

ساختار فایل پارکت چیست؟

فایل‌های پارکت از گروه‌های ردیف، سرصفحه و پاورقی تشکیل شده‌اند هر گروه ردیف حاوی داده‌هایی از همان ستون‌ها است. ستون‌های مشابه در هر گروه ردیف با هم ذخیره می‌شوند: این ساختار هم برای عملکرد سریع پرس و جو و هم برای I/O کم (به حداقل رساندن مقدار داده اسکن شده) به خوبی بهینه شده است.

توصیه شده: