مهندسی داده چیست؟ کار مهندس داده، ابزارها و درآمد

مهندسی داده ساختن، راه‌اندازی و نگه‌داری سیستم‌هایی است که داده خام را می‌گیرند و اطلاعات باکیفیت و یکدست تحویل می‌دهند؛ اطلاعاتی که بعد در گزارش، داشبورد یا مدل یادگیری ماشین به کار می‌رود. اگر دانشمند داده از داده پیش‌بینی می‌سازد، مهندس داده کسی است که داده را درست و سر وقت به دست او می‌رساند.

پایپ‌لاین داده و ETL

پایپ‌لاین داده سیستمی است که داده را از چند منبع می‌گیرد، تبدیل می‌کند و در یک انبار داده یا دریاچه داده ذخیره می‌کند. در ETL داده پیش از ذخیره تبدیل می‌شود و در ELT اول ذخیره و بعد در خود مقصد تبدیل می‌شود. ELT بیشتر وقتی به کار می‌رود که حجم زیادی داده باید سریع به مقصد برسد؛ ETL وقتی بهتر است که داده باید پیش از رسیدن به مقصد یکدست یا محافظت شود، مثلا وقتی اطلاعات شخصی باید پنهان شود. همه پایپ‌لاین‌های ETL پایپ‌لاین داده‌اند، ولی هر پایپ‌لاین داده‌ای ETL نیست.

پردازش دسته‌ای یا جریانی؟

در پردازش دسته‌ای داده در بازه‌های زمانی مشخص، معمولا ساعت‌های خلوت، یکجا جابه‌جا می‌شود. این روش برای کاری که فوریت ندارد، مثل حساب‌های ماهانه، مناسب است. در پردازش جریانی هر رویداد، مثل کلیک کاربر یا داده یک حسگر، همان لحظه پردازش می‌شود. داده پردازش‌شده بعد در پایگاه داده ذخیره یا برای تحلیل بیشتر جلوتر فرستاده می‌شود. Kafka و Spark در همین نوع پردازش زیاد به کار می‌روند.

انبار داده یا دریاچه داده؟

انبار داده برای پرس‌وجوی سریع با SQL ساخته می‌شود و ساختار داده از پیش تعیین شده است. دریاچه داده همه نوع داده را همان‌طور که هست نگه می‌دارد و ساختارش موقع استفاده تعیین می‌شود. بیشتر سازمان‌ها به هر دو نیاز دارند. طرح سومی هم به اسم لیک‌هاوس (Lakehouse) هست که به تعریف Databricks، شرکتی که این طرح را تبلیغ می‌کند، انعطاف و هزینه کم دریاچه داده را با مدیریت داده و تراکنش‌های مطمئن انبار داده یکجا می‌کند.

در طبقه‌بندی مشاغل آمریکا، وظایف اصلی متخصص انبار داده این‌طور آمده است: طراحی فرایند گرفتن، بارگذاری و تبدیل داده، بررسی درستی و کیفیت داده انبار، و تطبیق داده میان سیستم‌های منبع و انبار. این همان کاری است که مهندس داده هر روز انجام می‌دهد.

در ۵۰ آگهی مهندس داده، بعد از SQL و Python، این‌ها بیشتر آمده بود: انبار یا دریاچه داده ۲۶ آگهی، Airflow ۲۵، Kafka ۲۳، Spark ۲۲، Docker و Kubernetes ۲۲ و ClickHouse ۲۰ آگهی. SSIS و SQL Server در ۱۷ آگهی و Java یا Scala در ۱۹ آگهی خواسته شده بود. سرویس‌های ابری خارجی مثل AWS فقط در ۹ آگهی آمده بود.

• رشته: کامپیوتر و فناوری اطلاعات در ۳۳ آگهی، مهندسی صنایع ۶ و ریاضی و آمار ۳.
• مقطع: ۳۱ آگهی کارشناسی و ۲ آگهی ارشد را حداقل گذاشته بودند.
• جنسیت: ۴۹ آگهی از ۵۰ شرطی نگذاشته بودند. ۴۹ آگهی تمام‌وقت بود و بعد از تهران فقط خراسان رضوی ۳ آگهی داشت.
• ابزارهای کمتر رایج: NoSQL در ۱۹ آگهی، داده جریانی در ۱۷، PostgreSQL در ۱۶، Hadoop یا Hive در ۸ و dbt در ۷ آگهی. انگلیسی فقط در ۳ آگهی شرط بود.

ابزارهای مهندسی داده به زبان ساده

• Spark موتوری برای پردازش داده زیاد روی یک یا چند سرور است و هم دسته‌ای کار می‌کند هم جریانی.
• Kafka سکویی متن‌باز برای جابه‌جا کردن جریان رویدادهاست، مثلا کلیک‌ها و سفارش‌ها.
• Airflow کارهای پایپ‌لاین را زمان‌بندی و پایش می‌کند و پایپ‌لاین‌هایش با Python نوشته می‌شوند.
• ClickHouse پایگاه داده‌ای ستونی برای تحلیل است و در ۲۰ آگهی از ۵۰ آگهی آمده بود.
• Hadoop چارچوبی برای پردازش داده زیاد روی چندین سرور است که الگوریتم MapReduce را به کار گرفت؛ در آگهی‌های مهر ۱۴۰۵ فقط ۸ بار آمده بود.

بیشتر این ابزارها متن‌بازند و روی سرور خود شرکت نصب می‌شوند. برای همین تیم‌های ایرانی بدون سرویس ابری خارجی با آن‌ها کار می‌کنند، در حالی که انبارهای ابری مثل Snowflake و BigQuery از ایران به‌سختی در دسترس‌اند.

در دفترچه‌های کنکور ۱۴۰۵، نه در کارشناسی و نه در ارشد، رشته یا گرایشی به اسم مهندسی داده یا کلان‌داده نبود. راه معمول، کارشناسی مهندسی کامپیوتر، علوم کامپیوتر، آمار یا ریاضی است و برای کسی که بخواهد ادامه دهد، ارشد «علم داده‌ها». جزئیات کنکور این رشته‌ها در صفحه علم داده آمده است.

در آگهی‌ها هم اسم مدرک کمتر از مهارت مهم بود: SQL در ۴۴ آگهی و Python در ۳۹ آگهی آمده بود.

فنی و حرفه‌ای برای Spark، Kafka، ETL یا کلان‌داده استانداردی ندارد و فقط دوره‌های پایگاه داده دارد. سقف شهریه حضوری آموزشگاه‌های آزاد تهران در ۱۴۰۵:

• مدیر SQL Server: ۳۰۴ ساعت، ۵۰٫۸ میلیون تومان.
• Oracle DBA روی لینوکس: ۳۳۶ ساعت، ۷۲٫۴ میلیون تومان.
• MySQL و MariaDB: ۶۰ ساعت، ۲۰٫۶ میلیون تومان.
• برنامه‌نویسی پایتون: ۱۱۰ ساعت، ۲۳٫۷ میلیون تومان.

بوت‌کمپ‌های آزاد مهندسی داده حدود ۲۹ تا ۳۵ میلیون تومان برای ۱۷۰ تا ۲۰۰ ساعت در ۳ تا ۷ ماه بودند و ۲۰ تا ۲۵ ساعت تمرین در هفته می‌خواستند.

مدرک‌های بین المللی

مدرک‌های Google Professional Data Engineer و Databricks Data Engineer Associate هر کدام ۲۰۰ دلار و دو سال اعتبار دارند و AWS Data Engineer Associate ۱۵۰ دلار و سه سال. مدرک DP-203 مایکروسافت از مارس ۲۰۲۵ بازنشسته شده و جایش DP-700 است. برای ساکنان ایران گرفتن این مدرک‌ها آسان نیست: AWS فقط داوطلب ساکن کشور بدون تحریم را می‌پذیرد و صفحه‌های Google، Microsoft و Databricks درباره ایران چیزی نگفته‌اند. در ۵۰ آگهی مهر ۱۴۰۵ هم هیچ‌کدام از این مدرک‌ها شرط نبود.

مهندس داده در گزارش‌های معتبر حقوق ۱۴۰۵ گروه جدایی ندارد و کنار دانشمندان داده و متخصصان هوش مصنوعی شمرده شده است. در این گروه، کارشناس تهرانی در پایان ۱۴۰۴ خالص ۳۵ میلیون تومان در ماه می‌گرفت (میانه؛ نیمی ۲۶ تا ۴۵ میلیون) و کارشناس ارشد در کل کشور ۵۰ میلیون.

حقوق مهندس داده در آگهی‌ها

فقط ۷ آگهی از ۵۰ آگهی عدد حقوق داشتند و میانه حداقل و حداکثرشان ۵۰ و ۷۵ میلیون تومان بود؛ آگهی‌های سطح ارشد تا ۱۰۰ و ۱۵۰ میلیون هم پیشنهاد داده بودند. بازه هفت آگهی این‌ها بود: ۴۵ تا ۶۰، ۴۵ تا ۷۵، ۵۰ تا ۶۰، ۵۰ تا ۷۰، دو آگهی ۸۰ تا ۱۰۰ و یک آگهی ۱۰۰ تا ۱۵۰ میلیون تومان. با هفت عدد نمی‌شود حکم کلی داد، ولی نشان می‌دهد شرکت‌هایی که مهندس داده می‌خواهند بالاتر از میانه گزارش‌ها پیشنهاد می‌دهند.

فاصله شروع کار تا سطح ارشد

در همان گزارش، ده درصد پایین کارشناس‌های تهران تا ۲۰ میلیون و ده درصد بالا از ۶۰ میلیون تومان به بالا دریافت می‌کردند. کارشناس در شهرهای بزرگ میانه ۲۵ میلیون گرفته و برای ۱۴۰۵ میانه ۳۷ میلیون خواسته بود. خواسته کارشناس تهرانی برای ۱۴۰۵ میانه ۵۰ میلیون با نیمه میانی ۳۷ تا ۷۱ میلیون بود.

پیش‌بینی رسمی آمریکا برای ۲۰۲۵ تا ۲۰۳۵، رشد گروه معماران پایگاه داده را که مهندس داده هم در آن است «خیلی سریع‌تر از میانگین» می‌داند؛ این گروه در ۲۰۲۵ حدود ۶۹٬۵۰۰ نفر بود. برای مدیران پایگاه داده همین پیش‌بینی تغییر کمی نشان می‌دهد. یعنی رشد در ساختن جریان داده است، نه فقط نگه داشتن پایگاه داده.

همین پیش‌بینی برای معماران پایگاه داده به‌طور میانگین سالی حدود ۳٬۹۰۰ فرصت شغلی تا ۲۰۳۵ تخمین می‌زند و برای ۷۵ هزار مدیر پایگاه داده سالی حدود ۳٬۳۰۰ فرصت با «تغییر کم یا بدون تغییر». گزارش آینده مشاغل مجمع جهانی اقتصاد در ژانویه ۲۰۲۵ هم متخصصان کلان‌داده را در کنار مهندسان فین‌تک و متخصصان هوش مصنوعی، از سه شغل با سریع‌ترین رشد درصدی تا ۲۰۳۰ دانسته بود. این دسته دقیقا همان مهندس داده نیست، ولی نزدیک‌ترین دسته به آن است.

در ایران هم در مهر ۱۴۰۵ آگهی‌های مهندس داده دو برابر آگهی‌های دیتا ساینتیست بود. هر شرکتی که بخواهد از داده یا هوش مصنوعی استفاده کند، اول باید داده‌اش مرتب و در دسترس باشد.