دوره تخصصی وب اسکرپینگ

وب اسکرپینگ - web scraping چیست؟

به صورت مختصر عملیات استخراج دیتا از وبسایت ها وب اسکرپینگ (web scraping) گفته میشه.
یا در توضیحی دیگر در یکسری از وبسایت ها داده های مفیدی وجود داره مانند قیمت ارز و طلا یا آگهی های استخدامی و فروش محصول و کالا که به صورت رایگان یا حتی غیررایگان در اختیار کسی قرار نمیدن و برای بدست آوردن اون دیتاها و جمع آوری آنها در سطح اینترنت به صورت دستی کاری سخت و وقت گیری میباشد و حتی اکثر این نوع دیتاها متغیر میباشند و نمیتوانیم هر روز زمان زیادی رو برای اینکار بگذاریم پس نیازه که به صورت اتوماتیک یا خودکار این کار را انجام دهیم به این فرایندی که به صورت خودکار دیتاها را استخراج میکنیم وب اسکرپینگ (web scraping) می گویند.

پیشنیاز دوره؟

به طور کل برای استخراج کردن دیتا از وبسایت ها نیازه که با HTML و CSS همچنین جاوااسکریپت یا نودجی اس آشنا باشید اما برای شروع این دوره نیاز به یادگیری عمیق نودجی اس یا جاوااسکریپت ندارید بلکه دانش اولیه ای از برنامه نویسی و جاوااسکریپت داشته باشید کافی میباشد و همچنین آشنایی اولیه با HTML و CSS رو هم در داخل این دوره بطور کامل یاد میگیرید و نیازی به یادگیری جداگانه نیست. پس پیشنیاز آنچنانی از شما نمیخوایم برای شروع این دوره و میتوانید با حداقل ترین پیشنیاز ها شروع به یادگیری کنید.

مزایای دوره:

۱- پشتیبانی رایگان در تلگرام و واتساپ

۲- یادگیری تمامی کتابخانه ها و ابزار های مخصوص استخراج دیتا (web scraping و Crawler ) کردن

۳- به روزرسانی مرتب و رایگان دوره

۴- انجام پروژه های عملی و واقعی در طول دوره

۵- دیتا اولین نیازمندی خیلی از شرکت ها و نرم افزارهاست که توی این دوره تمامی روش های استخراج دیتا رو یادمیگیرید

چه چیزهایی در این دوره یادمیگیریم:

در این دوره به روزترین و بهترین کتابخانه ها و پکیج های استخراج دیتا و crawler کردن رو بطور کامل یادمیگیرید مانند:

• puppeteer

• cheerio

• jsDom

• crawler

• axios, node-fetch, request-promise

• x-ray

• Playwright

• Selenium

• Superagent

• و ...

بهترین و پرکاربرد ترین ها رو در این دوره یادمیگیرید و برای استخراج دیتا به هیچ دوره یا آموزش دیگه ای نیاز ندارید

نکته ای که وجود دارده اینه که فقط در داخل ساختار وبسایت ها دیتا استخراج نمیشه بلکه نحوه دنبال کردن دیتاها در ریکوست ها و ریسپانس های وبسایت رو هم بطور کامل یادمیگیرید که چطور منبع اصلی داده را پیدا کنید.

چه پروژه ها و کار هایی داخل این دوره انجام میشه؟

در این دوره شما نحوه استخراج دیتا در وبسایت هایی مانند:

• دیجیکالا

• جاب اینجا

• منبع مقالات علمی (sid.ir)

• گیتهاب

• وبسایت قیمت ارز و طلا و ... (tgju.org)

• وبسایت قیمت ارز و کرپتو خارجی (iban.com)

• و کلی وبسایت دیگه...

آیا فقط استخراج دیتا رو یادمیگیریم:

خیر بلکه در این دوره نحوه ساخت و توسعه ی ربات های وب گرد مانند ربات ثبت نام وام ازدواج یا گرفتن وقت سفارت رو بطور کامل یادمیگیرید و ابزارهایی برای دور زدن کپچای گوگل و کپچا های تصویری رو در این دوره بهتون معرفی میکنم.

نتیجه گیری

بعد از گذراندن این دوره شما در هر وبسایتی که وجود داره میتونید استخراج دیتا انجام بدید و تمامی روش ها و پیچیدگی هایی که وجود داره رو بطور کامل براتون مشخص کردم همچنین این کار سخت رو یک کار ساده و راحت تبدیل کردم و ازش لذت ببرید