جمع آوری اطلاعات و استخراج داده ها از صفحات وب، روشی است که گاهاً برای بهره گیری از اطلاعات یک صفحه وب در آدرسی دیگر مورد استفاده قرار میگیرد. وب اسکریپینگ یا web scraping روشی است که میتوان با آن اطلاعات و داده از سرتاسر اینترنت جمع آوری کرد.
وب اسکریپینگ چیست و چه مفهومی دارد؟
واژه هایی همچون web harvesting و Web scraping به معنای استخراج داده و اطلاعات از وب سایت است. وب اسکریپینگ یک تکنیک و روش است برای برداشتن اطلاعات از صفحات وب و استفاده کردن از آن. گاهاً در وب سایت ها دیده اید که بخشی از مطالب یک وب سایت دیگر در صفحات آن به نمایش درآمده است.
یا وب سایت هایی را دیده ایم که از خود هیچ محتوایی ندارند و تنها با کپی زدن محتوا از سایت ها و صفحات دیگر سایت خود را راه انداخته اند.
عملکرد وب اسکریپینگ چگونه است؟
نرم افزارها و روش هایی برای این کار وجود دارند که میتوانند با استفاده از پروتکل http و یا با استفاده از مرورگرهای وب به صفحات وب دسترسی داشته باشند. عملیات وب اسکریپینگ میتواند به صورت دستی، نرم افزاری، توسط خزنده های وب و یا حتی ربات های نرم افزاری انجام شود. صفحات وب یا استفاده از زبان HTML ساخته و ایجاد میشوند و دارای داده های متفاوتی هستند. اغلب این صفحات برای استفاده کاربران (انسان ها) ساخته شده اند و نه برای ماشین ها.در عملیات وب اسکریپینگ صفحه مورد نظر دریافت شده، صفحه مورد پالایش قرار گرفته و سپس بخش موردنظر از آن استخراج میگردد.
یک وب اسکریپر یک واسط است برای استخراج اطلاعات صفحات وب.
شاید تا بحال اسم فین تک به گوشتان خورده باشد. برای تعریف ساده آن میتوان به واسط های امور مالی در کشور اشاره کرد. فین تک یا فناوری مالی به معنای …
تکنیک های وب اسکریپینگ چیست؟
فرآیند استخراج و یا جمع آوری اطلاعات از صفحات وب تکنیک ها و روش های متفاوتی دارد. حتی ابزارهایی هم برای آن ایجاد شده است که از این دست میتوان به افزونه web scraper اشاره کرد. اما تکنیک ها را میتوان به صورت لیست وار اشاره کرد:
- DOM parsing
- HTML parsing
- Semantic annotation recognizing
- Computer vision web-page analysis
- Text pattern matching
- HTTP programming
همچنین از ابزارها در این زمینه می‌شود به موارد زیر اشاره کرد:
- cURL
- HtmlUnit
- HTTrack
- Wget
- Apify
- Scrapy
منابع: ویکی پدیا
علاقه مندی به تکنولوژی و پیشرفت که معتقد است تلاش میتواند همه چیز را در زندگی تغییر دهد.
سلام بسیار عالی.. ممنون میشم تلفظ اینجور لغات رو هم بزارین
سلام
بله حتما… و ممنونم از اظهار لطفتون…
سلام.قضیه ی اسکریپینگ اینستاگرام چیه؟ مرسی
سلام وقت بخیر
میشه با استفاده از یه سری برنامه ها، و یا با نوشتن یه سری از کدهاف تصاویر و ویدیوهای کاربران اینستاگرام رو دانلود کرد.