وب اسکریپینگ چیست؟

وب اسکریپینگ چیست؟ / ویکی ووک

جمع آوری اطلاعات و استخراج داده ها از صفحات وب، روشی است که گاهاً برای بهره گیری از اطلاعات یک صفحه وب در آدرسی دیگر مورد استفاده قرار میگیرد. وب اسکریپینگ یا web scraping روشی است که میتوان با آن اطلاعات و داده از سرتاسر اینترنت جمع آوری کرد.

وب اسکریپینگ چیست و چه مفهومی دارد؟

واژه هایی همچون web harvesting و Web scraping به معنای استخراج داده و اطلاعات از وب سایت است. وب اسکریپینگ یک تکنیک و روش است برای برداشتن اطلاعات از صفحات وب و استفاده کردن از آن. گاهاً در وب سایت ها دیده اید که بخشی از مطالب یک وب سایت دیگر در صفحات آن به نمایش درآمده است.

یا وب سایت هایی را دیده ایم که از خود هیچ محتوایی ندارند و تنها با کپی زدن محتوا از سایت ها و صفحات دیگر سایت خود را راه انداخته اند.

 

وب اسکریپینگ چیست؟ / ویکی ووک

 

عملکرد وب اسکریپینگ چگونه است؟

نرم افزارها و روش هایی برای این کار وجود دارند که میتوانند با استفاده از پروتکل http و یا با استفاده از مرورگرهای وب به صفحات وب دسترسی داشته باشند. عملیات وب اسکریپینگ میتواند به صورت دستی، نرم افزاری، توسط خزنده های وب و یا حتی ربات های نرم افزاری انجام شود. صفحات وب یا استفاده از زبان HTML ساخته و ایجاد میشوند و دارای داده های متفاوتی هستند. اغلب این صفحات برای استفاده کاربران (انسان ها) ساخته شده اند و نه برای ماشین ها.در عملیات وب اسکریپینگ صفحه مورد نظر دریافت شده، صفحه مورد پالایش قرار گرفته و سپس بخش موردنظر از آن استخراج میگردد.

یک وب اسکریپر یک واسط است برای استخراج اطلاعات صفحات وب.


فین تک چیست؟ / ویکی ووکفین تک چیست؟

شاید تا بحال اسم فین تک به گوشتان خورده باشد. برای تعریف ساده آن میتوان به واسط های امور مالی در کشور اشاره کرد. فین تک یا فناوری مالی به معنای …

 


تکنیک های وب اسکریپینگ چیست؟

فرآیند استخراج و یا جمع آوری اطلاعات از صفحات وب تکنیک ها و روش های متفاوتی دارد. حتی ابزارهایی هم برای آن ایجاد شده است که از این دست میتوان به افزونه web scraper اشاره کرد. اما تکنیک ها را میتوان به صورت لیست وار اشاره کرد:

  • DOM parsing
  • HTML parsing
  • Semantic annotation recognizing
  • Computer vision web-page analysis
  • Text pattern matching
  • HTTP programming

 

وب اسکریپینگ چیست؟ / ویکی ووک

 

همچنین از ابزارها در این زمینه می‌شود به موارد زیر اشاره کرد:

  • cURL
  • HtmlUnit
  • HTTrack
  • Wget
  • Apify
  • Scrapy

منابع: ویکی پدیا

میتوانید این مطلب را با دوستان خود به اشتراک بگذارید

4 دیدگاه در “وب اسکریپینگ چیست؟

    • سلام وقت بخیر

      میشه با استفاده از یه سری برنامه ها، و یا با نوشتن یه سری از کدهاف تصاویر و ویدیوهای کاربران اینستاگرام رو دانلود کرد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *