وب اسکریپینگ چیست؟

جمع آوری اطلاعات و استخراج داده ها از صفحات وب، روشی است که گاهاً برای بهره گیری از اطلاعات یک صفحه وب در آدرسی دیگر مورد استفاده قرار میگیرد. وب اسکریپینگ یا web scraping روشی است که میتوان با آن اطلاعات و داده از سرتاسر اینترنت جمع آوری کرد.

وب اسکریپینگ چیست و چه مفهومی دارد؟

واژه هایی همچون web harvesting و Web scraping به معنای استخراج داده و اطلاعات از وب سایت است. وب اسکریپینگ یک تکنیک و روش است برای برداشتن اطلاعات از صفحات وب و استفاده کردن از آن. گاهاً در وب سایت ها دیده اید که بخشی از مطالب یک وب سایت دیگر در صفحات آن به نمایش درآمده است.

یا وب سایت هایی را دیده ایم که از خود هیچ محتوایی ندارند و تنها با کپی زدن محتوا از سایت ها و صفحات دیگر سایت خود را راه انداخته اند.

 

 

عملکرد وب اسکریپینگ چگونه است؟

نرم افزارها و روش هایی برای این کار وجود دارند که میتوانند با استفاده از پروتکل http و یا با استفاده از مرورگرهای وب به صفحات وب دسترسی داشته باشند. عملیات وب اسکریپینگ میتواند به صورت دستی، نرم افزاری، توسط خزنده های وب و یا حتی ربات های نرم افزاری انجام شود. صفحات وب یا استفاده از زبان HTML ساخته و ایجاد میشوند و دارای داده های متفاوتی هستند. اغلب این صفحات برای استفاده کاربران (انسان ها) ساخته شده اند و نه برای ماشین ها.در عملیات وب اسکریپینگ صفحه مورد نظر دریافت شده، صفحه مورد پالایش قرار گرفته و سپس بخش موردنظر از آن استخراج میگردد.

یک وب اسکریپر یک واسط است برای استخراج اطلاعات صفحات وب.


فین تک چیست؟

Related Post

شاید تا بحال اسم فین تک به گوشتان خورده باشد. برای تعریف ساده آن میتوان به واسط های امور مالی در کشور اشاره کرد. فین تک یا فناوری مالی به معنای …

 


تکنیک های وب اسکریپینگ چیست؟

فرآیند استخراج و یا جمع آوری اطلاعات از صفحات وب تکنیک ها و روش های متفاوتی دارد. حتی ابزارهایی هم برای آن ایجاد شده است که از این دست میتوان به افزونه web scraper اشاره کرد. اما تکنیک ها را میتوان به صورت لیست وار اشاره کرد:

  • DOM parsing
  • HTML parsing
  • Semantic annotation recognizing
  • Computer vision web-page analysis
  • Text pattern matching
  • HTTP programming

 

 

همچنین از ابزارها در این زمینه می‌شود به موارد زیر اشاره کرد:

  • cURL
  • HtmlUnit
  • HTTrack
  • Wget
  • Apify
  • Scrapy

منابع: ویکی پدیا

میتوانید این مطلب را با دوستان خود به اشتراک بگذارید

مشاهده کامنت ها (4)

    • سلام وقت بخیر

      میشه با استفاده از یه سری برنامه ها، و یا با نوشتن یه سری از کدهاف تصاویر و ویدیوهای کاربران اینستاگرام رو دانلود کرد.

پست های مرتبط