Последние новости: Coursehunters.club

Веб-скрапинг используя PhantomJS и CasperJS - Видеоуроки

Scrape Websites using PhantomJS and CasperJS
Duration 02:14:51
Открыть все курсы от udemy

Scrape Websites using PhantomJS and CasperJS - Полный список уроков

Развернуть / Свернуть
  • Урок 1. Intro and Projects Overview 00:02:05
  • Урок 2. Disclaimer 00:00:28
  • Урок 3. What is PhantomJS 00:02:54
  • Урок 4. What is CasperJS 00:04:15
  • Урок 5. Install Python 00:00:58
  • Урок 6. Installing PhantomJS 00:05:06
  • Урок 7. Installing CasperJS 00:04:49
  • Урок 8. Setting Up a Project 00:06:27
  • Урок 9. Options and Workflow 00:05:00
  • Урок 10. Introduction to Project 00:00:36
  • Урок 11. Get Results from Bing.com 00:03:06
  • Урок 12. Get Results from Bing.com - Part 2 00:06:51
  • Урок 13. Introduction to Project 00:00:43
  • Урок 14. Scraping JS-Rendered - Part 1 00:05:50
  • Урок 15. Scraping JS-Rendered - Part 2 00:06:39
  • Урок 16. Scraping JS-Rendered - Part 3 00:06:31
  • Урок 17. Scraping JS-Rendered - Part 4 00:03:11
  • Урок 18. Introduction to Project 00:00:49
  • Урок 19. Project Setup 00:04:57
  • Урок 20. Get Names and Prices - Part 1 00:05:49
  • Урок 21. Get Names and Prices - Part 2 00:05:59
  • Урок 22. Introduction to Project 00:00:37
  • Урок 23. Project Setup 00:05:26
  • Урок 24. Scrape Product Reviews - Part 1 00:06:24
  • Урок 25. Scrape Product Reviews - Part 2 00:08:25
  • Урок 26. Scrape Product Reviews - Part 3 00:09:31
  • Урок 27. Scrape Product Reviews - Part 4 00:03:59
  • Урок 28. Introduction to Project 00:00:26
  • Урок 29. Twitter Log In & Search 00:06:06
  • Урок 30. Twitter Log In & Search - Part 2 00:05:51
  • Урок 31. Extras and Tips 00:04:22
  • Урок 32. Thank You 00:00:41

Станьте лучшим разработчиком JavaScript и изучите Front-End тестирование. Мы будем использовать javascript, lodash и jquery для скрапинга. В этом курсе вы узнаете, как собирать данные с веб-страниц с помощью CasperJS. Этот курс состоит из 5 проектов, которые помогут вам в полной мере понять возможности браузера с использованием API CasperJS. Вы получите полное понимание передовых концепций веб-скрапинга, а также получите представление о том, как использовать CasperJS для тестирования DOM-манипуляций и взаимодействия с пользовательским интерфейсом.

Что ожидать

Мы начнем с обзора того, как работают PhantomJS и CasperJS вместе с тем, как установить эти фреймворки. Затем мы обсудим, как будет выглядеть наш рабочий процесс, и параметры, которые мы можем передать в объект Casper.

Затем мы погрузимся в мясо этого курса, проведя 5 проектов.

Проекты будут охватывать

  • Как скрапить веб-сайты, которые отображаются с помощью JavaScript вместо стандартного HTML
  • Как подождать, пока загруженные данные AJAX появятся чтобы их потом вытащить
  • Как отправлять формы как для авторизации, так и при выполнении поисковых запросов
  • Как определить шаги навигации - например, вход в сайт, нажатие кнопки и следующих ссылок
  • Как записывать и сохранять указанные данные в таблицах, а затем выводить их как .html-файл или как JSON.
  • И как делать скриншоты как полных веб-страниц, так и конкретных контейнеров

Что такое PhantomJS?

Phantom дает нам возможность выполнять много интересных действий на веб-странице, таких как: обработка страниц, имитация взаимодействия с пользователем и возможность динамического захвата и сохранения данных веб-сайта.

Что такое CasperJS?

CasperJS - это автономный фреймворк, созданный на основе Phantom и совместимый с большинством операционных систем. Основное внимание в этом курсе будет уделяться API Casper, и мы будем использовать этот API для написания всех наших скриптов для скрапинга веб-страниц.

Что вы должны знать

Вы уже должны знать основы JavaScript. Включая функции обратного вызова. Это поможет, если вы знаете какой-то jQuery. Мы используем lodash в наших примерах, но только в качестве замены встроенного метода Map, который является частью собственного Javascript API.

Твоя оценка

2 0
Следи за последними обновлениями и новостями в нашем coursehunters.club, или вступай в наш канал telegram.

Комментарии

Похожие курсы

01-11-2018 en 30 уроков
udemy Learn Web Scraping with NodeJs - The Crash Course
Изучите Web Scraping с помощью NodeJs и таких инструментов, как: Puppeteer от Google, Request, Cheerio. Войдите в мир Веб-скрапинга и интеллектуального анализа данных с помощью Node. Изучите современные методы Веб-скрапинга с помощью NodeJs - Puppeteer и с прямыми запросами NodeJs.
Duration 04:31:24
4 0

Последнее добавленное

Просто Express (с кучей node и http). В деталях.

Просто Express (с кучей node и http). В деталях.

en
Нет MERN или MEAN ... просто Express. Для тех, кто немного узнал о самом крутом фреймворке node и хочет больше. У вас есть представление о том, что такое Node, Express и http, иначе вас бы здесь не было. Node и серверная часть JavaScript взяли мир штурмом, [НЕКОТОРАЯ БОЛЬШАЯ КОМПАНИЯ] переехала...
Разработка модуей Drupal 8 с примерами

Разработка модуей Drupal 8 с примерами

en
Никогда не было лучшего времени для изучения разработки модулей Drupal 8. Это потому, что Drupal 8 уже является лучшим технологически и более быстрым способом создания приложений Drupal (по сравнению с Drupal 7). Drupal 8 построен поверх Symfony, поэтому хорошие новости заключаются в том...
Appium (Версия 1.8.2) - Мобильное автоматизированное тестирование с нуля

Appium (Версия 1.8.2) - Мобильное автоматизированное тестирование с нуля

en
Appium курс - 200+ лекций по мобильной автоматизации от основ с примерами в реальных проектах. Курс полностью обновлен 12 ноября с последней версией Appium 1.8.2. Узнайте все, что вам нужно знать о мобильной автоматизации (Android + IOS), даже если вы никогда не программировали раньше.
gRPC [Golang] Мастер-класс: создание современных API и микросервисов

gRPC [Golang] Мастер-класс: создание современных API и микросервисов

en
Лучше, чем REST API! Создайте быстрый и масштабируемый HTTP / 2 API для Go микро-сервиса с помощью gRPC, Protocol Buffers (protobuf). gRPC - это новый и современный фреймворк для построения масштабируемого, современного и быстрого API. Он используется многими ведущими технологическими компаниями...
Машинное обучение от А до Я: станьте мастером Kaggle

Машинное обучение от А до Я: станьте мастером Kaggle

en
Изучите основные алгоритмы машинного обучения с использованием Python от начального до супер продвинутого уровня, включая математические знания. Хотите стать хорошим специалистом по данным? Тогда это правильный курс для вас. Этот курс был разработан специалистами IIT, которые освоили математику...
PHP: Разработка микрофреймворка

PHP: Разработка микрофреймворка

ru
Фреймворки - основной способ создавать сложные сайты в интернете. На определённом уровне недостаточно просто знать как ими пользоваться, нужно понимать как они устроены внутри. Благодаря этому курсу вы не только узнаете про все внутренности, но и создадите свой собственный неповторимый фреймворк.
Регулярные выражения

Регулярные выражения

ru
Практически каждый программист сталкивается с регулярными выражениями в повседневной практике. Многих они отпугивают, но регулярные выражения основаны на небольшом количестве простых понятий. Освоив эти понятия, вы сможете всегда чувствовать себя комфортно при работе с этим мощным инструментом.
chat
logo