Веб-скрапинг используя PhantomJS и CasperJS - Видеоуроки

Scrape Websites using PhantomJS and CasperJS
Duration 02:14:51
Открыть все курсы от udemy
Облачный хостинг на SSD с лучшей техподдержкой! Развернуть приложение в один клик

Scrape Websites using PhantomJS and CasperJS - Полный список уроков

Развернуть / Свернуть
  • Урок 1. Intro and Projects Overview 00:02:05
  • Урок 2. Disclaimer 00:00:28
  • Урок 3. What is PhantomJS 00:02:54
  • Урок 4. What is CasperJS 00:04:15
  • Урок 5. Install Python 00:00:58
  • Урок 6. Installing PhantomJS 00:05:06
  • Урок 7. Installing CasperJS 00:04:49
  • Урок 8. Setting Up a Project 00:06:27
  • Урок 9. Options and Workflow 00:05:00
  • Урок 10. Introduction to Project 00:00:36
  • Урок 11. Get Results from Bing.com 00:03:06
  • Урок 12. Get Results from Bing.com - Part 2 00:06:51
  • Урок 13. Introduction to Project 00:00:43
  • Урок 14. Scraping JS-Rendered - Part 1 00:05:50
  • Урок 15. Scraping JS-Rendered - Part 2 00:06:39
  • Урок 16. Scraping JS-Rendered - Part 3 00:06:31
  • Урок 17. Scraping JS-Rendered - Part 4 00:03:11
  • Урок 18. Introduction to Project 00:00:49
  • Урок 19. Project Setup 00:04:57
  • Урок 20. Get Names and Prices - Part 1 00:05:49
  • Урок 21. Get Names and Prices - Part 2 00:05:59
  • Урок 22. Introduction to Project 00:00:37
  • Урок 23. Project Setup 00:05:26
  • Урок 24. Scrape Product Reviews - Part 1 00:06:24
  • Урок 25. Scrape Product Reviews - Part 2 00:08:25
  • Урок 26. Scrape Product Reviews - Part 3 00:09:31
  • Урок 27. Scrape Product Reviews - Part 4 00:03:59
  • Урок 28. Introduction to Project 00:00:26
  • Урок 29. Twitter Log In & Search 00:06:06
  • Урок 30. Twitter Log In & Search - Part 2 00:05:51
  • Урок 31. Extras and Tips 00:04:22
  • Урок 32. Thank You 00:00:41

Станьте лучшим разработчиком JavaScript и изучите Front-End тестирование. Мы будем использовать javascript, lodash и jquery для скрапинга. В этом курсе вы узнаете, как собирать данные с веб-страниц с помощью CasperJS. Этот курс состоит из 5 проектов, которые помогут вам в полной мере понять возможности браузера с использованием API CasperJS. Вы получите полное понимание передовых концепций веб-скрапинга, а также получите представление о том, как использовать CasperJS для тестирования DOM-манипуляций и взаимодействия с пользовательским интерфейсом.

Что ожидать

Мы начнем с обзора того, как работают PhantomJS и CasperJS вместе с тем, как установить эти фреймворки. Затем мы обсудим, как будет выглядеть наш рабочий процесс, и параметры, которые мы можем передать в объект Casper.

Затем мы погрузимся в мясо этого курса, проведя 5 проектов.

Проекты будут охватывать

  • Как скрапить веб-сайты, которые отображаются с помощью JavaScript вместо стандартного HTML
  • Как подождать, пока загруженные данные AJAX появятся чтобы их потом вытащить
  • Как отправлять формы как для авторизации, так и при выполнении поисковых запросов
  • Как определить шаги навигации - например, вход в сайт, нажатие кнопки и следующих ссылок
  • Как записывать и сохранять указанные данные в таблицах, а затем выводить их как .html-файл или как JSON.
  • И как делать скриншоты как полных веб-страниц, так и конкретных контейнеров

Что такое PhantomJS?

Phantom дает нам возможность выполнять много интересных действий на веб-странице, таких как: обработка страниц, имитация взаимодействия с пользователем и возможность динамического захвата и сохранения данных веб-сайта.

Что такое CasperJS?

CasperJS - это автономный фреймворк, созданный на основе Phantom и совместимый с большинством операционных систем. Основное внимание в этом курсе будет уделяться API Casper, и мы будем использовать этот API для написания всех наших скриптов для скрапинга веб-страниц.

Что вы должны знать

Вы уже должны знать основы JavaScript. Включая функции обратного вызова. Это поможет, если вы знаете какой-то jQuery. Мы используем lodash в наших примерах, но только в качестве замены встроенного метода Map, который является частью собственного Javascript API.

Твоя оценка

3 0
Следи за последними обновлениями и новостями в нашем coursehunter-club.net (Ex coursehunters.club), или вступай в наш канал telegram.

Комментарии

Похожие курсы

01-11-2018 en 46 уроков
udemy Learn Web Scraping with NodeJs in 2019 - The Crash Course
Изучите Web Scraping с помощью NodeJs и таких инструментов, как: Puppeteer от Google, Request, Cheerio. Войдите в мир Веб-скрапинга и интеллектуального анализа данных с помощью Node. Изучите современные методы Веб-скрапинга с помощью NodeJs - Puppeteer и с прямыми запросами NodeJs.
Duration 06:30:09
17 0

Последнее добавленное

[Книга] Java Persistence with Hibernate

[Книга] Java Persistence with Hibernate

ru
Java Persistence – механизм, помогающий обеспечить сохранность данных после завершения программы, что является главной чертой современных приложений. Hibernate – наиболее популярный инструмент Java для работы с базами данных, предоставляющим автоматическое прозрачное объектно-реляционное...
[Книга] React+D3v4

[Книга] React+D3v4

en
Повторно используемые данные и игры с использованием современного JavaScript. Создание динамических визуализаций данных в сети - боль в заднице. С React + d3.js ES6 вы научитесь создавать многократно используемые компоненты визуализации с использованием современных стандартов JavaScript примерно...
[Книга] Spring 5 для профессионалов

[Книга] Spring 5 для профессионалов

ru
Книга «Spring 5 для профессионалов» представляет собой многолетний бестселлер, который обновлен с целью отражения функциональных средств, предлагаемых последней версией платформы Spring Framework 5 - одного из самых популярных фреймворков для разработки приложения на Java.
Введение в CQRS и Event Sourcing

Введение в CQRS и Event Sourcing

en
Изучите источники событий на теоретических и практических примерах. Более 3 часов видео контента вводят новые концепции, а затем погружаются в реализацию идей с использованием кода. Получите доступ к источнику полнофункционального веб-приложения на основе событий, созданного с использованием...
Непрерывная интеграция на Gitlab

Непрерывная интеграция на Gitlab

en
Шаг за шагом, практическое руководство. Установите и используйте собственную среду GitLab / GitLab CI. К концу этого курса вы получите четкое представление о том, как работает непрерывная интеграция GitLab. У вас будет практический опыт настройки GitLab CE и добавления пользователей, проектов...
Стать менеджером по продукту | Изучите навыки и получите работу

Стать менеджером по продукту | Изучите навыки и получите работу

en
Самый обновленный и полный курс по управлению продуктами на Udemy! Вы изучите навыки, составляющие всю работу и процесс управления продуктом: от идеи до исследования рынка, от разработки UX до создания прототипов, технологий, метрик и, наконец, до создания продукта с пользовательскими историями...
[Книга] Unity в действии. Мультиплатформенная разработка на C#. 2-е межд. издание

[Книга] Unity в действии. Мультиплатформенная разработка на C#. 2-е межд. издание

ru
Unity зачастую представляют как набор компонентов, не требующих программирования, что в корне неверно. Для создания успешной игры необходимо многое: великолепная работа художника, программистские навыки, интересная история, увлекательный геймплей, дружная и слаженная работа команды разработчиков.
chat
logo