Последние новости: Свежий coursehunters.club

Веб-скрапинг используя PhantomJS и CasperJS - Видеоуроки

Scrape Websites using PhantomJS and CasperJS
Duration 02:14:51
Открыть все курсы от udemy

Scrape Websites using PhantomJS and CasperJS - Полный список уроков

Развернуть / Свернуть
  • Урок 1. Intro and Projects Overview 00:02:05
  • Урок 2. Disclaimer 00:00:28
  • Урок 3. What is PhantomJS 00:02:54
  • Урок 4. What is CasperJS 00:04:15
  • Урок 5. Install Python 00:00:58
  • Урок 6. Installing PhantomJS 00:05:06
  • Урок 7. Installing CasperJS 00:04:49
  • Урок 8. Setting Up a Project 00:06:27
  • Урок 9. Options and Workflow 00:05:00
  • Урок 10. Introduction to Project 00:00:36
  • Урок 11. Get Results from Bing.com 00:03:06
  • Урок 12. Get Results from Bing.com - Part 2 00:06:51
  • Урок 13. Introduction to Project 00:00:43
  • Урок 14. Scraping JS-Rendered - Part 1 00:05:50
  • Урок 15. Scraping JS-Rendered - Part 2 00:06:39
  • Урок 16. Scraping JS-Rendered - Part 3 00:06:31
  • Урок 17. Scraping JS-Rendered - Part 4 00:03:11
  • Урок 18. Introduction to Project 00:00:49
  • Урок 19. Project Setup 00:04:57
  • Урок 20. Get Names and Prices - Part 1 00:05:49
  • Урок 21. Get Names and Prices - Part 2 00:05:59
  • Урок 22. Introduction to Project 00:00:37
  • Урок 23. Project Setup 00:05:26
  • Урок 24. Scrape Product Reviews - Part 1 00:06:24
  • Урок 25. Scrape Product Reviews - Part 2 00:08:25
  • Урок 26. Scrape Product Reviews - Part 3 00:09:31
  • Урок 27. Scrape Product Reviews - Part 4 00:03:59
  • Урок 28. Introduction to Project 00:00:26
  • Урок 29. Twitter Log In & Search 00:06:06
  • Урок 30. Twitter Log In & Search - Part 2 00:05:51
  • Урок 31. Extras and Tips 00:04:22
  • Урок 32. Thank You 00:00:41

Станьте лучшим разработчиком JavaScript и изучите Front-End тестирование. Мы будем использовать javascript, lodash и jquery для скрапинга. В этом курсе вы узнаете, как собирать данные с веб-страниц с помощью CasperJS. Этот курс состоит из 5 проектов, которые помогут вам в полной мере понять возможности браузера с использованием API CasperJS. Вы получите полное понимание передовых концепций веб-скрапинга, а также получите представление о том, как использовать CasperJS для тестирования DOM-манипуляций и взаимодействия с пользовательским интерфейсом.

Что ожидать

Мы начнем с обзора того, как работают PhantomJS и CasperJS вместе с тем, как установить эти фреймворки. Затем мы обсудим, как будет выглядеть наш рабочий процесс, и параметры, которые мы можем передать в объект Casper.

Затем мы погрузимся в мясо этого курса, проведя 5 проектов.

Проекты будут охватывать

  • Как скрапить веб-сайты, которые отображаются с помощью JavaScript вместо стандартного HTML
  • Как подождать, пока загруженные данные AJAX появятся чтобы их потом вытащить
  • Как отправлять формы как для авторизации, так и при выполнении поисковых запросов
  • Как определить шаги навигации - например, вход в сайт, нажатие кнопки и следующих ссылок
  • Как записывать и сохранять указанные данные в таблицах, а затем выводить их как .html-файл или как JSON.
  • И как делать скриншоты как полных веб-страниц, так и конкретных контейнеров

Что такое PhantomJS?

Phantom дает нам возможность выполнять много интересных действий на веб-странице, таких как: обработка страниц, имитация взаимодействия с пользователем и возможность динамического захвата и сохранения данных веб-сайта.

Что такое CasperJS?

CasperJS - это автономный фреймворк, созданный на основе Phantom и совместимый с большинством операционных систем. Основное внимание в этом курсе будет уделяться API Casper, и мы будем использовать этот API для написания всех наших скриптов для скрапинга веб-страниц.

Что вы должны знать

Вы уже должны знать основы JavaScript. Включая функции обратного вызова. Это поможет, если вы знаете какой-то jQuery. Мы используем lodash в наших примерах, но только в качестве замены встроенного метода Map, который является частью собственного Javascript API.

Твоя оценка

1 0
Следи за последними обновлениями и новостями в нашем coursehunters.club, или вступай в наш канал telegram.

Комментарии

Последнее добавленное

Продвинутый курс по Angular

Продвинутый курс по Angular

ru
Курс даст возможность быстро начать создавать свои приложения с использованием современного фреймворка - Angular. В процессе прохождения курса шаг за шагом вы сделаете реальное приложение, и хорошо разберетесь в специфике Angular. Вы будете получать информацию, писать код, показывать...
Gulp Сборка. Ускорение верстки

Gulp Сборка. Ускорение верстки

ru
Как вам идея зарабатывать больше, ускорив свой рабочий процесс, за счет внедрения новых инструментов? Все еще используете HTML + CSS? Переходи на красную сторону силы! У нас есть Gulp - Автообновление в браузере, LESS/SASS разложен по модулям, Нет дублированию кода, Компонентый подход.
Веб-разработка Full-Stack | Node, SQL, React и многое другое

Веб-разработка Full-Stack | Node, SQL, React и многое другое

en
Создайте проект fullstack с помощью Node.js, PostgreSQL, SQL, React, Redux! API, аутентификация и многое другое! Это тот курс, который вам нужен, прежде чем стать инженером. Это тот курс, который был мне нужен, прежде чем я стал инженером-программистом, работающим в центре города в Сан-Франциско.
Изучение Blockchain разработки с EOS и C++

Изучение Blockchain разработки с EOS и C++

en
Изучите экосистему ЕOS dApp и узнайте, как писать и развертывать смарт-контракты в EOSIO блокчейн. Смарт-контракты? Они здесь. EOS Blockchain? Да. C ++? Тут! Не может быть никаких сомнений: технология EOS и blockchain является самой разрушительной силой за последние годы. Компании не могут...
Знакомство с API ВКонтакте от Тарасова Алексея

Знакомство с API ВКонтакте от Тарасова Алексея

ru
Курс о том, как отправлять запросы к программному интерфейсу сервиса ВКонтакте и получать или размещать информацию в соц. API – это программный интерфейс взаимодействия между главным приложением (ВКонтакте) и дополнительными внешними приложениями. С помощью HTTP запросов к специальному серверу...
chat
logo