Intereting Posts
Как наложить изображение или изображение поверх снимка, снятого камерой Сделать знак плюса в строке java Элементы выпадающего окна Android autocompletetextview имеют большой шрифт Добавление фрагмента в диалог Ionic2 / Cordova build публикует приложение с различными функциями. Пример: бесплатный и оплаченный Название активности Android vs ActionBar Title Загрузить Bitmap с RGB_565 через Picasso Android Facebook SDK 4 в Eclipse Не удалось загрузить собственное объявление: 0 Ошибка Могу ли я управлять фонариком без использования android.hardware.Camera? Сбой инициализации SDL, причина в том, что нет доступного видеоустройства Genymotion – какой IP-адрес установлен в файле etc / hosts для локального веб-сервера хоста доступа через домен? Как проверить, были ли тосты уволены или нет Поддерживает ли Android JDK 6 или 7 Можно ли использовать Javascript / CSS для замены таблиц стилей при повороте мобильного устройства?

Разбор веб-сайта с помощью Jsoup, который динамически загружается как пользовательские свитки

Я работаю над проектом, который отображает имена песен и ссылку на эту песню, анализируя веб-сайт с помощью Jsoup. Единственная проблема заключается в том, что я могу получить только первые 10 элементов, которые я хочу с этого веб-сайта, потому что при прокрутке вниз сайт генерирует больше элементов. Конкретный веб-сайт, который я пытаюсь проанализировать, – это музыкальный сайт TrappedIO . Вы заметите при просмотре веб-сайта, что при прокрутке вниз появятся новые названия песен и изображения. Когда я использую элемент проверки в chrome, я вижу, что при прокрутке он генерирует больше элементов, которые я пытаюсь проанализировать.

CSS-путь к тому, что я обрабатываю: #content> div.container> div> div: nth-child (индекс элемента)

Проблема в том, когда я получаю этот сайт с Jsoup, используя этот метод,

Document doc = Jsoup.connect(url).get(); 

HTML вернулся из Jsoup: Pastebin

Возвращаются только первые 10 элементов, которые я хочу проанализировать, вместе со всем другим HTML. Чтобы быть более конкретным, я разбираюсь с использованием Jsoup в AsyncTask, а затем заполняет ListView анализируемыми данными.

Есть идеи? Любые предложения о том, как загрузить все сразу? Любой ответ очень ценится, спасибо.

Его довольно просто, чтобы получить следующий набор из 10, просто нажмите следующее

 http://trapped.io/?page=2 

Чтобы обобщить, просто page=PAGE_NUMBER правильный номер page=PAGE_NUMBER параметре запроса page=PAGE_NUMBER , вы можете получить набор из 10 элементов на этой странице.

Редактировать:

Как раз побочное примечание, может быть юридическая проблема в соскабливающих сайтах. Надеюсь, вы дважды проверили его законное одобрение, чтобы сделать соскабливание на своем сайте.