1

Тема: Полный отказ работы YouTube-парсеров

В проекте MPC-BE уже давным давно наблюдается такое плавающее явление, как полный отказ работы YouTube-парсеров, причем не только встроенного, но и любых внешних, если они установлены в операционной системе.

В чем суть? Суть заключается в том, что при открытии совершенно любой, или какой-то определенной ссылки, плеер будет очень долго ее открывать, т.е. достаточно длительное время (более 10 секунд), после чего может выдать одно из двух:

1. В конечном итоге надпись "Invalid";
2. Открыть ссылку, но не через какие-либо YouTube-парсеры, а через системный фильтр-источник "File Source (URL)".

Так вот, в последнее время, данное явление стало проявляться гораздо чаще. Как правило, сначала плеер YouTube-ссылку не открывает, просто выдает ее как "Invalid", а уже при повторном открытии открывает ее, спустя некоторое достаточно продолжительное время, но как обычную ссылку, через системный фильтр-источник "File Source (URL)".

Что интересно - если обратить внимание на граф фильтров (список фильтров), то якобы это YouTube-ссылка в формате DASH. На самом деле, это не так. Почему? Да потому, что при воспроизведении идет загрузка видео во временную папку операционной системы (буферизация данных), причем только видео-потока, т.е. одного единственного видео-потока, без аудио (второго потока). Тут итак понятно, что если бы это был на самом деле DASH-формат, то скачать его через плеер, как два потока - видео и аудио, не получилось бы штатными (его) средствами, было бы просто напросто две ошибки о невозможности скачать видео и аудио потоки.

Получается, что при просмотре различного YouTube-контента подряд, в определенный момент, происходит некий затуп работы с парсерами, в результате чего и проявляется данное явление в виде полного отказа их работы.

Прилагаю скриншот данного явления.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

2

Re: Полный отказ работы YouTube-парсеров

2. Открыть ссылку, но не через какие-либо YouTube-парсеры, а через системный фильтр-источник "File Source (URL)".

Не надо открывать YouTube через "File Source (URL)". Причин куча. Тему можно закрывать.

3

Re: Полный отказ работы YouTube-парсеров

V0lt пишет:

Не надо открывать YouTube через "File Source (URL)". Причин куча. Тему можно закрывать.

Вы не поняли. Не я сам лично открываю ссылки через системный "File Source (URL)", а плеер сам открывает YouTube-ссылки через системный "File Source (URL)". Так что тема пока остается актуальной.

Добавлено: 2019-10-03 23:08:09

Когда происходит отказ работы YouTube-парсеров именно сам плеер начинает подключать к графу фильтров системный "File Source (URL)".

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

4

Re: Полный отказ работы YouTube-парсеров

Опять все в кучу smile
При чём здесь парсер Youtube, который парсит странички и отдаёт ссылки на потоки - и Source фильтры.
То что фильтры не могут подключиться - тут от нас ничего не зависит, значит сам ютуб по какой-то причине не отдаёт им данные. Может у него какая-то защита от скачивания срабатывает. У системного фильтра возможно другой user-agent и поэтому он может подключиться. Точно не узнать, у себя такого не разу не встречал.

I7 2600K@4.2 / Asrock P67 Extreme 4 Gen 3 / Kingston HyperX 8Gb 1866 (4x2) Kit / GIGABYTE GTX 960 / BenQ EW2430 / LG 47LM620T / Yamaha RX-V471 + NS-555 + NS-C444 + NS-333 + YST-SW215

5 (изменено: Evgeniy1990, 2019-10-04 06:36:16)

Re: Полный отказ работы YouTube-парсеров

Aleksoid1978 пишет:

При чём здесь парсер Youtube, который парсит странички и отдаёт ссылки на потоки - и Source фильтры..

Потому что по здравой логике должен был работать именно встроенный YouTube-парсер, в моем случае, без всякого системного фильтра-источника "File Source (URL)".

Aleksoid1978 пишет:

То что фильтры не могут подключиться - тут от нас ничего не зависит, значит сам ютуб по какой-то причине не отдаёт им данные. Может у него какая-то защита от скачивания срабатывает. У системного фильтра возможно другой user-agent и поэтому он может подключиться. Точно не узнать, у себя такого не разу не встречал.

Системного фильтра "File Source (URL)" вообще быть не должно никогда и ни при каких условиях, особенно касаемо работы YouTube-ссылок и парсеров. Значит, нужно ужесточить проверку при открытии YouTube-ссылок. Иначе получается черте-что. Совершенно любой внешний фильтр-источник будет подключаться вместо работы основного парсера, указанного в настройках, как в моем случае - "File Source (URL)". Если бы у меня было установлено что-то другое (другой фильтр-источник), то подключился бы он, минуя здравую логику настроек.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

6

Re: Полный отказ работы YouTube-парсеров

Опять 25.
Парсер работает, получает ссылку на поток.

А вот далее - source фильтры не могут подключиться и ПОЭТОМУ подтягивается другой - в данном случае системный, все по логике DS. Заблокируешь его - не подключиться.

File Source (URL) - сам не подключиться на прямую Youtube-ссылку, это же просто html страничка, не надо нести чушь. Вот сколько раз уже говорил и повторюсь - если человек не понимает, не шарит как работает тот или иной механизм - лучше вообще про это ничего не писать, чем такой бред.

I7 2600K@4.2 / Asrock P67 Extreme 4 Gen 3 / Kingston HyperX 8Gb 1866 (4x2) Kit / GIGABYTE GTX 960 / BenQ EW2430 / LG 47LM620T / Yamaha RX-V471 + NS-555 + NS-C444 + NS-333 + YST-SW215

7

Re: Полный отказ работы YouTube-парсеров

Открыл первую попавшую ссылку из истории, нормально подцепился MPC MP4/MOV Source.
Я к тому, что про проблемы Youtube надо писать прилагая конкретные ссылки.

8

Re: Полный отказ работы YouTube-парсеров

Aleksoid1978 пишет:

А вот далее - source фильтры не могут подключиться и ПОЭТОМУ подтягивается другой - в данном случае системный, все по логике DS. Заблокируешь его - не подключиться.

А вот почему они (встроенные фильтры-источники) не могут подключиться? Это странно, даже очень. И это никакая не защита от самого YouTube.

Aleksoid1978 пишет:

File Source (URL) - сам не подключиться на прямую Youtube-ссылку, это же просто html страничка, не надо нести чушь. Вот сколько раз уже говорил и повторюсь - если человек не понимает, не шарит как работает тот или иной механизм - лучше вообще про это ничего не писать, чем такой бред.

Видимо я неправильно выразился. Тогда скажу иначе - всегда должны подключаться встроенные фильтры-источники.
А тут ситуация такая: первый раз ни один фильтр-источник не подключился вообще, даже системный File Source (URL), плеер просто выдал надпись Invalid, а уже во второй раз, при повторном открытии одной и той же ссылки, подключился системный File Source (URL) ко встроенному парсеру. Но в обычной ситуации всегда работают только встроенные фильтры-источники по умолчанию.

Aleksoid1978 пишет:

Вот сколько раз уже говорил и повторюсь - если человек не понимает, не шарит как работает тот или иной механизм - лучше вообще про это ничего не писать, чем такой бред.

Да, я признаю, что сказал бред, неправильно высказался, а все потому, что у нас один хрен попробуй понять какие строятся графы фильтров при открытии YouTube-ссылок.

Обычная нормальная ситуация: "Встроенный YouTube-парсер" + "MPC MP4/MOV Source"
Ненормальная подозрительная ситуация: "Встроенный YouTube-парсер" + "File Source (URL)" + "MPC MP4/MOV Splitter"

Когда я говорил, что не должно быть системного "File Source (URL)", я имел в виду обычную нормальную ситуацию по умолчанию.

К тому же, здесь есть и другая странность - вот не подключился ни один фильтр-источник, даже системный, плеер сказал Invalid, а при повторном открытии подключился именно системный фильтр-источник. Почему именно он? И вообще - как такое возможно, если даже у LAV Source приоритет выше, чем у него. Странно, что не подцепился LAV Source, с учетом логики приоритетов. Вот это и называется черте что - не смог подключится встроенный "MPC MP4/MOV Source", давай сразу "File Source (URL)" + "MPC MP4/MOV Splitter". А то, что в системе также установлен внешний LAV Source с высочайшим приоритетом - да кому он сдался его приоритет... Я же умная десятка, что хочу, то и ворочу, куда уж там какому-то бета-тестеру до меня - мне свой родной "File Source (URL)" по душе.

P.S. Вот с внешним парсером "3DYD YouTube Source" - все понятно с графом фильтров, сомнений и вопросов не возникает. А вот со встроенным, а уж тем боле с youtube-dl еще какие вопросы и сомнения возникают.

Вот как определить какой YouTube-парсер у тебя работает встроенный, или youtube-dl, если и там и там одинаковые графы фильтров? Только разве что посмотрев в настройки онлайн-сервисов. А это запутывает пользователя и порой он в уставшем состоянии уже начинает думать то, что думает - вот как раз этот самый бред, который я написал.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

9

Re: Полный отказ работы YouTube-парсеров

Evgeniy1990 пишет:

Вот как определить какой YouTube-парсер у тебя работает встроенный, или youtube-dl, если и там и там одинаковые графы фильтров? Только разве что посмотрев в настройки онлайн-сервисов.

Правильно по настройке.
Если включен встроенный парсер, то youtube-dl страницы YouTube парсить не должен.

10

Re: Полный отказ работы YouTube-парсеров

V0lt пишет:

Открыл первую попавшую ссылку из истории, нормально подцепился MPC MP4/MOV Source.
Я к тому, что про проблемы Youtube надо писать прилагая конкретные ссылки.

V0lt

Вчера у меня выскочила данная проблема вот на этой ссылке.

Сегодня уже нормальный граф фильтров построился: "Встроенный YouTube-парсер" + "MPC MP4/MOV Source".

Добавлено: 2019-10-04 20:39:51

V0lt пишет:
Evgeniy1990 пишет:

Вот как определить какой YouTube-парсер у тебя работает встроенный, или youtube-dl, если и там и там одинаковые графы фильтров? Только разве что посмотрев в настройки онлайн-сервисов.

Правильно по настройке.
Если включен встроенный парсер, то youtube-dl страницы YouTube парсить не должен.

Так я об этом и говорю, что только посмотрев в настройки раздела онлайн-сервисов. А если что-то пойдет не так, допустим встроенный парсер откажет, то тут уже хрен поймешь что работает. Будешь думать, что работает встроенный, а на самом деле работал все это время внешний youtube-dl.

В общем, предлагаю реализовать надпись, чтобы было видно и понятно, какой парсер YouTube работает в настоящее время, тогда вопросов и сомнений не будет. А также не будет заблуждений и путаниц.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

11

Re: Полный отказ работы YouTube-парсеров

Пользователю совершенно не важно каким "парсером" открылась ссылка.
А понять что работает встроенный - можно посмотрев в Навигацию, только встроенный создает/выводит список разных форматов/разрешений.

И еще раз повторюсь - парсер не имеет никакого отношения к графу DS, он просто вместо ссылки на страницу отдает ссылку на поток(и).

I7 2600K@4.2 / Asrock P67 Extreme 4 Gen 3 / Kingston HyperX 8Gb 1866 (4x2) Kit / GIGABYTE GTX 960 / BenQ EW2430 / LG 47LM620T / Yamaha RX-V471 + NS-555 + NS-C444 + NS-333 + YST-SW215

12

Re: Полный отказ работы YouTube-парсеров

Evgeniy1990
Предлагаю тебе принудительно запретить "File Source (URL)" и наблюдать что будет.

Я думаю, на сервер Ютуба временно работал не так как обычно.
Может полученная ссылка не успевала "созреть", и "созревала", когда очередь доходила до внешних фильтров. big_smile

13

Re: Полный отказ работы YouTube-парсеров

V0lt пишет:

Предлагаю тебе принудительно запретить "File Source (URL)" и наблюдать что будет.

Хорошо.

Десятка - это дрянная система, которую приходится периодически все больше и больше кастрировать. Удалять всю ее погань.

V0lt пишет:

Я думаю, на сервер Ютуба временно работал не так как обычно.
Может полученная ссылка не успевала "созреть", и "созревала", когда очередь доходила до внешних фильтров. big_smile

Ха, забавно сказали...

Можно конечно грешить на сервер Ютуба, но не в данном случае. Я больше склоняюсь к тому, что где-то у нас в коде чего-то не хватает, а именно более строгой проверки.

Ведь мы, в свое время, избавились от работы File Source (URL), при открытии YouTube-ссылок. А он снова периодически появляется, что уже противоречит тому, что мы сделали. Получается так, что мы от него не избавились вовсе.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

14

Re: Полный отказ работы YouTube-парсеров

Evgeniy1990
Никто от "File Source (URL)" не избавлялся на совсем. Просто наши сурс-фильтры научились сами из интернета качать. Т.к. встроенные фильтры в приоритете, то они и отрывают ссылки и до "File Source (URL)" в большинстве ситуаций очередь просто не доходит.

Забудь про "File Source (URL)". Проблема не в нем, он работает как умеет.

15 (изменено: Evgeniy1990, 2019-10-05 23:23:26)

Re: Полный отказ работы YouTube-парсеров

V0lt пишет:

Никто от "File Source (URL)" не избавлялся на совсем. Просто наши сурс-фильтры научились сами из интернета качать. Т.к. встроенные фильтры в приоритете, то они и отрывают ссылки и до "File Source (URL)" в большинстве ситуаций очередь просто не доходит.

Вот именно - встроенные фильтры в приоритете и только они и должны работать, если пользователь сам лично их не отключит в настройках. Никакого File Source (URL) быть не может. А раз он подключается, значит есть проблема в коде самого плеера.

V0lt пишет:

Забудь про "File Source (URL)". Проблема не в нем, он работает как умеет.

Да я прекрасно знаю и вижу, что проблема не в нем, а в коде нашего плеера. По неизвестной причине, минуя здравую логику работы встроенных фильтров-источников, вместо них имеет наглость подключаться системный "File Source (URL)".
Но он не должен подключаться, по логике, если работают встроенные фильтры-источники, тем более что они теперь умеют (научились) работать с потоками.

Добавлено: 2019-10-06 00:38:53

V0lt пишет:

Никто от "File Source (URL)" не избавлялся на совсем.


Вот так новость... Неудивительно, что он лезет когда ему вздумается.

Тогда надо было оставить опцию в виде чекбокса с названием: "Использовать системный File Source (URL)", чтобы он не подключался когда ему вздумается.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

16

Re: Полный отказ работы YouTube-парсеров

V0lt

Предлагаю тебе принудительно запретить "File Source (URL)" и наблюдать что будет.

Понаблюдал. При открытии ссылки, плеер сказал просто "Неопознанная ошибка". Если внимательно присмотреться, то плеер почему-то не понимает, что ему предлагают открыть. Ругается именно на URL, говоря мне (пользователю) - мол, "я не понимаю, что это такое вообще". Словно это и ссылка вовсе. Естественно, системный "File Source (URL)" был заблокирован в это время, иначе бы он подключился и открыл некую ссылку.

Да уж, ну уж очень странно... Очень похоже на некую поломку. В определенный (произвольный) момент, плеер почему-то перестает понимать, что некий текст - это URL. Такая вот плавающая проблема.

Добавлено: 2019-10-09 12:56:25

V0lt
Ну точно, как я и думал. Стал проверять различные YouTube-ссылки и плеер мне ответил "Неверное имя файла".
Зашибись! Впервые, за все свои тесты проекта, я такой ответ от него услышал.


Добавлено: 2019-10-09 13:55:24

В общем, понятно, плеер говорит "Неверное имя файла". если заблокирован системный "File Source (URL)".
Хотя по логике должна работать цепочка фильтров: "LAV Splitter Source" + "MPC Videoi Decoder". Вот точно поломка на все 100%.

Ну не может быть неверное имя файла, при недоступности системного "File Source (URL)", если в системе установлен альтернативный внешний фильтр-источник, в данном случае LAV Splitter Source. Т.е. плеер ведет себя некорректно, следовательно поломка именно в нем.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.

17

Re: Полный отказ работы YouTube-парсеров

Да при чем здесь плейер - просто ни один фильтр не смог подключиться. Вот и все.

I7 2600K@4.2 / Asrock P67 Extreme 4 Gen 3 / Kingston HyperX 8Gb 1866 (4x2) Kit / GIGABYTE GTX 960 / BenQ EW2430 / LG 47LM620T / Yamaha RX-V471 + NS-555 + NS-C444 + NS-333 + YST-SW215

18

Re: Полный отказ работы YouTube-парсеров

Теперь иная ситуация - вместо системного "File Source (URL)", подключается внешний YouTube-парсер, в моем случае - "3DYD YouTube Source".

А все из-за "User Agent". Раньше был "Googlebot" и иногда подключался системный "File Source (URL)". Теперь же, вместо него, сразу же подключается внешний YouTube-парсер (он же Source-фильтр) - "3DYD YouTube Source".

Но почему вдруг иногда перестает работать встроенный YouTube-пасрер - это непонятно. Зато теперь стало ясно, что этот "User Agent" оказывает на это влияние.

Motherboards: ASUS P5Q/GIGABYTE EP35C-DS3R, CPU: Core 2 Duo E8300/E8400, Memory: DDR2/DDR3, Video: MSI GTX 465/ASUS EAH5770/GTX 650 Ti, Audio: ASUS Xonar DG 5.1/Creative SB 5.1. VX/X-Fi Xtreme Gamer.