Ошибки просто выскакивают если материалов примерно больше чем 50.
Надо выяснить причины - и устранить их. Например подождать пока сервер отдаст картинку с ограничением на время ожидания, а не вставлять "тупо" замедлитель на всё! Хороший пример тот же aggregator - сгребает из ленты и файлы - не нужны и "очередь" использует и частями грузит!
Комментарии
А зачем? Многие наоборот хотят - ускорит.
Ошибки просто выскакивают если материалов примерно больше чем 50.
Причем у всех материалов есть много внешних картинок из сайта , которые парсятся.
Возможно сайт просто не успевает "дать" эти картинки.
Очень трудоемко разбивать csv файл на файлы в которых по 50 позицый
Надо выяснить причины - и устранить их. Например подождать пока сервер отдаст картинку с ограничением на время ожидания, а не вставлять "тупо" замедлитель на всё! Хороший пример тот же aggregator - сгребает из ленты и файлы - не нужны и "очередь" использует и частями грузит!