Початок. Підготовка проекту.
Перед тим, як почати підготовку проекту для масового скачування картинок, необхідно з'ясувати наступні речі:
Слід врахувати наступні моменти і обмеження:
В даному прикладі змінюється число, розташоване після "id =". У більшості випадків має сенс поставити початкове значення лічильника в 1 - якщо на сервері є "додаткові" картинки, недоступні безпосередньо через посилання на веб-сторінках, вони також будуть завантажені. Далі заповнюємо настройки проекту:
Ну ось, мабуть, і все. Можна починати скачування.
Налагодження. Налаштування проекту і виправлення помилок.
Точна настройка лічильника з використанням шаблону.
Можливість вказувати для лічильника шаблон введена в програму починаючи з версії 1.3. Хоча використання шаблону для лічильника може здатися надмірністю, в деяких випадках шаблон не тільки корисний, але без нього практично неможливо обійтися. Уявімо собі таку ситуацію:
Картинки на сайті нумеруються тризначними числами від 001 до 999 (наприклад, www.server.com/images/pic_000_.jpg. Www.server.com/images/pic_001_.jpg. І т.п.). Якщо не використовувати шаблон для лічильника, доведеться зробити три практично однакових проекту:
У першому будуть перебиратися всі номери з 1 до 9:
www.server.com/images/pic_00@_.jpg. лічильник від 1 до 9;
У другому - всі номери з 10 до 99:
www.server.com/images/pic_0@_.jpg. лічильник від 10 до 99;
І в третьому - всі номери з 100 до 999:
www.server.com/images/pic_@_.jpg. лічильник від 100 до 999;
Причому за кожним проектом доведеться весь час стежити, щоб лічильник не перейшов за верхню межу, і вчасно зупиняти кожен проект.
Використання шаблону для лічильника якраз і дозволяє уникнути такої нудної і малопродуктивною роботи. За допомогою шаблону можна задати ширину лічильника в цифрових позиціях (для вказівки цифровий позиції потрібно вписати в шаблон символ підстановки - за замовчуванням це @). Так, для наведеного вище прикладу потрібно всього лише задати шаблон для лічильника (нам потрібні три цифрові позиції - значить, шаблон повинен мати вигляд "@@@"). Отже:
www.server.com/images/pic_@_.jpg. лічильник встановлюємо в 1, шаблон - в @@@. Підстановка при цьому буде здійснюватися в два етапи:
- Спочатку до поточного значення лічильника буде застосований шаблон (для лічильника, рівного 12, результатом буде 012 - з провідними нулями).
- Далі отриманий рядок буде підставлена в URL сайту замість символу підстановки (www.server.com/images/pic_@_.jpg -> www.server.com/images/pic_012_.jpg).
Крім автоматичного додавання провідних нулів в лічильник, використання шаблону дозволяє автоматично завершити проект, як тільки лічильник перевищить відведений в шаблоні число позицій (в наведеному вище прикладі - коли лічильник досягне 1000).
При бажанні в шаблон лічильника можна вводити і інші символи (не тільки символ підстановки). Такі символи будуть безпосередньо перенесені в URL сайту: При шаблоні "@@ - @" і лічильнику 12 в URL сайту буде вставлена подстрока "01-2" (мінус перенесений з шаблону без змін).
Позбавляємося від банерів.
Робиться це (зазвичай) так:
Крім безпосереднього завдання фільтрів, можна зробити простіше: поставити обмеження на мінімальний обсяг скачуваних картинок (Конфігурація проекту -> Відповідь -> Чи не завантажувати файли коротше ХХ байт). Як нижньої межі потрібно вказати таке число, щоб банери і інші дрібні картинки просто не скачували (так, для деяких систем баннерного обміну банери не можуть бути більше 15 кілобайт за обсягом). На жаль, даний метод має кілька недоліків:
- Можуть блокуватися і потрібні картинки (особливо якщо вказати занадто великий мінімальний обсяг);
- На отримання розміру викачуваного файлу витрачається зайвий час (в той же час при блокуванні банерів за допомогою фільтрів Picture Pump їх ВЗАГАЛІ не намагається завантажувати);
- Деякі сервери не повертають інформацію про розмір файлів, тому обмеження за обсягом файлу з ними може не працювати.
Поради щодо оптимізації проектів.
- По можливості намагайтеся налаштовувати проекти на скачування безпосередньо картинок, а не сторінок, на яких вони розташовані. Це дозволяє обійтися без заповнення фільтрів (немає необхідності виключати банери) і прискорює закачування в два-три рази.
- Спробуйте вказати в налаштуваннях HTTP запиту мінімальну кількість полів, при яких сервер ще не повертає повідомлення про помилку. Це кілька скоротить обсяг переданої інформації і (теоретично) прискорює закачування.
Часті питання (FAQ).
При скачуванні виходять файли в незрозумілому форматі. Що робити?
Для виправлення ситуації встановіть тип URL сайту правильно (як вказує на HTML-сторінки).
При запуску проекту нічого не хитається, зростає лічильник помилок.
Причин може бути декілька. Найбільш очевидна (і найпоширеніша помилка) - невірно вказаний URL сайту. При цьому сервер видає помилки про незнайдених документах, і нічого не скачується (що, загалом-то, природно).
Для виправлення ситуації налаштуйте URL сайту і параметри лічильника правильно.
Інші можливі причини:
Для того, щоб встановити причину збоїв при скачуванні, слід виконати наступне:
А чим дивитися файли * .ppp?
Це мій улюблений питання. ) Коли мені його поставили в перший раз, я, чесно кажучи, не знав, плакати мені чи сміятися.
Люди! Файли * .ppp - це не графічні файли! І навіть не збірники викачаних картинок. Це всього лише файли проектів, в яких зберігаються настройки проекту (URL сайту, налаштування запиту, шаблон лічильника, поточне значення лічильника, вміст черги на скачування і т.п.)