Для підняття рейтингу інтернет-ресурсу повинен використовуватися унікальний контент. Він є ключовим елементом при просуванні сайту. Унікальний контент є картинки або текст, які створюються безпосередньо для конкретної веб-сторінки і вперше публікуються в мережі. Створення унікального, цільового тексту для певного ресурсу називається копірайтингом. Пошукові системи при індексації контенту визначають, чи використовувався даний текст на інших веб-майданчиках.
Як визначається унікальність?
При індексуванні пошукові роботи неодмінно перевіряють унікальність контенту, яким наповнений ресурс. Якщо текст або все наповнення сайту скопійовано з інших джерел, то до ресурсу застосовується песимізація. Щоб уникнути цієї проблеми, потрібно контролювати унікальність і не допускати розміщення неякісних текстів, тоді просування буде ефективним. Хоча такі пошукові системи, як Рамблер і Яндекс, іноді допускають в топ ресурси з копіюватитексти, західні пошукові машини працюють в цьому напрямку значно суворіше.
Алгоритми перевірки унікальності тексту засновані на законах Зіпфа. Ще в середині двадцятого століття Джордж Кінгслі Зіпф, є вченим-лінгвістом, вивів два закони, засновані на закономірності частоти використання слів в тексті:
- добуток імовірності наявності певного слова в тексті на частоту застосування даного слова - це постійна константа;
- відношення частоти використання і число слів, наявних в тексті з цією частотою - однаково.
Користуючись даними висновками, пошукові машини розбивають текст з ресурсу на спеціальні частини. До однієї з них відносяться союзи, прийменники, вигуки та інші слова, що не мають смислового навантаження. Їх пошукові системи не враховують. У другій частині знаходяться ключові слова, орієнтуючись на які, користувач шукає потрібну йому інформацію. У третю групу входять випадкові пропозиції. Подібне розділення тексту на частини називається канонізацією, після якої пошукові роботи переходять до наступного етапу - алгоритму шинглів (англ. Shingle - лусочки).
Фрази і речення поділяються на невеликі частини, що складаються з декількох слів. Кількість слів в такому ланцюжку визначається довжиною шингли. Щоб перевірка на унікальність була стовідсотковою, кожної останньої слово шингли є початком наступного ланцюжка.
Будь шингл має контрольну суму. При порівнянні двох текстів суми повинні відрізнятися, збіги вказують на низьку унікальність. Порівняння шинглів дозволяє достовірно і точно визначати унікальність контенту.
Подібна перевірка з використанням алгоритму шинглів дає можливість виявити як повністю скопійовані тексти, так і виявити часткові копії. Але деякі недоліки в системі шинглів все-таки присутні: при перевірці тексту, насиченого популярними цитатами або розхожими фразами, буде показаний низький результат унікальності. Але пошукові машини лояльно ставляться до подібних текстів, розцінюючи фразеологізми або цитати як загальне надбання, і не застосовують до таких песимізація.
Джерела унікальних текстів
Перевірка унікальності
Унікальність тексту сьогодні може перевірити будь-який бажаючий - в Інтернеті для цього є безліч ресурсів. Вони також створені на основі алгоритму шинглів, і, як і пошукові системи, вони виявляють дубльований контент. Для перевірки унікальності можна скористатися сервісом Miratools або спеціальною програмою Advego Plagiatus.