Простий скрипт перевірки продублюваних записів в базі даних.
SELECT name, count(*) FROM table_dest GROUP BY name HAVING count(*) > 1 ORDER BY count(*);
При скануванні інформації в великих об’ємах важливо, щоб вона не повторювалась — при записі можна також користуватись альтернативним способом перевірки.
$query_insert = "INSERT INTO Products (ProductURL) SELECT * FROM (SELECT '" .$url ."') AS tmp WHERE NOT EXISTS ( SELECT name FROM Products WHERE ProductURL = '" .$url ."' ) LIMIT 1";