Contexte
L'Université Toulouse Capitole diffuse depuis quelques années une
liste noire d'URLs, gérée par Fabrice Prigent
afin de permettre un meilleur contrôle de l'utilisation d'Internet.
Cette base, largement utilisée par les écoles, peut s'intégrer dans un grand
nombre d'outils libres ou commerciaux, en complément d'autres listes.
Avec le temps le nombre de catégories a fortement augmenté, et leur rôle a changé. La liste que nous fournissons doit être vue comme une catégorisation des sites, plus que comme une liste à bloquer. Par exemple
- child est une catégorie dite liste blanche pour les enfants en bas âge
- liste_bu est une catégorie à ouvrir pour les universités
- press peut être vue comme à interdire (au travail par exemple) ou à autoriser (CIO, Bibliothèque).
La licence d'utilisation
Cette création est mise à disposition sous un contrat Creative Commons.
Description
Plusieurs catégories sont définies, mais c'est surtout le pornographique qui est
activement maintenu.
Pour ceux qui veulent une base de "travail". Je ne mets à jour régulièrement que la base adult qui nous
est la plus utile. Si certains d'entre vous décidaient de compléter les autres bases, je me ferais un plaisir de les intégrer
dans la mise à jour.
J'ajoute à l'heure actuelle entre 50 et 300 urls par jour (il faut faire des vérifications sur certaines
urls) : je ne peux absorber que lentement les ajouts que fait mon robot d'exploration. Veuillez m'en excuser.
Il existe un fichier regroupant toutes les catégories :
blacklists.tar.gz
C'est la compilation des bases qui sont décrites ci-dessous :
| Catégorie | Nombre | Description |
|---|---|---|
| adult | 4578103 | Des sites adultes allant de l'érotique à la pornographie dure. |
| agressif | 394 | Quelques sites racistes, antisémites, incitant à la haine. |
| arjel | 69 | Sites de pari en ligne certifiés par l ARJEL |
| associations_religieuses | 1 | Sites d'associations religieuses |
| astrology | 29 | Astrologie |
| audio-video | 3866 | Quelques sites orientés vers l'audio et la vidéo. |
| bank | 1896 | Banque en ligne |
| bitcoin | 336 | Sites de bitcoin |
| blog | 1485 | Quelques sites hébergeant des blogs. |
| celebrity | 673 | Tout ce qui concerne l actualité dite people |
| chat | 264 | Site de dialogue et conversation en ligne. |
| child | 75 | Tout ce qui est autorisé pour des enfants |
| cleaning | 177 | Sites pour désinfecter et mettre à jour des ordinateurs. |
| cooking | 28 | Sites de cuisine |
| cryptojacking | 16283 | Site de mining en hijacking |
| dangerous_material | 50 | Sites décrivant des moyens de créer du matériel dangereux (explosif, poison, etc.). |
| dating | 4262 | Sites de rencontres |
| ddos | 421 | Sites de déni de services |
| dialer | 4 | Sites de dialer |
| doh | 3016 | Serveurs DNS over HTTP ou équivalent |
| download | 4033 | Sites qui permettent de télécharger des logiciels |
| drogue | 1066 | Drogue. |
| educational_games | 11 | Sites de jeux éducatifs |
| examen_pix | 347 | Une liste uniquement réservée aux élèves français passant l examen PIX. NE PAS UTILISER dans d autres circonstances |
| fakenews | 1085 | Site diffusant fakenews |
| filehosting | 938 | Sites qui hébergent des contenus (vidéos, images, sons) |
| financial | 472 | Informations financières, bourses. |
| forums | 225 | Forums. |
| gambling | 5661 | Sites de jeux en ligne, casino, etc. |
| games | 35273 | Sites de jeux, en ligne, ou de distributions de jeux. |
| hacking | 304 | Sites de piratage et d'agressions informatiques. |
| jobsearch | 421 | Site pour trouver un emploi |
| lingerie | 136 | Sites de lingerie |
| liste_bu | 2904 | Une liste très "univ-tlse1.fr" de sites éducatifs pour notre bibliothèque. |
| malware | 104835 | Tout site qui injecte des malwares |
| manga | 838 | Tout ce qui est lié à l'univers des mangas et de la bande dessinée |
| marketingware | 47 | Sites de marketing très spéciaux |
| mixed_adult | 157 | Sites qui contiennent des portions adultes non structurés |
| mobile-phone | 51 | Sites pour les mobiles (sonneries, etc.). |
| phishing | 105187 | Sites de phishing, de pièges bancaires, ou autres. Copie de la catégorie malware. |
| press | 4574 | Tout site de presse d'information |
| publicite | 4108 | Publicité. |
| radio | 540 | Sites de radio sur Internet |
| reaffected | 8 | Sites qui ont changé de propriétaire et donc de contenu |
| redirector | 131610 | Quelques sites qui permettent de contourner les filtres. |
| remote-control | 65 | Site permettant la prise de contrôle à distance |
| residential_proxies | 68 | Site diffusant residential_proxies |
| sect | 145 | Secte |
| sexual_education | 20 | Sites qui parlent d éducation sexuelle et qui peuvent être détectés comme pornographiques |
| shopping | 36860 | Sites de vente et achat en ligne |
| shortener | 449 | Raccoursisseur d'URL |
| social_networks | 704 | Tous les sites de réseaux sociaux |
| sports | 2332 | Sports |
| stalkerware | 23 | Site diffusant des outils d'espionnage pour les particuliers |
| strict_redirector | 131338 | Comme redirector, mais avec les moteurs de recherche classiques. |
| strong_redirector | 131338 | Comme strict_redirector, mais, pour google et autres, on ne bloque que certains termes. |
| translation | 179 | Sites de traduction |
| tricheur | 73 | Sites qui expliquent comme tricher aux examens. |
| tricheur_pix | 85 | Sites bloqués lors des examens PIX en FRANCE uniquement. |
| update | 33 | Sites d'update pour les OS ou les logiciels |
| vpn | 5672 | Site de VPN |
| warez | 1506 | Sites distribuant, entre autres, des logiciels ou vidéos pirates. |
| webmail | 413 | Webmail que l'on trouve sur internet (hotmail, webmail.univ-tlse1.fr, etc.) |
Ces listes ont certainement quelques incohérences. Si vous en trouvez signalez le moi
fabrice.prigent@ut-capitole.fr ou bien
utilisez l'interface suivante.
https://dsi.ut-capitole.fr/cgi-bin/squidguard_modify.cgi.
La constitution des bases
La constitution des bases est faite par le biais de 2 moyens :
- La contribution de personnes (voir ci dessous), qui envoient régulièrement des modifications
- Un robot qui explore Internet à la recherche de pages pornographiques. Il utilise pour cela diverses méthodes
- Exploration de pages référencées,
- Utilisation d'index déjà connus,
- Utilisation des moteurs de recherche,
- etc.
Les contributeurs
Cette base n'existe que par le travail de bénévoles, dont plusieurs étrangers. Ceci confère à la base une
utilité internationale.
- Alban Caporossi
- Alexandre Chevrier CSVT (pour sa contribution dans les jeux)
- L'Association www.app3l.org
- Barbagelata Pierre (MATICE -rectorat de Nice)
- Benjamin E. Nichols http://www.squidblacklist.org
- Benjamin Bellec
- Cedric Foll (Qui désormais a de bien plus grandes responsabilités au ministère)
- Charles COLLET
- Christian ORNAGHI
- Christophe Laverdure des "Apprentis d'Auteuil" pour un énorme travail sur presque toute les catégories
- David Garroux du CARIP de l'académie de Lyon
- Deckert Florian
- Dilain Laurent
- Eric Jansen (les sites de hosting)
- Federico Ballarini (multiple category with italian sites)
- Francesco Mascaro
- Gotzon Astondoa, auteur du logiciel de contrôle parental http://www.wesify.com.
- Hervé Bienvenu
- Hans Musil (beaucoup d'ajouts en allemand)
- Henrique Araujo (beaucoup d'ajouts en espagnol et internationaux)
- IAE pconline
- Jago27
- Josef Skarba
- Jean François Bellanger (Maison des Sciences de l'Homme) pour tout ce qui concerne les sites de phishing
- Kris Carlier
- Laura Cosarca
- Marc Kool (15% de la base vient de lui)
- Marcos Manoni (en majorité des sites en langue espagnole)
- Mark Bizzell
- Maxime Brunier(NITD)
- Michel Roiron
- Nicolas DELAMARRE NSI-ADMR (Société dédiée aux systèmes d'information ADMR)
- Philippe Ferreira
- Pierre Bardou
- Nathanaël Bonin du MiPih
- Rick Matthews
- Rogério Pinheiro da Silva
- Sean Riley
- Sylvain Vincent
- Sylvain Poidras
- Symon Aked
- Stéphanie Chevtchenko
- Société SOFIA Informatique
- Todd Sieland-Peterson
- Centre des Systèmes et Réseaux(Université Hassiba Benbouali CHLEF (Algeria))
- Yann Cézard (CRI - Université de Pau et des Pays de l'Adour) (pour la catégorie games)
- Yann Guillemot
- et les nombreux autres anonymes
Les bases malware et marketingware
Ces bases sont alimentées par le travail effectué par :- la fantastique travail de https://www.abuse.ch/
- l'équipe de malwarehunterteam http://cybertracker.malwarehunterteam.com
- l'équipe de cybercrime-tracker http://cybercrime-tracker.net
- SAGA D.C. http://dns-bh.sagadc.org/
- Malekal http://www.malekal.com/
- La compilation de malware-domains : http://www.malware-domains.com
- l'ANSSI http://www.ssi.gouv.fr
- l'excellent travail de Nicolas Pawlak pour les "futurs phishings" https://red.flag.domains
- Des ajouts locaux repérés dans mon honeypot, les mails de phishing, de virus, etc.
D'autres bases
D'autres personnes maintiennent des bases de données disponibles, mais elles disparaissent au fur et à mesure...
- http://www.squidblacklist.org/,
- http://squidguard.mesd.k12.or.us/blacklists.tgz qui semble être une combinaison de nos bases et d'autres sources
- http://www.shallalist.de/ ce sont les mainteneurs de squidguard
- http://urlblacklist.com Payante.
Télécharger la base
Plusieurs moyens sont disponibles :
- par http : http://dsi.ut-capitole.fr/blacklists/download, par exemple (merci à Gabriel Moreau pour son astuce) :
wget --timestamping http://dsi.ut-capitole.fr/blacklists/download/all.tar.gz
- par ftp : ftp://ftp.ut-capitole.fr/blacklist/
- par rsync : rsync://ftp.ut-capitole.fr/blacklist/ par exemple avec ceci :
cd /tmp mkdir tempo cd tempo rsync -arpogvt rsync://ftp.ut-capitole.fr/blacklist .
Autres informations
- Une information plus complète est disponible sur cette url.
- Si vous souhaitez protéger votre enfant : protection_enfance.html.
- Si vous souhaitez un exemple de configuration Configuration d'un squidguard.conf
- Le Squidguard de Pfsense a des problèmes avec la taille de la base de données. pfblockerNG (un package spécifique intégré dans pfsense) pourrait être la solution: une explication