Blacklists UT1

Contexte

L'Université Toulouse Capitole diffuse depuis quelques années une liste noire d'URLs, gérée par Fabrice Prigent afin de permettre un meilleur contrôle de l'utilisation d'Internet. Cette base, largement utilisée par les écoles, peut s'intégrer dans un grand nombre d'outils libres ou commerciaux, en complément d'autres listes.

Avec le temps le nombre de catégories a fortement augmenté, et leur rôle a changé. La liste que nous fournissons doit être vue comme une catégorisation des sites, plus que comme une liste à bloquer. Par exemple

child est une catégorie dite liste blanche pour les enfants en bas âge
liste_bu est une catégorie à ouvrir pour les universités
press peut être vue comme à interdire (au travail par exemple) ou à autoriser (CIO, Bibliothèque).

N'oubliez pas que vous pouvez (devez ?) utiliser une catégorie "locale" qui permettrait d'adapter le comportement de votre filtrage. Ainsi les blogs peuvent être interdits de manière générale, mais certains doivent être autorisés pour des raisons pédagogiques.

La licence d'utilisation

Cette création est mise à disposition sous un contrat Creative Commons.

Description

Plusieurs catégories sont définies, mais c'est surtout le pornographique qui est activement maintenu.

Pour ceux qui veulent une base de "travail". Je ne mets à jour régulièrement que la base adult qui nous est la plus utile. Si certains d'entre vous décidaient de compléter les autres bases, je me ferais un plaisir de les intégrer dans la mise à jour.

J'ajoute à l'heure actuelle entre 50 et 300 urls par jour (il faut faire des vérifications sur certaines urls) : je ne peux absorber que lentement les ajouts que fait mon robot d'exploration. Veuillez m'en excuser.

Il existe un fichier regroupant toutes les catégories : blacklists.tar.gz C'est la compilation des bases qui sont décrites ci-dessous :

Catégorie	Nombre	Description
adult	4600370	Des sites adultes allant de l'érotique à la pornographie dure.
agressif	396	Quelques sites racistes, antisémites, incitant à la haine.
ai	80	Site d intelligence artificielle
arjel	69	Sites de pari en ligne certifiés par l ARJEL
associations_religieuses	1	Sites d'associations religieuses
astrology	29	Astrologie
audio-video	3874	Quelques sites orientés vers l'audio et la vidéo.
bank	6646	Banque en ligne
bitcoin	1426	Sites de bitcoin
blog	1500	Quelques sites hébergeant des blogs.
celebrity	674	Tout ce qui concerne l actualité dite people
chat	285	Site de dialogue et conversation en ligne.
child	77	Tout ce qui est autorisé pour des enfants
cleaning	177	Sites pour désinfecter et mettre à jour des ordinateurs.
cooking	37	Sites de cuisine
cryptojacking	11491	Site de mining en hijacking
dangerous_material	54	Sites décrivant des moyens de créer du matériel dangereux (explosif, poison, etc.).
dating	8643	Sites de rencontres
ddos	421	Sites de déni de services
dialer	4	Sites de dialer
doh	3016	Serveurs DNS over HTTP ou équivalent
download	4035	Sites qui permettent de télécharger des logiciels
drogue	1067	Drogue.
dynamic-dns	2077	Site diffusant dynamic-dns
educational_games	11	Sites de jeux éducatifs
examen_pix	347	Une liste uniquement réservée aux élèves français passant l examen PIX. NE PAS UTILISER dans d autres circonstances
fakenews	1118	Site diffusant fakenews
filehosting	949	Sites qui hébergent des contenus (vidéos, images, sons)
financial	473	Informations financières, bourses.
forums	225	Forums.
gambling	37658	Sites de jeux en ligne, casino, etc.
games	35396	Sites de jeux, en ligne, ou de distributions de jeux.
hacking	307	Sites de piratage et d'agressions informatiques.
jobsearch	60741	Site pour trouver un emploi
lingerie	200	Sites de lingerie
liste_bu	2919	Une liste très "univ-tlse1.fr" de sites éducatifs pour notre bibliothèque.
malware	270455	Tout site qui injecte des malwares
manga	846	Tout ce qui est lié à l'univers des mangas et de la bande dessinée
marketingware	79	Sites de marketing très spéciaux
mixed_adult	156	Sites qui contiennent des portions adultes non structurés
mobile-phone	52	Sites pour les mobiles (sonneries, etc.).
phishing	270069	Sites de phishing, de pièges bancaires, ou autres. Copie de la catégorie malware.
press	4645	Tout site de presse d'information
publicite	4643	Publicité.
radio	577	Sites de radio sur Internet
reaffected	8	Sites qui ont changé de propriétaire et donc de contenu
redirector	132616	Quelques sites qui permettent de contourner les filtres.
remote-control	171	Site permettant la prise de contrôle à distance
residential-proxies	138	Site diffusant residential-proxies
sect	145	Secte
sexual_education	23	Sites qui parlent d éducation sexuelle et qui peuvent être détectés comme pornographiques
shopping	36971	Sites de vente et achat en ligne
shortener	4559	Raccoursisseur d'URL
social_networks	716	Tous les sites de réseaux sociaux
sports	2363	Sports
stalkerware	525	Site diffusant des outils d'espionnage pour les particuliers
strict_redirector	132344	Comme redirector, mais avec les moteurs de recherche classiques.
strong_redirector	132344	Comme strict_redirector, mais, pour google et autres, on ne bloque que certains termes.
translation	179	Sites de traduction
tricheur	73	Sites qui expliquent comme tricher aux examens.
tricheur_pix	85	Sites bloqués lors des examens PIX en FRANCE uniquement.
update	33	Sites d'update pour les OS ou les logiciels
vpn	6039	Site de VPN
warez	1561	Sites distribuant, entre autres, des logiciels ou vidéos pirates.
webhosting	41	Site diffusant webhosting
webmail	413	Webmail que l'on trouve sur internet (hotmail, webmail.univ-tlse1.fr, etc.)

Ces listes ont certainement quelques incohérences. Si vous en trouvez signalez le moi fabrice.prigent@ut-capitole.fr ou bien utilisez l'interface suivante. https://dsi.ut-capitole.fr/cgi-bin/squidguard_modify.cgi.

La constitution des bases

La constitution des bases est faite par le biais de 2 moyens :

La contribution de personnes (voir ci dessous), qui envoient régulièrement des modifications
Un robot qui explore Internet à la recherche de pages pornographiques. Il utilise pour cela diverses méthodes
- Exploration de pages référencées,
- Utilisation d'index déjà connus,
- Utilisation des moteurs de recherche,
- etc.
  Les bases sont mises à jour 2 à 3 fois par semaine, dépendant essentiellement de mes disponibilités.

Les contributeurs

Cette base n'existe que par le travail de bénévoles, dont plusieurs étrangers. Ceci confère à la base une utilité internationale.

Alban Caporossi
Alexandre Chevrier CSVT (pour sa contribution dans les jeux)
L'Association www.app3l.org
Barbagelata Pierre (MATICE -rectorat de Nice)
Benjamin E. Nichols http://www.squidblacklist.org
Benjamin Bellec
Cedric Foll (Qui désormais a de bien plus grandes responsabilités au ministère)
Charles COLLET
Christian ORNAGHI
Christophe Laverdure des "Apprentis d'Auteuil" pour un énorme travail sur presque toute les catégories
David Garroux du CARIP de l'académie de Lyon
Deckert Florian
Dilain Laurent
Eric Jansen (les sites de hosting)
Federico Ballarini (multiple category with italian sites)
Francesco Mascaro
Gotzon Astondoa, auteur du logiciel de contrôle parental http://www.wesify.com.
Hervé Bienvenu
Hans Musil (beaucoup d'ajouts en allemand)
Henrique Araujo (beaucoup d'ajouts en espagnol et internationaux)
IAE pconline
Jago27
Jay McGuire (BEAUCOUP de site dating et de gambling)
José Javier Saiz, Barcelona Supercomputing Center (beaucoup de sites multi-catégories)
Josef Skarba
Jean François Bellanger (Maison des Sciences de l'Homme) pour tout ce qui concerne les sites de phishing
Kris Carlier
Laura Cosarca
Marc Kool (15% de la base vient de lui)
Marcos Manoni (en majorité des sites en langue espagnole)
Mark Bizzell
Maxime Brunier(NITD)
Michel Roiron
Nicolas DELAMARRE NSI-ADMR (Société dédiée aux systèmes d'information ADMR)
Philippe Ferreira
Pierre Bardou
Nathanaël Bonin du MiPih
Rick Matthews
Rogério Pinheiro da Silva
Sean Riley
Sylvain Vincent
Sylvain Poidras
Symon Aked
Stéphanie Chevtchenko
Société SOFIA Informatique
Todd Sieland-Peterson
Centre des Systèmes et Réseaux(Université Hassiba Benbouali CHLEF (Algeria))
Yann Cézard (CRI - Université de Pau et des Pays de l'Adour) (pour la catégorie games)
Yann Guillemot
et les nombreux autres anonymes

Les bases malware et marketingware

Ces bases sont alimentées par le travail effectué par :

la fantastique travail de https://www.abuse.ch/
l'équipe de malwarehunterteam http://cybertracker.malwarehunterteam.com
l'équipe de cybercrime-tracker http://cybercrime-tracker.net
SAGA D.C. http://dns-bh.sagadc.org/
Malekal http://www.malekal.com/
La compilation de malware-domains : http://www.malware-domains.com
l'ANSSI http://www.ssi.gouv.fr
l'excellent travail de Nicolas Pawlak pour les "futurs phishings" https://red.flag.domains
La compilation du CERT Polonais https://cert.pl/en/posts/2025/01/hole-v1-deprecation-notice/
Des ajouts locaux repérés dans mon honeypot, les mails de phishing, de virus, etc.

D'autres bases

D'autres personnes maintiennent des bases de données disponibles, mais elles disparaissent au fur et à mesure...

http://www.squidblacklist.org/,
http://squidguard.mesd.k12.or.us/blacklists.tgz qui semble être une combinaison de nos bases et d'autres sources
http://www.shallalist.de/ ce sont les mainteneurs de squidguard
http://urlblacklist.com Payante.

Télécharger la base

Plusieurs moyens sont disponibles :

par http : http://dsi.ut-capitole.fr/blacklists/download, par exemple (merci à Gabriel Moreau pour son astuce) :
```
	wget --timestamping http://dsi.ut-capitole.fr/blacklists/download/all.tar.gz
	
```
par ftp : ftp://ftp.ut-capitole.fr/blacklist/

par rsync : rsync://ftp.ut-capitole.fr/blacklist/ par exemple avec ceci :

cd /tmp
mkdir tempo
cd tempo
rsync -arpogvt rsync://ftp.ut-capitole.fr/blacklist .

Autres informations

Une information plus complète est disponible sur cette url.
Si vous souhaitez protéger votre enfant : protection_enfance.html.
Si vous souhaitez un exemple de configuration Configuration d'un squidguard.conf
Le Squidguard de Pfsense a des problèmes avec la taille de la base de données. pfblockerNG (un package spécifique intégré dans pfsense) pourrait être la solution: une explication