DÃ©veloppement on To Linux and beyond !

Joining the OISF coding staff

Wed, 20 Apr 2011 21:19:55 +0000

My collaboration with OISF has been announced today. This is an honor for me to join this excellent team on this wonderful project. I’ve taken a lot of pleasure in the past months contributing to the project and I’m sure the start of an official collaboration will lead to good things. The challenge is high and I will do my best to merit the trust.

A big thanks to all people who congrat me for this nomination.

Building Suricata under OpenBSD

Sun, 17 Apr 2011 08:17:35 +0000

Suricata 1.1beta2 has brought OpenBSD to the list of supported operating system. I’m a total newbie to OpenBSD so excuse me for the lack of respect of OpenBSD standards and usages in this documentation.

Here’s the different step, I’ve used to finalize the port starting from a fresh install of OpenBSD.

If you want to use source taken from git, you will need to install building tools:

pkg_add git libtool

automake and autoconf need to be installed to. For a OpenBSD 4.8, one can run:

More about Suricata multithread performance

Tue, 15 Feb 2011 23:30:49 +0000

Following my preceding post on suricata multithread performance I’ve decided to continue to work on the subject.

By using perf-tool, I found out that when the number of detect threads was increasing, more and more time was used in a spin lock. One of the possible explanation is that the default running mode for pcap file (RunModeFilePcapAuto) is not optimal. The only decode thread take some time to treat the packets and he is not fast enough to send data to the multiple detect threads. This is triggering a lot of wait and a CPU usage increase. Following a discussion with Victor Julien, I decide to give a try to an alternate run mode for working on pcap file, RunModeFilePcapAutoFp.

Optimizing Suricata on multicore CPUs

Wed, 26 Jan 2011 00:20:28 +0000

Suricata IDS/IPS architecture is heavily using multithreading. On almost every runmode (PCAP, PCAP file, NFQ, …) it is possible to setup the number of thread that are used for detection. This is the most CPU intensive task as it does the detection of alert by checking the packet on the signatures. The configuration of the number of threads is done by setting
a ratio which decide of the number of threads to be run by available CPUs (detect_thread_ratio variable).

Massive and semantic patching with Coccinelle

Sat, 27 Nov 2010 21:54:13 +0000

I’m currently working on suricata and one of the feature I’m working on change the way the main structure Packet is accessed.

One of the consequences is that almost all unit tests need to be rewritten because the use Packet p construction which has to be replace by an dynamically allocated Packet *. Given the number of tests in suricata, this task is very dangerous:

It is error prone
Too long to be done correctly

I thus decide to give a try to coccinelle which is a "program matching and transformation engine which provides the language SmPL (Semantic Patch Language) for specifying desired matches and transformations in C code". Well, from user point of view it is a mega over-boosted sed for C.

Splitting and shrinking a git repository

Mon, 02 Aug 2010 19:53:20 +0000

I have recently faced the challenge to rewrite a git repository. It has two problems:

First problem was small: an user has commited with a badly setup git and E-mail as well as username were not correctly set.
Second problem seems more tricky: I was needing to split the git repository in two different one. To be precise on that issue, from the two directories at root (src and deps) have to become the root of their own repository.

I then dig into the doc and it leads me directly to ‘filter-branch’ which was the solution of my two problems. The names of the command is almost self-explanatory: it is used to rewrite branches.

En route vers le 2.6.30 et encore merci Denis

Fri, 03 Apr 2009 21:31:01 +0000

Oui, bon, vous savez sans doute que le noyau Linux 2.6.30 est en cours de rÃ©alisation. Mais saviez-vous que grÃ¢ce Ã l’excellent Denis Bodor toute une sÃ©rie de patchs a Ã©tÃ© incorporÃ©e au noyau ?

Lors de la rÃ©daction du Hors SÃ©rie Netfilter de GLMF, j’ai, avec tous les autres rÃ©dacteurs (Gwenael, Haypo, Pollux et Toady), voulu faire dÃ©couvrir les derniÃ¨res avancÃ©es de Netfilter. Et, forcÃ©ment, lorsque l’on est sur le fil du rasoir et que l’on pousse les choses Ã fond pour Ãªtre le plus prÃ©cis possible, il arrive que l’on dÃ©couvre des problÃ¨mes ou des choses pas aussi pratiques que on le dÃ©sirerait.

Mon bureau en mode noyau

Fri, 03 Apr 2009 21:05:56 +0000

Non, non, vous ne verrez pas dans cet article de screenshots du noyau ! J’ai juste envie de poster ici une capture d’Ã©crans que j’ai rÃ©alisÃ©e et commentÃ©e il y a quelque temps. J’Ã©tais Ã ce moment-lÃ en train de rÃ©aliser un des mes dÃ©veloppements noyau les plus consÃ©quents et cela m’avait conduit Ã industrialiser mon environnement de travail pour effectuer dÃ©veloppements et tests de la maniÃ¨re la plus efficace possible.

Contribution au libre, 2009 commence fort.

Tue, 13 Jan 2009 22:45:54 +0000

Du cÃ´tÃ© de mes contributions au logiciel libre, l’annÃ©e 2009 commence assez fort. Il semble que j’ai rÃ©ussi Ã dÃ©clencher une petite rÃ©volution.

Le systÃ¨me de test de NuFW avait mis en Ã©vidence un crash rare, non reproductible facilement dans nuauth, le serveur d’authentification de NuFW. Les sorties de gdb ou valgrind rÃ©vÃ©laient un problÃ¨me absurde dans la bibliothÃ¨que cyrus-sasl. NuFW l’utilise pour rÃ©aliser la phase d’authentification des utilisateurs. Le crash apparaissait lors d’un appel Ã sasl_dispose() qui est la fonction Ã appeler lorsque l’on a terminÃ© la phase d’authentification. AprÃ¨s maintes vÃ©rifications et plusieurs dizaines d’heures de debug, j’Ã©tais convaincu que nuauth, le serveur d’authentification de NuFW, utilisait la bibliothÃ¨que de maniÃ¨re correcte et que le code environnant Ã©tait correct.

JournÃ©e utilisateurs du Netfilter Workshop

Wed, 03 Sep 2008 09:50:39 +0000

La journÃ©e utilisateurs du Netfilter Workshop aura lieu Ã Paris le 29 septembre 2008. Cette journÃ©e prendra la forme d’une sÃ©rie de confÃ©rences sur Netfilter. Les sujets seront variÃ©s allant de la description de l’utilisation de Netfilter chez un ISP dannois Ã la prÃ©sentation par David Miller (maiteneur de la couche rÃ©seau de Linux) ou Patrick McHardy (Leader du projet Netfilter) de leurs derniers dÃ©veloppements.

Je donnerai d’ailleurs lors de cette journÃ©e une confÃ©rence sur ulogd2, la nouvelle infrastructure de journalisation de Netfilter.

Fatiguant de gÃ©rer son pare-feu

Fri, 25 Apr 2008 05:49:02 +0000

Jusqu’ici la gestion de pare-feu c’Ã©tait difficille, il fallait gratter gratter :

Ã€ partir de lundi, Ã§a sera facile et amusant :

Plus d’informations Ã venir trÃ¨s bientÃ´t ! Les abonnÃ©s de la liste Netfilter seront les premiers avertis 😉

L’art du commit

Tue, 04 Dec 2007 22:27:37 +0000

Lors du Netfilter Workshop 2007, j’ai eu le plaisir de revoir Patrick McHardy et la chance de rencontrer David Miller (Davem) le mainteneur de la couche rÃ©seau de Linux.

Patrick envoie assez souvent des sÃ©ries de patchs impressionnantes Ã Davem pour demander leur intÃ©gration dans le noyau officiel. L’ensemble des contributions des dÃ©veloppeurs de Netfilter qui est ainsi transfÃ©rÃ© lors de ces envois.

Lors d’un des repas, j’ai citÃ© Ã Davem l’un des plus gros envois de Patrick et je lui ai demandÃ© ce qu’il ressentait lorsqu’il recevait une telle sÃ©rie de patchs. Sa rÃ©ponse a Ã©tÃ© rapide :

MacOS X, la grande salade

Fri, 12 May 2006 21:49:11 +0000

Je viens de passer ma journÃ©e Ã travailler sur Mac OS X Ã la finalisation du client pour NuFW. Comme d’habitude avec ce systÃ¨me d’exploitation cela a Ã©tÃ© une drÃ´le de journÃ©e.

Ce mÃ©lange entre puissance d’Unix et expÃ©rience end-user est vraiment dÃ©routant. J’en ai encore fait les frais en utilisant le logiciel Platypus. Ce logiciel trÃ¨s pratique permet de gÃ©nÃ©rer un script exÃ©cutable. Tiens d’ailleurs, le principe en soi est bizarre sous Unix.

La Commission EuropÃ©enne l’affirme : La “documentation” Microsoft est atroce

Mon, 26 Dec 2005 22:56:37 +0000

J’ai trÃ¨s souvent et notamment sur ces pages dÃ©criÃ© la documentation fournie par Microsoft. MalgrÃ¨ un effort d’impartialitÃ© certain quant aux impressions que je livrais alors, une partie de moi se demandait si mon analyse n’Ã©tait pas entachÃ©e par mon addiction Ã GNU/Linux.

Que nenni, la commission europÃ©enne menace Microsoft de sanctions car la documentation fournie ne suffit toujours pas Ã assurer l’intÃ©ropÃ©rabilitÃ© notamment pour le dÃ©veloppement de services. Le commissaire chargÃ© de l’affaire est assez direct :

PauvretÃ© sÃ©mantique et misÃ¨re sexuelle sous Windows

Thu, 15 Dec 2005 15:52:50 +0000

Il semble rÃ©Ã©llement que l’heuristique microsoftienne consiste Ã se limiter au premier aspect des choses sans chercher Ã aller au delÃ . L’exemple de code suivant est trÃ¨s rÃ©vÃ©lateur. Le code POSIX :

pthread_t* checkthread;<br /> pthread_mutex_t * mutex;<br /> pthread_cond_t *check_cond;

devient

HANDLE checkthread;<br /> HANDLE mutex;<br /> HANDLE check_cond;

LÃ oÃ¹ POSIX mets du sens, on se trouve sous Windows face Ã un vulgaire “manipulateur”. Pour en revenir Ã un Ã©quivalent sexuel, on passe d’un “Quelles positions aujourd’hui chÃ©rie ?” Ã “On baise ?”.

Thu, 01 Sep 2005 19:11:51 +0000

La Caisse d’Ã©pargne comme toutes les banques propose un site web pour gÃ©rer ses comptes. On peut y faire des opÃ©rations courantes comme les virements et mÃªme (enfin sous certaines conditions) vendre et acheter des SICAVs et autres obligations.
L’ensemble du site est utilisable sous Firefox sauf un seul champ dans un formulaire. Malheureusement il s’agit du champ permettant de saisir le nombre d’objets Ã vendre ou Ã acheter (il ne rÃ©pond pas quand on clique). Bref, il n’est pas possible de passer un seul ordre sous Firefox (ou mozilla).

Comment recruter pour une conf de barbus

Thu, 01 Sep 2005 18:43:50 +0000

Imaginez que vous deviez faire de la publicitÃ© pour une confÃ©rence sur un langage. Pas facile non ? Trouver un angle d’attaque original et attractif semble assez difficile, mais il suffit de penser Ã des choses universelles :

Le retour du netstat en furie

Thu, 01 Sep 2005 16:15:46 +0000

Allez cette fois-ci je ne pars pas dans un dÃ©lire mais je vais vous donner de la matiÃ¨re. En travaillant sur le client windows pour nufw, j’ai trouvÃ© une page sur le site de la respectable sociÃ©tÃ© HSC. Ils dÃ©crivent de maniÃ¨re prÃ©cise certains des problÃ¨mes relatif Ã netstat. Cela va s’en dire qu’il s’agit des problÃ¨mes rencontrÃ©s avant d’avoir virÃ© la dame pipi. L’article est trÃ¨s technique et trÃ¨s sÃ©rieux donc prÃ©voyez un peu de temps avant de le lire (quelques mois si vous n’Ãªtes pas informaticien, le temps d’apprendre les bases 😉 .
Je profite de cette brÃ¨ve pour tirer mon chapeau Ã l’auteur, Jean-Baptiste Marchand. j’aurais sans doute eu du mal Ã rester aussi calme et impartial en rÃ©digeant un tel texte.

Fri, 12 Aug 2005 20:16:23 +0000

Je vous entends tous dire :
“Et la marmotte, …”

J’en tiens pour preuve ce qu’il se passe lorsque j’ai lancÃ© build dans le rÃ©pertoire des drivers d’un projet respectable trouvÃ© sur internet (Celui-ci se contente de maniÃ¨re bien politiquement correcte d’inclure le Makefile du DDK et de lui faire confiance.)
DÃ¨s que la compilation se lance, la console est noyÃ©e sous les messages d’erreurs :
jvc command not found
Ne sachant pas ce que c’est jvc (jvc tÃ©lÃ©commande not found, j’aurais compris mais lÃ non), je googlize et apprends qu’il s’agit du compilateur Java de Microsoft.

Des paramÃ¨tres constants et autres fioritures

Fri, 12 Aug 2005 20:05:44 +0000

D’un cÃ´tÃ©, elle tient de Perl, il y a toujours plus d’un moyen de faire la mÃªme chose. Le problÃ¨me vient ici qu’il ne s’agit pas de trouver des solutions algorithmiques diffÃ©rentes Ã un mÃªme problÃ¨me mais qu’il y a de multiples systÃ¨mes parallÃ¨les pour effectuer une mÃªme tÃ¢che. Il s’ensuit une complexitÃ© inutile amplifiÃ© par la puissance de l’outil de recherche disponible sur MSDN.

L’histoire de netstat et de la dame pipi

Fri, 12 Aug 2005 19:26:40 +0000

Comme vous le savez peut-Ãªtre je suis l’un des developpeurs de NuFW. Ce magnifique parefeu authentifiant a besoin d’un client sur chaque poste de travail. Grosso modo c’est un netstat qui rÃ©cupÃ¨re la liste des paquets SYN (Pour ceux qui n’ont pas suivi, c’est un peu comme une dame pipi qui lÃ¨ve les yeux Ã chaque fois que quelqu’un entre). Bon bref, c’est au systÃ¨me d’exploitation ce que la balayette est aux toilettes : “on peut faire sans, mais Ã§a finit vite par Ãªtre vraiment sale.”.
Donc c’est le genre de trucs qui existent sur toutes les machines qui font du rÃ©seau (mÃªme Windows 95 Ã cette fonctionnalitÃ© si vous me passez la mÃ©taphore).

De l’avantage des fichiers plats

Fri, 12 Aug 2005 18:53:39 +0000

Nagios stocke bien entendu ses fichiers de configuration et son fichier de status dans des fichiers plats. Il est donc possible de les parser pour en extraire les informations. C’est ce que fait le projet Naupy qui fournit une classe PHP permetttant d’extraire les informations maintenues par Nagios.