Maudit blog

Aller au contenu | Aller au menu | Aller à la recherche

jeudi 26 novembre 2009

Avoid packet loss on overloaded internet connection

We ran across a weirdness in one of our customers internet lately. This weirdness is that it had packet loss even though they have 12mbits/sec up and down and we had our tomato router installed with everything set up nicely (this setup works for hundreds of other customers). Except he uses a fiber connection and I ended up being able to pinpoint the problem to this :

His provider pushes traffic at speeds up to 100mbps to the providers switch at the customers facility and that switch then does traffic shaping to 12mbits/sec on the outbound port to the customers equipment thus dropping some of the packets.

What can you do in such a case ? Well I discussed this with a network engineer and ended seeing the following option : police the incoming traffic to a lower bandwidth than the one the customer is supposed to have (say 10mbps/sec) that way the tcp windows will shrink enough not to saturate the 12mbps.

So how do I do that in practice ?

Well I connected through ssh to the tomato router, edited /etc/qos (that's where the qos happens) and changed the ingress rules to :

 $TQA handle ffff: ingress
 $TFA parent ffff: prio 1 protocol ip u32 match ip src 1.2.3.0/24 police rate 11000kbit burst 10kbit drop flowid ffff:1
 $TFA parent ffff: prio 5 protocol ip u32 match ip src 0.0.0.0/0 police rate 10000kbit burst 10kbit drop flowid ffff:5

What does this do ?

It limits incoming traffic to 10mbits/s with a 10k burst and allows everything coming in from 1.2.3.0/24 to use up to 11mbits/s of traffic.

Result ? No more packet loss and a happy customer.

vendredi 16 octobre 2009

Mysql search and replace

Today I needed to update around 50 mysql entries containing emails since my customers domain just changed, here is how I did it :

UPDATE table SET email=REPLACE(email,"olddomain.com","newdomain.ca") WHERE customer="customer1";

vendredi 18 septembre 2009

Removing duplicates from a mysql table

Recently I had a problem where one of my script would insert duplicates in a table in certain situations. So I had to de-depulicate my entries.

I found a post that solved this issue but it didn't quite satisfy me so here's my solution :

Create a new table that is a copy of the original one and add a unique index on whatever cols form something that is indeed unique (for me it wasn't quite as simple as putting a unique index on an id field).

Now the only thing you need to do is insert the content of the old table in the new table while ignoring duplicates. This is achieved with the following line (also I wanted to remove anything older than january first of this year) :

INSERT IGNORE INTO new_table SELECT * from old_table WHERE date >= '2009-01-01 00:00:00';

Now you can either drop the old table or move it out of the way and replace it by the new one by doing a rename.

RENAME TABLE new_table TO old_table;

samedi 7 mars 2009

Ethernet bonding on linux (Debian based)

In my current position as a system / network administrator I needed to get a redundant network architecture so that if a switch fails, a network cable is cut off, a network card fails, etc the service wouldn't be impacted.

To achieve this we chose to go with a stack of 3750 cisco switches (we are starting with 2 switches) each one connected to a different power circuit.

We then attach our servers to both switches using what cisco calls etherchannel with lacp (which is in fact ieee standard 802.3ad) Some documentation

On the cisco side it's only a mater of adding your interface to channel group (it's explained quite well in cisco's documentation under etherchannel using LACP).

On Linux's side etherchannel is called interface bonding.

In order to use bonding you have to load the module with th right options (for LACP you at least have to pass option "mode=4"). Then you will have to create q bond0 interface to which you will attach several (at least 2) ethernet devices.

Here are 2 very interresting articles :

mardi 23 septembre 2008

Le voile se lève un peu plus sur Android

Comme souvent ces derniers temps je vais vour parler d'Android (et de Maemo un peu).

Alors l'évenement du jour était la présentation du HTC Dream (ou T-Mobile G1) qui est le premier téléphone à faire tourner Android (l'OS mobile de Google pour ceux qui n'auraient pas suivi). J'ai donc commencé ma journée en lisant l'article d'ars technica sur la présentation en question qui m'a un peu laissé sur ma fin puisqu'on n'y voit pas plus qu'avant ce qu'Android peut faire.

La journée continue et un nouvel article sur le blog officiel de Google fait aussi part du lancement officiel d'Android sur une vraie plate-forme. Bien mais toujours pas d'images... L'article mentionne que pour avoir plus de détails on peut aller sur le blog de l'équipe mobile de google. Et la enfin une vidéo assez sympa de présentation d'Android.

Ca à l'air bien pensé (ce qui n'est pas vraiment étonnant pour un produit Google). Ce que j'ai bien aimé :

  • Le "screen lock pattern"
  • Le fait que tout soit tout le temps synchro avec le google account (mais que se passe t'il en cas de conectivité limité ?)
  • Les notifications cool
  • Si le street view est aussi fluide que ca ca doit vraiment être sympa (surtout si c'est bien utilisable au doigt)

L'avantage que je vois par rapport au iPhone c'est qu'on est moins bloqué dans la logique mac : si je synchronise mon calendrier sur google via Android je peux ensuite le synchroniser sur Windows, MAC ou Linux (voire même Maemo) indifféremment (du moment qu'il le supporte) et bien sur que tout ceci est open source.

Sinon pour parler plus marketing le T-Mobile G1 sera dispo partout ou T-Mobile est présent (US et certains pays d'europe) à partir du 22 Octobre. Aux US le téléphone coutera 179$ avec un engagement de 2 ans. Pour contrer les atouts de l'iPhone Google à mis en place un partenariat avec amazon pour ce qui est de la musique. Et va lancer son propre Android Appstore.

Bref Android semble vraiment pouvoir être un concurrent de choix pour l'iPhone. Alors quid de Nokia ? Pour l'instant ils ne me semblent pas prêts à lâcher la plate-forme S60 (j'ai vu une vidéo cette semaine des Nokia E72 et E75 qui tourneront sous Symbian) rien ne les empêche d'utiliser Android mais je pense qu'ils vont plutôt essayer de se démarquer.

Et peut être vont-ils le faire en adoptant Maemo comme plate-forme mobile (bien qu'elle ne soit pas encore mature pour cet usage d'après moi). Quelle transition pour vous dire que ce week-end c'était le premier Maemo summit en allemagne. A cette occasion Nokia a dévoilé pas mal de chose sur le futur de ces tablettes et de Maemo.

D'abord la prochaine version de la tablette :

  • Maemo FR annonce un N900 avec les specs que Nokia a donné. Je pense qu'ils vont un peu vite en besogne puisque Nokia n'a pas annoncé le nom du produit pour l'instant ni les specs complètes.

Ce que l'on sait :

  • En terme de hardware : 3G/3G+ (UMTS et HSDPA donc), a priori une webcam haute définition, processeur TI OMAP3 (plus puissant que l'actuel OMAP 2420), possiblement un accélerateur graphique puisqu'OpenGL va être intégré. On en sait pas beaucoup plus pour l'instant
  • En terme de software : Maemo 5 a été annoncé (nom de code Fremantle) et incluera énormement de nouvelles choses parmi lesquelles on peut noter :
  • l'arrivée de tracker, pulseaudio et upstart
  • la contribution de Nokia au support du HSDPA dans le noyau
  • la création d'un driver libre pour le chip Wifi des n800 et n810 (ce qui me laisse penser qu'on va surement bientôt pouvoir faire du monitoring et de l'injection avec les tablettes :))

Et bien d'autres chose qui sont documentées ici

Bref pas mal de bonnes choses à venir et j'ai hâte de voir maemo 5 (et de récupérer ma tablette qu'il a fallu que je renvoie aux états unis parce que l'écran n'est plus tactile grrrr)

Update

Quelques images de plus

mardi 12 août 2008

Effectivement

Le lien suivant apporte de l'eau au moulin de mon dernier post : il semble de moins en moins probable que symbian et android fusionnent.

J'ai l'impression que les analystes ne connaissent pas assez bien leur sujet pour pouvoir faire un analyse raisonnable de ce qui pourrait se passer. Je veux dire qu'il est clair que fusionner une plate-forme en c++ avec une plate-forme java est aussi facile que d'en réecrire une complète.

Par contre QT sur symbian j'y crois un peu plus. J'ai cependant du mal à voir où va Nokia avec tout ca. Jusqu'à récemment je pensais que Nokia investissait dans maemo pour, à terme, s'en servir comme plate-forme pour ses téléphones mais cela semble de moins en moins probable.

Il semblerait que maemo reste cantonné aux Internet Tablets (qui est un marché qui risque de devenir de plus en plus gros, surtout si Nokia rajoute le support de la 3G dans ses tablettes ce qui semble être en bonne voie (du les utilisateurs en veulent)). Peut-être que la stratégie est d'avoir maemo pour les gros smartphones (avec assez de puissance pour faire tourner Linux) et symbian pour les plus petits téléphones.

Comme toujours : wait and see.

vendredi 25 juillet 2008

Google, Nokia, toussa

A l'ordre du jour :

  • Knol le Wikipedia de Google
  • Android, Symbian, OpenMoko et l'iPhone (bien sur)

Alors d'abord Knol, l'encyclopédie colaborative de Google. Je trouve cette initiative affreusement effrayante. Apparemment ca fait pas mal de temps que Google lorgne sur les rofits potentiels que pourrait générer Wikipedia (qui se refuse à inclure de la pub dans ses pages). Vu qu'ils ont pas réussi à corrompre les gens de la wikimedia foundation ben ils ont démarré leur propre encyclopédie en s'éloignant un peu du principe de Wikipedia (et de leur moto "do no evil", enfin selon moi) en effet les auteurs sont rémunérés et plusieurs articles sur le même sujet peuvent cohabiter et c'est l'auteur de chaque article qui décide de l'utilisation ou non des ajouts des autres internautes. Bref certains succombent déjà à la tentation de se faire de la thune en allant plutôt poster sur Knol que sur wikipedia. A ceux la je dis bravo. Si les programmeurs de logiciels libres faisaient pareil Microsoft aurait tout loisir de racheter les meilleurs logiciels libres avec les programmeurs de ceux-ci.

Pour réagir à ca moi je ne pense pas que android et symbian puissent finir par fusionner. Pour avoir essayé les deux c'est bien trop différent dans l'UI autant que dans le concept. Sinon je voulais plutôt donner mon avis sur l'usabilité des interfaces de téléphone :

  • Android : je l'ai un peu testé sur mon n810, c'est plutôt convaincant mais le n810 ne faisant pas téléphone je n'ai pas pu le tester entierement. Le soin apporté à l'ergonomie n'est pas le même que l'iphone mais dans le domaine des systèmes pour téléphone open source je pense que c'est le plus abouti (tant que symbian ne sera pas libre)
  • Symbian : j'ai un n91 qui est donc sous Symbian : ca sert la fonctionnalité correctement : les menus et les applications marchent correctement. Sur mon n91 c'est lent mais c'est plutôt lié au hardware (le même système sur un n95 marche bien mieux). Ca va évoluer vers une interface plus touchscreen friendly , etc. Reste que ca à pris un coup de vieux depuis la sortie de l'iphone.
  • OpenMoko : d'aprés ce que j'ai pu lire l'interface est tout bonnement à chier et mérite d'être revue de fond en comble. Je n'en sais pas plus ne l'ayant pas testée
  • iPhone : pour y avoir touché un peu (comme beaucoup de gens) c'est egonomique, bien pensé, beau, etc.. Sans doute la meilleure ihm qu'on ait vu depuis longtemps. Reste que ca n'est pas libre.

Bref pour moi Android et Symbian (quand il sera libéré) dans le domaine du libre ont de bonne chance de percer si ils font des efforts pour se remettre à niveau par rapport à l'interface de l'iphone. Android est sans doute plus proche de quelque chose de vraiment ergonomique et plaisant à utiliser. Quand symbian sera libéré ca peut devenir très intéressant. Je pense que dans les prochaines années la bataille dans ce domaine risque d'être rude mais donnera à l'utilisateur de quoi régaler ses doigts et ses yeux.

dimanche 20 juillet 2008

Geek

Pour ceux qui se plaindrait que ce blog n'est pas assez Geek, tout d'abord sachez que c'est plus ou moins voulu : ce blog est plutôt pour m'exprimer sur d'autre sujets que l'informatique. D'autre part vous pouvez aller jeter un coup d'oeuil ici. C'est un site qu'on a monté avec quelques amis administrateurs système et qui regroupe quelques docs cools :)

Enjoy.

mercredi 25 juin 2008

L'outil de propagande français est enfin prêt

Hé oui ca y est : Sarkozy vient de réussir à contrôler l'ensemble des chaînes grand publique française :

  • Les chaines privées ? Tous des potes de droite qui vont pas chier sur Sarko parce qu'ils aiment trop le capitalisme.
  • Les chaines publiques ? A partir de janvier prochain c'est le conseil des ministres qui choisira le nouveau président de france télévisions

Bref merci Sarko.

Heureusement à l'étranger on a que le meilleur de la télé française : les emissions de canal+ (zapping, grand journal, etc)

mardi 24 juin 2008

Montreal, la multiculturelle

Ici, à Montréal une des choses qui me plait le plus est le pluralisme culturel (hé ouais).

De base dans la rue on entends anglais et français à dose quasiment égale (un peu plus de français quand même). Mais aussi de l'espagnol, de l'italien, du chinois, de l'allemand, etc. Dans la ville les populations les plus représentées ont chacun leur quartier :

  • Les Italiens ont leur quartier italien au nord
  • Les chinois leur chinatown au sud
  • Les français ont le plateau (la où on habite) qui se situe à peu près à mi-chemin entre les deux.
  • Les portugais ont aussi leur quartier

Bref pas mal de cultures différentes cohabitent ce qui est franchement sympa ne serais-ce que pour la nourriture mais aussi pour les gens qu'on rencontre, etc.

Pour illustrer ca : il y a deux semaines je travaillais pour un client anglophone (dans le quartier anglophone : le centre financier de Montréal) et tout le monde parle donc anglais. Un vendredi je vais faire un 5 à 7 avec les gens avec qui je travaille et en fait je découvre que pas un seul est Québecois. Il y avais : un Russe, un gars du Tadjikistan, un Gutemalteque, un Uruguayen et moi, français.

Ce qui est encore plus marrant quand tu travailles dans une boite anglophone à Montréal c'est que le langue officiel est l'anglais, certes mais les quebecois se parlent en général quand même en francais. Sauf que le truc bizarre c'est que d'un seul coup ils vont se mettre à te parler en anglais, puis repasser en français. C'est assez troublant au départ surtout quand t'es pas habitué : tu t'attends à ce que la prochaine phrase soit en français et en fait non, bam c'est de l'anglais...

Sinon aujourd'hui c'est la saint Jean, la fête nationale Quebecoise. Du coup c'est férié et c'est la fête toute la journée avec drapeaux et chapeaux aux couleurs du Quebec.

mardi 10 juin 2008

Etre gros à Montréal : Mission : impossible

Ou comment il faut le faire exprès pour ne pas faire de sport dans cette ville.

Lire la suite

jeudi 27 mars 2008

Netvibes et Firefox 3

Je ne vais pas parler de l'interaction des deux mais de l'un et de l'autre séparément.

Alors d'abord Netvibes.

Aujourd'hui je voudrais vous faire part de ma reflexion sur comment Netvibes nous a permis (au même titre que les autres agrégateurs de flux) de changer la manière dont nous consommons l'information aujourd'hui.

A la préhistoire de l'informatique il fallait du courage, de la persévérence et de la patience pour trouver l'information que l'on cherchait sur internet. Je me rappelle de l'époque ou j'étais chez infonie (ca devait être en 1998 ou 1999) et ou mon moteur de recherche (enfin mon annuaire de site) préféré était lycos (ou bien altavista). A cette époque l'information était quasi inaccessible.

Puis est apparu Google et son indexation efficace qui nous permettait en tapant quelques mots de trouver l'information que l'on cherchait. Mais là encore il fallait avoir un besoin, l'exprimer et trier soi même l'information pour trouver ce que l'on voulait.

Aujourd'hui je cherche quelque chose... Au hasard un comparatif entre deux technos. Je tombe sur un site qui à l'information que je cherche, mais en plus il est mis à jour souvent. Hop je rajoute le flux RSS à ma page Netvibes, je vais même aller jusqu'à le classe dans ma rubrique IT par exemple et la l'information vient à moi au lieu que j'ai besoin d'aller vers elle. Aujourd'hui l'information qui m'interesse m'est disponible en permanence (certes je dois encore trier les posts qui m'interessent ou non...). C'est donc mon cerveau qui archive tout ca et garde un index.

Mais alors demain, que se passera t il ? L'évolution logique est certainement un Netvibes qui analyserait ce que l'utilisateur lit ou ne lit pas et ferait des suggestions en fonction de ca. Au lieu d'aller chercher vous même des sources d'informations c'est elles qui viendraient à vous... Dans 2 ans peu-être...

Sinon Firefox 3 (qui me permait d'ajouter les flux RSS à ma page Netvibes en cliquant juste sur une icône)

  • Léger
  • Beaucoup plus rapide que le 2
  • Beaucoup moins de popups du style "voulez vous que je sauvegarde le mot de passe pour ce site ?" : tout ca est intégré dans une barre qui ne gêne pas le chargement des pages (comme la barre anti-popup qui apparaissait dans firefox 2)
  • Utilisation des widgets gtk donc utilisation du thème courant (enfin)
  • Description des pages dans la liste des choix quand on tape une url
  • Certainement plein d'autres choses mais je l'ai installé qu'il y a quelques heures (pour l'installer sous gutsy il faut juste activer les backports et faire apt-get install firefox-3.0 (utilisateurs d'autres systèmes, j'attends que vous me montriez une méthode plus simple que ca...))

Comme toujours les commentaires sont les bienvenus.

dimanche 9 mars 2008

'stie de marde blanche le retour

Alors la semaine dernière des bruits couraient comme quoi une tempête de neige s'annoncait pour le week-end.

On se dit : "Ouais comme d'hab il va tomber 10/20 cm mais le mot tempête sera encore exagéré"

Hé bien cette fois non : c'est tombé en masse (genre 30cm en 12h), il y avait du vent, des coupures d'éléctricité...

Il est donc tombé quelque chose comme 30cm en 12 à 24h avec des bonnes bourrasques de vent et des minis coupures d'éléctricité.

C'est la première fois que je vois des gens s'embourber dans la neige dans une rue devant chez moi :) Ils ont du s'y mettre a 3 avec des sortes de plaques (les mêmes que pour le 4L trophy) pour dégager la voiture.

Radio canada nous en parle

Et tout de suite quelques photos le lendemain matin.

Merci à JP pour les photos.

samedi 8 mars 2008

Bon country, bad country

Aujourd'hui on apprends que les Etats-Unis ont décidé que torturer les gens c'est cool et qu'il n'est pas question d'arrêter. (Ma source) Donc M. Bush se permet de critiquer certains autre dirigeants pour le manque d'humanité de leurs pratiques mais il décide qui les Etats-Unis n'aboliront pas la torture.

Je mets ca en rapport avec ma soirée d'hier : j'ai rencontré un iranien qui me racontait que l'image que l'on a de l'Iran est tout à fait faussée par les medias, les politiques & co. Que l'Iran est un pays très sympa, que ca n'est pas le chaos (et de très loin apparemment) et que l'image que le monde essaye de donner de l'Iran est juste liée à la politique de son président. J'avais déjà envie d'aller voir ce pays (suite au film Persepolis), la cette envie devient de plus en plus grande.

Sinon j'ai quand même eu un peu honte de ne pas savoir situer précisemment l'Iran. Je pense qu'on devrait passer plus de temps dans les pays du moyen orient. Pour mieux les comprendre d'une part et pour s'enrichir de leur culture d'autre part. Je rajoute aux choses que je dois faire un tour du moyen orient.

En résumé : les Etats-unis perdent de plus en plus de points dans mon classement de mes pays préférés. L'Iran en gagne.

Sinon hier il y avais aussi des Libanais qui nous ont dit que la situation au Liban est vraiment mauvaise et qu'ils ne souhaitent pas rentrer. Ils nous ont dit qu'il faut avoir vécu la guerre pour comprendre ce que c'est.

Bref soirée intéressante hier :)

mardi 26 février 2008

La france a la dérive ?

C'est la question que je me suis posé en regardant le zapping de la semaine dernière aujourd'hui. En effet après la polémique autour du projet de loi pour que chaque enfant soit en charge de la ménoire d'un juif mort on a le droit a Rachida Dati qui nous explique que maintenant on va pouvoir enfermer quiconque (ou presque) a vie sans trop de pretexte et que tous les français devraient se sentir beaucoup plus en sécurité maintenant.

Moi j'ai pluôt plus peur qu'autre chose : alors admettons qu'un mec viole quelqu'un. Il est retrouvé, jugé et condamné à 15 ans de prison. A la fin de sa peine on lui dit : "ah au fait on va te garder en prison parce au'on pense que tu pourrais peut être recommencer un jour"... Pourquoi ne pas tous nous enfermer (ben ouais qui sait on pourrait commettre un crime un jour...) dès maintenant ?

Dans deux secondes on va se mettre a enfermer un peu n'importe qui pour n'importe quel pretexte (du style avoir tourné le dos au président) et après quoi ? Les homosexuels et les tziganes ? D'autres ont commencé comme ca...

Pour moi la France de Sarkozy commence a ressembler de plus en plus à l'anérique d'un certain M. Buisson. Ce M. Buisson tient son peuple de trois facons :

  • Il les faits travailler le plus possible en les endettant ce qui évite qu'ils protestent trop (ben ouais protestation -> chomage -> plus d'argent pour payer les crédits...)
  • Il leur met dans la tête qu'ils ne sont pas en sécurité chez eux pour qu'ils paniquent et l'autorise à faire n'importe quoi (guerres, lois ultra liberticides, etc)
  • Il pousse ses amis en faisant croire à tout le monde que le seul remède à tout ca est la religion

Un exemple notoir de comment la peur s'immice subrepticement dans la vie de tout un chacun aux états-unis : a la télé ils ont droit de faire de la pub pour n'importe quel médicament. Du coup t'as plein de pubs qui commencent par : "ca vous gratte derrère l'oreil ? Vous faites pipi jaune ? Vous portez des lunettes ? Alors vous avez peut-être un cancer de la testicule gauche. Heureusement grâce a Bidulexitum(tm) vous allez guerir".

Pour peu que tu te sois déjà gratté derrière l'oreil, bonjour l'angoisse.

Bref voilà j'avais juste envie de dire que je suis bien content d'observer tout ca de loin. J'espère que ca me donne un regard un peu plus objectif (mouais) sur les choses. Même si comme certains me l'on déjà dit, d'ici je fais rien pour sortir la France de ce pétrain. J'attends qu'ils me disent ce que eux font.

P.S. Je vous conseille de lire les premières pages du courrier international de ces dernières semaines : c'est des articles étrangers à propos de Sarko : ca fait vraiment flipper de voir à quel point il peut être pris pour un bouffon. Le problème c'est qu'il représente la France. Heureusement qu'on porte pas tous une rolex et des ray-bans...