Générer des codes uniques avec Drupal 8

Pour un de nos clients, nous avons été mandatés pour réaliser un générateur de code à usage unique. Quelque chose qui n'arrive pas forcément tous les jours, mais qui est vraiment très intéressant à réaliser.

Pour ce faire, voici les spécificités retenues :

L'un des principaux objectifs consiste à garder une trace ad aeternam sur l'ensemble des codes générés.
En effet, ceux-ci peuvent être générés aujourd'hui et utilisés dans quelques années !

Nous avons alors pensé à une solution d'indexation massive à l'aide d'ElasticSearch ou Solr puis nous nous sommes rabattu sur une base de données classique MariaDB.
En effet, la solution Solr ou ElasticSearch nous aurait permis d'améliorer très nettement les performances en lecture sur des milliards de codes, nous n’aurions pas eu la possibilité de gérer des liaisons fortes entre l'utilisation des codes, les utilisateurs et le contexte.
Pour cette raison, nous nous sommes rabattus sur une base de données relationnelle classique.

Puisque la génération de plusieurs millions de codes uniques peut-être plus au moins long. Nous avons dû créer un système capable de fonctionner en "Background".

La contrainte du format XXXX-YYYY couplé avec la demande de spécification de Préfix fût un réel défi.
En effet, le format nous restreint à un nombre limité de code et la possibilité de fixer un préfix diminue d'autant plus ce range.

Sans parler du fait qu'un préfix est réutilisable plusieurs fois, il nous a donc fallu près calculer le nombre de codes déjà existant et le nombre de codes possible restant - avant la génération du Message Queue - afin de prévenir l'administrateur lorsqu'il effectue des demandes impossibles.

Notre outil doit être capable de générer 1'000'000 de codes en peu de temps et de manière extrêmement fiable.

Lorsque nous devons générer des millions d’entités de manière concurrente, le plus grand danger est la fiabilité de la base de données - que ce passe-t-il si notre Script crash/out-of-memory durant les 40'000 derniers codes ?
Nous ne pouvons pas nous permettre de perdre 960'000 codes dans notre Database à cause d’un erreur serveur/PHP/SQL/.

Nous avons alors deux possibilités pour générer beaucoup de codes:

L'idée de cette solution est de créer des codes les uns après les autres et de les sauvegarder en base de données en même temps.

Cette solution à l'avantage de sauvegarder directement les codes et facilite grandement l'algorithme d’unicité des codes (puisque nous connaissons l'ensemble des codes durant toute la phase de génération).
Le premier désavantage flagrant est qu'il nous faudra alors "cleanup" la base de données en cas de Crash SQL/PHP des codes pending.
Le deuxième désavantage résident dans le stresse auxquels nous soumettons la base de données, celle-ci se retrouve sollicitée en écriture pour chaque code - autant dire une horreur.

La seconde solution est l'utilisation des Transactions SQL, ces petits bijoux de technologies sont capables de mettre en "buffer" un nombre incalculable d'opérations SQL - dans notre cas des opérations INSERT - et de les exécuter en batch lorsque la base de données aura du temps.

L'un des nombreux avantages des Transactions SQL réside dans le système de "Roolback" - si une seule opération échoue, l'entièreté du "buffer" est invalidée et la base de données ne garde aucune trace des opérations.

Nous avons bien évidemment opté pour la solution des Transactions SQL qui nous a permis la génération de millions de codes en quelques secondes, et ce de manière extrêmement fiable et rapide.

Pour permettre avec aisance cette génération, nous avons mis à disposition un formulaire.
Il renseigne les informations nécessaires (préfixe, nombre, email).
Cela, nous permet aisément de laisser l'utilisateur réaliser soit même les codes nécessaires.

Voyons maintenant comment nous avons pensé notre algorithme:

Une fois toutes ces étapes validées, les informations, sont sauvegardées dans la queue Drupal et consommées par le cron qui exécute notre algorithme de génération des codes, puis un email est envoyé au destinataire de cette demande avec le fichier contenant les codes générés.

Pour utiliser au mieux la ligne de commande, nous avons utilisé deux composants Symfony :

Tout au long de l'exécution, on peut voir la barre de progression si on exécute la ligne de commande, jusqu'à ce que le processus se termine.

Nous avons réalisé des tests pour vérifier que tout fonctionne à l'aide PHPUNIT.