Salut les gens.

Un article du Telegraph in english et en français plus bas posté par la très pertinente rédac chef du magazine Bilan, Myret Zaki. Bonne lecture.


Myret Zaki: Covid-19: Des erreurs et bugs monstrueux ont été découverts par plusieurs experts dans le modèle statistique britannique de l’Imperial College, qui prédisait 510’000 morts au Royaume Uni et plus de 2,2 millions de morts aux Etats-Unis, en plus de tous les morts qui n’auraient pu être pris en charge par des services de soins surchargés. C’est en bonne partie sur ce modèle que des décisions de confinement total ont été pris. Les irrégularités du modèle décrits par l’article sont inimaginables.
Sans même aller jusqu’à remettre en question le confinement (même si le débat est loin d’être clos car il semble que les populations aient été infectées un mois avant les premiers cas signalés et que les confinements soient intervenus tard dans le cycle), quelques leçons capitales pour l’avenir: ne jamais se fier à un unique modèle mathématique de prédictions. Se baser sur un vaste panel de modèles différents. Se montrer extrêmement rigoureux avec les big data: obtenir le code de manière transparente (plus jamais de « black box »), retester plusieurs fois le modèle, qui doit être au moins capable de reproduire les mêmes résultats une 2ème fois (ce qui n’était même pas le cas ici!)
Une enquête du Telegraph, recopiée ici (car c’est payant).


Coding that led to lockdown was ‘totally unreliable’ and a ‘buggy mess’, say experts

The code, written by Professor Neil Ferguson and his team at Imperial College London, was impossible to read, scientists claim.

By Hannah Boland and Ellie Zolfagharifard

The Covid-19 modelling that sent Britain into lockdown, shutting the economy and leaving millions unemployed, has been slammed by a series of experts.
Professor Neil Ferguson’s computer coding was derided as “totally unreliable” by leading figures, who warned it was “something you wouldn’t stake your life on ».
The model, credited with forcing the Government to make a U-turn and introduce a nationwide lockdown, is a “buggy mess that looks more like a bowl of angel hair pasta than a finely tuned piece of programming”, says David Richards, co-founder of British data technology company WANdisco.
“In our commercial reality, we would fire anyone for developing code like this and any business that relied on it to produce software for sale would likely go bust.”
The comments are likely to reignite a row over whether the UK was right to send the public into lockdown, with conflicting scientific models having suggested people may have already acquired substantial herd immunity and that Covid-19 may have hit Britain earlier than first thought. Scientists have also been split on what the fatality rate of Covid-19 is, which has resulted in vastly different models.
Up until now, though, significant weight has been attached to Imperial’s model, which placed the fatality rate higher than others and predicted that 510,000 people in the UK could die without a lockdown.
It was said to have prompted a dramatic change in policy from the Government, causing businesses, schools and restaurants to be shuttered immediately in March. The Bank of England has predicted that the economy could take a year to return to normal, after facing its worst recession for more than three centuries. 
The Imperial model works by using code to simulate transport links, population size, social networks and healthcare provisions to predict how coronavirus would spread. However, questions have since emerged over whether the model is accurate, after researchers released the code behind it, which in its original form was “thousands of lines” developed over more than 13 years.
In its initial form, developers claimed the code had been unreadable, with some parts looking “like they were machine translated from Fortran”, an old coding language, according to John Carmack, an American developer, who helped clean up the code before it was published online. Yet, the problems appear to go much deeper than messy coding.
Many have claimed that it is almost impossible to reproduce the same results from the same data, using the same code. Scientists from the University of Edinburgh reported such an issue, saying they got different results when they used different machines, and even in some cases, when they used the same machines. 
“There appears to be a bug in either the creation or re-use of the network file. If we attempt two completely identical runs, only varying in that the second should use the network file produced by the first, the results are quite different,” the Edinburgh researchers wrote on the Github file.
After a discussion with one of the Github developers, a fix was later provided. This is said to be one of a number of bugs discovered within the system. The Github developers explained this by saying that the model is “stochastic”, and that “multiple runs with different seeds should be undertaken to see average behaviour”.
However, it has prompted questions from specialists, who say “models must be capable of passing the basic scientific test of producing the same results given the same initial set of parameters…otherwise, there is simply no way of knowing whether they will be reliable.”
It comes amid a wider debate over whether the Government should have relied more heavily on numerous models before making policy decisions.
Writing for telegraph.co.uk, Sir Nigel Shadbolt, Principal at Jesus College, said that “having a diverse variety of models, particularly those that enable policymakers to explore predictions under different assumptions, and with different interventions, is incredibly powerful”.
Like the Imperial code, a rival model by Professor Sunetra Gupta at Oxford University works on a so-called « SIR approach » in which the population is divided into those that are susceptible, infected and recorded. However, while Gupta made the assumption that 0.1pc of people infected with coronavirus would die, Ferguson placed that figure at 0.9pc.
That led to a dramatic reversal in government policy from attempting to build “herd immunity” to a full-on lockdown. Experts remain baffled as to why the government appeared to dismiss other models.
“We’d be up in arms if weather forecasting was based on a single set of results from a single model and missed taking that umbrella when it rained,” says Michael Bonsall, Professor of Mathematical Biology at Oxford University.
Concerns, in particular, over Ferguson’s model have been raised, with Konstantin Boudnik, vice-president of architecture at WANdisco, saying his track record in modelling doesn’t inspire confidence. 
In the early 2000s, Ferguson’s models incorrectly predicted up to 136,000 deaths from mad cow disease, 200 million from bird flu and 65,000 from swine flu.
“The facts from the early 2000s are just yet another confirmation that their modeling approach was flawed to the core,” says Dr Boudnik. “We don’t know for sure if the same model/code was used, but we clearly see their methodology wasn’t rigourous then and surely hasn’t improved now.”
A spokesperson for the Imperial College COVID19 Response Team said: “The UK Government has never relied on a single disease model to inform decision-making. As has been repeatedly stated, decision-making around lockdown was based on a consensus view of the scientific evidence, including several modelling studies by different academic groups.
“Multiple groups using different models concluded that the pandemic would overwhelm the NHS and cause unacceptably high mortality in the absence of extreme social distancing measures. Within the Imperial research team we use several models of differing levels of complexity, all of which produce consistent results. We are working with a number of legitimate academic groups and technology companies to develop, test and further document the simulation code referred to. However, we reject the partisan reviews of a few clearly ideologically motivated commentators.
“Epidemiology is not a branch of computer science and the conclusions around lockdown rely not on any mathematical model but on the scientific consensus that COVID-19 is a highly transmissible virus with an infection fatality ratio exceeding 0.5pc in the UK.”

The Imperial and Oxford coronavirus studies – what they say 
The Imperial study:
A completely unmitigated epidemic would cost a predicted 510,000 lives in the UK and 2.2 million in the US, in addition to those lost as a consequence of health services being overwhelmed.
In a mitigation-only strategy, intensive care units and surge capacity limits would still be exceeded by at least eight-fold. Even if all patients could be treated, there would be up to 250,000 deaths in the UK and up to 1.2 million in the US.
A minimum policy for effective suppression involves population-wide social distancing combined with home isolation of cases and school and university closure. This will need to be maintained for up to 18 months until a vaccine is found in order to avoid an infection rebound.
The study concludes that suppression is the “only viable strategy at the current time”.
The Oxford study:
Models various scenarios around the assumption that only a very small proportion of the population is at risk of severe illness and death from the virus. Different percentages are modelled to give a range of possible outcomes.
One of the more extreme models, which assumes that only 0.1 per cent of the UK population is in the high risk category and that the first transmission of the coronavirus happened four days before the first case was detected, concludes that 68 per cent of the population would have been infected two weeks ago.
The study concludes that the evidence suggests the epidemics in Italy and the UK started at least a month before the first reported deaths and have already led to significant herd immunity in both countries.


Selon des experts, le codage qui a conduit au confinement était « totalement non fiable » et un « fouilli indéchiffrable ».

Le code, écrit par le professeur Neil Ferguson et son équipe de l’Imperial College de Londres, était impossible à lire, affirment les scientifiques.

Par Hannah Boland and Ellie Zolfagharifard

[Traduction Google]. La modélisation Covid-19 qui a envoyé la Grande-Bretagne en lock-out, fermant l’économie et laissant des millions de chômeurs, a été critiquée par une série d’experts.
Le codage informatique du professeur Neil Ferguson a été tourné en dérision comme «totalement non fiable» par des personnalités, qui ont averti que c’était «quelque chose sur lequel vous ne mettriez pas votre vie en jeu».
Le modèle, crédité d’avoir forcé le gouvernement à faire demi-tour et à introduire un verrouillage à l’échelle nationale, est un «désordre de buggy qui ressemble plus à un bol de pâtes aux cheveux d’ange qu’à un morceau de programmation finement réglé», explique David Richards, co- fondateur de la société britannique de technologie de données WANdisco.
« Dans notre réalité commerciale, nous licencierions n’importe qui pour avoir développé un code comme celui-ci et toute entreprise qui en dépendrait pour produire des logiciels à vendre ferait probablement faillite. »
Les commentaires vont probablement raviver une dispute sur la question de savoir si le Royaume-Uni a eu raison d’envoyer le public en détention, des modèles scientifiques contradictoires ayant suggéré que les gens avaient peut-être déjà acquis une immunité substantielle dans le troupeau et que Covid-19 avait peut-être frappé la Grande-Bretagne plus tôt que prévu. Les scientifiques ont également été divisés sur le taux de mortalité de Covid-19, ce qui a donné lieu à des modèles très différents.
Jusqu’à présent, cependant, un poids important a été attaché au modèle de l’Impériale, qui a placé le taux de mortalité plus élevé que les autres et a prédit que 510 000 personnes au Royaume-Uni pourraient mourir sans verrouillage.
Il aurait provoqué un changement radical de politique de la part du gouvernement, entraînant la fermeture immédiate des entreprises, des écoles et des restaurants en mars. La Banque d’Angleterre a prédit que l’économie pourrait prendre un an pour revenir à la normale, après avoir fait face à sa pire récession depuis plus de trois siècles.
Le modèle impérial fonctionne en utilisant du code pour simuler les liaisons de transport, la taille de la population, les réseaux sociaux et les services de santé pour prédire comment le coronavirus se propagerait. Cependant, des questions ont émergé depuis quant à l’exactitude du modèle, après que les chercheurs ont publié le code derrière lui, qui dans sa forme originale était «des milliers de lignes» développées sur plus de 13 ans.
Dans sa forme initiale, les développeurs ont affirmé que le code était illisible, certaines parties semblant « comme si elles étaient traduites automatiquement de Fortran », un ancien langage de codage, selon John Carmack, un développeur américain, qui a aidé à nettoyer le code avant qu’il ne soit publié en ligne. Pourtant, les problèmes semblent aller beaucoup plus loin que le codage désordonné.
Beaucoup ont prétendu qu’il était presque impossible de reproduire les mêmes résultats à partir des mêmes données, en utilisant le même code. Des scientifiques de l’Université d’Édimbourg ont signalé un tel problème, affirmant qu’ils obtenaient des résultats différents lorsqu’ils utilisaient des machines différentes, et même dans certains cas, lorsqu’ils utilisaient les mêmes machines.
«Il semble y avoir un bogue dans la création ou la réutilisation du fichier réseau. Si nous essayons deux exécutions complètement identiques, ne variant que dans la mesure où la seconde doit utiliser le fichier réseau produit par la première, les résultats sont très différents », ont écrit les chercheurs d’Édimbourg sur le fichier Github.
Après une discussion avec l’un des développeurs de Github, un correctif a été fourni plus tard. On dit que c’est l’un des nombreux bogues découverts dans le système. Les développeurs de Github ont expliqué cela en disant que le modèle est «stochastique» et que «plusieurs exécutions avec des graines différentes devraient être entreprises pour voir le comportement moyen».
Cependant, cela a suscité des questions de spécialistes, qui disent que «les modèles doivent être capables de passer le test scientifique de base de produire les mêmes résultats avec le même ensemble initial de paramètres … sinon, il n’y a tout simplement aucun moyen de savoir s’ils seront fiable. »
Il intervient au milieu d’un débat plus large sur la question de savoir si le gouvernement aurait dû s’appuyer davantage sur de nombreux modèles avant de prendre des décisions politiques.
Écrivant pour telegraph.co.uk, Sir Nigel Shadbolt, directeur du Jesus College, a déclaré que «la diversité des modèles, en particulier ceux qui permettent aux décideurs politiques d’explorer les prévisions sous différentes hypothèses et avec différentes interventions, est incroyablement puissante».
Comme le code impérial, un modèle rival du professeur Sunetra Gupta de l’Université d’Oxford travaille sur une soi-disant «approche SIR» dans laquelle la population est divisée en celles qui sont sensibles, infectées et enregistrées. Cependant, alors que Gupta a fait l’hypothèse que 0,1 pc des personnes infectées par le coronavirus mourraient, Ferguson a placé ce chiffre à 0,9 pc.
Cela a conduit à un renversement dramatique de la politique gouvernementale de la tentative de construire une «immunité collective» à un verrouillage total. Les experts restent perplexes quant aux raisons pour lesquelles le gouvernement a semblé rejeter d’autres modèles.
«Nous serions prêts à prendre les armes si les prévisions météorologiques étaient basées sur un seul ensemble de résultats à partir d’un modèle unique et si nous ne prenions pas ce parapluie lorsqu’il pleuvait», explique Michael Bonsall, professeur de biologie mathématique à l’Université d’Oxford.
Des inquiétudes, en particulier, sur le modèle de Ferguson ont été soulevées, avec Konstantin Boudnik, vice-président de l’architecture à WANdisco, affirmant que ses antécédents en matière de modélisation n’inspirent pas confiance.