Monthly Archives: November 2016

Big data: are we making a big mistake?

Big data: are we making a big mistake?

by

“But while big data promise much to scientists, entrepreneurs and governments, they are doomed to disappoint us if we ignore some very familiar statistical lessons.
 
“There are a lot of small data problems that occur in big data,” says Spiegelhalter. “They don’t disappear because you’ve got lots of the stuff. They get worse.” “
—-
“Statisticians have spent the past 200 years figuring out what traps lie in wait when we try to understand the world through data. The data are bigger, faster and cheaper these days – but we must not pretend that the traps have all been made safe. They have not.”
—-
“The answer is that sampling error has a far more dangerous friend: sampling bias. Sampling error is when a randomly chosen sample doesn’t reflect the underlying population purely by chance; sampling bias is when the sample isn’t randomly chosen at all.”
—-
“Because found data sets are so messy, it can be hard to figure out what biases lurk inside them – and because they are so large, some analysts seem to have decided the sampling problem isn’t worth worrying about. It is.”
—-
“Who cares about causation or sampling bias, though, when there is money to be made?”
—-
“There are various ways to deal with this but the problem is more serious in large data sets, because there are vastly more possible comparisons than there are data points to compare. Without careful analysis, the ratio of genuine patterns to spurious patterns – of signal to noise – quickly tends to zero.”
—-
“Worse still, one of the antidotes to the ­multiple-comparisons problem is transparency, allowing other researchers to figure out how many hypotheses were tested and how many contrary results are languishing in desk drawers because they just didn’t seem interesting enough to publish.”
—-
“But big data do not solve the problem that has obsessed statisticians and scientists for centuries: the problem of insight, of inferring what is going on, and figuring out how we might intervene to change a system for the better.”
—-
“To use big data to produce such answers will require large strides in statistical methods.
 
“It’s the wild west right now,” says Patrick Wolfe of UCL. “People who are clever and driven will twist and turn and use every tool to get sense out of these data sets, and that’s cool. But we’re flying a little bit blind at the moment.”
 
Statisticians are scrambling to develop new methods to seize the opportunity of big data. Such new methods are essential but they will work by building on the old statistical lessons, not by ignoring them.
 
Recall big data’s four articles of faith. Uncanny accuracy is easy to overrate if we simply ignore false positives, as with Target’s pregnancy predictor. The claim that causation has been “knocked off its pedestal” is fine if we are making predictions in a stable environment but not if the world is changing (as with Flu Trends) or if we ourselves hope to change it. The promise that “N = All”, and therefore that sampling bias does not matter, is simply not true in most cases that count. As for the idea that “with enough data, the numbers speak for themselves” – that seems hopelessly naive in data sets where spurious patterns vastly outnumber genuine discoveries.
 
“Big data” has arrived, but big insights have not. The challenge now is to solve new problems and gain new answers – without making the same old statistical mistakes on a grander scale than ever.”

From Financial Times

Crainte et vanité ? La soumission des universitaires à la gestion néolibérale

Crainte et vanité ? La soumission des universitaires à la gestion néolibérale

par

“[…] comment se fait-il que les universitaires, disposant pourtant des outils intellectuels et de la protection statutaire pour résister aux sirènes néolibérales, acceptent presque silencieusement de se soumettre au processus de gestionnarisation de l’Université française, c’est-à-dire à une logique basée sur la productivité et la rentabilité contrôlées par des procédures normées et des indicateurs chiffrés de performance.
 
Autrement dit, comment se fait-il que les chercheurs consacrent de moins en moins de temps à des questions proprement scientifiques et de plus en plus à la rédaction de « projets » dont beaucoup n’aboutissent jamais ? Comment se fait-il que les assemblées générales de laboratoire s’éternisent souvent en brainstormings d’agence de communication à la recherche de la meilleure rhétorique pour s’inscrire dans des réseaux, des structures, des axes, des appels ? Comment se fait-il que ceux qui hier étaient voués à critiquer, au sens noble, les innovations rutilantes de la modernité se présentent aujourd’hui comme de simples accompagnateurs du changement social ?”
—-
“[…] c’est la peur de la mort qui pousse les universitaires à une servitude volontaire face à l’idéologie néolibérale. Nous parlons bien sûr ici d’une peur de la mort symbolique, d’une insécurité névrotique qui se transforme en pulsion de puissance : désir de reconnaissance, désir de jouissance, narcissisme, admiration immature de figures mythiques (grandes revues, pontes, et aujourd’hui critères d’évaluation des publications ou labels d’excellence), et tous les avatars de l’hubris, cette ambition démesurée par laquelle les humains cherchent vainement à s’éloigner de leur propre finitude.”
—-
“Cette quête de puissance constitue le socle idéologique du néolibéralisme. Son moteur est la recherche de la performance, ou plutôt du « toujours mieux ». Il se fonde sur la croyance en la possibilité d’un progrès illimité qui nous protégerait de notre condition de mortels, insignifiants et éphémères. Le capitalisme productiviste propose ainsi à des individus angoissés par la mort et commandés par leur hubris un modèle qui leur permet de se jeter à corps perdu dans une course à l’existence. Ce modèle s’avère redoutablement efficace pour remplir des objectifs simples et précis comme la production de biens de consommation. Il consiste entre autres à rationaliser les actions, à multiplier les calculs coût/bénéfice, à centraliser les décisions, à spécialiser les éléments productifs, à rendre mobiles et flexibles les individus, à accumuler des richesses, à absorber la concurrence afin d’augmenter la taille des structures et de réduire les coûts, etc.”
—-
“En premier lieu, la vocation critique de l’Université devrait conduire à n’adhérer aux « innovations » permanentes de la modernité qu’avec circonspection. Elle incite également à n’accorder que peu d’importance aux petites jouissances que constituent les gains, les titres, les places. De son côté, la réflexion scientifique qui consiste à tenter de prendre en considération la complexité des choses ne peut que trouver réductrice une pensée gestionnaire qui voudrait évaluer le monde à l’aide d’indicateurs chiffrés. Le temps long et le recul que demande le travail universitaire s’opposent également aux injonctions de vitesse, d’immédiateté et d’actualité.”
—-
“En ce qui concerne la paysannerie, Yves Dupont désigne deux mouvements parallèles. D’abord ce qu’il appelle la « hors-solisation », c’est-à-dire l’arrachement à la terre. En éloignant les hommes de leur sol, en détruisant les communautés locales, en privant les individus de la maîtrise complète de leurs conditions de vie, le capitalisme productiviste réintroduit la solitude, l’impuissance et la concurrence dans la vie rurale. Ensuite, la modernité qui a fait sauter le rempart contre l’hubris que constituait la sorcellerie au sein de la paysannerie. En effet, dans la société paysanne d’avant l’industrialisation de masse, celui qui faisait montre de trop d’ambitions personnelles au détriment de la communauté pouvait être frappé de malédictions. Cette sorcellerie agissait comme un système symbolique servant à contenir les pulsions, comme une morale ou une justice immanente qui rappelle aux individus qu’il y a des choses qui ne se font pas.”
—-
“C’est donc un double mouvement de confrontation à la mort et de libération de l’hubris qui a permis au néolibéralisme de faire tomber le bastion paysan. Qu’en est-il alors pour l’université ?
 
Le mouvement de hors-solisation s’y déroule également : la réduction des fonds fixes et la mise en concurrence des départements, des formations, des laboratoires introduisent la compétition et attisent la peur de disparaître. Mais cette confrontation à la mort, si inquiétante soit-elle, ne devrait pas suffire à faire abdiquer toute une communauté. Encore faut-il libérer les hubris.”
—-
“Force est de constater avec Yves Dupont que la réponse est à la fois simple et inquiétante : les universitaires ont tout bonnement capitulé. Nous laissons aux plus nécrophobes d’entre nous le fétiche des postes à responsabilité, de la course aux publications, de l’obtention de crédits. Taraudés par notre désir de reconnaissance, nous entrons en servitude volontaire face aux évaluations et à la bureaucratie. Et surtout, nous n’osons pas faire entendre avec clarté et conviction notre morale humaniste et nos analyses critiques.
 
Dans le combat symbolique qui est en cours, dans cette lutte entre deux systèmes culturels, nous sommes pourtant armés pour défendre nos valeurs. La sagesse qui constitue notre rempart contre l’hubris est héritée de plus de 2000 ans de philosophie et de quelques décennies de sciences humaines et sociales. Ses arguments sont forts et peuvent déconstruire ceux de l’adversaire avec autant de rationalité que lui. Plus encore, elle est émancipatrice et devrait nous détacher de nos névroses, de nos blessures narcissiques.
 
Ainsi, nous pouvons argumenter contre la marchandisation de la science. Nous pouvons expliquer que l’éducation ne doit pas être soumise à des impératifs de rentabilité. Nous savons démonter l’ineptie de la mesure de la « productivité » des chercheurs. Nous pouvons exposer les risques de l’inféodation de nos recherches aux modes intellectuelles ou aux seuls besoins des « partenaires économiques ». Nous pouvons affirmer que notre vocation n’est pas d’insérer des étudiants sur le marché de l’emploi mais de transmettre l’héritage culturel qui nous a été légué et dont nous avons la responsabilité. Nous pouvons suggérer que la modération souriante du sage vaut mieux pour le bonheur individuel et collectif que la trouillarde volonté de puissance : le sage trouve bien futile l’orgueil que suscite un curriculum vitae prestigieux.
 
Ajoutons à cela que notre statut qui nous protège largement des pressions extérieures devrait nous pousser aux comportements éthiques : nous sommes libres et indépendants de mener – surtout en sciences humaines et sociales où les besoins de financement peuvent être moindres – des recherches et des enseignements empreints d’utopie. Pourquoi nous en priver ?
 
Aussi, quand le terrifiant spectre de la Mort reviendra nous hanter sous la forme d’un « chercheur produisant » ou d’une de ces injonctions jargonnantes invitant à « la création d’un pôle de compétitivité innovant pour une croissance des réseaux attractifs dans une économie de la connaissance globalisée », rappelons-nous les conseils de l’Upajjhatthana Sutta : contre l’avidité, et quand l’estime de soi flanche, rien ne vaut de méditer une heure sur l’image d’un cadavre d’éléphant en décomposition.”

Material Issue

Material Issue

By Jackson Lears

“Scientism reached its prior apogee at the end of the nineteenth century, before its positivist certainties fell victim to challenges posed by thinkers in disciplines ranging from psychoanalysis to physics. But now scientism is back, coexisting comfortably—at times interdependently—with neoliberal capitalism and its promoters, whose only standard of value is quantifiable utility. The positivist impulse is most dominant in areas of inquiry that purport to illuminate the mysterious workings of the human mind. In this popular discourse, which infiltrates our public life at every pore, the most influential idioms are pop-Darwinism (known to its adherents as “evolutionary psychology”) and cognitive science. Despite their differences in conception and approach, these idioms have sunk in concert into the morass of half-baked ideas and stale buzzwords that constitutes science journalism.”
—-
“Scientism depoliticizes political debate by bleaching it with bland claims of neutral expertise.
But the greater dangers of scientism are subtler. It is an impoverished way of knowing, and the particular form the impoverishment takes depends on the idiom that its practitioners deploy. At this mass-market level, evolutionary psychologists reduce human actions to their supposedly adaptive purposes by imagining what life was like on the savannah thousands of years ago, while cognitive scientists equate the brain with a computer and the mind with its software, reducing thought to computation and intelligence to problem-solving. To be clear: these phrasings are the pet locutions of popularizers and propagandists and constitute the language that makes it into the background noise of conventional wisdom. This is not the discourse of serious scientists. These methods seek the simplest, most easily quantified answers to fundamental questions about human conduct; they produce sweeping generalizations devoid of idiosyncrasy or history.”
—-
“Whether they favor a biological or a computational theory of thought, scientistic thinkers all depend on a behaviorist vision of consciousness, which cannot account for the visceral longings, anxieties, and aspirations that we call subjectivity. Behaviorists, in the positivist tradition, reject any attempt to understand the mind through introspection; inner life is simply off the table. Indeed, for Auguste Comte, who founded the philosophy he called Positivism in the 1830s, introspection was “merely a way to get lost,” as George Makari writes. The formulation is revealing. Positivists—whether they embraced Comte’s philosophy or simply shared his intellectual style—have always feared getting lost, feared ambiguity. This visceral fear is a prescription for reductionist explanations.”
—-
“For the behaviorist, thinking can only be inferred from observable action in the world: this is how intelligence becomes equated with problem solving. When that troubling subjective dimension of life drops out of the picture altogether, it becomes easier to claim that computers can think. This is what passes for the contemporary science of mind at the level of popular discourse.”
—-
“Instead, they invoke an “inherent plasticity” in living matter, an active responsiveness to the physical environment. Plasticity and responsiveness combined to create the capacity for generating new organic forms, though in more complex organisms these “inherent material properties” may have ceded importance to genetic factors, which have obscured the importance of earlier, more primitive epigenetic mechanisms. Given this possibility of change over time, the effort to locate the sources of organic form requires an archeological, historical dimension. As Riskin concludes, Müller’s and Newman’s “approach to the history of life assumes inherent natural agencies whose action over time has produced a history that is neither designed nor random, but contingent.”
The implications of this conclusion are fundamentally transformative. Emphasizing what human beings have in common with the rest of the natural world does not reduce humans to passive mechanisms—not if the rest of the natural world is an animated, active mechanism. And a clearer understanding of our relationship to that world requires more than masses of Big Data; it also demands a sensitivity to the ways that organisms engage with the contingent circumstances of their environment in historical time. That environment includes religions and ideologies and economic systems as well as air and soil and water. Who knows? Maybe scientists will have something to learn from historians, as well as the other way around.

The consequences of a fresh perspective might be political and moral as well as intellectual. A full recognition of an animated material world could well trigger a deeper mode of environmental reform, a more sane and equitable model of economic growth, and even religious precepts that challenge the ethos of possessive individualism and mastery over nature. Schrödinger’s question—what is life?—leads us to reconsider what it means to be in the world with other beings like but also unlike ourselves. The task could not be more timely, or more urgent.”

From The Baffler