Universal Prediction:A Philosophical Investigation

Abstract

In dit proefschrift onderzoek ik de theoretische mogelijkheid van een universele methode van voorspelling. Een voorspelmethode is universeel als deze altijd in staat is te leren van invoergegevens: als deze altijd in staat is gegevens over eerdere observaties door te trekken naar maximaal succesvolle voorspellingen over toekomstige observaties. De context van dit onderzoek is de bredere filosofische vraag naar de mogelijkheid van een formele specificatie van inductief of wetenschappelijk redeneren, een vraag die raakt aan hedendaagse speculatie over een volledig geautomatiseerde datagedreven wetenschap.Meer bepaald onderzoek ik een specifieke wiskundige definitie van een universele voorspelmethode, die opgesteld werd in de begindagen van de kunstmatige intelligentie en die een directe lijn heeft naar moderne ontwikkelingen in machinaal leren. Deze definitie is in wezen een poging alle mogelijke voorspelalgoritmes samen te voegen. Een alternatieve interpretatie is dat deze definitie een formalisering geeft van het idee dat leren uit gegevens equivalent is aan het comprimeren ervan. In deze hoedanigheid wordt de definitie ook wel voorgesteld als een implementatie en zelfs een rechtvaardiging van Occams scheermes, het principe dat we moeten streven naar eenvoudige verklaringen.De bevindingen van mijn onderzoek zijn negatief. Ik toon aan dat de onderzochte definitie niet geïnterpreteerd kan worden als een universele voorspelmethode, zoals blijkt te volgen uit een wiskundig argument dat het juist bedoeld was te ontwijken. Bovendien laat ik zien dat de gesuggereerde rechtvaardiging van Occams scheermes niet opgaat, en beargumenteer ik dat de relevante notie van eenvoud als comprimeerbaarheid zelf problematisch is.In this thesis I investigate the theoretical possibility of a universal method of prediction. A prediction method is universal if it is always able to learn from data: if it is always able to extrapolate given data about past observations to maximally successful predictions about future observations. The context of this investigation is the broader philosophical question into the possibility of a formal specification of inductive or scientific reasoning, a question that also touches on modern-day speculation about a fully automatized data-driven science.I investigate, in particular, a specific mathematical definition of a universal prediction method, that goes back to the early days of artificial intelligence and that has a direct line to modern developments in machine learning. This definition essentially aims to combine all possible prediction algorithms. An alternative interpretation is that this definition formalizes the idea that learning from data is equivalent to compressing data. In this guise, the definition is often presented as an implementation and even as a justification of Occam's razor, the principle that we should look for simple explanations. The conclusions of my investigation are negative. I show that the proposed definition cannot be interpreted as a universal prediction method, as turns out to be exposed by a mathematical argument that it was actually intended to overcome. Moreover, I show that the suggested justification of Occam's razor does not work, and I argue that the relevant notion of simplicity as compressibility is problematic itself