Der kluge Hans

KI (AI), Machine Learning, Deep Learning

Deep Learning ist der Treiber der jetzigen KI Welle (von 2012 an).

Anwendungen der (schachen) KI

(Künstliche) Neuronale Netze

Alle NN bestehen aus Neuronen…

…Mache haben aber mehr Neuronen als andere.

Beispiel: ChatGPT

• Architektur: “Language Model”

  • Input: X Sequenz (bis zu 8000 Wörter¹)

  • Output: Y Nächstes Wort (W’keiten)

• Typisches Netz 2020 GPT-3 175’000’000’000 Parameter (Neuronen) Brown et al. (2020)

Beispiel: Alexnet

• Architektur: Bild Klassifikation

  • Input X Bild z.B. 1024x1024 Pixel

  • Output Y Klasse Label (eines von 1000)

• Typisches Netz 2012 Alex Net 60’000’000 Parameter Krizhevsky, Sutskever, and Hinton (2012)

Beispiel: GaussNet (Lineare Regression)

• Architektur Lineare Regresion

  • Input X Zahl (X=alter)

  • Output Y Zahl (Y=Blutdruck)

• Typisches Lineare Regression, 2 Parameter, Gauss (unpublished ~ 1795), Legendre (1805)

Training von NN (Beispiel Bildklassifikation)

NN 1: Vorhersage des Blutdrucks

Trainingsdaten: Blutdruck von 33 Nordamerikanischen Frauen (ersten 10)

    x   y
1  22 131
2  41 139
3  52 128
4  23 128
5  41 171
6  54 105
7  24 116
8  46 137
9  56 145
10 27 106

dat = transpose(datt)

Aufgabe: Blutdruck für eine 75 jährige Frau (gegeben den Trainingsdaten)?

Data

function lr(pw){
 return(
  Plot.plot({
  marks: [
    Plot.dot(dat, {x: "x", y: "y"}),
    Plot.line(curve(dat), {x: "x", y: "y"})
  ],
  y: {
    label: "Blutdruck",
    domain: [80,200]
  },
  x: {
    label: "Alter",
    domain: [15,80]
  },
  width: pw,
  height: pw/1.5,
  color: "steelblue"
})
)
} 

function curve(template){
  const ages = template.map(d => d.x);
  const [minAge, maxAge] = d3.extent(ages);
  const xvals = d3.range(minAge, maxAge, (maxAge - minAge) / 100); 
  let yhat = xvals.map(x => w*x + b);
  return xvals.map((x, i) => ({x, y: yhat[i]})); //Thanks ChatGPT
}

lr(800)

Blutdruck für eine 75 Jahre, Idee?

Lineare Regression

lr(550)

Modell mit 2 Parametern \(w,b\), welches für jedes gegebenes Alter (\(x\)) den Blutdruck(\(y\)) vorhersagt:

\[ y = w \cdot x + b \]

viewof b = Inputs.range([-10, 120], {label: "Intercept", step: 0.1})
viewof w = Inputs.range([-5, 5], {label: "Slope", step: 0.1})
html`<br>y = ${w} &middot; x + ${b}<br>`

Lineare Regression as Neuronales Netz

//Redoing the plot
lr(350)

Inputs.bind(Inputs.range([-10, 120]), viewof b)

Inputs.bind(Inputs.range([-5, 5]), viewof w)

html`<br>y = ${w} &middot; x + ${b}<br>`

function color(value) {
  return  d3.scaleLinear().domain([-1, 0, 1]).range(['blue', 'gray', 'green'])(value);
}
function lw(value) {
  return d3.scaleLinear().domain([-1, 1]).range([0.1, 1])(value);
}

dot`${my_graph}`

my_graph = `digraph {
  node [fontsize=20, fontname=Arial];
  node [fixedsize=true, width=0.6, height=0.6];
  edge [arrowhead=vee, arrowsize=0.7];

  //b -> Y[penwidth=${10*lw(Math.abs(b))}, label=${b}]; //<-- Change the factor here
  b -> Y[penwidth=2, label=${b}];
  x1 -> Y[penwidth=2, label=${w}];
  
  x1 [label="x", pos="0,0"]; 
  b  [label="1", pos="0,2"]; 
  Y  [label="y", pos="1,0.8"]; 
  //x1 [label="x", pos="0,0"];
  //b  [label="1", pos="2,0"];
  //Y  [label="y", pos="1,1"];
}`

Training großer Netze

• Lineare regression hat 2 parameter (slider)

• Grosse Netze haben Mio/Mrd parameter

• Training Minimierung einer Verlustfunktion auf den Trainingsdaten

  • Trainingsprinzip: Wie gut sagt das Model die Daten vorher (Maximum Likelihood Prinzip)

  • Algorithmus: Backpropagation (Rummelhard)

  • Training von großen Netzten große technoligische Herausforderung

ChatGTP

Principles of ChatGPT

• Transformer Architecture / self attention

  • Spezielle Art neuronen zu verbinden: Vaswani et al. (2017)

• “trained with maximum likelihood”

  • “Normales Training”

• Generative Language Model […] predict next token in a sequence of tokens

  • Sagt nächstes Wort vorraus

Generating Text (You)

Wahrscheinlichkeiten (des Sprachmodels) für das nächste Wort

• trinken (70%)

• bieremoji (15%)

• oder (10%)

• sonstige kummuliert (5%)

Generating Text (ChatGPT)

Beim Text wird das nächste Wort proportional zur Wahrscheinlichkeit ausgewürfelt.

Zufälliges Auswählen: Beispiel 1

Zufälliges Auswählen: Beispiel 2

Training von ChatGPT

1. Vorhersage des nächsten Worts

   • Muss keine Daten labeln

   • Trainingsdaten “Internet” (common crawl)

   • CO2 äquivalent 120 Auto für ein Jahr

2. Finetuning als Chatbot

<<All the impressive achievements of deep learning amount to just curve fitting>>

Juda Pearl, 2018

Transparenz (im nachhinein)

• Wichtigkeit von bestimmten Eingangsdaten für die Entscheidungen.

Transparenz (Design der Netze)

• Vorhersage vs. Interpretation

  • Einfach Modelle, wie lineare Regression können interpretiert werden.

  • Komplexe Modelle oft in den Vorhersagen besser.

  • Kombination von einfachen interpretierbaren mit komplexen Modellen

• BMBF Projekts “DeepDoubt”

Statistische Natur von KI

Statistik

Fussvergrößerung ==> mehr Gehalt?

Statistik vs. Kausalität

KI ist nicht kausal (2023)

Fazit

KI ist ein hilfreiches Werkzeug:

• Code für Animationen wurde mit ChatGPT entwickelt

• Viele Nüzliche Anwendungen Medizin, Stromvorhersage¹,…

Allerdings:

• Auch wenn es schwerfällt zu glauben: kein inneres Verständniss
• Biased
  • Nur so gut wie Trainingsdaten
• Transparent
  • Maximal im statistischen Sinne

Danke für Ihre Aufmerksamkeit