Meta tags:
description= Normalverteilung in Python: PDF, CDF, Z-Scores, empirische Regel, Normalitätstests und Log-Transformation.;
Headings (most frequently used words):
daten, die, sind, normalverteilung, ist, mit, pdf, cdf, scores, wichtig, wann, von, was, empirische, regel, 68, 95, 99, normalverteilte, numpy, erzeugen, und, scipy, auswerten, verteilung, standardisieren, testen, ob, normalverteilt, wenn, nicht, normal, verteilt, log, transformation, warum, im, maschinellen, lernen, zusammenfassung, wahrscheinlichkeitsdichtefunktion, kumulative, verteilungsfunktion, nützlich, shapiro, wilk, test, normalitätstests,
Text of the page (most frequently used words):
die (62), python (58), und (39), ist (30), der (29), von (27), #normalverteilung (26), pdf (23), print (22), daten (21), mittelwert (21), stats (21), lernen (19), sind (19), sie (19), eine (19), kopieren (18), scores (15), scipy (15), das (14), matplotlib (14), log (13), cdf (13), mit (13), dass (13), shapiro (13), sigma (13), sample (13), std (13), mysql (13), normal (12), auf (12), werte (12), mongodb (12), für (11), nicht (11), numpy (11), regel (11), mean (11), den (10), wert (10), rng (10), import (10), ein (10), scale (10), wenn (9), transformation (9), normalverteilt (9), standardabweichung (9), standardabweichungen (9), einer (9), loc (9), 180 (9), empirische (8), norm (8), random (8), wie (8), size (8), listen (8), über (7), html (7), was (7), default_rng (7), ihre (7), ausgabe (7), bei (7), strings (7), elemente (7), alle (6), normalverteilte (6), einen (6), vom (6), regression (6), 000 (6), seed (6), test (6), reject (6), normality (6), man (6), heights (6), height (6), 100 (6), samples (6), within (6), expected (6), string (6), w3docs (5), tools (5), verteilung (5), verwenden (5), stichproben (5), innerhalb (5), als (5), oder (5), incomes (5), from (5), bedeutet (5), zwei (5), liegt (5), 160 (5), erstellen (5), tutorial (5), tuples (5), methoden (5), formatter (5), color (5), json (4), code (4), generator (4), warum (4), maschinellen (4), wichtig (4), verteilt (4), testen (4), erzeugen (4), annähernd (4), diese (4), feature (4), skalierung (4), wird (4), aus (4), auch (4), wilk (4), transform (4), skewness (4), gibt (4), dem (4), 185 (4), wahrscheinlichkeit (4), data (4), dateien (4), entfernen (4), erste (4), schritte (4), dictionaries (4), set (4), listenelemente (4), durchlaufen (4), encoder (3), editor (3), quizze (3), übungen (3), php (3), javascript (3), css (3), standardisieren (3), auswerten (3), datenverteilung (3), vergleich (3), kapitel (3), zur (3), median (3), modus (3), oft (3), algorithmen (3), ausreißererkennung (3), kurve (3), symmetrisch (3), wann (3), schiefe (3), log_incomes (3), 1000 (3), nur (3), jeder (3), features (3), stichprobe (3), skewed (3), cannot (3), else (3), p_s (3), p_n (3), genannt (3), nützlich (3), score (3), ddof (3), for (3), probability (3), and (3), einem (3), scheitelpunkt (3), wahrscheinlichkeitsdichtefunktion (3), zahlen (3), max (3), min (3), abs (3), variablen (3), sets (3), hinzufügen (3), zugreifen (3), italiano (2), português (2), español (2), français (2), русский (2), deutsch (2), english (2), beautifier (2), diff (2), password (2), java (2), git (2), bücher (2), snippets (2), zusammenfassung (2), this (2), page (2), streudiagramm (2), aufweisen (2), macht (2), beachten (2), viele (2), voraussetzen (2), skala (2), liegen (2), durch (2), definiert (2), glockenförmige (2), verstehen (2), annahme (2), ihnen (2), jenseits (2), modelle (2), funktionen (2), bayes (2), gaußsche (2), residuen (2), linearen (2), unabhängig (2), ursprünglichen (2), dies (2), konfidenzintervalle (2), nach (2), nahezu (2), null (2), problemlos (2), 940 (2), after (2), before (2), p_after (2), sk_after (2), p_before (2), sk_before (2), skew (2), simulate (2), normally (2), distributed (2), ergebnis (2), sich (2), lineare (2), tests (2), normalitätstests (2), 730 (2), stat_s (2), skewed_sample (2), exponential (2), stat_n (2), normal_sample (2), statistik (2), wahrscheinlich (2), anwendet (2), eines (2), vergleichen (2), ermöglichen (2), fast (2), person (2), 183 (2), ungefähr (2), oberen (2), manual (2), round (2), z_scipy (2), z_manual (2), the (2), standard (2), 171 (2), gemeinsamen (2), misst (2), bereich (2), beobachtungen (2), p_range (2), p_above_185 (2), than (2), p_below_180 (2), kumulative (2), verteilungsfunktion (2), 0540 (2), 2420 (2), x_values (2), ergebnisse (2), aber (2), weiter (2), überprüft (2), datensatz (2), wirklich (2), formel (2), wissen (2), form (2), glocke (2), mittelpunkt (2), wahrscheinlichkeitsverteilung (2), handling (2), klassen (2), limit (2), update (2), drop (2), collection (2), delete (2), insert (2), datenbank (2), grid (2), einführung (2), schleifen (2), verbinden (2), ändern (2), hash (2), 2026, rechte, vorbehalten, entwickler, gemacht, sprache, datenschutzrichtlinie, kontakt, uns, unternehmen, probier, üben, kostenlose, tutorials, beispiele, web, seit, 2014, next, previous, yes, helpful, umfassenderen, verteilungstypen, uniform, schief, multimodal, siehe, informationen, messung, streuung, lagemaß, finden, rechtsschiefe, formal, jedoch, moderne, gemeinsame, unverzichtbar, wahrscheinlichkeiten, auszuwerten, besagt, bzw, ihren, vorausgesetzt, hält, hilft, stille, modellierungsfehler, vermeiden, vielen, bereichen, werden, anomalie, markiert, familie, probabilistischer, legen, verwendet, schen, optimierung, quantifizierung, unsicherheit, prozesse, schemata, xavier, initialisierung, ziehen, anfangsgewichte, normalverteilungen, verschwindende, explodierende, gradienten, verhindern, gewichtsinitialisierung, neuronalen, netzen, gut, angepassten, sollten, sein, abweichungen, signalisieren, fehlspezifikation, des, modells, residualanalyse, großen, zufallsstichprobe, untermauert, hypothesentests, modellmetriken, zentraler, grenzwertsatz, taucht, überall, implizit, wenden, immer, dieselbe, sowohl, trainingsdatensatz, neue, inferenzzeit, linke, langer, schwanz, links, versuchen, stattdessen, quadrat, reflexionstransformation, erfordert, strikt, positiv, nullen, enthalten, plus, eins, sinkt, steigt, transformierten, bestehen, normalitätstest, stat_after, stat_before, lognormal, realistic, pattern, häufiges, mittel, rechtsschiefen, einkommen, hauspreise, transaktionsbeträge, große, komprimiert, kleine, dehnt, leiten, prognoseintervalle, modelliert, jedes, explizit, gaußverteilung, gaussian, naive, setzt, voraus, jede, klasse, diskriminanzanalyse, lda, anova, pearson, korrelation, dieser, gültig, parametrische, statistische, algorithmus, benötigt, baumbasierte, entscheidungsbäume, forests, gradient, boosting, neuronale, netze, vollständig, verteilungsunabhängig, wichtigsten, besteht, scheitert, eindeutig, 808, 984, distribution, liefert, genug, beweise, abzulehnen, zeigt, unter, bevor, sollte, überprüfen, häufigsten, ansätze, bis, schnelle, visuelle, inspektion, mathematikergebnis, schülers, seinem, leseergebnis, möchten, fairen, äpfel, birnen, umrechnen, einheitsvarianz, erforderlich, empfindlich, größenordnung, reagieren, svm, nächste, nachbarn, erfahren, scikit, learns, standardscaler, standardisierung, sicher, ausreißer, körpergröße, hat, platziert, bevölkerung, zscore, use, directly, deviation, calculate, manually, 179, 173, 164, 176, 168, array, werten, verteilungen, unterschiedlichen, mittelwerten, einheiten, standardwert, entfernt, dritte, bestätigt, enthält, etwa, 6827, 0668, 8413, falling, between, being, taller, that, randomly, chosen, shorter, adult, 170, zufällig, gezogene, beobachtung, praktische, wahrscheinlichkeitsfragen, beantworten, kleiner, gleich, entspricht, maximum, glockenkurve, selbst, keine, dichte, erhalten, integriert, leistet, 3989, relative, wertes, höherer, häufiger, vorkommt, beim, übergabe, reproduzierbar, denselben, ausführt, erhält, dieselben, debuggen, teilen, ergebnissen, unerlässlich, schnittstelle, eingeführt, älteren, vorzuziehen, globalen, zustand, vermeidet, stichprobenmittelwert, nahe, exakt, weil, endliche, natürliche, zufallsvariation, aufweist, nähern, schätzungen, wahren, parametern, 138, len, numpys, zufallszahlengenerator, erzeugt, approximieren, methode, akzeptiert, anzahl, unmittelbar, testergebnis, mehr, fällt, aller, 10000, folgende, beispiel, simuliert, standardnormalverteilung, normalverteilten, drei, selten, 370, prozentsatz, abstand, praktischsten, eigenschaften, bekannt, müssen, hand, anwenden, scipys, übernimmt, abhängt, 2σ², lautet, perfekten, identisch, breit, schmal, größeres, streut, beschreibt, auftritt, stetige, symmetrische, parameter, tun, berechnen, interpretieren, dieses, behandelt, weitem, wichtigste, glockenkurvenform, erkennen, sondern, testet, damit, arbeitet, solide, grundlage, datenvorbereitung, modellauswahl, ergebnisinterpretation, http, anfragen, pytest, pakete, virtuelle, umgebungen, tooling, best, practices, threading, asyncio, concurrency, csv, sys, itertools, collections, ausnahmen, auslösen, error, library, addieren, umkehren, duplikate, how, enums, abstrakte, kapselung, polymorphismus, dataclasses, static, classmethod, property, magic, methods, advanced, oop, match, anweisung, enumerate, zip, map, comprehensions, kontextmanager, rekursion, closures, generatoren, decorators, args, kwargs, type, hints, intermediate, sort, query, find, join, table, order, where, select, tabelle, einstieg, nearest, neighbors, auc, roc, cross, validation, bootstrap, aggregation, means, kategoriale, search, logistische, hierarchisches, clustering, konfusionsmatrix, entscheidungsbaum, train, multiple, polynomiale, perzentil, machine, learning, kreisdiagramme, histogramme, balken, scatter, subplot, beschriftungen, linie, marker, plotting, pyplot, django, pandas, modules, löschen, schreiben, lesen, dateiverarbeitung, file, formatierung, benutzereingabe, try, except, pip, regex, math, datumsangaben, module, scope, iteratoren, vererbung, objekte, arrays, lambda, while, tupeln, gruppieren, operatoren, booleans, casting, datentypen, kommentare, syntax, variablennamen, aktualisieren, tupel, entpacken, tuple, sortieren, slicen, home, ausgabevariablen, verschachtelte, modifizieren, list, comprehension, zusammenführen, globale, format, escape, zeichen, dictionary, verketten, mehrere, zuweisen, aufrufen, anmelden, durchsuchen, formatters, url, reverse, sha256, md5, length, calculator, colors, hsl, hex, mixer, converter, picker, general, kurse, leitfaden,
Text of the page (random words):
onary methoden escape zeichen format strings globale variablen listen verbinden sets zusammenführen tuples verbinden list comprehension listen methoden dictionaries durchlaufen listen durchlaufen sets durchlaufen tuples durchlaufen strings modifizieren verschachtelte dictionaries ausgabevariablen python home python listen python sets python strings python tuples python variablen elemente entfernen listenelemente entfernen set elemente entfernen set methoden strings slicen listen sortieren string methoden tuple methoden tupel entpacken tuples aktualisieren variablennamen python einführung python erste schritte python syntax python kommentare python variablen python datentypen python zahlen python casting python strings python booleans python operatoren python listen python tupeln gruppieren python dictionaries python if else python while schleifen python for schleifen python funktionen python lambda python arrays python klassen objekte python vererbung python iteratoren python scope python module python datumsangaben python math python json python regex python pip python try except python benutzereingabe python string formatierung file handling python dateiverarbeitung python dateien lesen python dateien schreiben erstellen python dateien löschen python modules numpy tutorial pandas tutorial scipy tutorial django tutorial python matplotlib matplotlib einführung matplotlib erste schritte matplotlib pyplot matplotlib plotting matplotlib marker matplotlib linie matplotlib beschriftungen matplotlib grid matplotlib subplot matplotlib scatter matplotlib balken matplotlib histogramme matplotlib kreisdiagramme machine learning erste schritte mittelwert median modus standardabweichung perzentil datenverteilung normalverteilung von daten streudiagramm lineare regression polynomiale regression multiple regression skalierung train test entscheidungsbaum konfusionsmatrix hierarchisches clustering logistische regression grid search kategoriale daten k means bootstrap aggregation cross validation auc roc kurve k nearest neighbors python mysql mysql einstieg mysql datenbank erstellen mysql tabelle erstellen mysql insert mysql select mysql where mysql order by mysql delete mysql drop table mysql update mysql limit mysql join python mongodb mongodb erste schritte mongodb datenbank erstellen mongodb collection erstellen mongodb insert mongodb find mongodb query mongodb sort mongodb delete mongodb drop collection mongodb update mongodb limit intermediate python f strings type hints args kwargs decorators generatoren closures rekursion kontextmanager comprehensions enumerate zip map match anweisung advanced oop magic methods property static classmethod dataclasses polymorphismus kapselung abstrakte klassen enums python how to listen duplikate entfernen string umkehren zwei zahlen addieren error handling and the standard library ausnahmen auslösen collections itertools os sys random csv dateien concurrency in python asyncio threading python tooling and best practices virtuelle umgebungen pakete pytest http anfragen normalverteilung von daten normalverteilung in python pdf cdf z scores empirische regel normalitätstests und log transformation die normalverteilung auch gaußsche verteilung genannt ist die bei weitem wichtigste wahrscheinlichkeitsverteilung in der statistik und im maschinellen lernen sie wirklich zu verstehen nicht nur ihre glockenkurvenform zu erkennen sondern zu wissen wie man sie misst testet und in python damit arbeitet gibt ihnen eine solide grundlage für datenvorbereitung modellauswahl und ergebnisinterpretation dieses kapitel behandelt was die normalverteilung ist und warum ihre form wichtig ist die empirische regel 68 95 99 7 regel und wie man sie überprüft normalverteilte daten mit numpy erzeugen die wahrscheinlichkeitsdichtefunktion pdf und kumulative verteilungsfunktion cdf mit scipy auswerten z scores berechnen und interpretieren testen ob ihre daten normalverteilt sind was zu tun ist wenn daten nicht normal verteilt sind was ist die normalverteilung eine wahrscheinlichkeitsverteilung beschreibt wie wahrscheinlich es ist dass jeder wert in einem datensatz auftritt die normalverteilung ist eine stetige symmetrische glockenförmige verteilung die durch zwei parameter definiert wird mittelwert μ der mittelpunkt der glocke wo der scheitelpunkt liegt standardabweichung σ wie breit oder schmal die glocke ist ein größeres σ streut die werte weiter vom mittelpunkt da die kurve symmetrisch um den mittelwert ist sind mittelwert median und modus bei einer perfekten normalverteilung identisch die formel für die wahrscheinlichkeitsdichtefunktion lautet f x 1 σ 2π e x μ ² 2σ² kopieren sie müssen diese formel nicht von hand anwenden scipys stats norm übernimmt das aber es ist nützlich zu wissen dass die form nur von μ und σ abhängt die empirische regel 68 95 99 7 eine der praktischsten eigenschaften der normalverteilung ist die empirische regel auch als 68 95 99 7 regel bekannt abstand vom mittelwert prozentsatz der werte innerhalb von 1 standardabweichung 68 innerhalb von 2 standardabweichungen 95 innerhalb von 3 standardabweichungen 99 7 das bedeutet dass in einem normalverteilten datensatz fast alle werte innerhalb von drei standardabweichungen vom mittelwert liegen werte jenseits von 3σ sind wirklich selten ungefähr 1 von 370 beobachtungen das folgende beispiel simuliert 10 000 werte aus einer standardnormalverteilung μ 0 σ 1 und überprüft die regel import numpy as np rng np random default_rng seed 42 mu sigma 0 1 data rng normal loc mu scale sigma size 10000 w1 np mean np abs data mu 1 sigma 100 w2 np mean np abs data mu 2 sigma 100 w3 np mean np abs data mu 3 sigma 100 print f within 1 std w1 1f expected 68 print f within 2 std w2 1f expected 95 print f within 3 std w3 1f expected 99 7 kopieren ausgabe within 1 std 67 8 expected 68 within 2 std 95 4 expected 95 within 3 std 99 7 expected 99 7 kopieren die empirische regel ist unmittelbar nützlich wenn ein testergebnis mehr als zwei standardabweichungen über dem mittelwert liegt fällt es in die oberen 2 5 aller ergebnisse normalverteilte daten mit numpy erzeugen numpys zufallszahlengenerator erzeugt stichproben die eine normalverteilung approximieren die methode rng normal akzeptiert den mittelwert loc die standardabweichung scale und die anzahl der stichproben size import numpy as np rng np random default_rng seed 7 simulate iq scores mean 100 std 15 samples rng normal loc 100 scale 15 size 1000 print f sample mean samples mean 1f print f sample std samples std 1f print f min samples min 1f print f max samples max 1f print f sample size len samples kopieren ausgabe sample mean 98 9 sample std 14 1 min 51 2 max 138 6 sample size 1000 kopieren der stichprobenmittelwert und die standardabweichung sind nahe an aber nicht exakt 100 und 15 weil eine endliche stichprobe natürliche zufallsvariation aufweist mit 10 000 stichproben nähern sich die schätzungen den wahren parametern weiter an warum einen seed verwenden die übergabe von seed 7 an default_rng macht die ergebnisse reproduzierbar jeder der denselben code ausführt erhält dieselben zahlen das ist für das debuggen und das teilen von ergebnissen unerlässlich die default_rng schnittstelle eingeführt in numpy 1 17 ist dem älteren np random normal vorzuziehen da sie gemeinsamen globalen zustand vermeidet pdf und cdf mit scipy auswerten wahrscheinlichkeitsdichtefunktion pdf die pdf gibt die relative wahrscheinlichkeit eines wertes an ein höherer pdf wert bei x bedeutet dass x häufiger vorkommt bei einer normalverteilung liegt der scheitelpunkt beim mittelwert from scipy import stats mu sigma 0 1 x_values 2 1 0 1 2 for x in x_values pdf stats norm pdf x loc mu scale sigma print f pdf x 2d pdf 4f kopieren ausgabe pdf 2 0 0540 pdf 1 0 2420 pdf 0 0 3989 pdf 1 0 2420 pdf 2 0 0540 kopieren die pdf ist symmetrisch pdf 1 entspricht pdf 1 und pdf 0 ist das maximum der scheitelpunkt der glockenkurve der pdf wert selbst ist keine wahrscheinlichkeit er ist eine dichte um eine wahrscheinlichkeit zu erhalten integriert man die pdf über einen bereich was die cdf leistet kumulative verteilungsfunktion cdf die cdf bei einem wert x gibt die wahrscheinlichkeit an dass eine zufällig gezogene beobachtung kleiner oder gleich x ist verwenden sie stats norm cdf um praktische wahrscheinlichkeitsfragen zu beantworten from scipy import stats mu sigma 170 10 adult heights in cm probability that a randomly chosen person is shorter than 180 cm p_below_180 stats norm cdf 180 loc mu scale sigma print f p height 180 cm p_below_180 4f probability of being taller than 185 cm p_above_185 1 stats norm cdf 185 loc mu scale sigma print f p height 185 cm p_above_185 4f probability of falling between 160 cm and 180 cm p_range stats norm cdf 180 loc mu scale sigma stats norm cdf 160 loc mu scale sigma print f p 160 height 180 cm p_range 4f kopieren ausgabe p height 180 cm 0 8413 p height 185 cm 0 0668 p 160 height 180 cm 0 6827 kopieren das dritte ergebnis bestätigt die empirische regel der bereich μ σ 160 180 cm enthält etwa 68 der beobachtungen z scores die verteilung standardisieren ein z score auch standardwert genannt misst wie viele standardabweichungen ein wert vom mittelwert entfernt ist z x μ σ kopieren z scores ermöglichen den vergleich von werten aus verteilungen mit unterschiedlichen mittelwerten und standardabweichungen auf einer gemeinsamen skala ein z score von 2 0 bedeutet dass ein wert zwei standardabweichungen über dem mittelwert liegt unabhängig von den ursprünglichen einheiten import numpy as np from scipy import stats heights np array 171 3 168 7 176 4 171 0 164 6 173 6 183 0 179 5 calculate z scores manually mean heights mean std heights std ddof 1 ddof 1 for the sample standard deviation z_manual heights mean std print z scores manual np round z_manual 2 or use scipy directly z_scipy stats zscore heights ddof 1 print z scores scipy np round z_scipy 2 kopieren ausgabe z scores manual 0 37 0 81 0 49 0 42 1 5 0 01 1 59 1 01 z scores scipy 0 37 0 81 0 49 0 42 1 5 0 01 1 59 1 01 kopieren eine person mit einer körpergröße von 183 0 cm hat einen z score von 1 59 was bedeutet dass sie 1 59 standardabweichungen über dem mittelwert liegt in einer normalverteilung platziert sie das ungefähr in den oberen 6 der bevölkerung wann z scores nützlich sind ausreißererkennung werte mit z 3 sind in einer normalverteilung fast sicher ausreißer feature skalierung das umrechnen von features in z scores mittelwert null einheitsvarianz wird standardisierung genannt und ist für algorithmen erforderlich die empfindlich auf die größenordnung von features reagieren wie svm und k nächste nachbarn im kapitel zur feature skalierung erfahren sie wie man dies mit scikit learns standardscaler anwendet äpfel mit birnen vergleichen wenn sie das mathematikergebnis eines schülers mittelwert 70 standardabweichung 10 mit seinem leseergebnis mittelwert 50 standardabweichung 5 vergleichen möchten ermöglichen z scores einen fairen vergleich testen ob daten normalverteilt sind bevor man algorithmen anwendet die normalverteilung voraussetzen sollte man diese annahme überprüfen die zwei häufigsten ansätze sind der shapiro wilk test für stichproben bis 5 000 und eine schnelle visuelle inspektion shapiro wilk test der shapiro wilk test liefert eine statistik w und einen p wert ein p wert über 0 05 bedeutet dass es nicht genug beweise gibt um die normalverteilung abzulehnen ein p wert bei oder unter 0 05 zeigt an dass die daten wahrscheinlich nicht normal verteilt sind import numpy as np from scipy import stats rng np random default_rng seed 42 normally distributed sample normal_sample rng normal loc 0 scale 1 size 50 stat_n p_n stats shapiro normal_sample print f normal sample w stat_n 3f p p_n 3f if p_n 0 05 print cannot reject normality else print reject normality skewed sample exponential distribution skewed_sample rng exponential scale 1 size 50 stat_s p_s stats shapiro skewed_sample print f skewed sample w stat_s 3f p p_s 3f if p_s 0 05 print cannot reject normality else print reject normality kopieren ausgabe normal sample w 0 984 p 0 730 cannot reject normality skewed sample w 0 808 p 0 000 reject normality kopieren die normalverteilte stichprobe besteht den test problemlos p 0 730 die schiefe stichprobe scheitert eindeutig p 0 wann normalitätstests wichtig sind nicht jeder algorithmus benötigt normalverteilte features baumbasierte modelle entscheidungsbäume random forests gradient boosting und neuronale netze sind vollständig verteilungsunabhängig normalverteilung ist am wichtigsten für parametrische statistische tests t test anova pearson korrelation die p werte dieser tests sind nur gültig wenn die daten annähernd normalverteilt sind lineare diskriminanzanalyse lda setzt voraus dass jede klasse normalverteilt ist gaussian naive bayes modelliert jedes feature explizit als gaußverteilung konfidenzintervalle und prognoseintervalle in der linearen regression leiten sich aus der normalverteilung der residuen ab wenn daten nicht normal verteilt sind log transformation ein häufiges mittel bei rechtsschiefen daten z b einkommen hauspreise transaktionsbeträge ist die log transformation die große werte komprimiert und kleine dehnt das ergebnis ist oft nahezu normalverteilt import numpy as np from scipy import stats rng np random default_rng seed 7 simulate log normally distributed incomes a realistic pattern incomes rng lognormal mean 10 5 sigma 0 5 size 1000 log_incomes np log incomes sk_before stats skew incomes sk_after stats skew log_incomes stat_before p_before stats shapiro incomes 50 stat_after p_after stats shapiro log_incomes 50 print f before transform skewness sk_before 2f shapiro p p_before 3f print f after log transform skewness sk_after 2f shapiro p p_after 3f kopieren ausgabe before transform skewness 1 44 shapiro p 0 000 after log transform skewness 0 01 shapiro p 0 940 kopieren nach der log transformation sinkt die schiefe von 1 44 auf nahezu null und der shapiro wilk p wert steigt von 0 000 auf 0 940 die transformierten daten bestehen den normalitätstest problemlos zu beachten die log transformation erfordert dass alle werte strikt positiv sind wenn ihre daten nullen enthalten verwenden sie np log x 1 log plus eins transformation wenn ihre daten eine linke schiefe aufweisen langer schwanz nach links versuchen sie stattdessen eine quadrat oder reflexionstransformation wenden sie immer dieselbe transformation sowohl auf den trainingsdatensatz als auch auf neue daten zur inferenzzeit an warum die normalverteilung im maschinellen lernen wichtig ist die normalverteilung taucht im maschinellen lernen überall auf oft implizit zentraler grenzwertsatz der mittelwert einer großen zufallsstichprobe ist unabhängig von der ursprünglichen verteilung annähernd normalverteilt dies untermauert konfidenzintervalle und hypothesentests für modellmetriken residualanalyse die residuen einer gut angepassten linearen regression sollten annähernd normalverteilt sein abweichungen signalisieren eine fe...
|
