Meta tags:
description= Feature-Skalierung in Python mit scikit-learn: StandardScaler, MinMaxScaler, RobustScaler und MaxAbsScaler — mit Beispielen und Ausgabe.;
Headings (most frequently used words):
skalierung, feature, die, vier, skalierer, in, python, warum, wichtig, ist, scikit, learn, vergleich, aller, datenleckage, vermeiden, pipeline, verwenden, um, sicher, zu, halten, hyperparameter, des, skalierers, abstimmen, verwandte, kapitel, standardscaler, minmaxscaler, robustscaler, maxabsscaler,
Text of the page (most frequently used words):
python (58), die (32), kopieren (20), import (19), skalierung (18), #feature (18), auf (17), lernen (16), und (16), standardscaler (16), sklearn (16), from (16), scaler (15), print (15), matplotlib (14), pipeline (13), skalierer (13), ist (13), der (13), den (13), mysql (13), per (12), should (12), mongodb (12), daten (11), regression (10), mit (10), von (10), minmaxscaler (10), robustscaler (10), grid (9), round (9), eine (9), set (9), wenn (9), merkmal (9), alle (8), mean (8), transform (8), fit_transform (8), max (8), listen (8), für (7), html (7), das (7), test (7), modell (7), ein (7), einen (7), best (7), ausgabe (7), x_test (7), x_train (7), median (7), strings (7), elemente (7), train (6), merkmale (6), data (6), accuracy (6), load_iris (6), preprocessing (6), werden (6), maxabsscaler (6), axis (6), string (6), w3docs (5), tools (5), des (5), datenleckage (5), vier (5), scikit (5), learn (5), nicht (5), wird (5), scores (5), std (5), bereich (5), min (5), training (5), 000 (5), erstellen (5), tutorial (5), tuples (5), methoden (5), formatter (5), color (5), json (4), generator (4), dass (4), clustering (4), means (4), datensatz (4), fit (4), pipe (4), logisticregression (4), numpy (4), kann (4), bei (4), the (4), x_train_scaled (4), train_test_split (4), dem (4), modelle (4), formel (4), pro (4), jedes (4), werte (4), dateien (4), entfernen (4), erste (4), schritte (4), dictionaries (4), listenelemente (4), durchlaufen (4), code (3), encoder (3), editor (3), quizze (3), übungen (3), php (3), javascript (3), css (3), kapitel (3), skalierers (3), verwenden (3), sicher (3), warum (3), wichtig (3), wahl (3), zusammen (3), search (3), während (3), gradientenabstieg (3), empfindlich (3), nearest (3), neighbors (3), score (3), datasets (3), model_selection (3), einem (3), nur (3), auch (3), random_state (3), test_size (3), ausreißern (3), lineare (3), absolute (3), ma_scaler (3), denen (3), x_scaled (3), ausreißer (3), oder (3), rb_scaler (3), iqr (3), mittelwert (3), standardabweichung (3), x_train_mm (3), mm_scaler (3), hat (3), logistische (3), algorithmen (3), age (3), income (3), machine (3), learning (3), variablen (3), sets (3), hinzufügen (3), zugreifen (3), italiano (2), português (2), español (2), français (2), русский (2), deutsch (2), english (2), über (2), beautifier (2), diff (2), password (2), java (2), git (2), bücher (2), snippets (2), verwandte (2), hyperparameter (2), abstimmen (2), halten (2), vermeiden (2), vergleich (2), aller (2), this (2), page (2), multiple (2), was (2), hyperparametern (2), cross (2), validation (2), schneller (2), algorithmus (2), reagiert (2), vor (2), aufteilen (2), bevor (2), split (2), lässt (2), selbst (2), welcher (2), besten (2), geeignet (2), model__c (2), best_params_ (2), scoring (2), gridsearchcv (2), param_grid (2), max_iter (2), model (2), steps (2), true (2), return_x_y (2), linear_model (2), folds (2), cross_val_score (2), stellt (2), trainingsdaten (2), aufgerufen (2), informationen (2), aufteilung (2), sich (2), x_test_scaled (2), only (2), y_train (2), y_test (2), fitten (2), x_all_scaled (2), aus (2), testsatz (2), sparse (2), matrizen (2), unbegrenzt (2), neuronale (2), netze (2), regularisierte (2), gegenüber (2), tabelle (2), wann (2), sollte (2), value (2), x_train_ma (2), dies (2), wert (2), trainingssatz (2), ohne (2), können (2), x_train_rb (2), perzentile (2), sehr (2), einzelner (2), erwartet (2), random (2), skala (2), sodass (2), deren (2), koeffizienten (2), gleichmäßig (2), zwei (2), merkmalen (2), änderung (2), einheit (2), bis (2), mehrere (2), and (2), handling (2), zahlen (2), klassen (2), limit (2), update (2), drop (2), collection (2), delete (2), insert (2), datenbank (2), einführung (2), schleifen (2), verbinden (2), ändern (2), hash (2), 2026, rechte, vorbehalten, entwickler, gemacht, sprache, datenschutzrichtlinie, kontakt, uns, unternehmen, probier, üben, kostenlose, tutorials, beispiele, web, seit, 2014, next, previous, yes, helpful, optimieren, sicherzustellen, leckagefrei, regularisierter, klassifikator, profitiert, logistic, konvergiert, linear, merkmalsskala, distanzbasiertes, skalierte, erfordert, numerische, kodieren, categorical, gefittet, datenlage, erkennen, gegebenes, gegebenen, 973, best_score_, __name__, __class__, 300, mithilfe, optimiert, eliminiert, automatisch, risiko, einer, fünf, kreuzvalidierungs, 967, 933, 200, robusteste, möglichkeit, kombinieren, zurückgehaltenen, kreuzvalidierung, weitere, zur, finden, unter, apply, same, transformation, correct, korrekte, reihenfolge, immer, erst, dann, x_train_bad, x_test_bad, uses, rows, wrong, leaks, statistics, into, tritt, vorverarbeitungsschritt, beeinflussen, typische, fehler, besteht, darin, gesamten, dieser, aufgeteilt, textmerkmale, signifikanten, nein, bildpixeldaten, konfigurierbar, normalverteilte, ausgabebereich, folgende, fasst, eingesetzt, abs, x_test_ma, einzige, nullzentrierte, zentriert, speziell, idf, vektoren, text, konzipiert, verschiebung, mittelwerts, sparsity, zerstören, würde, dividiert, jeden, durch, maximalen, absolutwert, platziert, verschieben, richtige, enthält, entfernt, sollen, x_test_rb, wobei, minus, verwendet, interquartilsabstand, anstelle, ihn, robust, macht, extremer, komprimiert, anderen, enges, band, ende, bereichs, enthalten, stattdessen, betracht, gezogen, achtung, x_test_mm, default, feature_range, verwende, begrenzten, benötigt, zum, beispiel, beim, einspeisen, neuronales, netz, sigmoid, ausgabeeinheiten, nachgelagerte, negative, eingaben, skaliert, festen, standardmäßig, beachte, man, aufruft, würden, teststatistiken, skaliererparameter, einfließen, siehe, abschnitt, weiter, unten, inspect, result, target, shape, 150, standardwahl, keinen, triftigen, grund, andere, option, gibt, funktioniert, gut, normalverteilten, meisten, regularisierten, linearen, modellen, genannt, transformiert, normalisierung, baumbasierte, decision, trees, forests, gradient, boosting, teilen, basis, merkmalsschwellenwerte, eines, merkmals, beeinflusst, beste, liegt, keine, auswirkung, genauigkeit, nötig, ridge, lasso, elasticnet, bestrafen, große, großer, zieht, künstlich, kleinen, verbirgt, seine, wahre, bedeutung, konvergieren, deutlich, ähnlichen, bereichen, liegen, optimierer, berechnen, abstände, zwischen, datenpunkten, unskalierte, machen, abstandsmaß, bedeutungslos, distanzbasierte, konkrete, situationen, unverzichtbar, betrachten, wir, einfachen, 100, spalte, rund, mal, größer, sind, als, euklidischen, abstand, messen, dominiert, vollständig, dieses, erklärt, verfügbaren, zeigt, ausgaben, anhand, realer, demonstriert, richtigen, weg, integrieren, testdaten, leaken, datensätzen, trainiert, unterschiedlichen, numerischen, abdecken, pixelhelligkeit, 255, reichen, einkommen, geht, größenordnungen, potenzen, unterscheiden, distanzen, svm, basieren, größten, unverhältnismäßig, hohes, gewicht, beimessen, bringt, vergleichbaren, allen, beispielen, http, anfragen, pytest, pakete, virtuelle, umgebungen, tooling, practices, threading, asyncio, concurrency, csv, sys, itertools, collections, ausnahmen, auslösen, error, standard, library, addieren, umkehren, duplikate, how, enums, abstrakte, kapselung, polymorphismus, dataclasses, static, classmethod, property, magic, methods, advanced, oop, match, anweisung, enumerate, zip, map, comprehensions, kontextmanager, rekursion, closures, generatoren, decorators, args, kwargs, type, hints, intermediate, sort, query, find, join, table, order, where, select, einstieg, auc, roc, kurve, bootstrap, aggregation, kategoriale, hierarchisches, konfusionsmatrix, entscheidungsbaum, polynomiale, streudiagramm, normalverteilung, datenverteilung, perzentil, modus, kreisdiagramme, histogramme, balken, scatter, subplot, beschriftungen, linie, marker, plotting, pyplot, django, scipy, pandas, modules, löschen, schreiben, lesen, dateiverarbeitung, file, formatierung, benutzereingabe, try, except, pip, regex, math, datumsangaben, module, scope, iteratoren, vererbung, objekte, arrays, lambda, funktionen, for, while, else, tupeln, gruppieren, operatoren, booleans, casting, datentypen, kommentare, syntax, variablennamen, aktualisieren, tupel, entpacken, tuple, sortieren, slicen, home, ausgabevariablen, verschachtelte, modifizieren, list, comprehension, zusammenführen, globale, format, escape, zeichen, dictionary, verketten, zuweisen, aufrufen, anmelden, durchsuchen, formatters, url, reverse, sha256, md5, length, calculator, colors, hsl, hex, mixer, converter, picker, general, kurse, minmax, mehr,
Text of the page (random words):
ython standardscaler minmax mehr w3docs w3docs bücher html lernen css lernen javascript lernen git lernen java lernen php lernen python lernen kurse quizze übungen snippets tools general tools html editor password generator html encoder code diff json beautifier alle 13 color tools color picker color converter color mixer color hex colors hsl alle 10 string tools string length calculator md5 hash generator sha256 hash generator string reverse url encoder alle 19 code formatters javascript formatter css formatter html formatter json formatter php formatter w3docs durchsuchen k de english en deutsch de русский ru français fr español es português pt italiano it anmelden python lernen python tutorial auf elemente zugreifen auf listenelemente zugreifen auf set elemente zugreifen tuples aufrufen elemente hinzufügen listenelemente hinzufügen set elemente hinzufügen mehrere werte zuweisen elemente ändern listenelemente ändern strings verketten dictionaries kopieren listen kopieren dictionary methoden escape zeichen format strings globale variablen listen verbinden sets zusammenführen tuples verbinden list comprehension listen methoden dictionaries durchlaufen listen durchlaufen sets durchlaufen tuples durchlaufen strings modifizieren verschachtelte dictionaries ausgabevariablen python home python listen python sets python strings python tuples python variablen elemente entfernen listenelemente entfernen set elemente entfernen set methoden strings slicen listen sortieren string methoden tuple methoden tupel entpacken tuples aktualisieren variablennamen python einführung python erste schritte python syntax python kommentare python variablen python datentypen python zahlen python casting python strings python booleans python operatoren python listen python tupeln gruppieren python dictionaries python if else python while schleifen python for schleifen python funktionen python lambda python arrays python klassen objekte python vererbung python iteratoren python scope python module python datumsangaben python math python json python regex python pip python try except python benutzereingabe python string formatierung file handling python dateiverarbeitung python dateien lesen python dateien schreiben erstellen python dateien löschen python modules numpy tutorial pandas tutorial scipy tutorial django tutorial python matplotlib matplotlib einführung matplotlib erste schritte matplotlib pyplot matplotlib plotting matplotlib marker matplotlib linie matplotlib beschriftungen matplotlib grid matplotlib subplot matplotlib scatter matplotlib balken matplotlib histogramme matplotlib kreisdiagramme machine learning erste schritte mittelwert median modus standardabweichung perzentil datenverteilung normalverteilung von daten streudiagramm lineare regression polynomiale regression multiple regression skalierung train test entscheidungsbaum konfusionsmatrix hierarchisches clustering logistische regression grid search kategoriale daten k means bootstrap aggregation cross validation auc roc kurve k nearest neighbors python mysql mysql einstieg mysql datenbank erstellen mysql tabelle erstellen mysql insert mysql select mysql where mysql order by mysql delete mysql drop table mysql update mysql limit mysql join python mongodb mongodb erste schritte mongodb datenbank erstellen mongodb collection erstellen mongodb insert mongodb find mongodb query mongodb sort mongodb delete mongodb drop collection mongodb update mongodb limit intermediate python f strings type hints args kwargs decorators generatoren closures rekursion kontextmanager comprehensions enumerate zip map match anweisung advanced oop magic methods property static classmethod dataclasses polymorphismus kapselung abstrakte klassen enums python how to listen duplikate entfernen string umkehren zwei zahlen addieren error handling and the standard library ausnahmen auslösen collections itertools os sys random csv dateien concurrency in python asyncio threading python tooling and best practices virtuelle umgebungen pakete pytest http anfragen feature skalierung in python feature skalierung in python mit scikit learn standardscaler minmaxscaler robustscaler und maxabsscaler mit beispielen und ausgabe machine learning modelle werden auf datensätzen trainiert bei denen jedes merkmal einen sehr unterschiedlichen numerischen bereich abdecken kann die pixelhelligkeit kann von 0 bis 255 reichen während das einkommen von 0 bis 1 000 000 geht wenn sich die größenordnungen der merkmale um mehrere potenzen unterscheiden können algorithmen die auf distanzen k nn svm k means oder gradientenabstieg logistische regression neuronale netze basieren den größten merkmalen ein unverhältnismäßig hohes gewicht beimessen die feature skalierung bringt alle merkmale in einen vergleichbaren bereich sodass das modell gleichmäßig von allen lernen kann dieses kapitel erklärt warum skalierung wichtig ist stellt die vier in scikit learn verfügbaren skalierer vor zeigt deren ausgaben anhand realer daten und demonstriert den richtigen weg die skalierung in eine machine learning pipeline zu integrieren ohne testdaten zu leaken warum feature skalierung wichtig ist betrachten wir einen einfachen datensatz mit zwei merkmalen age 20 60 und income 20 000 100 000 die spalte income hat werte die rund 1 000 mal größer sind als age für algorithmen die den euklidischen abstand messen dominiert eine änderung um eine einheit in income eine änderung um eine einheit in age vollständig konkrete situationen in denen skalierung unverzichtbar ist distanzbasierte algorithmen k nearest neighbors und k means clustering berechnen abstände zwischen datenpunkten unskalierte merkmale machen das abstandsmaß bedeutungslos gradientenabstieg optimierer logistische regression und lineare regression konvergieren deutlich schneller wenn alle merkmale in ähnlichen bereichen liegen regularisierte modelle ridge lasso und elasticnet bestrafen große koeffizienten gleichmäßig ein merkmal mit großer skala zieht künstlich einen kleinen koeffizienten an und verbirgt so seine wahre bedeutung wann skalierung nicht nötig ist baumbasierte modelle decision trees random forests gradient boosting teilen auf der basis einzelner merkmalsschwellenwerte auf die absolute skala eines merkmals beeinflusst nicht wo die beste aufteilung liegt sodass die skalierung keine auswirkung auf deren genauigkeit hat die vier scikit learn skalierer standardscaler standardscaler auch z score normalisierung genannt transformiert jedes merkmal so dass es einen mittelwert von 0 und eine standardabweichung von 1 hat formel pro merkmal z x mean std kopieren dies ist die standardwahl wenn es keinen triftigen grund für eine andere option gibt er funktioniert gut bei normalverteilten daten und wird von den meisten regularisierten linearen modellen erwartet from sklearn preprocessing import standardscaler from sklearn datasets import load_iris from sklearn model_selection import train_test_split import numpy as np data load_iris x data data shape 150 4 y data target x_train x_test y_train y_test train_test_split x y test_size 0 2 random_state 42 scaler standardscaler x_train_scaled scaler fit_transform x_train fit transform on training data x_test_scaled scaler transform x_test transform only no re fit inspect the result print training set mean per feature should be 0 print np round x_train_scaled mean axis 0 4 print n training set std per feature should be 1 print np round x_train_scaled std axis 0 4 kopieren ausgabe training set mean per feature should be 0 0 0 0 0 training set std per feature should be 1 1 1 1 1 kopieren beachte dass fit_transform nur auf dem trainingssatz aufgerufen wird wenn man es auch auf dem testsatz aufruft würden teststatistiken in die skaliererparameter einfließen siehe den abschnitt datenleckage weiter unten minmaxscaler minmaxscaler skaliert jedes merkmal auf einen festen bereich standardmäßig 0 1 formel pro merkmal x_scaled x min max min kopieren verwende minmaxscaler wenn werte in einem begrenzten bereich benötigt werden zum beispiel beim einspeisen von daten in ein neuronales netz mit sigmoid ausgabeeinheiten oder wenn der nachgelagerte algorithmus nicht negative eingaben erwartet from sklearn preprocessing import minmaxscaler mm_scaler minmaxscaler default feature_range 0 1 x_train_mm mm_scaler fit_transform x_train x_test_mm mm_scaler transform x_test print min per feature should be 0 np round x_train_mm min axis 0 4 print max per feature should be 1 np round x_train_mm max axis 0 4 kopieren ausgabe min per feature should be 0 0 0 0 0 max per feature should be 1 1 1 1 1 kopieren achtung minmaxscaler reagiert sehr empfindlich auf ausreißer ein einzelner extremer wert komprimiert alle anderen werte in ein enges band an einem ende des bereichs wenn die daten ausreißer enthalten sollte stattdessen robustscaler in betracht gezogen werden robustscaler robustscaler verwendet den median und den interquartilsabstand iqr anstelle von mittelwert und standardabweichung was ihn robust gegenüber ausreißern macht formel pro merkmal x_scaled x median iqr kopieren wobei iqr q3 q1 75 perzentile minus 25 perzentile from sklearn preprocessing import robustscaler rb_scaler robustscaler x_train_rb rb_scaler fit_transform x_train x_test_rb rb_scaler transform x_test print median per feature should be 0 print np round np median x_train_rb axis 0 4 kopieren ausgabe median per feature should be 0 0 0 0 0 kopieren robustscaler ist die richtige wahl wenn der datensatz ausreißer enthält die nicht entfernt werden können oder sollen maxabsscaler maxabsscaler dividiert jeden wert durch den maximalen absolutwert im trainingssatz und platziert jedes merkmal im bereich 1 1 ohne die daten zu verschieben formel pro merkmal x_scaled x max x kopieren dies ist der einzige skalierer der nullzentrierte daten zentriert lässt er ist speziell für sparse matrizen z b tf idf vektoren aus text konzipiert bei denen eine verschiebung des mittelwerts die sparsity zerstören würde from sklearn preprocessing import maxabsscaler ma_scaler maxabsscaler x_train_ma ma_scaler fit_transform x_train x_test_ma ma_scaler transform x_test print max absolute value per feature should be 1 print np round np abs x_train_ma max axis 0 4 kopieren ausgabe max absolute value per feature should be 1 1 1 1 1 kopieren vergleich aller vier skalierer die folgende tabelle fasst zusammen wann welcher skalierer eingesetzt werden sollte skalierer ausgabebereich empfindlich gegenüber ausreißern am besten geeignet für standardscaler unbegrenzt mean 0 std 1 ja normalverteilte daten regularisierte lineare modelle minmaxscaler 0 1 konfigurierbar ja neuronale netze bildpixeldaten robustscaler unbegrenzt median 0 nein daten mit signifikanten ausreißern maxabsscaler 1 1 ja sparse matrizen textmerkmale datenleckage vermeiden datenleckage tritt auf wenn informationen aus dem testsatz den vorverarbeitungsschritt beeinflussen der typische fehler besteht darin den skalierer auf dem gesamten datensatz zu fitten bevor dieser aufgeteilt wird wrong leaks test set statistics into the scaler scaler standardscaler x_all_scaled scaler fit_transform x uses test rows x_train_bad x_test_bad _ _ train_test_split x_all_scaled y test_size 0 2 random_state 42 kopieren die korrekte reihenfolge ist immer erst aufteilen dann den skalierer nur auf den trainingsdaten fitten correct x_train x_test y_train y_test train_test_split x y test_size 0 2 random_state 42 scaler standardscaler x_train_scaled scaler fit_transform x_train fit on train only x_test_scaled scaler transform x_test apply the same transformation kopieren weitere informationen zur train test aufteilung selbst finden sich unter train test split pipeline verwenden um die skalierung sicher zu halten eine scikit learn pipeline ist die robusteste möglichkeit skalierung mit einem modell zu kombinieren die pipeline stellt sicher dass fit_transform auf den trainingsdaten aufgerufen wird und bei zurückgehaltenen folds nur transform auch während der kreuzvalidierung from sklearn pipeline import pipeline from sklearn preprocessing import standardscaler from sklearn linear_model import logisticregression from sklearn model_selection import cross_val_score from sklearn datasets import load_iris import numpy as np x y load_iris return_x_y true pipe pipeline steps scaler standardscaler model logisticregression max_iter 200 scores cross_val_score pipe x y cv 5 scoring accuracy print cv accuracy scores np round scores 3 print mean accuracy round scores mean 3 kopieren ausgabe cv accuracy scores 0 967 1 0 933 0 9 1 mean accuracy 0 96 kopieren die pipeline eliminiert automatisch das risiko einer datenleckage über alle fünf kreuzvalidierungs folds hyperparameter des skalierers abstimmen die wahl des skalierers kann zusammen mit modell hyperparametern mithilfe der grid search optimiert werden from sklearn pipeline import pipeline from sklearn preprocessing import standardscaler minmaxscaler robustscaler from sklearn linear_model import logisticregression from sklearn model_selection import gridsearchcv from sklearn datasets import load_iris import numpy as np x y load_iris return_x_y true pipe pipeline steps scaler standardscaler model logisticregression max_iter 300 param_grid scaler standardscaler minmaxscaler robustscaler model__c 0 1 1 0 10 0 grid gridsearchcv pipe param_grid cv 5 scoring accuracy grid fit x y print best scaler grid best_params_ scaler __class__ __name__ print best c grid best_params_ model__c print best score round grid best_score_ 3 kopieren ausgabe best scaler standardscaler best c 10 0 best score 0 973 kopieren so lässt die datenlage selbst erkennen welcher skalierer für ein gegebenes modell und einen gegebenen datensatz am besten geeignet ist verwandte kapitel train test split daten aufteilen bevor ein skalierer gefittet wird categorical data nicht numerische merkmale vor der skalierung kodieren k nearest neighbors distanzbasiertes modell das skalierte merkmale erfordert k means clustering clustering algorithmus der empfindlich auf die merkmalsskala reagiert linear regression gradientenabstieg modell das mit skalierung schneller konvergiert logistic regression regularisierter klassifikator der von standardscaler profitiert cross validation pipeline verwenden um sicherzustellen dass die skalierung während der cv leckagefrei ist grid search skalierer wahl zusammen mit modell hyperparametern optimieren was this page helpful yes no previous multiple regression next train test on this page warum feature skalierung wichtig ist die vier scikit learn skalierer vergleich aller vier skalierer datenleckage vermeiden pipeline verwenden um die skalierung sicher zu halten hyperparameter des skalierers abstimmen verwandte kapitel w3docs kostenlose tutorials beispiele übungen snippets und quizze für das web seit 2014 bücher html lernen css lernen javascript lernen git lernen java lernen php lernen python lernen üben übungen quizze probier editor tools html editor password generator html encoder code diff json beautifier u...
|
