Si vous lisez cet article, si vous ne comprenez pas l'arbre de décision, vous pouvez vous référer à l'article que vous avez écrit d'abord (pour référence uniquement):

Mathématiques - Théorie de l'arbre de décision Fonctions de MRMR et de MRMR aléatoires
Apprentissage de la machine - Algorithme de combinaison abstrait
Adaboost - Nouvelle stratégie de mise à jour de l'angle
Rising Model Cuong: Introduction GBDT


I. Top mots
L'article original de XGoost a introduit des points XGboost dans des arômes très détaillés, patiemment: XGboost: un système d'amélioration de l'arborescence peut être ouvert. À propos, cet article peut être dit être un résumé du lecteur de papier, le chemin, avec votre propre petite démo, il est facile à considérer, comme un saut, veuillez faire une route ronde. Ok, dans le corps!
II. Analyse principale

Modèle d'arborescence Modèle: Arbre Modèle

Fonction d'objet: Fonction cible XGboostEt sa résolution

Optimisation: recherchez les meilleurs points fractionnés

Modèle de costume Trie

Premier, XGboost est comme Gbdt, ce qui est aussi une amélioration du modèle. Pour renforcer l'arbre de décision, l'image ci-dessous peut être bien affichée (résultant en papier XGboost):

EXPRESSION DE LA FONCTION CIBLE DIFFÉRENTES DE GBDT, avec une optimisation supplémentaire, Comme suit:
Dans Xboost, les articles habituels comprennent également deux parties: une partie du nombre de boutons de feuille, utilisées pour contrôler la complexité des arbres, peut atteindre l'effet des branches d'arbres; L'autre partie est le poids des feuilles de chaque arbre Square WW et. Les articles normaux permettent aux apprenants d'éviter un ajustement excessif. Grâce à la fonction cible ci-dessus, chaque enfant de XGBC aura tendance à apprendre des arbres relativement simples et lorsque les paramètres d'éléments habituels sont 0, l'expression cible sera dégradée dans une transmission d'arbres à gradient de modèle améliorée.Mini.
3. Solution fonctionnelle objective

Comment trouver la meilleure solution pour la fonction cible ci-dessus? Pour la fonction de perte, XGboost utilise la deuxième extension Thaler. Il peut y avoir des chaussures pour enfants qui demanderont, comment le deuxième type de débuts de Thaler est et que des études universitaires ont presque oublié. Unimportant, attribuez rapidement la porte Wiki, examinez attentivement: le théorème de Taylor.

Pour le modèle XGboost, pour l'itération TT, son expression peut être étendue à:

Nous pouvons obtenir les expressions suivantes du lancement de Taylor, nous pouvons obtenir les expressions suivantes:

Selon la formule ci-dessus, la fonction cible s'appuiera sur le dérivé de premier ordre et le deuxième dérivé de chaque point de données. De plus, nous avons vu la partie habituelle de la droite, vous pouvez entrer la formule d'élément régulière (3) (3) formules étendues pouvant être résolues:

simplifiée par la recette (10) Et les résultats du nombre peuvent être obtenus:

peut calculer l'augmentation de la formule ci-dessus, puis la méthode de séparation est déterminée. Comment la clé est-elle pour calculer des points de séparation optimaux?

4. Recherchez les meilleurs points fractionnés

Le premier est l'algorithme de cupidité correcte, un algorithme gourmand, énumère l'augmentation de l'augmentation de chaque point de segment de chaque fonctionnalité, le point de séparation maximal de l'augmentation est divisé en un point de séparation. Cette méthode trouvera également des points optimaux, mais le montant de calcul spécial:
La seconde est une algorithme approximative, un algorithme approximatif, d'abord en fonction du pourcentage de points de collecte Nombre de caractéristiques (en utilisant une pesée de contour quantique), puis la cartographie Caractéristiques continues dans des barils après le candidat de la valeur de la division, puis calculant la hausse maximale en fonction du point de division des données de la Division des données. Points, peut améliorer la performance des algorithmes dans une certaine mesure.
À propos de l'algorithme de contour a un poids de vitesse très compliqué, intéressé par ce blog Post Remarque: explication de XGboost (2) - l'algorithme de segment approximatif.

Le troisième est une méthode de séparation des caractéristiques clairsemées, XGboost peut automatiquement comprendre les directions de la Division de la division rares:

La comparaison de la recherche de partage La relaxation manquera des échantillons qui seront attribués deux cas de pied gauche Le nœud et le bouton droit du lobe et la division par défaut sont attribués à la valeur manquante ou à la valeur spécifiée, peuvent améliorer considérablement l'efficacité de l'algorithme et le papier d'origine est quantifié: 50 fois. Cette méthode est vraiment facile à regarder la performance.

La troisième caractéristique .xgboost

Quel est le principe XGboost décrit, quelle est la différence entre GBDT? Ici, les caractéristiques du modèle de XGboost:

Expression cible: XGboost Optimise la fonction cible GBDT. D'une part, sur la base de GBDT, l'article est généralement ajouté, y compris le nombre de boutons.L2 et la sortie de moule de chaque nœud de feuille et d'éléments normaux peuvent contrôler la complexité de l'arborescence, de sorte que le modèle a tendance à apprendre des modèles simples. Empêche excessive; De plus, XGboost prend également en charge les classifications linéaires et les GBD traditionnels basés sur des algorithmes de panier.

Retrait de CO: rétrécissement utilisé pour les résultats prédictifs de chaque arborescence, ce qui équivaut à la vitesse d'apprentissage, réduisant la dépendance du modèle dans un seul arborescence et en améliorant l'extension du modèle.

Colonnes d'échantillonnage: XGboost a utilisé les avantages de RF, à l'aide de modèles de colonne pour continuer à prévenir une formation excessive, une accélération et des GBDR traditionnels non spécifiés.

Méthode d'optimisation: XGoost a une pente étape et la seconde pente de la fonctionnalité de perte de perte, tandis que le GBDT traditionnel n'utilise que la pente de première commande.

Augmenter le calcul: optimiser pour diviser l'installation. Autre que Panier, XGoost utilise les premières nouvelles informations statistiques dérivées et les informations stativales HQui est sous la forme d'un point de structure des arbres, utilisant l'augmentation de la structure et la division des points de structure en tant que base de division et sélectionnez la caractéristique maximale de l'augmentation. La valeur est un point de division, remplaçant Zemandef de la régression des arbres.

Best Button Recherche: XGboost utilise des algorithmes approximatifs de manière à trouver le meilleur point de séparation, avec un score basé sur le poids (poids est une piste à deux étapes HiHI): contour quantique avec poids. Il s'agit principalement d'un baril de la valeur caractéristique, puis l'augmentation est calculée en fonction de la valeur du baril.

Le Walker. Lorsque vous recherchez le meilleur bouton de disponibilité, placez toutes les données en mémoire pour calculer, obtenez le résultat du précurseur, puis lors du calcul du niveau de séparation directe.

SMSHING: XGoost peut automatiquement comprendre le sens de séparation de la valeur diluée ou de l'orientation par défaut, améliore les performances du modèle.

Méthode parallèle: Le niveau parallèle de XGoost est le niveau de fonctionnalité. Avant de m'entraîner chaque arbre, les caractéristiques arrivent à xDans la précédente et ce type de résultats peut être réutilisé au cours du processus parallèle suivant, il peut réduire considérablement la quantité de calcul et améliorer le modèle de performance. Lorsque vous recherchez les meilleurs points fractionnés, vous devez sélectionner la valeur de fonctionnalité maximale de l'augmentation sous forme de point de séparation, puis calculez l'augmentation de chaque fonctionnalité pouvant être calculée en parallèle, à l'aide de moyens multi-threads pour calculer les caractéristiques correspondantes de chaque Fonction de fonctionnalité. Taux fractionné ..





Barre OK. L'ensemble de l'article a passé beaucoup de temps dans la formule, mais en train de vérifier soigneusement chaque formule, la profondeur de la formule XGboost a été profondément creusée et le dérivé de la formule a également une compréhension en savoir plus profondément. L'un d'entre eux plus que plus de personnes croient à tort que l'augmentation de la XGoost est avant que la coupe soit réduite, ce qui est incorrect. En fait, après la division est divisée, il peut être calculé par la formule. Regarder en arrière, Xgboost dépense également de nombreuses réflexions dans le projet, c'est TAttention du prune, manque de respect!Ensuite, le prochain modèle amélioré sera pris hors de temps: LightGM.

Cinq .References

Guiday Débutants À propos de XGboost

Besoin d'aide pour comprendre la proposition du point d'approximation de Xgboost

Taylor's Théorem One et certaines variables

Expliquer XGoost ( 2) - L'algorithme de segmentation approximative

Amélioration du modèle: Introduction au principe GBDT

Mathématiques de la machine - Théorie de l'arbre de décision

XGboost: Un système d'amélioration de l'arborescence peut être ouvert.

, . , ] . , . .