1. Quote

Dans la "méthode d'apprentissage statistique" de Dr. Li Hang, la méthode d'apprentissage statistique est composée de trois facteurs: modèle, stratégie et mathématiques magiques. Plus précisément, le modèle est la distribution de probabilité ou la décision conditionnelle d'étudier; La stratégie fait référence au type de critères pour apprendre ou choisir le modèle optimal; L'algorithme est la méthode de calcul spécifique du modèle d'apprentissage, essentiellement des problèmes d'optimisation. Alors, quels sont les trois éléments de l'algorithme GBDT? La compréhension de l'auteur est (ici, veuillez garder votre propre point de vue, s'il y a une déviation, veuillez l'éclairer): le modèle représente un modèle supplémentaire, modèle supplémentaire; La stratégie a mentionné un repos qui correspond à l'objectif de l'écart basé sur la pente (le premier compte à rebours d'ordre).

GBDT sur la base des décisions et des échéanciers approximatifs des différents algorithmes suivants:

1984: Panier "Classification et amplis; régression"

1986: ID3 (Quinlan)

1993: C4.5 (Quinlan)
1995: Adaboost (Freund and Schapire)
1996: Emballage (Freund and Schapire)
2001: Forêts aléatoires (Breiman)
2001: Proposition de Freund à Améliorer la pente de penser dans "Fonction de cupidité approximative: une machine de croissance à gradient" 2014: XGoost est un ensemble d'algorithmes de renforcement parallèles proposés en 2014, publié en 2016 "," XGO: un système d'amélioration de l'arborescence peut être ouvert. "
2016: LightGM est un cadre de renforcement de Microsoft et publié en 2017 "LightGMM: Un LightGMM: un arbre de décision visant à améliorer l'altesse à haute efficacité"
 

de l'algorithme de panier pour renforcer la pensée,il était environ 11 ans et de renforcer la pensée à l'éclairage actuel aux yeux de 21 ans, se levant pour se rendre. Sur le sujet, cet article présente GBDT, pour XGoost et LightGMM, pas une table. Dire que GBDT est aussi la Fondation dans la plate-forme de XGoost et LightGMM, Core TRong noyau.

Core Deux gros

Le nom de GBDT est très bon: G-gradient (indiquant que l'algorithme de dégradé), B-boosting (indiquant que la magie Math est un modèle renforcé), des arbres décidés (utilisation interne de plantes décisives). Dans cet article, il est principalement modifié de ces trois points:

Méthodes de levage (modèles supplémentaires + algorithmes transirsigraphiques);

Ascenseur dégradé: gradient et excédent; Décision des arbres: Régression des arbres de caravane.

1. Stimuler


Avant de saisir la théorie de GBDT, vous devez parler pour renforcer les pensées. Les méthodes améliorées sont fondamentalement un modèle supplémentaire (1) (combinaison de linéarité de chaque ensemble de classification de base) et constitue un algorithme étape par étape. Ses modèles sur chaque cycle d'entraînement sont encore optimisés sur la base du modèle précédent. En boucle continue pour réduire la déviation de l'ensemble du modèle, une caractéristique d'un modèle amélioré est une faible déviation, un facteur élevé et un représentant typiqueAlgorithme surtout adaboost. En revanche, l'algorithme d'ensachements, le représentant le plus typique est RF. Différents modèles supplémentaires de modèles de paquets ne s'affectent pas et finissent par se combiner avec du poids pour obtenir l'effet de la réduction de la variance, il est dit que l'emballage est élevé et un mauvais modèles.

Les chaussures d'enfants floues sur des modèles améliorés et d'emballage sont disponibles sur l'article d'apprentissage de la machine - algorithme de combinaison d'animaux faux il y a quelques années.

Regardez le gradient et résiduel pendant le processus de levage de gradient.

2. Gradient et résiduel

Dans un modèle supplémentaire tel que RF, Adaboost, il est de créer un modèle en dirigeant une valeur réelle. À l'intérieur, dans GBDT (ici, c'est un point important, soigneusement compris et lire plus de fois): la valeur cible est équipée de la boucle sans la première fois n'est plus vraie, ce qui est un traitement à gradient de prix, principalement à travers la valeur gradient négative de NDes pertes appropriées sont construites dans la valeur de modèle actuelle. L'expression de valeur gradient. Comme:

3.DT: panier d'achat

Le GBDT appartient au modèle amélioré, il existe pour un modèle amélioré, quel est le Modèle de base, quelle est la base du modèle de GBDT? Chariot. Classification Panier Arbre arrière est un arbre décisif, peut être utilisé pour la classification ou la régression. Au cours de la tâche de classification, les critères de division de l'arborescence utilisant l'indice Gini (Index Kini) et MSE (l'erreur carrée moyenne) est utilisée dans la tâche de régression. Description de l'indice Gini est la suivante:

III. Analyse principale

En 2001, la thèse de la cupidité de l'approximation: une machine d'amélioration de la pente, a introduit l'idée de base d'amélioration de la pente, cet article critique les pensées améliorées du papier dégradé ( Si vous souhaitez bien comprendre GBDT, veuillez écrire dans le document d'origine), le processus de l'algorithme d'amélioration de gradient est le suivant:

Analyse d'algorithme:

pour l'art TRessentiment ci-dessus, la fonction de perte va créer différents algorithmes de déformation, le contenu spécifique que le lecteur peut se référer à l'original, ici pour donner un exemple pour expliquer. Lorsque la fonction de perte est une perte carrée, la transition de chaque étape est la suivante:

Exemple d'analyse

Une fois le principe analysé, GBDT a été reconnu plus loin et le GBDT de mise en œuvre interne est QUAI, référence de données dans "Statistiques de méthode d'apprentissage" pour une analyse plus approfondie.

L'ensemble de données est la suivante:

Utiliser la formation GBDT, pour des raisons pratiques , nous utilisons MSE en fonction de la perte, et de mettre la profondeur des arbres dans 1

XI 4 5 6 7 10 -1,747 -1607 - 1.397 -0.507 -0,257 1.393 Écrire ici, l'article GBDT se termine également, égal à l'estimation de RS ou TLB au milieu, GBDT occupe également une position, jusqu'à présent, à l'aide de GBDT + LR pour construire un modèle d'arrangement. Vous souhaitez voir voir le livre de ce livre de Facebook: la leçon actuelle prévue de cliquer sur Facebook Ads. La finale finale, petite, pour vous-même après le travail, l'article a écrit un article légèrement bon n'est vraiment pas un tout. À partir de l'idée initiale au langage tissulaire, chaque phrase une formule sur chaque ligne irréparable du processus est compilée et vérifiée avec soin. Reader Si cet article estime que cet article a un rôle dans vous, bienvenue à visiter; Si vous pensez que l'article est incorrect, il y a mUn malentendu et vous pouvez également espérer que dans la zone de commentaire, l'auteur est très reconnaissant ici. Vendredi. Références Méthodes d'apprentissage statistique, deuxième versions, LI Hang Friedman, Jerome H. "Fonction gourmandeuse envers une machine d'amélioration de la pente. Statistiques 'Année (2001): 1189-1232. Freund, Yoav et Robert E. Schapire. Les expériences de Vikings avec un nouvel algorithme d'amélioration. ICML.VOL.96. 1996. YOAV Freund et Robert E. Schapire. Une décision générale générale sur l'apprentissage d'une demande de renforcement des sciences informatiques et Systèmes, 55 (1): 119-139, août 1997. 2001: Forêt aléatoire (Breiman), Breiman, L. (2001). Aléancière. Machine principale, 45 (1), 5-32. Anglais, Xinran, et al. "La leçon pratiquement de la prédiction des clics sur les annonces sur Facebook." Actes de la huitième Conférence internationale sur les documents miniers à la publicité en ligne.acm, 2014. ,