Pour assurer la continuité de l'article, le lecteur doit avoir une certaine compréhension de la série. Avant de lire le contenu fondamental de cet article, les lecteurs répondront aux éléments suivants dans leurs cœurs. Quelques questions:

Expression de la fonction cible XGboost?
Qu'est-ce qui est optimisé sur la base de GBDT?
Quelle est la cupidité exacte de XGboost pour rechercher la séparation?
XGboost trouver la méthode de calcul de l'augmentation du point de division?
Principe d'algorithme approximatif de XGoost?
Traduire les règles de contour quantique pesant?

Si le problème ci-dessus est incorporé, vous pouvez accéder à l'article précédent: Modèle amélioré: analyse principale XGboost, examen. Ensuite, le modèle LightGBM sera discuté plus loin dans les lacunes de XGoost, peu différentes de la précision de LightGMM, mais la vitesse peut être améliorée 20 fois. Au fait, lors de l'étude de LightGMM, vous pouvez penser à laLa question suivante (cet article ne donnera pas de conclusions directes, après avoir lu, le lecteur comprendra):

Adaboost, GBDT, quel est le XGoost?

Les lacunes de XGoost (quelle est la naissance de LightGMM, les problèmes ont été résolus)?
Quelle est la différence entre l'algorithme approximatif de la méthode basée sur XGboost Tableau et LightGMM?
Qu'est-ce que LightGM?
Quelle est la différence entre LightBM et XGoost?

Que ce soit XGO ou LightGMM, le modèle est essentiel dans la direction de l'arbre de décision en tant que Division des arbres de décision. Ci-dessous, vous vous concentrerez sur les efforts des algorithmes LightGMM pour trouver le meilleur département.

II. Recherche du meilleur point de division
L'idée principale a été introduite par LightGMM comprenant deux aspects:

Graphique: Basé sur le nombre de barils, puis basé sur la valeur du baril de recherche de la meilleure valeur de la corbeille.

goss (gradient basé sur un échantillon d'échantillonnage): retirez les échantillonsPetit gradient, utilisant les échantillons mathématiques restants;

EFB (package de fonctionnalités exclusif): Caractéristiques de l'emballage désagréable 0 (exclusion mutuelle) pour réduire le but de réduire le nombre de fonctionnalités.

Le GBDT est un modèle de village basé sur des décisions, dans chaque itération, GBDT en installant un gradient négatif pour étudier l'arbre de décision Dinh, Les coûts de consommation maximale du temps consistent à trouver le meilleur processus de coupe. Une méthode consiste à utiliser l'algorithme de circulation précédente, puis à répertorier tous les points de division possibles, puis trouver le point de séparation maximal de l'augmentation; D'autres méthodes basées sur l'algorithme de graphique, comme indiqué ci-dessous. L'algorithme de graphique ne cherche pas de points de quai optimaux dans le tableau précédent, mais Eigenvalue sera constamment discret dans un baril et placera un autre baril et construire un graphique de fonctionnalités basé sur ce réservoir lors de la formation. Cet effet est plus efficace et plus rapide. Comme indiqué dans l'algorithme 1, le temps de graphique de complexité construit est O (#Data × #Feature), à la recherche de complexesP Time du meilleur point de division O (fonction #bin × fonctionnaire).

2. Stratégie d'échantillonnage

CARACTÉRISTIQUES COMBINÉES

DONNÉES DE DONNÉES DE TAILLE DE TAILLE SONT SPARSE ET De nombreuses fonctionnalités sont éliminées (c.-à-d. Deux caractéristiques ou plus ne seront pas 0), LightGMM utilise ces données nommé Politique d'optimisation de l'EFB (package POOPO POOPY DOOR), combinant ces caractéristiques d'exclusion mutuelle et est #bunglele une dimension. De cette manière, la taille de la fonctionnalité peut être abaissée et la complexité de temps est consommée par le graphique de construction, est également modifiée de O (#Data × #FeFefAature) à O (#Data × #Bundle), dans laquelle #feature & lt ; #un tas de. La méthode mais est simple, mais elle est faite pour faire face à deux difficultés:

Il y a des caractéristiques pouvant être ensemble;

Comment créer des packages et réduire les fonctionnalités.
Pour ces deux questions, les deux algorithmes ont été mentionnés dans le document: la caractéristique exclusive de TJambon lam et fusionner.
Pour la première question, les caractéristiques sont divisées en le plus petit nombre de faisceaux sont fondamentalement un problème difficile NP. Le principe est comme des chiffres de couleur, avec plusieurs degrés de muets G, indiquant les caractéristiques, à côté d'une EE, indiquant la fonctionnalité, puis colorant le graphique, pour créer un package. Toutefois, dans l'article, il est indiqué que les caractéristiques méritent exclusivement des lecteurs exclusivement exclusifs et des lecteurs de lecteurs peuvent faire référence à l'article original suivant (document 1). Algorithmes spécifiques comme indiqué dans l'algorithme de 7e 7ème algorithme 3.

Premièrement, le conflit total entre la construction est construit et la quantité de poids est caractérisée;

Trié afin de diminuer en fonction du niveau de l'image;

Vérifiez les caractéristiques de la séquence et divisez-la dans un emballage plus petit, si vous ne créez pas de package.

Cette méthode est utilisée pour des données avec de petites caractéristiques, toujours bien, mais le bouton de couleur global se produira pour une fonctionnalité à grande échelle. Une direction optimisée est: utilisationNombre d'une valeur de 0 est la valeur qui est agencée, car la valeur de la buse est généralement le plus grand conflit.

Pour la deuxième question: comment devrais-je construire un paquet? Il est important que la valeur des caractéristiques avant la construction soit capable de déterminer l'emballage après la construction. Étant donné que l'approche basée sur le graphique stocké est une corbeille discrète au lieu de valeurs continues, nous pouvons définir la valeur du baril de différentes fonctionnalités à différentes périodes de temps. Par exemple, la valeur de la corbeille d'une fonctionnalité est [0, 10) et la valeur bac de la fonction B est [0, 20). Pour fusionner les fonctionnalités de deux bacs, nous pouvons ajouter la valeur de la fonctionnalité B plus 10 10, la plage de valeurs deviendra [0, 30). L'ensemble de la méthode est décrit comme ci-dessous.
4. Stratégie de croissance sage

De plus, LightGM et XGboost sont également distinguées dans le mode de formation des arbres. La stratégie de croissance de LightGMM est judicieuse, la stratégie de croissance de l'arbre de décision de XGoost est sage. NPartir, la stratégie de niveau sage maintient un arbre équilibré et la politique sage des feuilles est effectuée pour réduire le nœud feuille du niveau de courant au niveau actuel au niveau actuel. Cependant, il y a un inconvénient de feuilles sages, qui est finalement, il obtiendra un arbre très profond décisif. Pour éviter un ajustement excessif, vous pouvez définir la profondeur de l'arborescence de décision dans les paramètres du modèle.

III. Conclusion

LightGM propose principalement deux nouvelles méthodes: Goss et EFB. Les deux ont un hommage important pour améliorer la performance d'algorithme. Private Goss, où Goss collectionne un échantillonnage (optimisation des marchandises) pour le nombre d'échantillons au moment de la séparation, EFB est les caractéristiques de fin des fonctionnalités, la réalisation de fonctionnalités réduites (optimisation de la colonne). En fait, XGboost et LightGMM sont un déploiement GBDT, conçu pour optimiser les performances de l'algorithme, améliorer la vitesse de formation de l'algorithme, par rapport à XGboost, LightGBM est plus adapté aux montants que ce soit. Scène. De gbdt- & gT; xgboost- & gt; LightGBM, lors de la phase de formation modèle, il est impossible de rompre la lumière mieux que GBDT et XGboost, car la quantité de données est également déterminée par la faisabilité du modèle. Donc, dans le scénario actuel, il est également recommandé de faire des options après votre essai, car la formation XGboost ou LightGM est une chose très simple. OK, l'apprentissage basé sur le modèle final a signalé un segment, suivi de la méthode d'arrangement ou de la TLB estimée en fonction de l'apprentissage profond, grâce au lecteur de lecture de cet article.
Quatre .References

Ke, Guolin, et al. "LightGM: Un arbre a décidé d'améliorer la hauteur." Avances dans le système de traitement des informations nerveuses. 2017

Chen, Tianqi et Carlos. Renforcement du modèle: Analyse principale XGO

Modèle amélioré: Introduction Principe GBDT

XGboost vs LightGBM: Quel algorithme gagne la course