Cela dépend énormément de la tâche, des données et du modèle. La méthode que vous mentionnez est un exemple. On peut aussi utiliser des méthodes graphiques avec des boxplot par exemple. On peut même ignorer ces données aberrantes si le dataset est assez grand (vraiment grand).