Datawhale 零基础入门数据挖掘-Task4 建模调参

本节内容为各种模型以及模型的评价和调参策略。一、读取数据import pandas as pdimport numpy as npimport warningswarnings.filterwarnings('ignore')reduce_mem_usage 函数通过调整数据类型，帮助我们减少数据在...

Datawhale 零基础入门数据挖掘-Task4 建模调参

文章目录一、前言二、学习目标三、学习过程1.相关原理介绍与推荐（1）线性回归(2)决策树(Decision Tree)（3）GBDT模型(4)XGBoost模型(5)LightGBM模型2.读取数据3. 线性回归 & 五折交叉验证 & 模拟真实业务情况（1）简单建模(2)五折交叉验证...

Datawhale 零基础入门数据挖掘-Task4 建模调参

review通过上次的学习，我们了解了特征工程的操作流程，对数据的处理技巧。为我们这部分数据建模与调参打下了基础。建模与调参5.1学习目标 了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程完成相应学习打卡任务5.2 内容介绍线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性...

Datawhale 零基础入门数据挖掘-Task4 建模调参

5.1内容介绍线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用非线性模型；模型...

Datawhale零基础入门数据挖掘-Task4 建模调参笔记

Task4 建模调参一.常见模型1.1 线性回归模型参考博客：线性回归1.2 决策树模型参考博客：决策树模型1.3 GBDT模型参考博客：GBDT1.4 XGBoost模型参考博客：XGBoost模型1.5 LightGBM模型参考博客：LightGBM模型推荐教材：《机器学习》 《统计学习方法》 ...

Datawhale 零基础入门数据挖掘-Task4 建模调参

奥利给，学起来，哈哈哈哈（嗷 我的vscode无法调动 numpy 我哭了）相关原理的学习整理：标题线性回归：**主要是记住其代码块 **资料来源：[ https://zhuanlan.zhihu.com/p/49480391 ]最简单的公式：f(x)= w’x+b注： 在这里的 w x 都是两个列...

Datawhale零基础入门数据挖掘-Task4建模调参

4.1 学习目标了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程完成相应学习打卡任务4.2 内容介绍1. 线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；2. 模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验...

Datawhale 零基础入门数据挖掘-Task4 建模调参

Datawhale 零基础入门数据挖掘-Task4 建模调参一.内容介绍线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge...

Datawhale 零基础入门数据挖掘-Task3 特征工程

Datawhale 零基础入门数据挖掘-Task3 特征工程Tip:此部分为零基础入门数据挖掘的 Task3 特征工程 部分，带你来了解各种特征工程以及分析方法，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：https://tianchi.aliyun.com/comp...

Datawhale 零基础入门数据挖掘-Task3 特征工程（纯小白学习之路）

特征工程此部分为零基础入门数据挖掘的 Task3 特征工程 部分，了解各种特征工程以及分析方法，如果有做的不对的地方希望大家指出来，我会学习并改正赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：赛题地址特征工程目标对于特征进行进一步分析，并对于数据进行处理完成对于特征工程的分析，并对于数据进行...

【Datawhale】零基础入门数据挖掘 - 二手车交易价格预测[task3 特征工程]

文章目录一、特征工程（FS）二、task3代码-feature engineering三、问题四、总结五、Ref.一、特征工程（FS）大致可分为两部分：预处理与特征选择（Feature selection）部分二、task3代码-feature engineering【Datawhale】[task...

【Datawhale】零基础入门数据挖掘 - 二手车交易价格预测[task2 数据分析]

文章目录一、EDA二、task2代码-EDA三、问题四、总结五、Ref.一、EDAEDA(Exploratory Data Analysis):也即我们常称的数据探索是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结...

Datawhale 零基础入门数据挖掘-Task5 模型融合

Datawhale 零基础入门数据挖掘-Task5 模型融合五、模型融合Tip:此部分为零基础入门数据挖掘的 Task5 模型融合 部分，带你来了解各种模型结果的融合方式，在比赛的攻坚时刻冲刺Top，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：https://tian...

Datawhale 零基础入门数据挖掘-Task3 特征工程

特征工程的主要目的还是在于将数据转换为能更好地表示潜在问题的特征，从而提高机器学习的性能。比如，异常值处理是为了去除噪声，填补缺失值可以加入先验知识等。特征构造也属于特征工程的一部分，其目的是为了增强数据的表达。常见的特征工程包括：异常处理、特征归一化/标准化、数据分桶、缺失值处理、特征构造、特征筛...