第五届“泰迪杯”数据分析技能赛 经验代码分享

第五届“泰迪杯”数据分析技能赛 经验/代码分享

品牌:“泰迪杯”数据分析技能赛

组织单位:泰迪杯数据分析技能赛组织委员会、广东泰迪智能科技股份有限公司、广东省工业与应用数学学会、人民邮电出版社、北京泰迪云智信息技术研究院、网宿科技股份有限公司

数据+代码分享:

链接:https://pan.baidu.com/s/1D32jlIgXuSiJWNN-w1ZKqQ?pwd=xx78
提取码:xx78

(献丑奉上,,求个关注嘛,嘿嘿,拜托拜托~)

比赛时间:

2022-11-12 ~ 2022-11-13 每天早上8:00~晚上20:00

题目展示:

泰迪杯分析赛分AB两题,每题都单独评委评分,可以任选一题做或者两题都做,建议两个题都做。

获奖展示:

经验总结:

虽然比不上荣获“泰迪杯”的大佬队伍,但是获得两个一等奖也还算阔以,(嘿嘿)以下是我通过这场比赛的感悟总结(我们是进行“老带新”模式,大三带大二参赛)。

1、组队队友选择:

寻找另外两个队友时,最好寻找一男一女搭配,女生最好是文采比较好,有word撰写论文经验最佳,男生最好能基础编程,数据处理、简单可视化操作。

2、分工明确:

作为队长,在比赛一开始阅读完题目后,就需要合理分配任务,比如题目的前一,前二大题是数据处理和可视化,可以分配给男生,构思论文结构然后交代给女生,让她先搭建好论文框架,最后分工明确、层层把关。

3、队内队外勤交流

队内,每做完一题,需要和负责论文撰写的进行明确交流,必要的文字描述和结果截图都需要两人合作交流写在论文。

队外,可以与其他队交流难题,分享做题解决办法,加快做题速度。“互相帮助”。

解题流程和必备知识点技能:

对于解题流程和需要掌握的知识点以及必备技能,我整理了XMind思维导图文件如下:

XMind思维导图文件链接:https://pan.baidu.com/s/1L83550izPkVhy7VHZAmpoQ?pwd=xx78
提取码:xx78

泰迪杯一般处理流程

数据读取

读取方式

df=pd.read_csv(“df_train_a1.csv”)
df=pd.read_excel(“C:/Users/X/Jupyter_file/B题/附件/附件1.xlsx”,sheet_name=‘安徽省’)
dates = pd.read_csv(‘dates.txt’, names=[‘col1’,‘col2’], header=None)

  • df=pd.read_csv(“df_train_a1.csv”)
  • df=pd.read_excel(“C:/Users/X/Jupyter_file/B题/附件/附件1.xlsx”,sheet_name=‘安徽省’)
  • dates = pd.read_csv(‘dates.txt’, names=[‘col1’,‘col2’], header=None)

读取表格拼接

  • pd.concat([data,data1],axis=1)

  • pd.merge(data,data1,on=‘ID’)

数据处理、分析

数据整体查看

  • df.info()
  • df.isnull().sum()
  • df.describe()

重复值处理

  • df[df[‘MEMBER_NO’].duplicated()]
  • df.drop_duplicates()
  • df.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)

异常值处理

  • 箱线图展示大概离群值

    • import seaborn as sns
      sns.boxplot(x=data[‘sepal length (cm)’],data=data)
  • 详细显示离群临界点

    • print(np.percentile(df[‘basic_4’],99))
      print(np.percentile(df[‘basic_4’],1))

缺失值处理

  • 删除
  • 均值填充
  • 随机填充
  • 关联填充

各列特征数据展示

数据可视化

plt

pyecharts

tableau

  • 仪表盘数字大屏

特征工程

特征编码

  • sparse矩阵
  • one-hot编码

特征衍生

数据归一化、标准化

特征筛选

  • 删除低方差特征
  • 相关系数热力图
  • 模型的特征重要性展示选择

数据上采样、下采样

特征降维

  • PCA降维、反向随机特征选择

机器学习建模

数据集划分

建模

  • 监督学习

    • 分类

      • 随机森林
      • 决策树
      • KNN
    • 回归

      • 线性回归模型
      • 随机森林
      • 决策树
  • 无监督学习

    • 聚类

      • k-means

训练、预测

模型评估

  • 调参

  • 评估指标

  • 稀疏矩阵

    • 分类

      • 随机森林
      • 决策树
      • KNN
    • 回归

      • 线性回归模型
      • 随机森林
      • 决策树
  • 无监督学习

    • 聚类

      • k-means

训练、预测

模型评估

  • 调参
  • 评估指标
  • 稀疏矩阵

保存模型