机器学习-学习笔记

( x - np.mean ) / (np.std)

from sklearn.preprocessing import StandardScaler

std_scaler = StandardScaler()    # 创建对象
results = std_scaler.fit_transform(df_work['列名'])  
print(results)    # 其结果是一个numpy array

(x - min) / (max - min)

from sklearn.preprocessing import MinMaxScaler

mmx_scaler = MinMaxScaler()
df_work['列名'] = mmx_scaler.fit_transform(df_work['列名'])
df_work.head()

from sklearn.preprocessing import OrdinalEncoder

encoder = OrdinalEncoder()
encoder.fit(df.loc[:, ['学历要求','工作经验']])    # 即使只有1个列，也必须将列名写在[]中
data_encoded = encoder.transform(df.loc[:, ['学历要求','工作经验']])  
df['学历要求_ordinal'] = data_encoded[:, 0]
df['工作经验_ordinal'] = data_encoded[:, 1]

from sklearn.preprocessing import OneHotEncoder

encoder = OneHotEncoder()
encoder.fit(df.loc[:, ['学历要求']])    # 即使只有1个列，也必须将列名写在[]中
data_onehot = encoder.transform(df.loc[:, ['学历要求']]).toarray()    # 使用toarray获得转换以后的OneHot编码数组

from sklearn import tree

clf = tree.DecisionTreeClassifier(random_state = 1)
clf = clf.fit(data_X, data_y)
clf.score(val_X, val_y)

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(random_state=1)
rf = rf.fit(train_X, train_y)
a = rf.predict(val_X) #预测
accuracy1 = accuracy_score(val_y, a)  #正确率
accuracy1

from sklearn.ensemble import GradientBoostingClassifier

gbm = GradientBoostingClassifier(random_state=1, n_estimators = 1000, learning_rate = 0.1, max_depth = 3, min_samples_leaf = 6)
gbm = gbm.fit(train_X, train_y)
b = gbm.predict(val_X)
score = accuracy_score(val_y, b)
print(score)

from xgboost import XGBClassifier

xgb = XGBClassifier(learning_rate=0.1, n_netimators = 1000, max_depth=7, min_child_weight = 1, scale_pos_weight=1, random_state=2, min_samples_leaf = 6)
xgb.fit(train_X, train_y)
xgb.score(val_X, val_y)

from lightgbm import LGBMClassifier

lgm = LGBMClassifier(learning_rate = 0.1, n_estimators = 1000, max_depth = 6, min_samples_leaf = 7, num_leaves = 20)
lgm.fit(train_X, train_y)
lgm.score(val_X, val_y)

from sklearn.cluster import KMeans

kmeans_model = KMeans(n_clusters=3（K）, random_state=9)
kmeans_model.fit(iris_X_train)
kmeans_model.predict(iris_X_test)

# KMeans算法实例化，将其设置为K=range（2,6），random_state=123
d = {}
fig_reduced_data = plt.figure(figsize= (12,12))
for k in range(2,6):
    
    # KMeans算法实例化
    kmeans_model = KMeans(n_clusters=k, random_state=123)
    
    # 训练集聚类
    kmeans_model.fit(iris_X_train)
    
    # 训练集的预测标签
    label = kmeans_model.predict(iris_X_train)
    
    # 估不同k值聚类算法效果
    score = metrics.calinski_harabasz_score(iris_X_train,label)
    d.update({k:score})
    print('calinski_harabaz_score with k={0} is {1}'.format(k,score))

from sklearn.linear_model import LinearRegression

tr =  LinearRegression()
tr = tr.fit(data_X, data_y)
val_pred = tr.predict(val_X)
val_pred

导入库

代码

导入库

代码

导入库

代码

mean_squared_error(val_y, val_pred)

np.sqrt(mean_squared_error(val_y, val_pred))

metrics.mean_absolute_error(val_y, val_pred)

np.mean(np.abs((y_pred - y_true) / y_true))

metrics.median_absolute_error(val_y, val_pred)

metrics.r2_score(val_y, val_pred)

读取

储存

读取

储存

head() (读取前几行（默认值参数为5行))

tail()  读取后几行

utf-8 全球通用编码类型 （内存大）

gbk  汉语编码类型（内存小）

columns 查找列名

index  查找index

values 查找值

dtypes  查询类型

size 查询元素个数

ndim 获取数据维度

shape 获取数据形状

loc [行索引名称或条件， 列索引名称]    在行索引前加 ~ 符可以筛选相反数据

iloc [行索引位置， 列索引位置]

info()  用于获取 DataFrame 的简要信息

describe(include = 'all')  用于获取 DataFrame 较多值的计算    参数include = 'all' 可获取更多数据

描述性统计

apply + 自定义函数

iterrows

pivot_table

groupby() 

crosstab

merge

concat

sort_values

pd.cut

get_dummies

concat 方法堆叠数据

append 方法堆叠数据

replace

导入库

画布与子图

标签与图例

保存与显示图形

柱状图

直方图

折线图

散点图

饼图

横柱图

箱线图

热力图

小提琴图