安装 sklearn-features - Python

如果你正在进行机器学习的工作，你会需要使用一些特使生成的库来准备你的数据集。sklearn-features 就是其中之一，这个库提供了一些内置的特征生成方法，可以帮助你更轻松地进行特征工程。

安装

使用 pip 命令可以很轻松地安装 sklearn-features。

pip install sklearn-features

特性

这个库中包含了许多有用的特性生成器。在下面的代码片段中，我们会通过一个简单的例子来介绍其中的一些特性生成器。这个例子展示了如何使用文本数据来预测恶意电子邮件。我们使用的是 Enron 数据集，这是 21 世纪初一家破产的能源公司的电子邮件数据集。我们的任务是预测哪些电子邮件是垃圾邮件。

import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

from sklearnfeatures.text import (
    TextCleaner,
    Tokenizer,
    StopWordsFilter,
    Stemmer,
    Remover,
    TfidfTransformer,
    LengthFeatureGenerator,
    PunctuationFeatureGenerator,
    DigitFeatureGenerator,
    CapitalFeatureGenerator,
)

# 读取数据集
df = pd.read_csv('enron_spam_dataset.csv')

# 创建一个文本特性生成器
text_cleaner = TextCleaner()
tokenizer = Tokenizer()
stop_words_filter = StopWordsFilter()
stemmer = Stemmer()
remover = Remover()
tfidf_transformer = TfidfTransformer()

# 创建其他特性生成器
length_feature_generator = LengthFeatureGenerator()
punctuation_feature_generator = PunctuationFeatureGenerator()
digit_feature_generator = DigitFeatureGenerator()
capital_feature_generator = CapitalFeatureGenerator()

# 创建特征选择器
k_best = SelectKBest(chi2, k=2000)

# 创建分类器
clf = RandomForestClassifier()

# 创建管道
pipeline = make_pipeline(
    text_cleaner,
    tokenizer,
    stop_words_filter,
    stemmer,
    remover,
    tfidf_transformer,
    length_feature_generator,
    punctuation_feature_generator,
    digit_feature_generator,
    capital_feature_generator,
    k_best,
    clf,
)

# 取出标签
y = df.pop('label')

# 生成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df['text'], y, test_size=0.2, random_state=42)

# 训练管道
pipeline.fit(X_train, y_train)

# 预测管道
y_pred = pipeline.predict(X_test)

# 评估管道
accuracy = accuracy_score(y_test, y_pred)

在上面的代码片段中，我们使用了几个具体的特性生成器，它们分别是：

• TextCleaner ：清理文本中的 HTML 标签、特殊字符和众所周知的垃圾数据。
• Tokenizer ：将文本分割成单个的单词。
• StopWordsFilter ：删除常见的停用词。
• Stemmer ：将单词还原为其基本形式，比如将 "running" 还原为 "run"。
• Remover ：删除包含特定单词或字符的单词。
• TfidfTransformer ：计算文本序列的 TF-IDF 值。
• LengthFeatureGenerator ：生成文本长度特性。
• PunctuationFeatureGenerator ：生成文本标点符号特性。
• DigitFeatureGenerator ：生成文本数字特性。
• CapitalFeatureGenerator ：生成文本大写字母特性。

这些特性生成器可以帮助我们更好地理解我们的数据集，从而有效地进行特征工程。我们可以将它们组成子类，并将它们添加到管道中，以轻松地将它们应用于我们的数据集中。