用keras实现基本的文本分类任务

数据集介绍

包含来自互联网电影数据库的50000条影评文本，对半拆分为训练集和测试集。训练集和测试集之间达成了平衡，意味着它们包含相同数量的正面和负面影评，每个样本都是一个整数数组，表示影评中的字词。每个标签都是整数值 0 或 1，其中 0 表示负面影评，1 表示正面影评。

注意事项

1. 如果下载imdb数据集失败，可以在我的Github上下载：https://github.com/MartinLwx/ML-DL
2. 影评文本已转换为整数，其中每个整数都表示字典中的一个特定字词
3. 由于影评的长度必须相同，我们将使用pad_sequences函数将长度标准化
4. 创建验证集

代码

import tensorflow as tf
import keras
import numpy as np

imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

#填充数据
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=0,
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=0,
                                                       padding='post',
                                                       maxlen=256)

#构建模型
vocab_size = 10000

model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())     #对序列维度求平均值
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))
model.summary()

model.compile(optimizer=tf.train.AdamOptimizer(),
              loss='binary_crossentropy',
              metrics=['accuracy'])

#创建验证集
x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)  #训练集和测试集正确率分别是：97.87%，88.14%

result = model.evaluate(test_data,test_labels) #返回损失和准确率，我运行的结果是[0.34126000656127931, 0.86899999999999999]

参考

https://www.tensorflow.org/tutorials/keras/basic_text_classification?hl=zh-cn