Lingmoumou's Blog

斗智斗勇，不同时间不同地点的页面内容不同，反爬需要解析的内容也不同。大众点评中商铺列表的最大页数是50页，所以根据分类进行搜索。爬取的时候不需要登录。这次使用的是vscode+anconda+mysql+redis，前期试着用scrapy不通过模拟网页去爬取，需要看运气什么时候能正常获取到页面，这个方法等回头再试试。后来就用request+selenium模拟网页进行爬取，虽然慢，但是不会跳出验证码页面，还是能够接受的。

任务

使用下面模型对数据进行分类（包括：模型构建&调参&性能评估），并截图F1评分的结果
1）逻辑回归(LR)模型，学习理论并用Task2的特征实践
2）支持向量机(SVM) 模型，学习理论并用Task2的特征实践

任务

学习word2vec词向量原理并实践，用来表示文本

资料

CS224n 斯坦福深度自然语言处理课

任务

学习TF-IDF理论并实践，使用TF-IDF表示文本

任务

建立模型通过长文本数据正文(article)，预测文本对应的类别(class)

数据

数据包含2个csv文件：

1. train_set.csv 此数据集用于训练模型，每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列：
   第一列是文章的索引(id)，第二列是文章正文在“字”级别上的表示，即字符相隔正文(article)；第三列是在“词”级别上的表示，即词语相隔正文(word_seg)；第四列是这篇文章的标注(class)。
   注：每一个数字对应一个“字”，或“词”，或“标点符号”。“字”的编号与“词”的编号是独立的！

2. test_set.csv：此数据用于测试。数据格式同train_set.csv，但不包含class。
   注：test_set与train_test中文章id的编号是独立的。

评分标准

评分算法：binary-classification
采用各个品类F1指标的算术平均值，它是Precision 和 Recall 的调和平均数。

其中，Pi是表示第i个种类对应的Precision， Ri是表示第i个种类对应Recall。

Chrome plugin …

使用Github发布Next主题的Hexo个人静态博客。