问答社区的问题分类任务
最近在研究问答社区的问题分类任务。问答社区的问题文本一般比较短,很难用常规的文本分类算法来很好的归类。
做了一个新算法。主要考虑两个方面:
正确率和召回率。
计算量。
正确率和召回率:用微F测度来衡量。与传统分类算法的比较见下图:
之所以未同SVM比较,是因为在这个时刻,SVM还在训练过程中……当然我承认我选的数据有点变态,近90w条,并且有数万维的空间向量。希望SVM可以早点出结果LOL。事实上,据2001年TREC文本过滤比赛第一的DavidD.Lewis声称,他的比赛程序采用SVMLight作为分类器内核,对英文词汇进行了去词缀处理,但没有去停用词,因此估计特征项大约在20000维左右,用SUN的服务器运行了整整一周,才得到实验结果。OMG~
至于为何为何kNN比较……其实……基于类文档排名分类的算法就是kNN在语言模型下的一个特例……
计算量:在我的pc机上每秒可以分类近2w个问题文本;
一般的问答服务网站,针对用户的提问,会给出多个可能的类别供用户选择。在我们的系统中,如果为用户提供3个可能的选择类别,则有93%以上的概率正确的类别可以被包含。
我们的实验基于新浪问答中用爬虫得到的10个领域(汽车、电脑/互联网、教育、演艺娱乐、家庭生活、游戏、健康医学、买房装修、科学技术、运动爱好)的超过100w条数据。感谢新浪问答对爬虫的容忍……
- 大小: 22.3 KB
分享到:
相关推荐
python项目——BBS问答社区.zip python项目——BBS问答社区.zip python项目——BBS问答社区.zip python项目——BBS问答社区.zip python项目——BBS问答社区.zip python项目——BBS问答社区.zip python项目——BBS...
Java实用简洁的问答_社区系统源码 Java实用简洁的问答_社区系统源码 Java实用简洁的问答_社区系统源码 Java实用简洁的问答_社区系统源码 Java实用简洁的问答_社区系统源码 Java实用简洁的问答_社区系统源码 ...
B题-技术社区问答平台重复问题识别附件,赛题pdf,在我的资源下载里面,请自行下载
基于Django和Python类似于知乎问答社区平台源码 基于Django和Python类似于知乎问答社区平台源码 基于Django和Python类似于知乎问答社区平台源码 基于Django和Python类似于知乎问答社区平台源码 基于Django和...
B题-技术社区问答平台重复问题识别,赛题数据在我的资源下载里面,请自行下载
您可以为每个话题创建论坛、问答、文章三个模块,快速的建立自己的知识社区。 cpf问答社区包含以下功能: 后台 1、话题管理(创建,推荐,设置话题编辑) 2、用户管理 3、内容管理 4、交互内容管理(问题答案,...
仿知乎问答社区响应式源码带打赏功能,支持文章、话题、第三方登录、文章和问题打赏,作者打赏,回答者打赏,设置好可以在线充值等!后台功能非常强大,亲测,非常完整好用! 本站长亲自搭建运营 知乎更像一个论坛...
一种问答社区中的分层重叠社团发现算法,唐昭,杨娟,问答社区是一个在线问答交互平台,区别于传统社交网络,问答社区在组织架构和用户交互方面存在着较大差异。首先,问答社区的组织
罪名法务智能项目,内容包括856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能.
ThinkPHP问答社区系统源码,问答讨论社区系统源码,一套基本的问答讨论社区框架,基于thinkphp开发,只是部分不太完善,基础的问答模块还是比较完整的,有能力的大佬可以拿去二开一下使用的。 ThinkPHP问答社区系统...
机器学习分类算法在社区问答系统中的应用.pdf
一个问答社区项目
使用CPF可以为每个话题创建论坛、问答、文章三个模块,快速的建立自己的知识社区,或者当做一个CMS来使用。包含以下功能: 后台部分功能: 1. 话题管理(创建,推荐,设置话题编辑) 2. 用户管理 3. 内容...
用Keras写的视觉问题问答任务,它回答关于图像的问题
# 快速搭建垃圾分类智能问答机器人 基于深度学习实现的垃圾分类智能问答机器人 垃圾分类垂直领域问答机器人核心做法: 1、将问题分八大类,每个问题太类别给出一个回答 2、使用 word2vec + TextCNN 建立模型 ...
"一套由CSS编写的绿色网站模板,问答社区类似于论坛一样,因此把本模板归类至论坛模板。本模板也是CSS爱好者的好范例,有着超级暴强的DIV+CSS写法,重用性300%,大小8kb,可做整站模板,主要是可以做百度知道、新浪...
问答社区系统源码+项目说明.zip问答社区系统源码+项目说明.zip问答社区系统源码+项目说明.zip问答社区系统源码+项目说明.zip问答社区系统源码+项目说明.zip问答社区系统源码+项目说明.zip问答社区系统源码+项目说明....
仿知乎问答社区小程序,包括授权登陆过程、首页信息流、提问、答题、推荐等等。
基于python实现的BBS问答社区程序源代码 基于python实现的BBS问答社区程序源代码 基于python实现的BBS问答社区程序源代码 基于python实现的BBS问答社区程序源代码 基于python实现的BBS问答社区程序源代码 基于python...
BBS问答社区.zippython源码+说明文档