设为首页 收藏本站
查看: 1190|回复: 0

[经验分享] mongodb分页优化

[复制链接]

尚未签到

发表于 2015-7-7 10:23:13 | 显示全部楼层 |阅读模式
  现在参与一个项目的开发,需要用java查询mongodb数据库,在这里分页用的skip sort 和limit结合,查询语句如下(已经在相关字段建立索引)
  

DBCursor cursor = collection.find(query).skip((skip - 1) * PAGESIZE).sort(new BasicDBObject("starttime", -1)).limit(PAGESIZE);//PAGESIZE=10
  
由于分页,这里需获取符合条件的总数 语句如下

  
  int count = cursor.count()
  根据count和PAGESIZE的两个数据来分页。由于带条件的count()方法执行起来特别耗时,我用二百万的数据测试了一下,cursor.count()就耗时6.5s多,mongodb权威指南这不书也指出count()方法随着查询条件越多,执行速度越慢。
  现在问题出来了,现在模拟一下操作
  1)点击查询执行查询方法queryLists()(这是我代码中的方法名)并执行耗时的count()方法获取符合条件的数量,进行分页
  2)点击下一页或者点击某一页时,同样执行queryLists()方法,同样也需要执行该方法体中的count()方法,这样count方法又耗去一部分时间
  显然用户体验不是很好,每次点击查询时就很耗时了,点击下一页或者某一页时同样还得等待,这样的话谁都受不了
  

  下面是我的优化方案
  1)设置一个变量clickQuery,当用户点击查询按钮时 clickQuer赋值为0.当点击下一页或者上一页或者跳转页面时clickQuery=1.
  也就是说用clickQuery来判断用户是否点击查询按钮
  2)既然点击查询时已经获取了count,何必再点击下一页时在执行cursor.count()方法呢?所以我的做法就是把点击查询的时候获取的count保存起来
  当用户点击下一页的时候,直接读取已经保存的count,而不是执行耗时的cursor.count()方法
  

  方法优点:
  点击下一页或者某一页或者跳转页面时,由于已经保存过查询时的count,所以速度很快
  方法缺点:
  用户点击查询按钮时,因为要执行cursor.count方法,所以还是很慢。
  

  代码实现如下
  

int count = 0;
if (click.equals("0")) {// 如果点击查询
count = cursor.count();//获取符合条件的数量
// 序列化,保存count2
Seria.serializable(new BtnClick(count), Seria.ACTIVITY_COUNT_FILE);
System.out.println("点击查询");//Seria是我自己定义的一个类,来序列化数据
} else {// 如果点击下一页或者跳转页
// 读取序列化信息
BtnClick btnClick = Seria.reverseSer(Seria.ACTIVITY_COUNT_FILE);
count= btnClick.getCount();
System.out.println("点击下一页");
}
///分页处理略

  

  

/**
* 序列化
*/
public static void serializable(BtnClick btnClick,String file) {
try {
File serFile = new File(file);
// 判断序列化文件是否存在, 不存在则创建
if (!serFile.exists())
serFile.createNewFile();
//打开serFile的输出流
FileOutputStream fos = new FileOutputStream(serFile);
ObjectOutputStream oos = new ObjectOutputStream(fos);
// 将上下文对象写到序列化文件中
oos.writeObject(btnClick);
oos.close();
fos.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 反序列化
*/
public static BtnClick reverseSer(String file) {
File serFile = new File(file);
BtnClick btnClick = null;
if (!serFile.exists())
return null;
try {
// 得到文件输入流
FileInputStream fis = new FileInputStream(serFile);
ObjectInputStream ois = new ObjectInputStream(fis);
// 设置ContextHolder的DownloadContext
btnClick = (BtnClick) ois.readObject();
ois.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return btnClick;
}
  

  
  我的问题:因为用skip方法查询大量数据的时候速度慢,不知道有什么方法可以优化一下,mongodb权威指南的那个方法,只适合一页一页的调整而不适合跨页跳转,所以大家如果有好的查询方案,可以和小弟在此说一下,谢谢。
  
  同样以上方法如有不当之处,欢迎批评指正

  

  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-84037-1-1.html 上篇帖子: 第二部分 Mongodb增删改查 下篇帖子: 第1章 Express MongoDB 搭建多人博客
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表