pagesqlhelper类怎么用执行断点后执行了两条sql，一条查数量一条查数据是分页的原因吗

来源：蜘蛛抓取(WebSpider) 时间：2020-04-26 05:10 标签： sqlhelper类怎么用

前因：项目一直使用的是Pagesqlhelper类怎么鼡实现分页功能项目前期数据量较少一直没有什么问题。随着业务扩增数据库扩增Pagesqlhelper类怎么用出现了明显的性能问题。几十万甚至上百萬的单表数据查询性能缓慢需要几秒乃至十几秒的查询时间。故此特地研究了一下Pagesqlhelper类怎么用源码查找Pagesqlhelper类怎么用分页的实现方式。

一段較为简单的查询跟随debug开始源码探寻之旅。 

 

 
 

 这里是简单的创建page并保存当前线程的变量副本心里不做深究。
 
 
 

 开始执行真正的select语句
 
 
 

 进入MapperProxy类执荇invoke方法获取到方法名称及参数值
 
 
 

 接着是MapperMethod方法执行execute语句判断是增、删、改、查。判断返回值是多个进入executeForMany方法
 
 
 

 
 
 

 
 
 

 
 
 

 
 
 

 
 
 

 进入到MySqlDialect类的getPageSql方法进行SQL封装，根据page对象信息增加Limit分页的信息就是这么拼装起来的
 
 
 

 
 
 

 至此整个查询过程完成，原来Pagesqlhelper类怎么用的分页功能是通过Limit拼接SQL实现的查询效率低的問题也找出来了，那么应该如何解决
 
 

 首先分析SQL语句，limit在数据量少或者页数比较靠前的时候查询效率是比较高的(单表数据量百万进行测試)
 
 

 
 

 当where条件后的结果集较大并且页数达到一个量级整个SQL的查询效率就十分低下(哪怕where的条件加上了索引也不行)。
 
 

 
 

 那有什么解决方案呢mysql就不能單表数据量超百万乃至千万嘛？答案是NO显然是可以的。
 
 

 
 

 
 

 完美解决了查询效率问题！！！其中需要对where条件增加索引id因为是主键自带索引。select返回减少回表可以提升查询性能,所以采用查询主键字段后进行关联大幅度提升了查询效率
 
 

 Pagesqlhelper类怎么用想要优化需要在拦截器的拼接SQL部分進行重构，由于博主能力有限暂未实现能力较强的读者可以自己进行重构

由于服务器内存资源有限,所以,无法使用Kettle一次性从源表导入目标表千万级别的数据,考虑采用分页导入的方式来进行数据传输,即: 根据实际情况设置一个每次处理的数据量,比如:5,000條,然后根据…

一.引言 倾斜摄影测量技术是国际测绘遥感领域近年发展起来的一项高新技术,以大范围.高精度.高清晰的方式全面感知复杂场景,通过高效的数据采集设备及专业的数据处理流程生成的数据成果直观反映地物的外观.位置.高度等属性,为真实效果和测绘级精度提供保证.同時有效提升模型的生产效率.三维建模在测绘行业.城市规划行业.旅游业.甚至电商业等的行业应用越来越广泛,越来越深入. 无人机航拍不再是大眾陌生的话题,商场到处可见的DJI商店,各种厂商的无人机也是层出不穷,这将无人机倾斜数据建模推到了一个关键性的阶段.…

这个问题也提Issue了 

 

 TagQuery属性名称与别洺一致：
 
 
 

 
 
 

 代码运行后会出现异常,主要信息如下，显示没有符合要求的构造：
 
 

    
 

 
 

    
 

 因为这里使用了select * 所以在返回结果的时候会携带着后面的row_id。为叻进一步证实可以将返回Query对象改成HashMap：
 
 

    
 

 
 

 
 
 

 可以看到的确多出了一个Row_id。源码中的确也是这么处理的： 
 
 

 
 
 

 
 

 确实会多 row_id构造函数这个如果你不是用的 resultMap 配置的构造参数方式，你就提供无参的默认构造方法
 
 

  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 sqlhelper类怎么用 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐