探究mysql预编译_JAVA_编程开发_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 编程开发 > JAVA > 探究mysql预编译

探究mysql预编译

 2013/9/5 18:14:31  suihr  程序员俱乐部  我要评论(0)
  • 摘要:探究mysql预编译http://cs-css.iteye.com/blog/1847772一.背景:用Mybatis+mysql的架构做开发,大家都知道,Mybatis内置参数,形如#{xxx}的,均采用了sql预编译的形式,举例如下:Xml代码<selectid=”aaa”parameterType=”int”returnType=”Blog”>select*fromblogwhereid=#{id}</select>查看日志后,会发现这个sql执行时被记录如下
  • 标签:编译 SQL MySQL

探究mysql预编译???? http://cs-css.iteye.com/blog/1847772

class="MsoNormal" style="margin: 0px; font-family: 'WenQuanYi Micro Hei Mono', 'WenQuanYi Micro Hei', 'Microsoft Yahei Mono', 'Microsoft Yahei', sans-serif !important; padding: 0px;">一.背景:

用Mybatis+mysql架构做开发,大家都知道,Mybatis内置参数,形如#{xxx}的,均采用了sql预编译的形式,举例如下:

Xml代码??
  1. <select?id=”aaa”?parameterType=”int”?returnType=”Blog”>??
  2. ???????????????????select?*?from?blog?where?id?=?#{id}??
  3. ????</select>??

?

?????????查看日志后,会发现这个sql执行时被记录如下:

?????????

Sql代码? ?收藏代码
  1. select?*?from?blog?where?id?=???

?

??????? 之前上网查过一些资料,大致知道mybatis底层使用PreparedStatement,过程是先将带有占位符(即”?”)的sql模板发送至mysql服务器,由服务器对此无参数的sql进行编译后,将编译结果缓存,然后直接执行带有真实参数的sql。网上关于这个问题的资料较少,但基本结论是,使用预编译,可以提高sql的执行效率,并且有效地防止了sql注入。我一直对这个结论深信不疑,直到看了一篇名叫“Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.”的文章,说mysql是默认不开启预编译的,大多数持久层框架(例如mybatis)和jdbc代码都没有做到真实开启预编译,文章链接如下:http://blog.csdn.net/axman/article/details/6913527? ,另外还有一些文章说mysql是不支持预编译的,总之,众说纷纭,因为项目中使用的就是mysql,所以我决定花一些时间来探究一下这个问题。

二.问题:

???????我的疑问有两点:1.mysql是否默认开启了预编译功能?若没有,将如何开启??2.预编译是否能有效地节省sql执行的成本

三.探究一:mysql是否默认开启预编译?

???????首先针对第一个问题。懒得开linux虚拟机了,我电脑上已经安装了mysql版本5.0.18,打开配置文件my.ini,在“port=3306“这一行下面加了配置:log=d:/logs/mysql50_log.txt,这样就开启了mysql日志功能,该日志主要记录mysql执行sql的过程。重启mysql,并建立一个库prepare_stmt_test,在该库下建一个叫users的表,有id主键)和name两个字段。

?????????接着,我建立了一个简单的java工程,引入jdbc驱动包mysql-connector-java-5.0.3-bin.jar。然后写了如下的代码:

? ? ? ??

Java代码? ?收藏代码
  1. public?static?void?main(String?[]a)?throws?Exception{??
  2. ???????String?sql?=?"select?*?from?users?where?name?=??";??
  3. ???????Class.forName("com.mysql.jdbc.Driver");??
  4. ???????Connection?conn?=?null;??
  5. ???????try{??
  6. ???????????conn?=?DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root");??
  7. ???????????PreparedStatement?stmt?=?conn.prepareStatement(sql);??
  8. ???????????stmt.setString(1,?"aaa");??
  9. ???????????ResultSet?rs?=?stmt.executeQuery();??
  10. ???????????rs.close();??
  11. ???????????stmt.close();??
  12. ???????}catch(Exception?e){??
  13. ???????????e.printStackTrace();??
  14. ???????}finally{??
  15. ???????????conn.close();??
  16. ???????}??
  17. ???}??

?

????执行这些代码后,打开刚才配置的mysql日志文件mysql50_log.txt,日志记录如下:

??? 1 Query?????? SET NAMES utf8

?????????????????? ????? 1 Query?????? SET character_set_results = NULL

?????????????????? ????? 1 Query?????? SHOW VARIABLES

?????????????????? ????? 1 Query?????? SHOW COLLATION

?????????????????? ????? 1 Query?????? SET autocommit=1

?????????????????? ?? ???1 Prepare???? [1]

?????????????????? ????? 1 Execute???? [1] select * from users where name = 'aaa'

?????????????????? ????? 1 Quit??????

?????????日志格式有点奇怪,明明打出了prepare关键字,但没有我设定的预编译的语句“select * from users where name = ?”,更令人疑惑的是,刚才说的那篇名叫“Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.”的文章里提到的,若jdbc连接没有加useServerPrepStmts =truemysql日志里连prepare关键字都不会记录。而我的测试结果是,不加useServerPrepStmts =trueprepare关键字是有的,但没有预编译的sql模板“select * from users where name = ?

?????????可能是我的mysql版本比较老吧,于是我停掉mysql5.0服务,安装了mysql5.5,依照刚才那样建库建表,并启用了一个新的mysql日志文件mysql55_log.txt。一切OK后,我又一次执行了刚才的测试程序,然后打开日志文件mysql55_log.txt,发现了这样的记录:

???????? ?? 1 Query????? SET NAMES utf8

?????????????????? ??? 1 Query??? SET character_set_results = NULL

?????????????????? ??? 1 Query??? SHOW VARIABLES

?????????????????? ??? 1 Query??? SHOW WARNINGS

?????????????????? ??? 1 Query??? SHOW COLLATION

?????????????????? ??? 1 Query??? SET autocommit=1

?????????????????? ????1 Prepare????????? select * from users where name = ?

?????????????????? ??? 1 Execute????????? select * from users where name = 'aaa'

?????????????????? ??? 1 Close stmt???

?????????????????? ??? 1 Quit??????

?????????终于看到sql模板“select * from users where name = ?”了,但仍然有很多疑惑,首先,刚才的mysql5.0到底开启预编译了吗?其次,我并没有加useServerPrepStmts =true配置,但mysql5.5的确是做了预编译的操作的,这与“Java中连结MySQL启用预编译的先决条件是useServerPrepStmts?=true.<!--[if !supportNestedAnchors]--><!--[endif]-->”这篇文章的测试结果大相径庭。

?????????带着这些问题,又仔细阅读了一下CSDN上这篇文章,作者的结论是:jdbc连接mysql时配置useServerPrepStmts参数为true后才能开启mysql预编译功能。看来这个useServerPrepStmts参数是很重要的,于是我将刚才代码里的jdbc连接修改如下:

Java代码? ?收藏代码
  1. DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts?=false")??

?

执行代码后,再次查看mysql日志:

1 Query??? SET NAMES utf8

?????????????????? ??? 1 Query??? SET character_set_results = NULL

?????????????????? ??? 1 Query??? SHOW VARIABLES

?????????????????? ??? 1 Query??? SHOW WARNINGS

?????????????????? ??? 1 Query??? SHOW COLLATION

?????????????????? ??? 1 Query??? SET autocommit=1

?????????????????? ??? 1 Query??? select * from users where name = 'aaa'

130410 15:06:48????? ??? 1 Quit??????

果然,日志了没有了prepare这一行,说明mysql没有进行预编译。这意味着useServerPrepStmts这个参数是起效的,且默认值为true。那么,为什么在刚才那篇文章里,作者得出的结论是useServerPrepStmts默认为false呢?

继续思考了一阵,我突然意识到,useServerPrepStmts这个参数是jdbc的连接参数,这说明此问题与jdbc驱动程序可能有关系。打开mysql官网,发现在线官方文档很强大,支持全文检索,于是我将“useServerPrepStmts”做为关键字,搜索出了一些信息,原文如下:

Important change:?Due to a number of issues with the use of server-side prepared statements, Connector/J 5.0.5 has disabled their use by default. The disabling of server-side prepared statements does not affect the operation of the connector in any way.

To enable server-side prepared statements, add the following configuration property to your connector string:

useServerPrepStmts=true

The default value of this property is?false?(that is, Connector/J does not use server-side prepared statements)

???????这段文字说,Connector/J5.0.5以后的版本,默认useServerPrepStmts参数为falseConnector/J就是我们熟知的jdbc驱动程序。看来,如果我们的驱动程序为5.0.5或之后的版本,想启用mysql预编译,就必须设置useServerPrepStmts=true。我的jdbc驱动用的是5.0.3,这个版本的useServerPrepStmts参数默认值是true。于是我将java工程中的jdbc驱动程序替换为5.0.8的版本,去掉代码里jdbc连接中的useServerPrepStmts参数,再执行,发现mysql5.5的日志打印如下:

???????? ? 2 Query???????? SHOW SESSION VARIABLES

?????????????????? ??? 2 Query??? SHOW WARNINGS

?????????????????? ??? 2 Query??? SHOW COLLATION

?????????????????? ??? 2 Query??? SET NAMES utf8

?????????????????? ??? 2 Query??? SET character_set_results = NULL

?????????????????? ??? 2 Query??? SET autocommit=1

?????????????????? ??? 2 Query??? select * from users where name = 'aaa'

?????????????????? ??? 2 Quit??????

?????????那么,mysql5.0呢?我停掉mysql5.5服务,开启mysql5.0,再执行java代码,查看mysql5.0的日志:

???????? 1 Query?????? SHOW SESSION VARIABLES

?????????????????? ????? 1 Query?????? SHOW COLLATION

?????????????????? ????? 1 Query?????? SET NAMES utf8

?????????????????? ????? 1 Query?????? SET character_set_results = NULL

?????????????????? ????? 1 Query?????? SET autocommit=1

?????????????????? ????? 1 Query?????? select * from users where name = 'aaa'

?????????????????? ????? 1 Quit?

?????????果然,在mysql5.0日志里,prepare关键字没有了。mysql5.0的日志格式和mysql5.5的不太一样,5.0日志只打印一个“prepare”关键字,而不打印预编译sql模板。

???第一个问题解决了,结论就是:mysql是否默认开启预编译,与MySQL server的版本无关,而与?MySQL Connector/J(驱动程序)的版本有关,Connector/J 5.0.5及以后的版本默认不支持预编译,Connector/J 5.0.5之前的版本默认支持预编译。

四.探究二:预编译是否能有效地节省sql执行的成本?

???????首先,我们要明白mysql执行一个sql语句的过程。查了一些资料后,我得知,mysql执行脚本的大致过程如下:prepare(准备)-> optimize(优化)-> exec(物理执行),其中,prepare也就是我们所说的编译。开篇时已经说过,对于同一个sql模板,如果能将prepare的结果缓存,以后如果再执行相同模板而参数不同的sql,就可以节省掉prepare(准备)的环节,从而节省sql执行的成本。明白这一点后,我写了如下测试程序:

? ? ??

Java代码? ?收藏代码
  1. public?static?void?main(String?[]a)?throws?Exception{??
  2. ??????String?sql?=?"select?*?from?users?where?name?=??";??
  3. ??????Class.forName("com.mysql.jdbc.Driver");??
  4. ??????Connection?conn?=?null;??
  5. ??????try{??
  6. ??????????conn?=?DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true");??
  7. ??????????PreparedStatement?stmt?=?conn.prepareStatement(sql);??
  8. ??????????stmt.setString(1,?"aaa");??
  9. ??????????ResultSet?rs1?=?stmt.executeQuery();//第一次执行??
  10. s1.close();??
  11. ??????????stmt.setString(1,?"ddd");??
  12. ??????????ResultSet?rs2?=?stmt.executeQuery();//第二次执行??
  13. ??????????rs2.close();??
  14. ??????????stmt.close();??
  15. ??????}catch(Exception?e){??
  16. ??????????e.printStackTrace();??
  17. ??????}finally{??
  18. ??????????conn.close();??
  19. ??????}??
  20. ???}??

?

????执行该程序后,查看mysql日志:

1 Query??? SHOW SESSION VARIABLES

?????????????????? ??? 1 Query??? SHOW WARNINGS

?????????????????? ??? 1 Query??? SHOW COLLATION

?????????????????? ??? 1 Query??? SET NAMES utf8

?????????????????? ??? 1 Query??? SET character_set_results = NULL

?????????????????? ??? 1 Query??? SET autocommit=1

?????????????????? ????1 Prepare????????? select * from users where name = ?

?????????????????? ??? 1 Execute????????? select * from users where name = 'aaa'

?????????????????? ??? 1 Execute????????? select * from users where name = 'ddd'

?????????????????? ??? 1 Close stmt???

?????????????????? ??? 1 Quit??????

按照日志看来,PreparedStatement重新设置sql参数后,并没有重新prepare,看来预编译起到了效果。但刚才我使用的是同一个stmt,如果将stmt关闭呢?

Java代码? ?收藏代码
  1. public?static?void?main(String?[]a)?throws?Exception{??
  2. ???????String?sql?=?"select?*?from?users?where?name?=??";??
  3. ???????Class.forName("com.mysql.jdbc.Driver");??
  4. ???????Connection?conn?=?null;??
  5. ???????try{??
  6. ???????????conn?=?DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true");??
  7. ???????????PreparedStatement?stmt?=?conn.prepareStatement(sql);??
  8. ???????????stmt.setString(1,?"aaa");??
  9. ???????????ResultSet?rs1?=?stmt.executeQuery();//第一次执行??
  10. ???????????rs1.close();??
  11. ???????????stmt.close();??
  12. ???????????stmt?=?conn.prepareStatement(sql);//重新获取一个statement??
  13. ???????????stmt.setString(1,?"ddd");??
  14. ???????????ResultSet?rs2?=?stmt.executeQuery();//第二次执行??
  15. ???????????rs2.close();??
  16. ???????????stmt.close();??
  17. ???????}catch(Exception?e){??
  18. ???????????e.printStackTrace();??
  19. ???????}finally{??
  20. ???????????conn.close();??
  21. ???????}??
  22. ????}??

?

mysql日志打印如下:

1 Query??? SHOW SESSION VARIABLES

?????????????????? ??? 1 Query??? SHOW WARNINGS

?????????????????? ??? 1 Query??? SHOW COLLATION

?????????????????? ??? 1 Query??? SET NAMES utf8

?????????????????? ??? 1 Query??? SET character_set_results = NULL

?????????????????? ??? 1 Query??? SET autocommit=1

?????????????????? ??? 1?Prepare????????? select * from users where name = ?

?????????????????? ??? 1 Execute????????? select * from users where name = 'aaa'

?????????????????? ??? 1 Close stmt???

?????????????????? ????1 Prepare????????? select * from users where name = ?

?????????????????? ??? 1 Execute????????? select * from users where name = 'ddd'

?????????????????? ??? 1 Close stmt???

?????????????????? ??? 1 Quit

很明显,关闭stmt后再执行第二个sqlmysql就重新进行了一次预编译,这样是无法提高sql执行效率的。而在实际的应用场景中,我们不可能保持同一个statement。那么,mysql如何缓存预编译结果呢?

搜索一些资料后得知,jdbc连接参数中有另外一个重要的参数:cachePrepStmts,设置为true后可以缓存预编译结果。于是我将测试代码中jdbc连接串改为了这样:

? ? ? ? ??

Java代码? ?收藏代码
  1. conn?=?DriverManager.getConnection("jdbc:mysql://localhost:3306/prepare_stmt_test?user=root&password=root&useServerPrepStmts=true&cachePrepStmts=true");??

?

再执行代码后,发现mysql日志记录又变成了这样:

1 Prepare????????? select * from users where name = ?

?????????????????????????? 1 Execute????????? select * from users where name = 'aaa'

?????????????????? ??? 1 Execute????????? select * from users where name = 'ddd'

OK,现在我们开启了预编译,并开启了缓存预编译的功能,那么开始性能测试。我向刚才的单表中插入了10000条数据,并做10000次同样sql模板,不同参数的select。记录结果如下:

当不开启预编译功能时,做5次测试,10000select总时间为(单位毫秒):

49172,49172,49000,49047,48922

开启预编译,但不开启预编译缓存时,测试数值如下:

50797,50860,50672,50750,50703

开启预编译,开启预编译缓存,测试数值如下:

49547,49250,49593,49093,49078.

从测试结果看来,若开启预编译,但不开启预编译缓存,查询效率会有明显下降;但开启预编译且开启预编译缓存时,查询效率比不开启缓存有提高,但和不开启预编译基本持平。

结论出来了:对于Connector/J5.0.5以上的版本,若使用useServerPrepStmts=true开启预编译,则一定要同时使用cachePrepStmts=true?开启预编译缓存,否则性能会下降,若二者都开启,性能并没有显著的提高,这个可能是我测试程序的原因,有待进一步研究

五.总结:

???????经过这一系列的探究,能够得出一些结论:

首先批一下《Java中连结MySQL启用预编译的先决条件是useServerPstmts=true.》这篇文章吧,文章写得很不科学,作者并没有关注mysqlConnector/J的版本之间的差异,对于mysql,他说mysql一定支持预编译,事实上,经过我查询官方文档后,得知MySQL Server 4.1之前的版本是不支持预编译的;对于Connector/J,他也没有关注5.0.5这个版本节点。所以,虽然被浏览转载了很多次,但这篇文章的结论仍然是错误的,应该也误导了不少人;对于开启预编译和预编译缓存后对性能的影响,这篇文章也没有涉及,事实上经过我测试,若jdbc驱动是5.0.5及之后的版本,同时开启预编译和预编译缓存,sql的执行性能并没有显著提高,若jdbc驱动是5.0.5之前的版本,默认开启了预编译,则一定要加cachePrepStmts=true,否则mysql的执行效率会比较低。总之,预编译和预编译缓存一定要同时开启或同时关闭,不同Connector/J的版本,useServerPrepStmts的默认值会有所不同。

再谈谈SQL预编译这个东西,其实“预编译”这个叫法不是很准确,官方文档里把它叫做“预准备”。经过我测试,对于mysql,开启了预编译缓存后,不同connection之间,预编译的结果是独立的,是无法共享的,一个connection无法得到另外一个connection的预编译缓存结果,对于这一点,我想mysql的开发人员应该会在以后逐步改进吧。再一点,关于预编译缓存的内容,我查了相关的资料后得知,mysql执行一个预编译操作后,会将sql模板(即带占位符“?”的sql),以及参数列表(模板中用各个占位符表示)缓存,下一次有同样的sql模板发来的时候,直接将参数传给这个模板,拼好后execute。虽然mysql的预编译功能对性能影响不大,但在jdbc中使用PreparedStatement是必要的,可以有效地防止sql注入,这一点大家都明白。

发表评论
用户名: 匿名