PostgreSQL 中文网

日志

关于我

francs

文章分类

LOFTER精选

八招诀窍，教你实力撩妹 >

网易考拉推荐

PostgreSQL9.6：Parallel sequential scans 初体验

2016-05-17 21:15:17| 分类： Postgres基础 | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

Oracle 支持强大的并行功能，创建索引，表分析，数据加载时可以开启并行，这项功能让很多数据库产品垂涎，作为开源数据库 PostgreSQL 在并行方面也在努力尝试，很早之前 PostgreSQL 几乎不支持任何并行的作业，到了 9.5 版本 PostgreSQL 支持并行的 vacuum，到了 9.6 后， PostgreSQL 支持并行的顺序扫描，这是令人振奋的消息，因为这极大的提升了 PostgreSQL 统计分析SQL的性能，由于硬件环境限制，今天简单体验下，以下实验在笔记本虚拟机上进行。

一关于 max_parallel_degree (integer) 参数

这个参数配置决定了每个 parallel query 并行操作允许的最大后台进程数，这个值的设置受后台进程数参数 max_worker_processes 限制。

二 PostgreSQL9.6 Beta1 测试

--设置 max_parallel_degree


[pg96@db1 ~]$ grep "max_parallel_degree" $PGDATA/postgresql.conf
max_parallel_degree = 4                 # max number of worker processes per node

--创建测试表


[pg96@db1 ~]$ psql francs francs
psql (9.6beta1)
Type "help" for help.

francs=> create table test_big1(id serial, name character varying(64),create_time timestamp(0) without time zone);
CREATE TABLE

francs=> insert into test_big1(id,name)select n, n||'_test' from generate_series(1,5000000)n;
INSERT 0 5000000

--执行计划


francs=> explain analyze select count(*) from test_big1;
-------------------------------------------------------------------------------------------------------------------------------------------------
 Finalize Aggregate  (cost=45560.42..45560.43 rows=1 width=8) (actual time=4236.468..4236.469 rows=1 loops=1)
   ->  Gather  (cost=45560.00..45560.41 rows=4 width=8) (actual time=4232.517..4232.556 rows=5 loops=1)
         Workers Planned: 4
         Workers Launched: 4
         ->  Partial Aggregate  (cost=44560.00..44560.01 rows=1 width=8) (actual time=4182.972..4182.973 rows=1 loops=5)
               ->  Parallel Seq Scan on test_big1  (cost=0.00..41435.00 rows=1250000 width=0) (actual time=0.034..2450.966 rows=1000000 loops=5)
 Planning time: 112.309 ms
 Execution time: 4236.920 ms
(8 rows)

备注：执行多次，执行时间大概都在4秒多点，从执行计划中看到走了并行顺序扫描“Parallel Seq Scan on test_big1”，再细看“Workers Launched: 4”，表示开启了四个并行进程。

--查看并行顺序扫描进程

PostgreSQL9.6：Parallel sequential scans 初体验 - francs - PostgreSQL DBA

备注：图中可看到出现了四个 parallel worker 进程。

三 PostgreSQL9.5 测试

测试之前先把 PostgreSQL 9.6 的数据库关了，在确保相等情况下进行测试。

--创建测试表


[pg95@db1 ~]$ psql fdb fdb
psql (9.5alpha1)
Type "help" for help.

fdb=> create table test_big1(id serial, name character varying(64),create_time timestamp(0) without time zone);
CREATE TABLE

fdb=> insert into test_big1(id,name)select n, n||'_test' from generate_series(1,5000000)n;
INSERT 0 5000000

fdb=> explain analyze select count(*) from test_big1;
                                                         QUERY PLAN                                                         
----------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=91435.00..91435.01 rows=1 width=0) (actual time=8389.093..8389.094 rows=1 loops=1)
   ->  Seq Scan on test_big1  (cost=0.00..78935.00 rows=5000000 width=0) (actual time=9.958..4781.116 rows=5000000 loops=1)
 Planning time: 2.436 ms
 Execution time: 8391.758 ms
(4 rows)

备注：多次执行，时间在 8 秒左右。

四总结

由于硬件关系原因，本测试只在笔记本虚拟机上测试，在这个全表扫描测试场景下， PostgreSQL 9.6 是 PostgreSQL9.5 性能的两倍，今天仅是初步体验并行扫描，可以预测如果在X86服务器上测试，这个性能倍数会高一些，后续测试并行扫描的其它场景；个人认为 PostgreSQL 对并行顺序扫描的支持，在统计分析性能方面的提升前进了一大步。

五参考

评论这张

转发至微博

阅读(29444)| 评论(0)

推荐转载

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_087068082084088065082094094069072082081070083080081065083',
              blogTitle:'PostgreSQL9.6：Parallel sequential scans 初体验',
              blogAbstract:'<div\><span style=\"line-height: 28px;\"   \><br\></span\></div\><div\><span style=\"line-height: 28px;\"   \>Oracle 支持强大的并行功能，创建索引，表分析，数据加载时可以开启并行，这项功能让很多数据库产品垂涎， 作为开源数据库 PostgreSQL 在并行方面也在努力尝试，很早之前 PostgreSQL 几乎不支持任何并行的作业，到了 9.5 版本 PostgreSQL 支持并行的 vacuum，到了 9.6 后， PostgreSQL 支持并行的顺序扫描，这是令人振奋的消息，因为这极大的提升了 PostgreSQL 统计分析SQL的性能，由于硬件环境限制，今天简单体验下，以下实验在笔记本虚拟机上进行。</span\></div\><div\>  </div\><div\><b\></b\></div\>',
              blogTag:'',
              blogUrl:'blog/static/4057672720164179104594',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:1468298288246,
              publishTime:1463490917225,
              permalink:'blog/static/4057672720164179104594',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:true,
              hostIntro:'',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/4057672720164179104594">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 博客风格 - 手机博客 - 下载LOFTER APP - 订阅此博客

PostgreSQL 中文网

导航

日志

PostgreSQL9.6：Parallel sequential scans 初体验

历史上的今天

最近读者

热度

评论

页脚