网站建设
联系我们

Benchmark Factory

发布于:2014-02-12 16:47来源:未知 作者:admin 点击:

简介

     Benchmark Factory 是一种高扩展性的强化测试、容量规划和性能优化工具,可以模拟数千个用户访问应用系统中的数据库、文件、Internet及消息服务器,从而更加方便地确定系统容量,找出系统瓶颈,隔离出用户的分布式计算环境中与系统强度有关的问题。无论是服务器,还是服务器集群,Benchmark Factory 都是一种成熟、可靠、高扩展性和易于使用的测试工具。很多产品测试特别是 Web 服务程序都会使用的测试软件,主要用于测试Web页面性能及稳定性。Benchmark Factory 通过记录和回放多用户测试中的事务处理过程,使IT 专业人员能够更加方便地完成这一任务。Benchmark Factory 可实现横向 (Benchmark Factory的主用户界面,Visual Control Center,可支持数百个工作站运行其代理软件) 和纵向 (每个代理可以模拟数百或数千个用户)扩展。Benchmark Factory 可以测试服务器集群的性能。硬件厂商以使用Benchmark Factory 及时实现故障恢复。类似地,软件厂商使用Benchmark Factory,可以优化其服务器软件,而最终用户可以利用Benchmark Factory确定其服务器集群的硬件需求。



BENCHMAREK FACTORY的定义:
•压力测试
–为应用服务器产生压力
•容量规划
–全面测试整个的系统
•性能测量工具
–在性能测试中与Quest公司的诊断解决方案紧紧地配合在一起
•模拟真实环境,产生虚拟用户
BENCHMAREK FACTORY软件的作用
•减少服务器预料之外的宕机时间
•测试服务器的容量和性能
•帮助确认问题区域和系统瓶颈
•提前规划降低成本
BF的特点
•高可扩展性和易于使用
–用最少的硬件模拟最多的用户
–支持几百个客户端
–每个客户端可以模拟上百个用户
•使用标准的测试基准用于比较分析
–比较多次运行的结果
–为特殊的应用客户化测试基准
–与其他的系统分析软件兼容
BF支持的测试标准
–File Server :    FileBench
–Messaging :    MailBench
–Internet:       WebStone, IBM Trade2, Nile
 
–DataBase:      AS3AP,TPC-B,TPC-C,TPC-D,WINSCONSIN

工作原理




    Benchmark Factory控制台通过对模拟的若干个Agent场景控制,对目标数据库进行事物操作,记录操作过程目标数据库数据,Benchmark Factory控制台再记录的数据进行加工,生成运行结果报告,方便地确定系统容量,找出系统瓶颈,隔离出用户的分布式计算环境中与系统强度有关的问题

下面详细介绍一下数据库服务器性能的测试方法
 

  • 测试环境――整个测试环境包括三个部分:服务器端、客户端、控制端
服务器端环境
操作系统 WIN 2000 AS/SP3
数据库版本 ORACLE 8I
控制端
操作系统 WIN 2000
BF软件的版本 BF 2.6/控制端
数据库 数据库客户端软件
客户端
操作系统 WIN 2000
BF软件的版本 BF 2.6/客户端
数据库 数据库客户端软件
  • 测试过程
1、准备阶段:
11、配置服务器端、控制端、客户端
服务器端:1、安装 win 2000 advance server 操作系统,设置网络标识为test(可以自定义)
         2、安装数据库ORACLE 8I,设置数据库服务名为ORACLE)可以自定义)
控制端:1、安装win 2000操作系统,网路标识设置为controller.
        2、安装BF测试软件(需要注意),在选择安装类型时,选择“standard install”(如图1,选择第一项)

                                  图1:选择安装类型
客户端:1、安装win 2000操作系统,
              2、安装BF测试软件,在选择安装类型时,选择“Agent intall”(如图1中的第三项),安装完成以后,进入Agent 控制界面(图2)

              图2
设置:选择“option”,进入Agent设置(图3),把visual control center 设置为控制端机器的网络标识“controller”,virtual 设置为1,如果你的压力测试环境的客户端的个数为20,polling interval 设置为大于或等于20的一个数值。

                       图3
12、添加数据源:
    客户端:1、运行oracle 8i 客户端执行程序,建立一个客户端与服务器端数据库链接的服务接口,也就是配置本地网络服务名――langchao,并测试链接服务器端数据库。
            2、进入控制面板→管理工具→数据源ODBC→系统DSN→添加(如下图所演示。

           图4――选择添加
 

                      图5:选择ODBC for oracle→点击完成

      图6
按提示填写:数据源名称里填写一个期望的名称,如“oracle”, 描述里是对这个数据源的描述,可以不填写。用户名称填写一个连接的数据库中可用的用户名,如system。服务器填写个本地网络服务名,例如上面配置的langchao。       点击确定,完毕。
2、开始进行服务器性能测试:
  1. 运行服务器端数据库服务。
  2. 客户端运行BENCHMAREK FACTORY 客户端Agent软件,启动oracle 客户端服务。
  3. 控制端运行BENCHMAREK FACTORY控制端程序(图7),操作流程如下:

图7:进入BF运行开始界面→选择NEW
        
图8:选择Create project from bench→AS3AP→OK

              图9:点击下一步

        图10:vendor选择ODBC→点击下一步

            图11:
其中数据源要前面配置的 data source 保持一致―――oracle,user name 填写administrator(可以自己自定义设置) →点击下一步

                           图12:
填写Profile Name,可以任意填写,如:oracle_test. →点击下一步,将出现下图所显示的选择项――让你选择合适的测试数据库的大小(当前数据库的大小为3.81Mb。

                点击下一步

图13:
如果当前测试要立即运行,选择immediately,如果还有其他任务要提前进行,可选择on hold,执行以后,将会出现下图所显示:

图14:
  上图正在初始化新创建的Profile—oracle_test与客户端、服务器端之间的接口,初始化的时间根据你所选择的数据库的大小,以及实际客户端的个数有关。
 
4、设置性能测试的参数
等到初始化完成以后,开始设置BF运行的参数,包括时间,以及客户端个数和步长的大小。

图15
如图所示,选择多用户测试项→properties

                  图16:
选择user load---该项的作用是设置运行最大的客户端的个数,以及在性能测试时步长(设置每次增加多少个用户来访问数据库服务器)的大小。图16所示――最大用户为1000,步长为100(这些数值可以根据自己的需要来设定大小)

           图17:
选择Timing项,默认 Step Length为10分30秒,它将自动分配数据库访问的Execution time、ramp up time、ramp down time、quiet time.如果你要测试服务器的性能时,可以把Step Length设置小一点,如果要测试服务器的长时间稳定性,可以把Step Length设置大一点。
                      

                          图17:
设置完参数以后,开始运行测试,如图17所示,选择run now,

           图18:
该提示框要求你输入这次测试标识(区分多次测试结果,为了方便以后对各种测试结果进行比较),可以随便输入容易识别的字符,如test1,然后确定,
             
                 图19:正在测试中
当在测试过程中,你可以时时监控所得到的数据结果,显示数据结果的方式有:1、graph legend,2、show data,如下图所示。


5、测试结果分析
A:导出数据结果
当测试completed以后,右键点击测试项目(如图20),然后运行run history,将出现图21所显示的界面。

                图20:导出数据结果

                         
图21:选择要导出的数据结果
  选择时:1、可以单项选择33,然后点击excel report----测试的数据结果将是EXCEL表格的形式。
          2、可以对多次的数据结果进行比较,如:选中33、34(或者更多的测试结果)然后点击compare,将会出现图22

        图22:测试结果的比较以及每次测试结果的详细信息
6、测试结果实例
以下是NL360在做性能测试的结果比较图:

                     23
上面曲线图是在NL360上使用MP 、DP处理器,数据库性能的比较,图23中的曲线图形分别是使用2颗MP2.0、2XDP2.8、2XDP2.4、2XMP1.5、1XDP2.8、1XMP2.0、1XDP2.4、1XMP1.5得到的数据性能测试结果。
7、数据结果的分析:
  测试服务器的性能,主要分析服务器在什么时候,它的性能是最佳的,也就是当多少各用户访问该服务器时,服务器提供的数据传输量为最大。图23所显示,找到该曲线的最高拐点处(最大数据传输量),并且找出对应的用户数。当使用2颗MP2.0的处理器时,它的最佳性能是在用户数为8,数据传输量为1600.00TPS。
以上是测试数据库服务器的性能
   数据库             oracle 8i
   操作系统           windows advance server 2000
   测试软件            AS3AP(benchmark factory)
tag标签:
------分隔线----------------------------
------分隔线----------------------------