我们在测试中会遇到很多问题，其中一些问题，几乎是所有公司所有团队都会遇到的，例如测试覆盖率不够，测试的时间不够等等。面对这些问题，自动化测试自然而然地成为解决这些问题的首选方法。但是自动化测试真的就是银弹麽？不见得！以前曾经在ASP.NET QA 的博客中给他们留言，请教过关于自动化测试的事情，我记得其中有一个回复是说，在某个release中过度地使用自动化测试，一切东西都想实现自动化测试，而忽略了产品本身的功能、特性的关注，结果就是超高的自动化测试覆盖率，但是很差的产品质量。大家都去实现自动化测试了，谁来做功能点的覆盖呢？某些领域的专家（SME），他们可能对测试技术是一无所知的，要把这些领域专家和测试实施结合起来，DSL就是一个比较好的桥梁。

我在工作中遇到的问题是，我需要测试一个类似UV（独立用户访问数）统计的系统，统计UV的方法其实就是根据_uid cookie的值来判断这个用户在某段时间内访问过我们的系统多少次，访问了哪些站点，进行了什么样的行为。其中有2个地方比较麻烦，第一就是在测试过程中要不断地拷贝cookie，这样拷来拷去两三次以后很容易就混乱，出错；第二就是需要记录访问哪些站点，这些站点都只是ID，也是需要不断地修改请求，测试时间长了也是很容易出错。所以我就打算在原来的测试工具基础上，实现一个简单的Internal DSL。先看成品：

@tc
def uniq_inventory_case01():
    test= testTool()
    test.user('a').view('asset55100002').anetwork('55100').onsite('site55100503').snetwork('55100').dnetwork('55100').times(1).go()
    test.user('b').view('asset55100002').anetwork('55100').onsite('site55100503').snetwork('55100').dnetwork('55100').times(2).go()
    test.user('b').view('asset55100002').anetwork('55100').onsite('site55100504_noad').snetwork('55100').dnetwork('55100').times(4).go()

实例化一个testTool对象，然后就是指定哪个用户：user(‘a’)或者user(‘b’)，看的视频的ID：view(‘asset55100002′)，这个视频属于哪个CRO呢？anetwork(’55100′)；放在哪个网站呢？onsite(‘site55100503′)；网站是谁的呢？snetwork(’55100′)；谁是分发者呢？dnetwork(’55100′)；看了多少次呢？times(4)；最后一个有点儿丑陋的go()。

像这样子一句话里面N个方法连着用，就叫Method Chaining，Method Chaining通常可以让代码变得更加人性化，读起来更加容易。但是使用Method Chaining通常会遇到一个问题，就是很难判断就是到了哪个方法才是终结呢？是不是有些方法的调用是可选的，有些是必选的呢？其中一个解决方法就是我用到的，放一个.go()方法在最后，作为终结方法。要实现Method Chaining，其实只需要顶一个类，对于需要做连接的方法，最后都返回这个类的实例。例如：

def view(self, assetid):
    if assetid:     self.asset_id = assetid
    return self
 
def anetwork(self, networkid):
    if networkid:   self.a_network_id = networkid
    return self
 
def snetwork(self, networkid):
    if networkid:   self.s_network_id = networkid
    return self
 
def dnetwork(self, networkid):
    if networkid:   self.d_network_id = networkid
    return self
 
def onsite(self, sectionid):
    if sectionid:   self.site_section_id = sectionid
    return self
 
def times(self, times):
    if times>0:       self.request_times = times
    return self

最后一个终结方法go()，就做真正的处理

def go(self):
    if self.asset_id and self.site_section_id and self.times and self.a_network_id and self.s_network_id:
        self.prepareRequest()
        for i in range(self.request_times):
            self.sendRequest()
 
        self.cleanup()
    else:
        info = 'Required information missing, abort running.'
        logging.debug(info)
        print info

如果是实现一个External DSL 的话，的确难度不小；但是Internal DSL其实并不是很高深，也不是很难实现，在它的帮助下，可以把工作完成的更好，对自己以后维护测试用例也带来了不少方便。

No related posts.

举个例子，如果一个UI的自动化测试，需要等待某个页面load完成以后才进行操作，那么需要对那个页面是否已经Load完成进行判断，而不应该sleep(x)，x是一个magic number，有时候1、2秒就足以，有时候它却不知道有多大，因为已经超时了！那如果我们在check页面状态之前做一个短时间的sleep，那么在某些场合下可以增加这个自动化测试的稳定性，但是最终整个自动化测试的脚本是不会依赖于这个sleep的语句来达到稳定的。

在做自动化测试的时候，最常见的两种判断就是1. 某程序已经成功启动，某页面已经加载完毕。 2. 某程序已经正常关闭，某服务已经顺利停止。

回到实际的工作，我要判断被测的程序是否已经正常启动，可以用系统提供的一些工具，或者调用一些接口，例如SNMP命令，或者是调用一下Lua脚本等，如果他们都返回我们期望的数据，那么可以认为程序已经成功启动了。反之，如果前面的这些命令出错了，那么我也可以认为程序已经是关闭了的。

要实现自动化测试，就必须要让测试代码每时每刻都掌握着被测系统的状态，sleep方法会让自动化测试脚本的行为变得诡异。

No related posts.

对于每一段录制的操作，VSTS都可以把它抽象成一个方法，它会把这些操作以静态方法的形式存放在一个叫RecordedMethods的类里面。可以对这些方法做任意的修改，我就把给需要输入的方法增加一个输入的参数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

public class RecordedMethods
{
	public static void FirstClick(TestContext testContext, string first)
	{
		//第一个输入
	}
 
	public static void Operation(TestContext testContext, string operater)
	{
		//操作符
	}
 
	public static void SecordClick(TestContext testContext, string second)
	{
		//第二个输入
	}
 
	public static void GetResult(TestContext testContext)
	{
		//按那个等于号
	}
}

这些方法其实是怎么工作的呢？

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

public static void Click(TestContext testContext, string first)
{
	// Click '1' button
	WinWindow 计算器Window = new WinWindow();
	#region Search Criteria
	计算器Window.SearchProperties.Add("Name", "计算器", "ClassName", "SciCalc");
	#endregion
	WinWindow item1Window = new WinWindow(计算器Window);
	#region Search Criteria
	item1Window.SearchProperties.Add("ControlId", "125");
	#endregion
	WinButton item1Button = new WinButton(item1Window);
	#region Search Criteria
	item1Button.SearchProperties.Add("Name", first);
	#endregion
	Mouse.Click(item1Button, new Point(7, 12));
}

首先是创建一个WinWindow对象，这个WinWindow类最终是继承自UITestControl类，这个类在Microsoft.VisualStudio.TestTools.UITesting.dll，是VSTS2010新引入的。程序首先找到计算器这个窗口，然后在计数器窗口上面找到输入的控件，然后在输入的控件上找到具体点击的按钮。这里我只需要对最后的一个搜索的条件进行参数化就可以了。

下面就是要准备一些数据作为输入：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

< ?xml version="1.0" encoding="utf-8" ?>
<testdatas>
  <test>
    <first>1</first>
    <operator>+</operator>
    <last>1</last>
    <expected>2</expected>
  </test>
  <test>
    <first>0</first>
    <operator>-</operator>
    <last>0</last>
    <expected>0</expected>
  </test>
  <test>
    <first>3</first>
    <operator>*</operator>
    <last>3</last>
    <expected>9</expected>
  </test>
</testdatas>

通过向该CodedUI Test添加数据源，实现简单的数据驱动。

完成后的代码如下

1
2
3
4
5
6
7
8
9
10
11

public void AddOperationTest()
{
	// From the context menu, select "Edit CodedUITest" and choose any of options to add automation code.
	RecordedMethods.Click(this.TestContext, TestContext.DataRow["First"].ToString());
	RecordedMethods.Click(this.TestContext, TestContext.DataRow["Operator"].ToString());
	RecordedMethods.Click(this.TestContext, TestContext.DataRow["Last"].ToString());
	RecordedMethods.GetResult(this.TestContext);
 
	// Validate UIItemEdit.Text AreEqual 'xxx. '
	Assert.AreEqual(TestContext.DataRow["Expected"].ToString()+". ", UIMap.UI计算器Window.UIItemWindow.UIItemEdit.Text);
}

体会：VSTS自动生成的那个RecordedMethods类，里面的方法都是可以重用的，稍加修改，就能达到比较好的效果，同时也需要对这个类的方法进行清理。例如在本文中，RecordedMethods类中总共有4个方法，其中的三个方法FirstClick，Operation，SecordClick，它们其实都是一样的，就是点击计数器上的某个按钮，所以说这3个方法可以统一为一个方法Click。

微软一直以来所提供的傻瓜式的数据驱动的支持，很好地帮助我们实现数据驱动，有利于把测试脚本的编写与测试的设计分离。这一点如果有安装了TFS以后就能体验到，CodedUI Test可以与某个测试用例关联起来，公用数据。

如果大家对CodedUI Test很感兴趣，推荐大家看这个人（Mathew Aniyan）的博客，满城尽带CodedUI Test。

Related posts:

1. 单元测试中三种准备Test Fixture的方法比较
2. 在VSTS中创建Web Test的插件
3. 单元测试中的常用测试模式

写一个简单的方法，这个方法要做的就是浏览MySpace聚友网的主页，然后检查一下有没有“关于我们”这段文字（但是即使不存在也没事，这个例子只是意思意思）。

1
2
3
4
5

private void BrowseMySpaceSplash(IBrowser browser)
{
    browser.GoTo("www.myspace.cn");
    browser.ContainsText("关于我们");
}

枚举BrowserType里面所以的值（现在有IE和Firefox这两个），创建浏览器对象，然后作为参数传递给刚才的方法，这就是一个简单的一段自动化测试代码运行在IE和Firefox两种浏览器上的实现。

1
2
3
4
5
6
7
8
9

private void button1_Click(object sender, EventArgs e)
{
    foreach (BrowserType bt in Enum.GetValues(typeof(BrowserType)))
    {
        IBrowser browser = BrowserFactory.Create(bt);
        BrowseMySpaceSplash(browser);
        browser.Dispose();
    }
}

注意：要让Firefox能正常运行自动化测试，需要在WatiN目录下的Mozilla目录中安装相应的Firefox插件。

其实WatiN已经比较好用，而且比较轻，完全有可能代替诸如QTP这样庞大而昂贵的商业工具。当然，大家还可以选择Selenium

Related posts:

1. 在VSTS中创建Web Test的插件
2. 自己动手创建Web测试验证规则