敏捷/自动化/智能化/测试应用解决方案平台介绍

调研目的

1. 如何实施敏捷测试，并构造合理的赋能平台进行持续测试
2. 如何更好地在DevOps/DevSecOps/DevTestOps中智能集成测试Pipeline，ROI达成
3. 如何进行策略分析，策略执行，策略回溯
4. 如何在数字化转型中适应
5. 如何更好的自动地进行自动化

941295ca465241bcae36f708160391a3636788290546634945.png

图片.png

对比平台

1. TestRail
2. SIXSENTIX
3. Smartbear
4. Parasoft
5. eggplant
6. conformiq
7. mabl
8. ACCELQ
9. Testsigma

9. 调研中...

一、TestRail

网址链接：https://www.gurock.com/testrail
Features 官方介绍

Organize test cases,manage test runs,track test results,and measure prgress with our popular web-based agile testing tool. TestRail helps you meet your quality goals and complete your tests on time

1. Track Your Entire Testing Effort
2. Sprints，Iterations&Milesones
3. Integrate Test Automation & Issuse
4. Capture Agile Tesing Results

功能模块

1. Modern Test Management
2. Track Test Results
3. Reporting&Metrics
4. Seamless Integration
5. Team & Productivity
6. Customizable & Scalable
7. Enterprise Edition

关键字: Organize manage track results measure 一体化/一站式 可视化 度量化 个人定制化 Web平台化

不足：
有落地产品方案，但有些操作略显繁琐

二、SIXSENTIX

网址链接：https://www.sixsentix.com/agile
官方介绍

1. QA Visual Analytics & Dashboards Make Testing More Visible
2. What to Test? Structuring Business Requirements
   ->高效可重复的方式(自动化，半自动化，手工)
   -> 基于ROI
3. Quickly Adapt
   整体，分治
   minimize overall risk
   quickly adapt to changes
   sprint
   testing early 测试前置 结构化测试用例
   catching high risk or critica errors 风险梳理，发现致命错误
4. Supporting the Agile Process

1. Iterative & Incremental -> 基于风险的测试，增量结果可视化可追溯
2. Efficient with Face2Face Communications -> 扭转，结果
3. Short Feedback Loop & Adaptation -> 站会，看版
4. Software Quality Focus -> 基于风险，测试驱动，自动化...

关键字
accelerate quality
为多种业务提供解决方案(big 、data 、cloud 、functional、erp/sap...)
各个阶段提供敏捷方案、自动化方案
提倡数据分析，可视化、前置

不足：
大多数是概念性的讲解，未体验真实落地的案例

三、smartbear

网址链接：https://smartbear.com
官方介绍

Think Bigger. Build Smarter.
Plan, build, test, and release great software, faster.
Solutions for shifting-left, moving to DevOps, or any digital transformation that gets thrown your way

1. Product模块：
   manage
   create
   Test

   
   
   manage.png
   
   

   1.1 manage：
   to create a seamless delivery pipeline, testing has to keep pace with a quickening development lifecycle.

2. solution模块：

   
   
   solution.png

质量生态圈完善，涉及了方方面面，理论知识充足具有参考价值，落地方案具有参照性
Collaborate

四、sealights

网址链接：https://www.sealights.io/
官方介绍

Smarter testing means delivering high-quality software faster. Period.
Use Machine Learning to Accelerate Releases, and Increase Software Quality Without Missing Anything

product模块

seaproduct.jpg

分析引擎

1. Test Impact Analysis 增量代码分析，精准化，度量分析(优先级维度)，机器学习持续优化
2. Test Gap Analysis 覆盖率分析 动态代码分析 风险可视化
   a、Stop wasting time building unnecessary tests and accelerate your sprints.
   b、You need visibility into high-risk areas, exposing untested code, poor design and coding practices, and even unused legacy code.
   c、the SeaLights plugin allows your developers to view the individual methods and lines of code that need attention, including who changed it and when, right in the source code.
3. Release Quality Analysis 未经测试覆盖的代码，禁止发布
   a、Define and enforce your own quality standard.

solutions模块

seasolutions.jpg

1. Agile Testing Optimization
   Stop wasting time building unnecessary tests and accelerate your sprints
   a、Test Impact Analysis 精确测试点
   b、Quality Risks Analysis 可视分析，实时分析未被覆盖的测试点以及此点的使用频率
   c、Test Gap Analysis
   Monitor -> collect -> Track(changes、usage) -> Correlating -> Visualizing
2. Agile Metrics
3. Technical Debt -> 可用性 可扩展性 效率性 性能 稳定性 实现方式粗暴
   。。。。

Case studies

seacasestudies.jpg

education

seaeducation.jpg

Agile Testing: 8 Principles，7 Challenges and how to master them
Continuous testing/feedback
Involving the whole team
Quick feedback
high-level software quality - clean and tight
Less documentation
Test-driven
Customer satisfaction
Testing Quadrants

agilequadrants.jpg

7 testing Challenges
a、Changing Requirements - 数据分析哪些已被测试，哪些未被测试
b、Not enough Information - create high level test scenarios 、以及质量数据获取
c、Continuous Testing - 大家一起完善user stories
d、Technical Skills
e、Frequent Regression Cycles - automation、parallel
f、Lack of Communication
g、No quality Measurement -度量的重要性
Establishing a Mesaurement if Quality to Guide Agile Testing
Code Quality
可扩展
可维护
可读性/代码风格良好
Clarity -> 代码阅读性好，可以很容易读懂代码在做啥
Well-documented
Well-tested
Efficiency
度量标准、监控：
......

关键字:
理论知识扎实，具有一定的参考性，提出了敏捷测试的重点以及关注点，提供了理论性的解决方案，所以介绍篇幅略长
data-information、 analysis、 measurable(metrics)、 feedback 、standard、 debt、覆盖率、一站式、一体化

不足：
未具体使用，未体验其利用机器学习进行分析和评估的能力、解决方案也只是文字性的描述 ，未给出具体数据，暂无法评估产品的分析能力是否精确可靠具有解决能力

四、parosoft

网址链接：https://www.parasoft.com/

parasoft.jpg

官方介绍

products
周期内各阶段产物
各阶段测试类型以及可视化管理构造

parasoft-product.jpg

Parasoft Jtest:
Java Static Analysis
Java Unit Testing 利用AI赋能，加快有效case的输出，减少时间成本，JUnit, Mockito, and PowerMock，出质量数据快
Java Test Impact Analysis 精准性分析、准确的增量进行分析、并非全量运行，有针对性，减少时间成本ROI
Java Coverage & Traceability manual tests, automated functional tests, and unit tests
Java Security Testing
Reporting & Analytics

solution

图片.png

AI

图片.png

Agile Testing
Continuous Testing

关键字：在敏捷测试，持续测试给出了相应的解决方案，并利用AI以及机器学习，聚焦关注点，减少全量测试的时间成本，在自动化的一些痛点上，也给出了一些解决方案，聚焦ROI

与其他平台上的解决方案多数重合，说明在某些问题的解决上，慢慢趋于了一致，不过更加强调了AI与机器学习的赋能

五、eggplant

网址链接：https://www.eggplantsoftware.com/
官方介绍

Product

图片.png

• Digital Automation Intelligence
  提高生产率和可预测性，控制成本并有效地扩展测试范围
  并结合人工智能（AI）和机器学习以进行持续改进
  you need to test every type of technology, including within systems, as well as the full UX and journey across all devices, platforms, and operating systems
• Customer Experience Insights
  monitoring everything
  可分析 <-> 监控 <-> 自动化分析
  user journey

Solutions

图片.png

Automation

图片.png

scriptless models, AI, and analytics -> 快速/有效自动化，test everything
Artificial Intelligence
AI-driven testing
1、AI改变工作方式，生活习惯
2、Testing from the user perspective <-> test the entire customer experience
3、creates a model of the system and user journeys and automatically generates test cases
Continuous Testing
1、Keep pace with DevOps and Continuous Delivery expectations
2、user journey
Digital Transformation
1、the traditional pass/fail mentality is replaced by a laser focus on the customer experience.
2、compliance criteria
3、By feeding this information back to DevOps
Monitoring
Performance Optimization
How can companies accelerate their release times while ensuring that the technology delivers a high-quality experience?

关键字
强调了AI赋能，并指出在哪些方面进行智能化地探索，如利用AI进行自动化的实施，加快DevTestOps的输出速度
强调了用户体验以及user journey的e2e
强调了监控的重要性以及形成闭环
强调数字化转变中的运用

下一步
进一步了解eggplant是如何利用AI进行自动化与用户体验赋能的具体实施和AI使用细节；
如何接入产品
如何决策产品策略

六、Conformiq

网址链接：https://www.eggplantsoftware.com/
官方介绍

八、ACCELQ

网址链接：https://www.accelq.com/
官方介绍

Codeless Test Automation and Agile Test Management Platform

product

调研中...