Jira Service Management 5.4.x 長期サポート リリースのパフォーマンス レポート
This page compares the performance of Jira Service Management 4.20 with Jira Service Management 5.4 Long Term Support release.
長期サポート リリースについて
We recommend upgrading Jira Service Management regularly, but if your organization's process means you only upgrade about once a year, upgrading to a Long Term Support release is a good option. It provides continued access to critical security, stability, data integrity and performance issues until this version reaches end of life.
パフォーマンス
As with all Long Term Support releases, we aim to provide the same, if not better, performance. Jira Service Management 5.4 testing demonstrates significant performance improvements in viewing workload reports and Assets import speed and scaling. We also saw notable improvements in viewing the customers page, viewing service issues, and creating a customer request.
Some performance regressions were seen in viewing requests, viewing queues and Assets object creation. These can be attributed to functional improvements made in the product since Jira Service Management 4.20 LTS.
In this section, we’ll compare Jira Service Management 4.20 to Jira Service Management 5.4, for both Server and Data Center. We ran the same extensive test scenario for both versions, divided into four categories:
軽量な操作
中程度の操作
重い操作 (実行に時間がかかる)
Insight の操作 (アセット管理機能に関連)
The performance was measured under a user load we estimate to be peak traffic, on an instance with 5000 users. For more details on actions and how we tested them, see Testing methodology .
軽量な操作
The graph shows differences in response times of individual actions. You can view the data used to build the graph below.
中程度の操作
The graph shows differences in response times of individual actions. You can view the data used to build the graph below.
重い操作
The graph shows differences in response times of individual actions. You can view the data used to build the graph below.
Assets actions
The graph shows differences in response times of individual actions. You can view the data used to build the graph below.
Assets import speed and scaling
In addition to the performance of user operations in the product, we also made improvements to the way Assets uses memory, performs imports, and handles bulk operations.
Import object creation is now 55-70% faster.
Large datasets now require 20-35% less memory.
Assets reindexing is now 10x faster.
Querying and importing complex object type hierarchies is now up to 25x faster*.
Bulk deleting objects via the Assets user interface is now 4.8x faster.
Offloading imports to the disk rather than the memory means that Assets now supports much larger imports than previously.
* Demonstrated with National Vulnerability Database (NVD) import speed
概要
The performance is largely stable across the product and under high load, with a few improvements. The highlights:
Viewing workload reports (medium) is now 19.4x faster.
Viewing the customers page is now 1.1x faster.
Viewing service issues is now 1.2x faster.
Creating a customer request is now 1.1x faster.
Import object creation is now 55-70% faster.
Large datasets now require 20-35% less memory.
Some performance regressions were seen in viewing requests, viewing queues and Assets object creation. These can be attributed to new request list functionality (4.21 and 5.3), changes made to improve SLA calculation accuracy (5.0), and various accessibility and user interface improvements in Assets (5.0, 5.1, 5.2, 5.3).
We will continue to improve future performance so that service teams can move with ease through their workspace, and our largest customers can scale confidently.
テスト手法
以下のセクションでは、当社のパフォーマンス テストで使用するテスト環境 (ハードウェア仕様を含む) とテスト方法を詳しく説明します。
テスト方法
Before we started testing, we needed to determine what size and shape of dataset represents a typical large Jira Service Management instance. To achieve that, we used our Analytics data to form a picture of our customers' environments and what difficulties they face when scaling Jira Service Management in a large organization.
We’ve also included a dataset for Assets, since it’s part of Jira Service Management Data Center.
次の表では、各データ ディメンションを 99 パーセンタイルの値で切り捨てています。これらの値を使用して、ランダムなテスト データを含むサンプル データセットを生成しました。
基準となるデータ セット
データ | 値 |
---|---|
管理 | 1 |
コメント | 609570 |
コンポーネント | 7195 |
カスタム フィールド | 42 |
グループ | 3 |
課題タイプ | 13 |
課題 | 302109 |
エージェント | 1000 |
優先度 | 5 |
プロジェクト | 1001 |
解決状況 | 8 |
Screen schemas | 2395 |
画面 | 14934 |
ステータス | 23 |
ユーザー | 101003 |
バージョン | 3 |
ワークフロー | 3717 |
Assets data set
データ | 値 |
---|---|
オブジェクト スキーマ | 6 |
オブジェクト タイプ | 341 |
オブジェクト | 315837 |
属性 | 2488972 |
実行した操作
最も一般的なユーザー操作の例を表す混合操作を選択しました。このコンテキストにおける操作とは、ブラウザ ウィンドウで課題を開くなどの、完全なユーザー操作です。次の表は、ペルソナのテスト用にスクリプトに含めた操作の詳細と、1 回のテスト中に各操作が何回繰り返されるかを示しています。
軽量、中程度、および重い操作
操作 | 説明 | 1 回のテストで操作を実行した回数 |
---|---|---|
カスタマー ポータルでリクエストにコメントを追加 | ポータルでランダムなカスタマー リクエストを開き、エージェントとしてランダムなコメントを追加します。 | ~240 |
カスタマーリクエストを作成 | カスタマー ポータルを開き、課題の要約と説明を入力し、リクエストを送信します。 | ~140 |
チームの招待 | 左側のメニューの [チームの招待] を選択し、1,000 エージェントのインスタンスでエージェントを検索して [招待] ボタンをクリックし、成功の確認を待ちます。 | ~150 |
リクエストからカスタマーを削除 | Open a random customer request in the portal, and remove a random customer from the "Shared with" column. | ~140 |
リクエストから組織を削除 | ポータルでランダムなカスタマー リクエストを開き、[共有先] 列でランダムな組織を削除します。 | ~140 |
リクエストを共有する組織を検索 | ポータルでランダムなカスタマー リクエストを開き、リクエストを共有するランダムな組織を検索します。 | ~140 |
リクエストを共有するカスタマーを検索 | ポータルでランダムなカスタマー リクエストを開き、リクエストを共有するランダムなカスタマーを検索します。 | ~140 |
カスタマー ポータルで組織とリクエストを共有 | ポータルでランダムなカスタマー リクエストを開き、リクエストをランダムな組織と共有します。 | ~140 |
カスタマー ポータルでカスタマーとリクエストを共有 | ポータルでランダムなカスタマー リクエストを開き、リクエストをランダムなカスタマーと共有します。 | ~140 |
ワークロード レポート (小) の表示 | オープンな課題がないプロジェクトのワークロード レポートを表示します。 | ~210 |
ワークロード レポート (中) の表示 | Display the workload report for a project with 1,000 assigned issues and 700 agents. | ~220 |
キューの表示: すべてのオープンな課題 | 10,000 件を超えるオープンな課題を持つプロジェクトでデフォルトのサービス キューを表示します。 | ~720 |
キューの表示: 小 | 10,000 件を超えるオープンな課題を持つプロジェクトで、ほとんどの課題をフィルタリングするカスタムのサービス キューを表示します。 | ~820 |
キューの表示: SLA があるキュー | 10,000 件を超えるオープンな課題を持ち、各課題に 6 件の SLA 値があるプロジェクトで、カスタム サービス キューを表示します。 | ~700 |
カスタマー ページの表示 | 100,000 人のカスタマーを持つプロジェクトで [顧客] ページを表示します。 | ~340 |
組織ページの表示 | Display the Customers page, in a project that has 50 organizations and 300 customers. | ~340 |
ポータル ページの表示 | 一意のヘルプ センター リンクを選択することで、すべてのカスタマー ポータルを含むヘルプ センターを表示します。 | ~810 |
レポートの表示: 作成済 vs 解決済 | タイムラインに 10,000 件を超える課題がある、作成済 vs 解決済レポートを表示します。 | ~210 |
レポートの表示: 解決までの時間 | タイムラインに 10,000 件を超える課題がある、解決までの時間レポートを表示します。 | ~220 |
リクエストの表示 | カスタマー ポータルで [マイ リクエスト] 画面を表示します。 | ~840 |
リクエストの表示: フィルターを使用 | カスタマー ポータルで、要約の 1 つの単語でフィルタリングした状態の [マイ リクエスト] 画面を表示します。 | ~840 |
サービス課題の表示 | Display a service issue with 6 SLA values in the Agent view. | ~830 |
カスタマー ポータルでカスタマー リクエストを表示 | カスタマー ポータルでランダムな課題を表示します。 | ~520 |
ウェルカム ガイドの表示 | 左側のメニューから [ウェルカム ガイド] を表示します。 | ~210 |
Assets actions
操作 | 説明 | 1 回のテストで操作を実行した回数 |
---|---|---|
オブジェクトを作成 | Create an Assets object in an existing object schema. | ~170 |
オブジェクト スキーマ ページの読み込み | 既存のオブジェクト スキーマを開きます。 | ~530 |
View a queue with an Assets object type column | Display a custom queue that has an Assets Object Column in the results. It should return around 1000 issues. | ~420 |
IQL を使用したオブジェクトの検索 | 既存のオブジェクト スキーマで IQL を使用してオブジェクトを検索します。 | ~200 |
View a request with an Assets custom field in the customer portal | Open a customer request that includes an Assets custom field. | ~450 |
View an issue with an Assets custom field in the agent view | Open an issues that includes an Assets custom field. | ~210 |
ユーザー操作のテスト環境
The performance tests were all run on a set of AWS EC2 instances. For each test, the entire environment was reset and rebuilt, and then each test started with some idle cycles to warm up instance caches. Below, you can check the details of the environments used for Jira Service Management Server and Data Center, as well as the specifications of the EC2 instances.
To run the tests, we used 21 scripted browsers and measured the time taken to perform the actions. Each browser was scripted to perform a random action from a predefined list of actions and immediately move on to the next action (ie. zero think time). Note that this resulted in each browser performing substantially more tasks than would be possible by a real user, and you should not equate the number of browsers to represent the number of real-world concurrent users.
各テストは 40 分間実行され、その後、統計情報が収集されます。
ここでは、テスト環境の詳細について説明します。
Jira Service Management Server | Jira Service Management Data Center |
---|---|
環境の構成内容:
| 環境の構成内容:
|
Jira Service Management for Server | |||
---|---|---|---|
ハードウェア | ソフトウェア | ||
EC2 タイプ: | Server 用に 1 ノード | OS | Ubuntu 16.04LTS |
CPU: | Intel Xeon E5-2666 v3 (Haswell) | Java プラットフォーム | Java 1.8.0 |
CPU コア: | 36 | Java オプション | 16 GB ヒープ |
メモリ | 60 GB | ||
ディスク: | AWS EBS 100 GB gp2 |
Jira Service Management for DC | |||
---|---|---|---|
ハードウェア | ソフトウェア | ||
EC2 タイプ: | Server 用に 1 ノード | OS | Ubuntu 16.04LTS |
CPU: | Intel Xeon Platinum 8000 シリーズ (Skylake-SP) | Java プラットフォーム | Java 1.8.0 |
CPU コア: | 16 | Java オプション | 16 GB ヒープ |
メモリ | 32 GB | ||
ディスク: | AWS EBS 100 GB gp2 |
データベース | |||
---|---|---|---|
ハードウェア | ソフトウェア | ||
EC2 タイプ: | m4.2xlarge (see EC2 types ) | データベース: | MySQL 5.5 |
CPU: | Intel Xeon E5-2666 v3 (Haswell) | オペレーティング システム: | Ubuntu 16.04LTS |
CPU コア: | 8 | ||
メモリ | 32 GB | ||
ディスク: | Jira Service Management Server: Jira Service Management Data Center: |
ロード ジェネレーター | |||
---|---|---|---|
ハードウェア | ソフトウェア | ||
EC2 タイプ: | c4.8xlarge (see EC2 types ) | オペレーティング システム: | Ubuntu 16.04LTS |
CPU: | Intel Xeon E5-2666 v3 (Haswell) | ブラウザ: | ヘッドレス Chrome |
CPU コア: | 36 | 自動化スクリプト: |
|
メモリ | 60 GB | ||
ディスク: | AWS EBS 30 GB gp2 |