高カーディナリティの制約

概要

高カーディナリティデータには、固有値の数が非常に多い列が1つ以上含まれています。たとえば、ユーザー名、電子メールアドレス、銀行口座番号などが、高カーディナリティデータの項目である可能性があります。

SAS Visual Analyticsは、数十億件の値をサポートし、値の件数が数千になるように集計にします。テーブルに含まれる数十億件の値に数百万の重複しない識別子がある場合、その識別子を含む列は高カーディナリティデータアイテムです。

ユーザーがタイムリーに有意義な結果を得られるようにするには、特定のビジュアルやレポートオブジェクトから返せる固有値の数を制限します。ユーザーが高カーディナリティデータアイテムを選択すると、その結果は、適用可能なしきい値、データ内の固有値数、およびユーザーの選択によって決定されます。

次のトピックでは、クライアント側のしきい値と中間層のしきい値という2つの異なるしきい値レベルについて説明します。

高カーディナリティデータのクライアント側のしきい値

クライアント側のしきい値は、個別アプリケーション(エクスプローラなど)またはアプリケーショングループ(デザイナやビューアなど)に固有の値です。クライアント側のしきい値を超える要求の場合、エラーが表示され、結果は返されません。クライアント側のしきい値は超えても中間層のしきい値は超えない要求の場合、適合された結果が返されます。

注: 通常、クライアント側のしきい値は固定されています。これには1つの例外があり、エクスプローラのユーザープリファレンスとして、ユーザーは低、中または高しきい値レベルを選択できます。メモリ容量が少ないコンピュータでは、クライアント側のしきい値を低に設定すると、システムクラッシュなどの発生防止に役立ちます。

ビジュアルおよびレポートオブジェクトのクライアント側のしきい値については、SAS Visual Analytics: ユーザーガイドの付録Data Limitsを参照してください。付録では、クライアント側のしきい値を超える(ただし中間層しきい値は超えない)特定の要求に対してクライアントが提供する適合された応答について説明しています。

高カーディナリティデータの中間層のしきい値

中間層のしきい値のスコープは広範囲にわたり、指定したビジュアルまたはレポートオブジェクトのインスタンスすべてに影響します。クライアント側のしきい値と比較すると、中間層のしきい値の粒度は細かくなく、制限的なものではありません。中間層のしきい値を超える要求の場合、エラーメッセージが表示され、結果は返されません。デフォルトのしきい値は、ほぼすべての環境で機能します。通常、ユーザーは高カーディナリティデータアイテムに対してフィルタを適用するかまたはグループ化するので、要求が中間層のしきい値を超えることはまれです。

次の表の2列目は、(データの最大容量ではなく)固有値の最大数を示しています。

中間層のしきい値
ビジュアルまたはレポートオブジェクト	行数
ディシジョンツリー1	10,000
クロス表	50,000
テーブル (デザイナおよびビューア内)	50,000
箱ひげ図: 1つ以上のメジャー、カテゴリなし2	50,000
棒グラフ: 1つのカテゴリ	50,000
ヒートマップ: 1つのカテゴリ	50,000
折れ線グラフ: 1つ以上のメジャー、1つのカテゴリ(数値、日付、時間または文字列)	50,000
バブルプロット: グループ化された3つのメジャー	50,000
バブルプロット: アニメーションカテゴリでグループ化された3つのメジャー	50,000
バブルプロット: グループ化されていない3つのメジャー、横または縦の系列(あるいは両方)	50,000
バブルプロット: 3つのメジャー、カテゴリなし	100,000
散布図	100,000
テーブル(エクスプローラ内)	100,000
1ディシジョンツリーの呼び出しには、タイムアウト期間もあります。 vae.DecisionTreeTimeoutを参照してください。
2カテゴリがない場合、最大で400メジャーまで、各メジャーに1つずつ箱が適用されます。

高カーディナリティデータのしきい値の構成プロパティ

注意:

中間層のしきい値が大きくなると、パフォーマンスや安定性に影響する可能性があります。

デフォルト設定は、ほとんどの環境に適しています。過度に大きなしきい値は設定しないようにします。次のプロパティの調整について不明な点がある場合は、SASテクニカルサポートにお問い合わせください。

注: 手順については、構成プロパティの設定方法を参照してください。

次のプロパティは、中間層のしきい値に影響します。

va.DistinctCountServerLimit

グラフに対して重複しない値のカウント制限を設定します。デフォルトでは、グラフに対する重複しない値のカウント制限はありません。デフォルト値は-1です。

スコープ: スイート全体

va.DistinctCountDataPanelLimit

データパネルに表示されるデータに対して重複しない値のカウント制限を設定します。このプロパティは、グラフ内の重複しない値のカウント制限ではなく、データパネルにのみ影響します。デフォルト値は5,000です。

スコープ: スイート全体

va.CardinalityLimitForGroupByTempTable

指定した制限(固有値の数)を超えるすべての高カーディナリティランク付け要求に対して、処理を防ぎエラーを戻します。高カーディナリティランク付けSAS LASR Analytic Serverの停止を生じた特殊な状況でのみ、このプロパティを設定してください。たとえば、200万以上の固有値を含むデータに対するランク付け要求を防ぐには、このプロパティを2000000に設定します。このプロパティを設定する場合、推奨値は3000000です。

スコープ: スイート全体

va.CardinalityLimitForGroupByCountDistinctTempTable

指定した制限(固有値の数)を超える重複しない高カーディナリティランク付け要求のみに対して、処理を防ぎエラーを戻します。重複しない高カーディナリティランク付けSAS LASR Analytic Serverの停止を生じた特殊な状況でのみ、このプロパティを設定してください。(このプロパティは重複しない要求のみに影響し、va.CardinalityLimitForGroupByTempTableプロパティよりも厳密な制約を提供します。)このプロパティを設定する場合、推奨値は1000000です。

スコープ: スイート全体

va.SortResultServerLimit

並べ替えが行われる詳細クエリに対して返せる値の最大数を設定します。このプロパティは、詳細がオンになっているリスト表の結果にのみ影響します。

スコープ: エクスプローラを除くスイート全体

va.CategoryCardinalityServerLimit

カテゴリ交差値の最大数を設定します。固定(および有限)数のカテゴリ交差のみサポートされます。たとえば、"First name"と"Last name"を米国の母集団にドラッグアンドドロップすると、サーバーで2億の異なる値が生成されることになります。このプロパティでは、カーディナリティがどの高さまで可能で、かつサーバーで処理が行えるかが決定され、クライアントに結果が返されます。カテゴリ交差の値数が制限を越える場合、クエリは実行されません。

スコープ: エクスプローラを除くスイート全体

va.SummaryServerRowLimit

後続処理のために中間層に返せる値の最大数を設定します。たとえば、名によって並べ替えられた高カーディナリティデータの場合、処理される値の数が非常に大きくなる場合があります。

スコープ: エクスプローラ(vae.SummaryServerLimitを使用)を除くスイート全体

va.MidtierCellLimit

クロス表の最大サイズを設定します。

スコープ: エクスプローラを除くスイート全体

va.maxPeriodCalculations

期間計算用に作成される計算列の最大数を指定します。特定の期間メジャーでこの限界を超えた場合、超過計算は除外され、(その特定の期間メジャー用の)既存の計算は欠損値で置き換えられます。ユーザーは、計算の数を減らすためにフィルタを適用するよう求められます。デフォルト値は800です。

注: この限界を適用する前に、ソフトウェアの最適化により計算数を減らしておくと、この限界を超えることはほとんどなくなります。このプロパティの効果の例として、累積期間での重複しない値のカウント計算が挙げられます(表示可能な一意の日付値の数は、指定された限界を超えることはできません)。

スコープ: デザイナ、ビューア、トランスポートサービス

va.MaxSparkTables

スパークテーブルの最大数を設定します。デフォルト値は300です。

スコープ: エクスプローラを除くスイート全体

va.CheckCardinalityBeforeQuery

カーディナリティの事前チェックを行うかを制御します。デフォルトは-1です(この制約を無効化)。デフォルトでは、事前チェックは行われません。

スコープ: エクスプローラを除くスイート全体

va.CheckCardinalityWithinQuery

SAS LASR Analytic Serverでカーディナリティ制限を強制適用するかを制御します。デフォルトでは、これらのチェックは行われません。

スコープ: エクスプローラを除くスイート全体

vae.BoxPlotServerLimit

少なくとも1つのメジャーと1つのカテゴリがある箱ひげ図に対して中間層のしきい値を設定します。

スコープ: エクスプローラのみ

vae.DecisionTreeServerLimit

ディシジョンツリーに対する中間層のしきい値を設定します。

スコープ: エクスプローラのみ

vae.FetchRowsServerLimit

テーブルに対する中間層のしきい値を設定します。

スコープ: エクスプローラのみ

vae.FrequencyServerLimit

カテゴリが1つの棒グラフに対する中間層のしきい値を設定します。この制約は、値の選択リストが表示される前に適用されます。

スコープ: エクスプローラのみ

vae.modeling.ClassCardinalityLimit

1つのモデル内における個別階層の最大数を指定します。このプロパティは、モデルに含まれる分類効果およびインタラクションタームの累積総数を制限します。たとえば、このプロパティを800に設定すると、ユーザーは800個を超える個別階層を含む効果変数を指定できなくなるほか、追加した結果として個別階層の総数が800を超えるような効果変数を追加できなくなります。初期値は2048です。