ライブラリ領域の割り当て

SPD Engineデータセットのメタデータコンポーネントファイルには、データセットについての説明的な情報、ならびにその構成データコンポーネントファイルおよびインデックスコンポーネントファイルへのパス名が格納されます。この概念を理解しておくことは非常に重要です。これはデータセット(および関連するメタデータコンポーネントファイル)をライブラリに追加可能かどうかに直接影響するからです。

ライブラリのすべてのデータセットに対するメタデータコンポーネントファイルは、プライマリパスでの指定と同じ場所に存在する必要があります。実質的に、プライマリパスのファイルは、ライブラリ全体に対してディレクトリのように動作します。SPD Engineデータセットにアクセスがあると、SPD Engineはまずデータセットのメタデータコンポーネントファイルを開いて、その属性を決定し、その他のコンポーネントファイルすべてにアクセスできるかどうかを決定します。ライブラリに対して新しいデータセットが作成されるときに、プライマリパス内の領域がいっぱいになっている場合、SPD Engineはそのパスでのメタデータコンポーネントファイルの作成を開始できず、適切なエラーメッセージが出て作成操作が失敗します。この場合、新しいデータセットを正常に作成するには、プライマリパスの領域を解放するか、または新しいライブラリを割り当てて、その新しいライブラリに一部またはすべてのデータセットをコピーする必要があります。データコンポーネントファイルとインデックスコンポーネントファイルには、その制限はありません。データコンポーネントファイルとインデックスコンポーネントファイルには後から追加領域を指定できます。

特定のアクションが原因となって、メタデータコンポーネントファイルが拡張され、ファイルサイズや領域の制限を超過することがあります。その場合、SPD Engineでは、オーバーフローに合わせて、メタデータコンポーネントファイルのパーティションがもう1つ作成されます。新しいメタデータパーティションは、プライマリパスか、METAPATH= LIBNAMEステートメントオプションで指定されたパスに存在します。METAPATH=オプションでは、新しいデータセットの最初のメタデータパーティションの領域を作成することはできません。METAPATH=オプションでは、最初の領域を超えたメタデータコンポーネントファイルにのみ領域が指定されます。

インデックスコンポーネントファイルはオーバーフロー領域に基づいて格納されます。インデックスコンポーネントファイルが大きくなってファイルサイズや領域制限を超えると、SPD Engineでは、オーバーフローに合わせて、インデックスコンポーネントファイルのパーティションがもう1つ作成されます。INDEXPATH=オプションで複数のファイルパスが指定された場合、最初の使用可能領域でインデックスコンポーネントファイルが作成されて、前のパスがいっぱいになると次のパスにオーバーフローします。メタデータコンポーネントファイルとは違って、インデックスコンポーネントファイルはプライマリパスに置く必要はありません。

パーティションサイズを指定できるファイルはデータコンポーネントファイルのみです。分割データはスレッドで容易に処理できるので、コンピュータの複数CPUが最大限に活用されます。データコンポーネントファイルのパーティションサイズは固定されています。これはデータセットの作成時に設定されます。デフォルトは128MBですが、PARTSIZE=オプションを使用して異なるパーティションサイズを指定できます。パフォーマンスは適切なパーティションサイズによって決まります。このためデータのサイズと用途を理解しておく必要があります。バランスの取れたオブザベーション数をもたらすパーティションサイズでSPD Engineデータセットを作成できます。(詳細については、PARTSIZE=データセットオプション およびPARTSIZE= LIBNAMEステートメントオプションを参照してください)。 指定データセットの各データパスで多くのデータパーティションを作成できます。SPD Engineでは、DATAPATH=オプションで指定したファイルパスを使用して、パーティションが周期的に分散されます。SPD Engineでは、指定パスの1つに最初のデータパーティション、次のパスに2番目のパーティションというように、順番に作成されます。SPD Engineでは、データセットのすべてのデータパーティションが格納されるまで、必要な回数だけ、ファイルパスで処理が循環します。最初のパーティションに対するファイルパスは、ランダムに選択されます。LIBNAMEステートメントで次のように指定したとします。

datapath=('/data1' '/data2')

SPD Engineでは、/DATA1に最初のパーティション、/DATA2に2番目のパーティション、/DATA1に3番目のパーティション、というように格納されていきます。データパーティションの周期的分散によってディスクストライピングが行われます。これにより非常に効率がよくなる可能性があります。ディスクストライピングの詳細については、Scalability and Performanceの“SPD Engine Disk I/O Setup” (http://support.sas.com/rnd/scalability/spde/setup.html)を参照してください。

次の例では、LIBNAMEステートメントで、プライマリパスとしてMYLIBディレクトリが指定されます。このパスはメタデータパーティションの格納に使用されます。データパーティションおよびインデックスパーティションの格納用に他のデバイスおよびディレクトリが指定されます。

libname myref spde 'Mylib'
   datapath=('/mydisk30' '/mydisk31')
   indexpath=('/mydisk36');

MyLibライブラリで作成されたデータセットがすべて、複数のデータパーティションを含めるのに十分な大きさがあると仮定すると、そのすべてのメタデータはMyLibに格納されます。データは/mydisk30および/mydisk31、インデックスは/mydisk36に置かれます。具体的には、それらのデータセットのメタデータコンポーネントファイルにそれらのパス名が含まれます。

後からさらに領域が必要になった場合(データをさらに追加する場合など)、次の例のように、追加デバイスをデータパーティションとインデックスパーティションに追加できます。

libname myref spde 'Mylib'
   datapath=('/mydisk30' '/mydisk31' '/mydisk32') 
   indexpath=('/mydisk36' '/mydisk37');

MyLibライブラリで作成されたすべてのデータセットでは、メタデータはMyLibに、データは3つのうち1つ以上のパスに、インデックスはいずれも/mydisk36または/mydisk37に格納されます。データが既存データセットに追加された場合、新しいデータは3つのうち1つ以上のパスに入れられ、それに応じてメタデータコンポーネントファイルが更新されます。

1つ以上のデータパーティションまたはインデックスパーティションに空き領域があまりない場合は、次回の指定時にLIBNAMEステートメントで除外できます。

libname myref spde 'Mylib'
   datapath=('/mydisk31' '/mydisk32' '/mydisk33') 
   indexpath=('/mydisk37' '/mydisk38');

データセットのメタデータには使用パスがすべて含まれるため、SPD Engineでは、除外されたパスを使用するデータセットでもアクセスできます。

ライブラリ内のデータセットのみ読み取る必要がある場合、必要なパス情報はすべてメタデータコンポーネントファイルにすでに存在するので、追加のDATAPATH=およびINDEXPATH=オプションなしでLIBNAMEステートメントを指定できます。

libname myref spde 'Mylib';