SASシステムは、次に示す4つのタイプのトークンを認識します。
リテラル
一重または二重引用符で囲まれた1つ以上の文字です。リテラルの例としては次のものがあります。
リテラルの例
|
'CARY'
|
"2008"
|
|
'Dr.Kemple-Long'
|
'<entry align="center">'
|
名前
文字または下線で始まる1つ以上の文字です。先頭以外には、文字、下線、数字を使用できます。
名前の例
|
data
|
_test
|
linesleft
|
|
f25
|
univariate
|
otherwise
|
|
year_2008
|
descending
|
|
数値
数値です。数値トークンには次のものが含まれます。
-
整数。整数とは、小数部や指数部を含まない数のことです。整数の例としては、1、72、5000などが挙げられます。SAS日付、時刻、日付および時刻などの定数(例:'24AUG2008'D)も整数であり、同様に16進定数(例:0C4X)も整数です。
-
実数(浮動小数点数)。浮動小数点数とは、小数点や指数部を含んでいる数のことです。浮動小数点数の例としては、2.35、5.、2.3E1、5.4E− 1などが挙げられます。
特殊文字
文字、数、下線以外の任意の文字です。次の文字は特殊文字です。
= + − % & ; ( ) #
トークンの最大長は、どのタイプであれ、32767文字になります。トークンは、トークナイザが次のいずれかを検出した時点で終了します。
-
-
-
リテラルトークンの場合、トークンを開始する同じタイプの引用符。これには例外があります。同じタイプの引用符が後に続いている引用符は、単一の引用符として解釈され、リテラルトークンの一部となります。たとえば、'Mary''s'という文字列の場合、4番目の引用符が検出された時点で、このリテラルトークンは終了します。2番目および3番目の引用符は、単一の引用符として解釈され、リテラルトークンの一部となります。