SAS Text Miner

SAS Text Miner 14.2

SAS Text Miner 14.2는 SAS 9.4M4 이후 버전에서 실행됩니다. SAS Text Miner 14.2는 노드를 실행하고 결과를 볼 때 성능 향상을 제공합니다. 또한 고성능 HPTMINE 프로시저를 통해 다른 언어(스웨덴어) 텍스트 데이터를 파싱할 수 있습니다.

SAS Text Miner 14.2의 새로운 기능 및 향상된 기능에 대한 자세한 내용은 SAS Text Miner의 소프트웨어 제품 페이지를 참조하십시오.

SAS Text Miner 14.1

SAS Text Miner 14.1은 SAS 9.4M3 이후 버전에서 실행됩니다.

다음은 SAS Text Miner 14.1에서 새롭게 추가 및 향상된 기능입니다.

새로운 HPBOOLRULE 프로시저는 텍스트 규칙 빌더(Text Rule Builder) 노드에서 매크로를 대체합니다.
향상된 HPTMINE 프로시저는 품사, 속성 및 엔터티를 선택하거나 무시할 뿐만 아니라 검색 인덱스를 구성할 수도 있습니다.
HP 텍스트 마이너(HP Text Miner) 노드는 PROC HPTMINE를 사용하여 항목 회전을 수행하고 항목 테이블을 생성합니다.
열 한개의 파싱 언어가 HP 텍스트 마이너(HP Text Miner) 노드의 언어 속성에 추가되었습니다. 파싱 언어의 전체 리스트는 중국어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어 및 터키어를 포함합니다.
새로운 매크로 변수 EM_TERM_LOC에서 사용자가 SAS Text Miner 노드에 대한 위치를 지정하여 출력 데이터셋을 쓸 수 있습니다. 이러한 데이터셋은 SAS Text Miner 스코어링 코드에 입력으로 필요합니다.
텍스트 토픽(Text Topic) 및 텍스트 필터(Text Filter) 노드에서 내보낸 트랜잭션 출력에 용어 | 역할 정보를 가지는 _item_ 변수가 추가되었습니다. 이 변수는 데이터 분할(Data Partition) 노드가 프로세스 플로우 다이어그램 - 예를 들면, 입력 데이터(Input Data) 노드(예: NEWS) > 데이터 분할(Data Partition) 노드 > 텍스트 파싱(Text Parsing) 노드 > 텍스트 필터(Text Filter) 노드 - 에서 사용될 때 트랜잭션 테이블 valid_trans 및 test_trans에 추가됩니다.

트랜잭션 테이블에서 용어 | 역할 정보를 내보내면 연관성분석(Association) 노드가 프로세스 플로우 다이어그램 - 예를 들면, 입력 데이터(Input data) 노드(예: ABSTRACT)> 텍스트 파싱(Text Parsing) 노드 > 텍스트 필터(Text Filter) 노드 > 연관성분석(Association) 노드 - 에서 사용될 때 노드가 생성하는 규칙에 이 정보를 표시합니다.

다음은 SAS Text Miner의 High-Performance 프로시저에서 새롭게 추가 및 향상된 기능입니다.

새로운 HPBOOLRULE 프로시저는 대규모 트랜잭션 데이터에서 부울 규칙을 추출할 수 있습니다. PROC HPBOOLRULE은 High-Performance Text Mining에 지도 규칙-기반 모델링을 위한 필수 기능을 추가합니다. 현재 릴리스에서는 단일 컴퓨터 모드에서만 HPBOOLRULE 프로시저를 사용하여 데이터를 읽고 규칙을 추출할 수 있습니다. HPBOOLRULE 프로시저는 HPTMINE 프로시저에 의해 처리되어 트랜잭션 출력형식으로 표현된 텍스트 코퍼스 분석을 통해 부울 규칙 집합을 자동으로 생성할 수 있습니다.
HPTMINE 프로시저는 다음과 같은 새로운 언어, 구문 및 옵션을 지원합니다.
- 중국어, 네덜란드어, 핀란드어, 프랑스어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어 및 터키어와 같이 새로 지원하는 언어로 텍스트 데이터를 파싱할 수 있습니다.
- HPTMINE 프로시저를 사용하여 텍스트 코퍼스에 대한 검색 인덱스를 생성할 수 있습니다. TMUTIL 프로시저의 인덱스를 사용하여 텍스트 코퍼스를 질의합니다.
- 새로운 SELECT 문을 사용하여 분석에서 포함하거나 포함하지 않을 품사, 엔터티 또는 속성을 지정할 수 있습니다.
- SVD 전용 모드에서 HPTMINE 프로시저를 실행할 때 용어 테이블을 지정할 수 있습니다. 토픽 검색에 따라 용어 테이블이 달라집니다.

SAS Text Miner 13.2

SAS Text Miner 13.2는 SAS 9.4M2에서 실행됩니다.

다음은 SAS Text Miner의 High-Performance 프로시저에서 새롭게 추가 및 향상된 기능입니다.

HPTMINE 프로시저는 다음과 같은 새로운 기능을 지원합니다.
- 독일어 언어에서 텍스트 데이터를 파싱할 수 있고 문서의 입력 데이터셋에서 사용되는 언어를 지정할 수 있습니다.
- 32,000자 이상을 포함하는 문서를 파싱할 수 있습니다.
- SVD 전용 모드에서 실행할 수 있습니다. 이 모드에서는 문서를 파싱할 수 있고, 문서 파싱 후에 SVD 계산에 대해 다른 파라미터로 시도하려고 할 때 두 개의 프로시저 호출에서 SVD(Singular Value Decomposition)를 각기 계산할 수 있습니다.
- 기존 텍스트 코퍼스에서 토픽을 발견할 수 있습니다.
- 문서별 용어 행렬을 BESR(Base64-Encoded Sparse Rows) 출력형식으로 저장할 수 있습니다.
- 기본 좌표 리스트(COO 또는 트랜잭션) 출력형식 또는 BESR(Base64-Encoded Sparse Rows) 출력형식을 사용하여 문서별 용어 행렬을 저장할 수 있습니다.
- 사용자 정의 엔터티 및 명사 그룹 추출에 대하여 사용자 정의 LITI 파일을 지정할 수 있습니다.
- _keep=N인 용어를 OUTTERMS= 데이터셋 및 OUTCHILD= 데이터셋에 포함할지 여부를 지정할 수 있습니다.
HPTMSCORE 프로시저는 다음과 같은 새로운 기능을 지원합니다.
- 독일어 언어로 텍스트 데이터를 파싱할 수 있습니다.
- 32,000자 이상을 포함하는 문서를 파싱할 수 있습니다.
- 사용자 정의 엔터티 및 명사 그룹 추출에 대한 사용자 정의 LITI 파일이 지원됩니다.

SAS Text Miner 13.1

SAS Text Miner 13.1은 SAS 9.4M1 이후 버전에서 실행되는 주요 릴리스입니다. 이번 릴리스는 새로운 텍스트 프로파일(Text Profile) 노드를 포함하고 노드의 성능 및 결과를 향상시켰으며, 고성능 HPTMINE 프로시저를 강화했습니다.

새로운 텍스트 프로파일(Text Profile) 노드는 문서 내에서 검색된 용어를 사용하여 타겟 변수를 프로파일할 수 있습니다.
텍스트 파싱(Text Parsing) 노드는 문서 컬렉션에서 유지할 언어를 지정할 수 있는 언어 선택이라는 새로운 속성을 포함합니다.
텍스트 토픽(Text Topic) 노드의 결과는 다음 항목을 포함합니다.
- 각 항목에 대한 용어 및 해당 가중치를 표시하는 용어 테이블입니다.
- 용어에 대한 토픽 값을 표시하는 토픽 용어 행렬 그래프입니다.
고성능 HPTMINE 프로시저는 SVD 문의 OUTDOCPRO= 옵션에서 문서 프로젝션이 정규화되는지를 제어하기 위해 NONORMDOC 키워드를 지원합니다.

SAS Text Miner 12.3

SAS Text Miner 12.3에서는 노드의 성능과 결과가 향상되었습니다. 다양한 대화 상자에서 테이블 정보를 가져올 때 가져오기 버튼이 테이블 바꾸기 및 테이블 추가 버튼으로 바뀌었습니다. 현재 선택한 테이블을 바꾸거나 현재 선택한 테이블에 추가할 수 있습니다. 텍스트 규칙 빌더(Text Rule Builder) 노드에 대한 결과에는 새로운 문서 규칙 테이블과 규칙 성공 그래프가 포함됩니다.

프로세스 플로우 다이어그램에서 HP 텍스트 마이너(HP Text Miner) 노드를 배포하고, HPTMINE 및 HPTMSCORE 프로시저를 사용하려면 SAS 서버를 올바르게 사용 설정한 후 SAS 9.4에서 SMP 모드를 사용합니다. 프로세스 플로우 다이어그램에서 HP 텍스트 마이너(HP Text Miner) 노드를 사용하면 대부분 다중 스레드 처리의 이점을 얻을 수 있습니다. 자세한 내용은 SAS Enterprise Miner High-Performance Data Mining Node Reference의 HP Text Miner Node 장을 참조하십시오.