Mac & iOS的中文分词

简介

封装了CFStringTokenizer的NSString Category,可以方便的应用于Mac或者iOS APP, 其不但支持西方语言,更支持中文和日文这样没有空格分词的语言。

使用方法

导入NSString + Tokenize.hNSString + Tokenize.m后, 即可使用这两个接口

1
2
- (NSArray *)arrayWithWordTokenize;
- (NSString *)separatedStringWithSeparator:(NSString *)separator;

示例

1
2
3
4
5
6
#import "NSString+Tokenize.h"
- (IBAction)tapTokenizeButton:(id)sender {
    NSString *inputString = self.inputTextView.string;
    NSLog(@"TokensArray = %@", inputString.arrayWithWordTokenize);
    [self.outputTextView setString:[inputString separatedStringWithSeparator:@"/"]];
}
iOS

Comments