Python NLTK | nltk.tokenize.SEprTokenizer()

在nltk.tokenize.SExprTokenizer()方法的帮助下，我们可以使用tokenize.SExprTokenizer()方法从字符串或数字字符提取标记。它实际上是在寻找合适的括号来制作令牌。

Syntax : tokenize.SExprTokenizer()
Return : Return the tokens from a string of characters or numbers.

示例 #1：
在这个例子中，我们可以看到通过使用tokenize.SExprTokenizer()方法，我们能够通过考虑括号从字符或数字流中提取标记。

# import SExprTokenizer() method from nltk
from nltk.tokenize import SExprTokenizer
     
# Create a reference variable for Class SExprTokenizer
tk = SExprTokenizer()
     
# Create a string input
gfg = "( a * ( b + c ))ab( a-c )"
     
# Use tokenize method
geek = tk.tokenize(gfg)
     
print(geek)

输出 ：

[‘( a * ( b+c ))’, ‘ab’, ‘( a-c )’]

示例 #2：

# import SExprTokenizer() method from nltk
from nltk.tokenize import SExprTokenizer
     
# Create a reference variable for Class SExprTokenizer
tk = SExprTokenizer()
     
# Create a string input
gfg = "(a b) c d (e f)"
     
# Use tokenize method
geek = tk.tokenize(gfg)
     
print(geek)

输出 ：

[‘(a b)’, ‘c’, ‘d’, ‘(e f)’]