📌  相关文章
📜  Apache Tajo-OpenStack Swift集成

📅  最后修改于: 2020-12-02 06:09:49             🧑  作者: Mango

Swift是一个分布式且一致的对象/ blob存储。 Swift提供了云存储软件，因此您可以使用一个简单的API来存储和检索大量数据。 Tajo支持Swift集成。

以下是Swift集成的先决条件-

  • 迅速
  • Hadoop的

核心-site.xml

将以下更改添加到hadoop的“ core-site.xml”文件中-

 
   fs.swift.impl 
   org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem 
   File system implementation for Swift 
  

 
   fs.swift.blocksize 
   131072 
   Split size in KB

这将用于Hadoop访问Swift对象。完成所有更改后，移至Tajo目录以设置Swift环境变量。

conf / tajo-env.h

打开Tajo配置文件并添加设置环境变量，如下所示-

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

现在，Tajo将能够使用Swift来查询数据。

建立表格

让我们创建一个外部表来访问Tajo中的Swift对象，如下所示：

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

创建表后，可以运行SQL查询。