dremio 分布式存储配置bucket信息

有时我们可能使用的分布式存储没权限访问listbucket，解决方法实际官方有一些示例，只是分散在s3 datasource 配置中，在分布式存储也会存在类似的问题

解决方法

core-site.xml 配置dremio bucket 白名单,如果是多个可以, 分开

<property>
    <name>dremio.s3.whitelisted.buckets</name>
    <value>your-S3-compatible-bucket-name</value>
</property>

同时官方还提供了一个禁用自动发现处理的

<property>
    <name>dremio.bucket.discovery.enabled</name>
    <description>Disable bucket auto-discovery, only use whitelisted buckets</description>
    <value>false</value>
</property>

内部机制

实际上dremio 分布式存储内部使用的还是hdfs，只是利用的是aws 兼容那套机制，dremio 自己开发了一个s3filesystem

• 参考配置

S3StoragePlugin.java

public class S3StoragePlugin
    extends DirectorySupportLackingFileSystemPlugin<AbstractS3PluginConfig> {

  private static final Logger logger = LoggerFactory.getLogger(S3StoragePlugin.class);

  public static final String EXTERNAL_BUCKETS = "dremio.s3.external.buckets";
  public static final String WHITELISTED_BUCKETS = "dremio.s3.whitelisted.buckets";

  // AWS Credential providers
  public static final String ACCESS_KEY_PROVIDER = SimpleAWSCredentialsProvider.NAME;
  public s

参考资料

https://docs.dremio.com/current/data-sources/object/s3

https://github.com/dremio/dremio-oss/blob/master/plugins/s3/src/main/java/com/dremio/plugins/s3/store/S3StoragePlugin.java

https://docs.dremio.com/current/deploy-dremio/other-options/standalone/dremio-config/dremio-conf/dist-store-config