Elasticsearch集成hive参数设置

2020-06-29 15:44
249
1

 hive-site.xml configuration. 

<property>

<name>hive.aux.jars.path</name>

<value>/path/elasticsearch-hadoop.jar</value>

<description>A comma separated list (with no spaces) of the jar files</description>

</property>

操作
常用配置:

 es.resource                             指定索引名及类型  es.resource = twitter/tweet   # index 'twitter', type 'tweet'

 es.resource.read      默认es.resource 指定读取索引名及类型es-hive默认  

 es.resource.write      默认es.resource 指定写入索引名及类型es-hive默认     es.nodes         elasticsearch集群节点 如:mynode:9600

 es.port            http端口默认9200

 es.query           从指定的es.resource读取数据的查询,默认为空,如:

                           es.query = { "query" : { "term" : { "user" : "costinl" } } }
 es.input.json      false   输入是否为json格式数据

 es.write.operation    index(默认)添加新数据,旧数据被替换,重新索引

                 create添加新数据,数据存在抛出异常,

                 update 更新现有数据,不存在抛出异常,

                 upsert 插入及更新

 es.output.json      false  输出数据是否为json格式

 es.mapping.id        文档id   映射id

 es.mapping.names     文档字段 映射hive:es字段 a:a,b:b

 es.read.metadata     false   是否获取元数据信息

 es.read.metadata.field  default _metadata

   es.read.metadata.version      false   元数据文档版本

 es.index.auto.create   yes  是否自动创建索引

 es.net.http.auth.user  用户名

 es.net.http.auth.pass   密码
 

全部评论

gxq926
2020-06-29 21:47
感谢分享