hive-site.xml configuration.
<property>
<name>hive.aux.jars.path</name>
<value>/path/elasticsearch-hadoop.jar</value>
<description>A comma separated list (with no spaces) of the jar files</description>
</property>
操作
常用配置:es.resource 指定索引名及类型 es.resource = twitter/tweet # index 'twitter', type 'tweet'
es.resource.read 默认es.resource 指定读取索引名及类型es-hive默认
es.resource.write 默认es.resource 指定写入索引名及类型es-hive默认 es.nodes elasticsearch集群节点 如:mynode:9600
es.port http端口默认9200
es.query 从指定的es.resource读取数据的查询,默认为空,如:
es.query = { "query" : { "term" : { "user" : "costinl" } } }
es.input.json false 输入是否为json格式数据es.write.operation index(默认)添加新数据,旧数据被替换,重新索引
create添加新数据,数据存在抛出异常,
update 更新现有数据,不存在抛出异常,
upsert 插入及更新
es.output.json false 输出数据是否为json格式
es.mapping.id 文档id 映射id
es.mapping.names 文档字段 映射hive:es字段 a:a,b:b
es.read.metadata false 是否获取元数据信息
es.read.metadata.field default _metadata
es.read.metadata.version false 元数据文档版本
es.index.auto.create yes 是否自动创建索引
es.net.http.auth.user 用户名
es.net.http.auth.pass 密码