欢迎访问“沈阳新闻网”,我们将全面报道沈阳地区的各类新闻资讯,将一个发展的沈阳、和谐的沈阳、时尚的沈阳、健康的沈阳、振兴的沈阳展现给大众。她必将成为您了解沈阳、传播沈阳、推动沈阳的新闻主阵地。

主页 > 新闻 > 阿里云账号开户,阿里云国际代理商

阿里云账号开户,阿里云国际代理商

来源:网络转载更新时间:2023-09-02 12:00:22阅读:

阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd

通过ES-Hadoop将HDFS中的数据写入Elasticsearch

操作流程
准备工作
创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、开启Elasticsearch实例的自动创建索引功能、准备测试数据和Java环境。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,并上传至EMR Master节点的HDFS目录下。
步骤二:配置pom依赖
创建Java Maven工程,并配置pom依赖。
步骤三:编写并运行MapReduce任务
编写MapReduce写数据到Elasticsearch的Java代码,并打成Jar包上传至EMR集群,最后运行代码完成写数据任务。
步骤四:验证结果
在Elasticsearch的Kibana控制台上,查看通过MapReduce写入的数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-6.7.0.jar上传至该目录下。
步骤二:配置pom依赖
创建Java Maven工程,并将如下的pom依赖添加到Java工程的pom.xml文件中
步骤三:编写并运行MapReduce任务
编写示例代码。
以下代码会读取HDFS上/tmp/hadoop-es目录下的JSON文件,并将这些JSON文件中的每一行作为一个文档写入Elasticsearch。写入过程由EsOutputFormat在Map阶段完成。
步骤四:验证结果
登录对应阿里云Elasticsearch实例的Kibana控制台。
具体操作步骤请参见登录Kibana控制台。
在左侧导航栏,单击Dev Tools。

在Console页签下,执行以下命令,查看通过MapReduce任务写入的数据。


标题:阿里云账号开户,阿里云国际代理商

地址:http://www.sz-jinlong.cn/syxw/38299.html

免责声明:沈阳新闻网今日新闻头条网是辽宁最具知名度和影响力的门户网站,本站部分内容来自于网络,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,沈阳新闻网将予以删除。

心灵鸡汤:

沈阳新闻网介绍

沈阳新闻网秉承“立足沈阳,服务东北,面向中国,放眼世界”的地域观;秉行“全新视野、优秀品质、地域特色、第一时间”的新闻观,致力打造“新”、“质”、“扣”、“快”的自身特色。是全球网民获取沈阳新闻的最有效途径,我们24小时播报沈阳旅游、沈阳房产、沈阳社会、沈阳汽车、沈阳健康、沈阳教育培训等沈阳新闻资讯,还可以通过旅游、房产等栏目查看沈阳旅游景点介绍,沈阳房产、房价等各类信息。