背景:接到老大的指示,要为hive生成2000W条测试数据,这可愁死偶了,苦思之后,想到我写文章
hive 快速插入测试数据,可以在此基础上扩展。思路是用shell 脚本生成包含大量数据的data文件,然后导入hive中。
生成 测试数据的shell脚本
data_create.sh
rm -rf ./data.txt
touch data.txt
for((i=0;i<20000000;i++))
do
str=',name';
name=${i}${str}${i}
#echo $name
echo $name>> data.txt
done
echo 'show testdata'
cat data.txt
运行脚本
sh data_create.sh
进入hive
[root@master hive_data]# hive
删除表
drop table test;
创建表
create table test(id int,name string) row format delimited fields terminated by ',';
导入数据
LOAD DATA LOCAL INPATH '/root/changun/hive_data/data.txt' OVERWRITE INTO TABLE test;
分享到:
相关推荐
Hive表生成工具,Hive表生成工具Hive表生成工具
2.hive源表:创建hive源表,每个shell脚本对应一个hive源表 #!/bin/bash source /etc/profile CUR_DATE=`date +%Y%m%d` echo "-- CUR_DATE:"$CUR_DATE /opt/cloudera/parcels/CDH/bin/hive (进入hive) USE ...
Java私塾:Hive Shell 基本操作——深入浅出学Hive
主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
可以从hive元数据生成建表语句的资源。包括表结构、分区等信息
为hive-0.11半自动安装脚本 使用前请先阅读本脚本注释部分 已有hadoop环境可使用本脚本 因为初识shell脚本 望大虾勿喷 如有不吝赐教者 不胜感激
hive造数据
hive 操作相关的测试数据集hive
HIVE实战测试数据HIVE实战测试数据HIVE实战测试数据HIVE实战测试数据
这个是hive测试数据.
github.rar Hadoop Snapshot
今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析...
今天小编就为大家分享一篇shell中循环调用hive sql 脚本的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
hive安装依赖以及启动脚本 文件包含如下: 01_mysql-community-common-5.7.29-1.el7.x86_64.rpm 02_mysql-community-libs-5.7.29-1.el7.x86_64.rpm 03_mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm 04_...
大数据Hive测试数据uaction.rar,包含了用户操作记录,为文件大小为300余M,包含800W条数据。
hive元数据生成工具-基于CDH4.7.0版本
hive测试题(包含万级测试数据文件)
Hive实战之视频网站 测试数据 https://chbxw.blog.csdn.net/article/details/107738550
一键启动HDFS集群、YARN集群、Hive服务脚本