编程命令大全

• 1.软件环境变量的配置
• • Java
  • Scala
  • Spark
  • Hadoop
  • Hive
• 2.大数据软件常用命令
• • Hive命令
  • Hadoop命令
  • Zookeeper命令
  • kafka命令
  • Hibench命令
  • 端口号命令
  • Linux建立/删除/切换用户命令
  • Vim命令
  • Chmod命令
  • Nohup命令
  • df,du查看命令
  • pip命令

1.软件环境变量的配置

Java

以JDK8为例

export JAVA_HOME=/home/BernardX/Toolkits/jdk8u191-b12
export PATH=${JAVA_HOME}/bin:${PATH}
export JRE_HOME=${JAVA_HOME}/jre

Scala

以scala2.11为例

export SCALA_HOME=/home/lemaker/Toolkits/scala-2.11.8
export PATH=${SCALA_HOME}/bin:${PATH}

Spark

以Spark2.4.5为例：

export SPARK_HOME=/home/lemaker/open-source/spark-2.4.5-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:${PATH}

Hadoop

以Hadoop2.7为例：

export HADOOP_HOME=/home/lemaker/HadoopEnv/hadoop-2.7.4
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}
export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

Hive

以Hive2.3.5为例：

export HIVE_HOME=/home/lemaker/HadoopEnv/apache-hive-2.3.5-bin
export PATH=${HIVE_HOME}/bin:${PATH}
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HCAT_HOME=${HIVE_HOME}/hcatalog

配置完成之后运行此命令（对当前用户的环境变量进行配置）：

source ~/.bashrc

不要运行（对该机器上所有用户环境变量进行配置）命令，会污染当前机器其余用户的环境变量，/etc/profile的优先级会高于~/.bashrc文件，会进行环境变量的一个覆盖：

source /etc/profile

2.大数据软件常用命令

Hive命令

Hadoop命令

启动hdfs

start-dfs.sh

启动yarn

start-yarn.sh

hdfs上传文件

hdfs dfs -put 本地目录 hdfs目录 

hdfs创建文件/文件夹

hdfs dfs -mkdir -p hdfs文件夹（文件）

hdfs删除文件/文件夹

hdfs dfs -rm -r hdfs文件夹（文件）

namenode格式化命令（一般用于hadoo ）

hdfs namenode -format

hadoop打开安全模式

hdfs dfsadmin -safemode enter

hadoop关闭安全模式

hdfs dfsadmin -safemode leave

查看nodemanager的结点个数以及进程pid

 yarn node -list

查看yarn当前application的信息

yarn application -list

Zookeeper命令

启动Zookeeper

bash $ZOOKEEPER_HOME/bin/zkServer.sh start 

查看Zookeeper每个节点的状态

bash $ZOOKEEPER_HOME/bin/zkServer.sh status

关闭Zookeeper所有节点

bash bin/zkServer.sh stop

重启Zookeeper所有节点

bash bin/zkServer.sh restart 

kafka命令

前台启动Kafka

bash $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties

查看Kafka当前的所有topic

bash $KAFKA_HOME/bin/kafka-topics.sh --zookeeper localhost:2181 --list

Kafka删除名字为test的topic

bash $KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Kafka创建名字为test的topic

bash $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

Hibench命令

编译Flinkbench命令:

mvn -Pflinkbench -Dspark=2.4 -Dscala=2.11 clean package

编译Sparkbench命令：

mvn -Psparkbench -Dspark=2.4 -Dscala=2.11 clean package

运行Flink程序

#产生数据集
bin/workloads/streaming/identity/prepare/genSeedDataset.sh#流数据源源不断地发送给Kafka
bin/workloads/streaming/identity/prepare/dataGen.sh#Flink运行应用程序
bin/workloads/streaming/identity/flink/run.sh#等待一定的时间间隔之后（如10min），运行收集程序性能的脚本
bin/workloads/streaming/identity/common/metrics_reader.sh

运行Spark程序

#HDFS上产生数据集
bin/workloads/micro/wordcount/prepare/prepare.sh#Spark运行应用程序wordcount
bin/workloads/micro/wordcount/spark/run.sh

端口号命令

查看某个端口号被哪个进程占用

sudo netstat -nap | grep 端口号
ps -ef | grep 端口号

查看监听的端口号

sudo netstat -tpnl

Linux建立/删除/切换用户命令

删除用户

sudo userdel -r 用户名

切换用户（su为switch user的意思）

sudo su 用户名

添加用户

sudo useradd -m 用户名
sudo passwd 用户名（然后为其设置密码）

给新用户可以执行sudo的权限

#编辑文件
sudo vim /etc/sudoers
#找到对应的权限标识
#User privilege specification
root    ALL=(ALL:ALL) ALL
#在下面添加以下内容，并保存
新用户名   ALL=(ALL:ALL) ALL

Vim命令

强制保存只读文件

esc执行： :w !sudo tee %

Chmod命令

给整个目录（以及子目录）所有权限

sudo chmod -R 777 目录名

Nohup命令

nohup后台挂起格式如下

nohup 挂起的运行的命令 > output.log 2>&1 &

nohup实际执行命令如下:

nohup bash test.sh > output.log 2>&1 &

df,du查看命令

df检查磁盘空间占用情况(并不能查看某个目录占用的磁盘大小)；du用于显示文件或目录所占的磁盘空间。

查看磁盘文件系统每个挂载点的分区大小

df -h

查看目录下文件大小（比如查看kafka-logs目录下所有文件之和的总大小）

du -h --max-depth=1 /tmp/kafka-logs

pip命令

安装依赖包

 pip3 install -i  http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com 包名

pip升级

pip3 install --upgrade pip