通过paramiko模块远程抓取日志

    最近一直在学习python,可是工作中一直缺少机会用到这块功能.最近接到一个需求需要拉取6台客户端的某一天jetty日志.因为jetty的日志是保存在jetty的log目录下,以yyyy_mm_dd.stderrout.log的形式保存,所以我们只要创建一个脚本,传入需要查询日志的日期和需要查询日志的主机IP及用户密码,就可以将制定主机的指定日期的日志抓取到本地.

脚本的逻辑并不是很难,先模拟ssh访问指定主机,在指定目录下通过find找到指定文件,将该文件通过sftp或scp将文件传输至本地.通过shell脚本会非常轻松.为了考验自己的python水平,这次我们通过python的方式进行实现.主要用到的就是paramiko模块.

paramiko是一个可以连接远程主机及上传下载文件的一个第三方模块,他基于ssh2协议.官网地址是http://www.paramiko.org/,安装的方式非常简单,通过easy_install paramiko或者在pypi中下载安装包安装都可以.

安装完以后,我们通过之前我的那个实际案例来初步了解paramiko的远程连接和文件下载.

[root@Manatee ~]# cat pytest/paramiko
#!/usr/bin/env python
import paramiko
import sys
import os
loglist = []
#设定一个空列表用于存放日志文件名,因为一台主机中有多个jetty项目,可能同一天会有多个日志.
date = '2016_01_03'
#传入需要查询的日期,这步可以通过参数传入,或者读取配置文件实现
ip = '192.168.0.1'
#传入需要查询的主机IP,这步可以通过参数传入,或者读取配置文件实现
remoteuser = 'xxx'
#传入需要查询的主机用户,这步可以通过参数传入,或者读取配置文件实现
remotepwd = 'xxx'
#传入需要查询的主机密码,这步可以通过参数传入,或者读取配置文件实现
client = paramiko.client.SSHClient()
#创建一个对象,建立一个ssh连接
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
#允许连接不在know_hosts文件中的主机
client.connect(hostname=ip,username=remoteuser,password=remotepwd)
#连接远程主机
#connect(self, hostname, port=22, username=None, password=None, pkey=None, key_filename=None, timeout=None, allow_agent=True, look_for_keys=True, compress=False, sock=None, gss_auth=False, gss_kex=False, gss_deleg_creds=True, gss_host=None, banner_timeout=None)
#connect可以传入很多参数,我们主要用到的是IP,端口(默认22),用户名,密码
i,o,e = client.exec_command('find /hsdata/ljetty/ -name %s*'%(date))
#在远程执行shell脚本,通过输出流的方式输出stdin,stdout,stderr,本例中通过find命令在指定目录下找到以指定日期开头的文件
loglist = o.readlines()
#[u'/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log\n'] 
#将标准输出的文件读取,赋值给loglist,输出的的每个内容其实是个unicode格式文本,之后使用的过程中需要转换成utf8格式
client.close()
#关闭连接
t = paramiko.Transport((ip,22))
#创建一个对象实例化paramiko.transport
t.connect(username = remoteuser,password = remotepwd)
#连接远程主机
sftp = paramiko.SFTPClient.from_transport(t)
#建立一个sftp对象,通过sshtransport远程操作文件
for i in loglist:
#遍历日志文件列表
    print type(i)
    #unicode
    a = (i.encode('utf-8')).replace('\n','')
    #/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log
    #将之前找到的日志文件名进行处理,转换unicode转换至utf8格式,并去除尾部的\n字符.
    b = a.replace('/','')
    #varlogjettyMYSQLlogs2016_01_03.stderrout.log
    #将完全的路径中的/删除,得到的值作为将要保存在本地的文件名
    if os.path.exists('/tmp/'+ip):
    #判断是否存在以远程主机IP为名字的目录,如果存在,则将文件下载到该目录下,如果不存在,创建目录后将文件下载到该目录下.
        sftp.get(a,'/tmp/'+ip+'/'+b)
    else:
        os.makedirs('/tmp/'+ip)
        sftp.get(a,'/tmp/'+ip+'/'+b)
t.close()

这样我们就完成了简单的远程连接主机执行命令和下载文件的操作.现在只是完成了需求,完全可以将远程主机的IP,用户名,密码写成一个配置文件,读取配置文件进行操作,也可以将命令写成2个函数,调用指定函数完成指定操作.

原创文章,作者:海马,如若转载,请注明出处:http://www.178linux.com/11144

(8)
上一篇 2016-01-15 11:52
下一篇 2016-01-16 22:53

相关推荐

  • queue,threading,user_agents

    queue 模块 队列
    threading 模块 线程
    user_agents 浏览器信息提取

    2018-05-07
  • python安装失败原因分析(未指定错误0x80072efd)

    python安装时间很长,最终报错未指定错误0x80072efd   原因分析: download dubugging symbols download debug binaries 这两项需要联网(外网),国内安装会超时报错。所以安装时取消这两项就可以安装成功      

    2018-08-09
  • PYTHON类型注解

    PYTHON类型注解 函数定义的弊端 Python是动态语言,变量随时可以被赋值,且能赋值为不同的类型 Python不是静态编译型语言,变量类型是在运行器决定的 动态语言很灵活,但是这种特性也是弊端 def add(x, y):return x + yprint(add(4, 5))print(add(‘hello’, ‘…

    Python笔记 2018-05-02
  • 面向对象,魔术方法

    面向对象 一面向对象 什么是面向对象: 一种认识世界、分析世界的方法论。将万事万物抽象为类。 类class: 类是抽象的概念,是万事万物的抽象,是一类事物的共同集合的集合。 用计算机语言来描述类,就是属性和方法的集合。 对象instance,object: 对象是类的具象,是一个实体。 每个个体都是抽象类的不同实体。 哲学 一切皆对象 对象是数据和操作的封装…

    Python笔记 2018-05-14
  • Python模拟java的do while循环

    在java中有这样的语句: do{    //dosomething}while(条件A); 在python中没有do-while这样的语法,这也是python中“解决一个问题最好只有一个方法”的体现,那么python中怎么模拟do-while语句呢?可以这样: while True:  &nbsp…

    Python干货 2015-03-08

评论列表(1条)

  • leezqang
    leezqang 2016-02-03 14:13

    我按着你的脚本执行 ,中间遇到错误循环就会中断,如果加了个错误抛出机制 问题就解决了
    for file in loglist:
    a = (file.encode(‘utf-8’)).replace(‘\n’,”)
    remotepath = ‘/tmp/test/’ + a
    print remotepath
    try:
    if os.path.exists(‘/tmp/test/’+ip):
    sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
    else:
    os.makedirs(‘/tmp/test/’+ip)
    sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
    except IOError:
    pass