通过paramiko模块远程抓取日志

    最近一直在学习python,可是工作中一直缺少机会用到这块功能.最近接到一个需求需要拉取6台客户端的某一天jetty日志.因为jetty的日志是保存在jetty的log目录下,以yyyy_mm_dd.stderrout.log的形式保存,所以我们只要创建一个脚本,传入需要查询日志的日期和需要查询日志的主机IP及用户密码,就可以将制定主机的指定日期的日志抓取到本地.

脚本的逻辑并不是很难,先模拟ssh访问指定主机,在指定目录下通过find找到指定文件,将该文件通过sftp或scp将文件传输至本地.通过shell脚本会非常轻松.为了考验自己的python水平,这次我们通过python的方式进行实现.主要用到的就是paramiko模块.

paramiko是一个可以连接远程主机及上传下载文件的一个第三方模块,他基于ssh2协议.官网地址是http://www.paramiko.org/,安装的方式非常简单,通过easy_install paramiko或者在pypi中下载安装包安装都可以.

安装完以后,我们通过之前我的那个实际案例来初步了解paramiko的远程连接和文件下载.

[root@Manatee ~]# cat pytest/paramiko
#!/usr/bin/env python
import paramiko
import sys
import os
loglist = []
#设定一个空列表用于存放日志文件名,因为一台主机中有多个jetty项目,可能同一天会有多个日志.
date = '2016_01_03'
#传入需要查询的日期,这步可以通过参数传入,或者读取配置文件实现
ip = '192.168.0.1'
#传入需要查询的主机IP,这步可以通过参数传入,或者读取配置文件实现
remoteuser = 'xxx'
#传入需要查询的主机用户,这步可以通过参数传入,或者读取配置文件实现
remotepwd = 'xxx'
#传入需要查询的主机密码,这步可以通过参数传入,或者读取配置文件实现
client = paramiko.client.SSHClient()
#创建一个对象,建立一个ssh连接
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
#允许连接不在know_hosts文件中的主机
client.connect(hostname=ip,username=remoteuser,password=remotepwd)
#连接远程主机
#connect(self, hostname, port=22, username=None, password=None, pkey=None, key_filename=None, timeout=None, allow_agent=True, look_for_keys=True, compress=False, sock=None, gss_auth=False, gss_kex=False, gss_deleg_creds=True, gss_host=None, banner_timeout=None)
#connect可以传入很多参数,我们主要用到的是IP,端口(默认22),用户名,密码
i,o,e = client.exec_command('find /hsdata/ljetty/ -name %s*'%(date))
#在远程执行shell脚本,通过输出流的方式输出stdin,stdout,stderr,本例中通过find命令在指定目录下找到以指定日期开头的文件
loglist = o.readlines()
#[u'/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log\n'] 
#将标准输出的文件读取,赋值给loglist,输出的的每个内容其实是个unicode格式文本,之后使用的过程中需要转换成utf8格式
client.close()
#关闭连接
t = paramiko.Transport((ip,22))
#创建一个对象实例化paramiko.transport
t.connect(username = remoteuser,password = remotepwd)
#连接远程主机
sftp = paramiko.SFTPClient.from_transport(t)
#建立一个sftp对象,通过sshtransport远程操作文件
for i in loglist:
#遍历日志文件列表
    print type(i)
    #unicode
    a = (i.encode('utf-8')).replace('\n','')
    #/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log
    #将之前找到的日志文件名进行处理,转换unicode转换至utf8格式,并去除尾部的\n字符.
    b = a.replace('/','')
    #varlogjettyMYSQLlogs2016_01_03.stderrout.log
    #将完全的路径中的/删除,得到的值作为将要保存在本地的文件名
    if os.path.exists('/tmp/'+ip):
    #判断是否存在以远程主机IP为名字的目录,如果存在,则将文件下载到该目录下,如果不存在,创建目录后将文件下载到该目录下.
        sftp.get(a,'/tmp/'+ip+'/'+b)
    else:
        os.makedirs('/tmp/'+ip)
        sftp.get(a,'/tmp/'+ip+'/'+b)
t.close()

这样我们就完成了简单的远程连接主机执行命令和下载文件的操作.现在只是完成了需求,完全可以将远程主机的IP,用户名,密码写成一个配置文件,读取配置文件进行操作,也可以将命令写成2个函数,调用指定函数完成指定操作.

原创文章,作者:海马,如若转载,请注明出处:http://www.178linux.com/11144

(8)
海马海马
上一篇 2016-01-15
下一篇 2016-01-16

相关推荐

  • Python函数式编程指南:目录和参考

    目录: 概述 这一篇简要地描述了函数式编程和一些相关的概念。 函数 这一篇展示了关于函数可能不常用到的部分特征并尝试引导诸位使用函数式的思维解决问题,并介绍了诸多有用的内建函数。 迭代器 这一篇介绍了迭代器以及Python对迭代器的语法级的支持,还包括了内置模块itertools的介绍。 生成器 这一篇介绍了自定义的迭代器——生成器,并展示了生成器的用途和使…

    Linux干货 2015-03-11
  • Python函数、参数及参数解构

    Python函数、参数及参数解构 函数 数学定义:y=f(x),y是x的函数,x是自变量 Python函数 由若干语句块组成的语句块、函数名称、参数列表构成,他是组织代码的最小单元 完成一定的功能 函数的作用 结构化编程对代码的最基本的封装,一般按照功能组织一段代码 封装的目的是为了复用,减少冗余代码 代码更加简洁美观、可读易懂 函数的分类 内建函数,如ma…

    2017-10-16
  • Python 部分知识点总结(三)

    此篇博客只是记录第五周未掌握或不熟悉的知识点,用来加深印象。

    2018-04-08
  • Python学习之Second_Week Notes

    list列表、tuple元组、str字符串

    2017-09-23

评论列表(1条)

  • leezqang
    leezqang 2016-02-03 14:13

    我按着你的脚本执行 ,中间遇到错误循环就会中断,如果加了个错误抛出机制 问题就解决了
    for file in loglist:
    a = (file.encode(‘utf-8’)).replace(‘\n’,”)
    remotepath = ‘/tmp/test/’ + a
    print remotepath
    try:
    if os.path.exists(‘/tmp/test/’+ip):
    sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
    else:
    os.makedirs(‘/tmp/test/’+ip)
    sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
    except IOError:
    pass