[原] 容器定义应用：数据科学的容器革命

概述随着容器化技术的兴起，数据科学现在最大的一场运动已经不是由一个新的算法或者统计方法发起的了，而是来自Docker的容器化技术。通常，数据科学被认为研究成果立即应用到生产环境都是比较缓慢的一个过程。本文将介绍利用容器技术如何加速数据科学在生产环境中的实际应用。瓶颈1. 环境部署一致性保持数据科学环境一致性通常都是一件异常痛苦的事情，在不同的机器之间同时部署即使是用 Pyt

业界 2016年07月04日

Windows上Pthon2与Pthon3 共存

关于Windows平台上Python2与Python3共存，使用过程中可能会遇到一些问题。[br]下面是我从网上搜集过来的正确使用方法，可以完美使用： 关于调用不同版本Python 如果同时安装了Python2和Python3，那么在使用的时候可以这样：使用py -2 hello.py即可调用Python2执行hello.py。py -3 hello.py即可调用Pytho

业界 2016年05月05日

Pthon中的plisttet和HTTP的Content-Tpe

这段时间本人在学习Android Service相关的内容，临时需要一个可以提供文件上传和下载功能的服务器，于是上网查找了一个简单服务器的python实现代码，本着温顾一下HTTP协议的想法，于是深入研究了一下其中的代码，发现大家对SimpleHTTPRequestsHandler中的self.headers.plisttext.split("=")[1]语句的含义不是很理

业界 2016年07月04日

小知识总结

关于nginx access.log 问题待......两个重要的命令 netstat losfnetstat-a (all)显示所有选项，默认不显示LISTEN相关-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名，能显示数字的全部转化成数字。-l 仅列出有在 Listen (监听) 的服務状态-p 显示建立相关链接的程序名-r 显

业界 2016年07月04日

PEP 8 摘录

前言PEP 8 是python代码规范说明，里面规定了一些推荐的python代码的格式与用法。笔者将在本文中做一些总结，不是为了纯粹的翻译PEP 8，而是根据个人习惯与喜好进行的一个整理。如有谬误，欢迎指出。PEP 8 官方文档：这里A Follish Consistency is the Hobgoblin of Little Minds永远不要为了和已有的文档保持一致而

业界 2016年07月04日

Mac下安装Pthon的nump库失败的解决方法

在安装numpy库时，出现了这样的错误： 安装命令： easy_install numpy 错误： MacdeMacBook-Pro-3:python mac$ easy_install numpy error: can't create or remove files in install directoryThe following error occurred whi

业界 2016年07月03日

使用 penv + virtualenv 打造多版本 Pthon 开发环境

本文最早发表于个人博客Pylixm'wiki: http://pylixm.cc配置环境：CentOS release 6.8pyenv 20160509在工作开发中，一直使用 virtualenv 来管理python的包环境。很好的解决了不同项目使用不同python包的需求。对于多python版本的问题如何解决一直无解，虽然可以安装多个版本的python，靠绝对路径或靠创

业界 2016年07月03日

ubuntu下pthon通过sqlalchem库访问oracle数据库

sqlalchemy并不是数据库驱动，python访问oracle数据的驱动是cx_Oracle，但是这个驱动依赖于Oracle instant client。所以python如果想通过sqlalchemy库访问oracle数据库，那么需要先安装Oracle instant client、再安装cx_Oracle、最后安装sqlalchemy。搞了一圈下来，发现这个过程比较

业界 2016年07月01日

[原]数据流编程教程：如何使用Airflow构建数据科学工作流

概述Airflow 是一个我们正在用的工作流调度器，相对于传统的crontab任务管理，Airflow很好的为我们理清了复杂的任务依赖关系、监控任务执行的情况。我们喜欢它是因为它写代码太容易了，也便于调试、维护和继承重用，而不是像xml那样的配置文件用来描述DAG。通过SQL和HQL的临时查询，我们还可以快速生成前端图表，而且顺带连数据的API接口也都生成了，这几乎要让的W

业界 2016年07月01日

sklearn中的gbdt源码分析

简单看了一下sklearn中的gbdt源码 在这里记录一下，目前来说还不能把gbdt的所有理论都搞清楚 sklearn有两个类似于gbdt的实现 GradientBoostingClassifier GradientBoostingRegressor 一个用于分类，另一个用于回归 这两个类其实区别只在于mixin上，下面是类继承关系 GradientBoostingRegr

业界 2016年06月30日