发表于 | 阅读次数:
字数统计: 0 | 阅读时长 ≈ 1

发表于 | 阅读次数:
字数统计: 443 | 阅读时长 ≈ 1

andrew ng

深度学习 是 什么？

简单点来说 是训练神经网络。 神经网络有时候规模会很大。 非常传统的例子， 是房价的预测。

假设有一个六间房的数据集，已知房屋的面积 房屋价格 想要找到一个函数来预测房价。

很显然，懂线性回归的同学会知道直接拟合一条直线就好。

这就是最简单的神经网络。

输入x， 经过一个神经元，得到预测价格y

这个函数被称为 ReLU 函数，全称是修正线性单元，修正指的是取不小于0的值。

大点的神经网络是把这些单个神经元堆叠起来形成的，你可以想象成搭乐高积木。

预测房屋价格，现在可能还有一些其他的特征，如卧室的数量，邮编也可以作为一个特性，因为说明了步行化程度。还有其他等等特性。。。

对于神经网络，只有你喂给它足够多的x和y的数据，得到足够多的x y 训练样本，就非常擅于计算从x到y的精准映射函数。这就是一个基本的神经网络，自己的神经网络在监督学习的环境下是如此有效和强大。

常见的应用有
预测房价
在线广告
还有图像 文本等的处理
语言翻译
自动驾驶

图像领域，经常使用卷积神经网络，也就是CNN

对于序列数据，例如音频中含有时间成分，则使用 RNN

英语翻译 也 属于序列数据， RNN

无人驾驶，基于图片，

另外 就是 GAN 无监督学习了。

待续 。。。

发表于 | 阅读次数:
字数统计: 212 | 阅读时长 ≈ 1

很久没有写爬虫了

今天试着爬了一下 拉勾网站 深圳 python 的前 150 个职位

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import time
import requests
from pprint import pprint
from fake_useragent import UserAgent
ua = UserAgent()
import pymongo
client = pymongo.MongoClient("localhost", 27017)
db = client.job

user_agent = ua.random

url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0'

headers = {
    "Cookie": "user_trace_token=20171105173814-0b824fa6-c20d-11e7-978b-5254005c3644; LGUID=20171105173814-0b825535-c20d-11e7-978b-5254005c3644; index_location_city=%E6%B7%B1%E5%9C%B3; TG-TRACK-CODE=index_search; SEARCH_ID=5bb5150d5d314f32a34bdb68f6e2dbbc; _gid=GA1.2.1886275699.1509874693; _ga=GA1.2.1197843841.1509874693; LGRID=20171105173909-2cac9846-c20d-11e7-978b-5254005c3644; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1509874693; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1509874749; JSESSIONID=ABAAABAAAFCAAEG674AE53B34CFB49996425F9659B657CF",
    "Referer": "https://www.lagou.com/jobs/list_python?px=default&city=%E6%B7%B1%E5%9C%B3",
    "User-Agent": user_agent
}

def get_job_data(num):

    for i in range(num):
        payload = {
            "first": "false",
            "pn": str(i+1),
            "kd": "python"
        }

        response = requests.post(url, data=payload, headers=headers)
        time.sleep(5)
        # pprint(response.json()['content']['positionResult']['result'])
        for item in response.json()['content']['positionResult']['result']:
            db.my_collection.insert_one(item)


if __name__ == '__main__':
    get_job_data(10)

还想着做一些可视化的东西。。。

发表于 | 分类于 | 阅读次数:
字数统计: 0 | 阅读时长 ≈ 1

发表于 | 分类于 | 阅读次数:
字数统计: 285 | 阅读时长 ≈ 1

ansible 是什么？

ansible 是如何工作的：

使用者认证通过之后在管理节点通过 ansible 工具调用各应用模块将指令推送到被管理端。

并且在执行完毕后自动删除产生的临时文件。

主要由六个部分组成：

  1. playbooks 通常是 json 格式的 yml 文件
  2. inventory 管理主机的清单
  3. modules 执行命令的功能模块
  4. plugins 模块功能的补充，如循环插件等，功能不常用
  5. api 供第三方程序调用的应用程序编程接口
  6. ansible ansible 命令工具

遵循预先编排的规则将 playbook 逐条拆解为 play，将 play 组织成 ansible 可识别的任务 task，随后调用任务涉及的所有模块和插件，根据 inventory 中定义的主机列表通过 ssh 将任务集以临时文件或命令的形式传输到远程客户端执行并返回执行结果，如果是临时文件则执行完毕后自动删除。

下面会详细介绍一个企业级的应用，elk 日志系统基于 ansible 的自动化实现。