上药三品,神与气精

曾因酒醉鞭名马 生怕情多累美人


  • 首页

  • 关于

  • 分类

  • 标签

  • 归档

  • 搜索

drf custom auth

发表于 2018-08-16 | 分类于 web | 阅读次数:
字数统计: 133 | 阅读时长 ≈ 1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
class MyTokenAuthentication(TokenAuthentication):
def authenticate_credentials(self, key):
# get cache
token_cache = "token" + key
token_all = cache.get(token_cache)
if token_all:
return (token_all.user, token_all)
model = self.get_model()
try:
token = model.objects.select_related('user').get(key=key)
except model.DoesNotExist:
raise exceptions.AuthenticationFailed(_('Invalid token.'))
if not token.user.is_active:
raise exceptions.AuthenticationFailed(_('User inactive or deleted.'))
# set cache
if token:
token_cache = 'token' + key
cache.set(token_cache, token)
return (token.user, token)

第一次 查询mysql 数据库 将结果缓存至redis 数据库中 第二次的话,同样的请求过来 直接查询缓存 大大提高查询效率,增加web网站的QPS

how to be a data scientist 12

发表于 2018-08-16 | 阅读次数:
字数统计: 474 | 阅读时长 ≈ 1

花一两年时间去向一些有经验和资历的人(以及他的队伍)学习,

在此之后,再尝试一个人走下去。

  1. Hadoop是一项非常重要的工具,并且对于数据科学有非常非同一般的影响力。
  2. 干这一行工作最重要的技能就是拥有扎实的技术知识(尤其是一些相关的工具),这包括了能够熟练使用合适的工具来解决手边遇到的各种问题。
  3. 数据科学家每天的生活包括优化现有的运行流程,以及创造能够提高用户体验的产品。
  4. 在实战中,“数据科学家”和“机器学习专家”基本上是同义词。
  5. 零售业之所以需要数据科学是因为他们有大量亟待分析的数据,并且有很多数据相关的问题亟待解决。但是大部分的数据分析师仅仅是通过把现有的模型套进这些数据中去做出结果,而不是去思考开发新的模型。
  6. 数据科学中最有挑战性的问题也可能是未来几年这个领域将会不得不面对的难题,那就是如何从大数据中归纳出合适的问题,找对正确的研究方向以及最终使用合适的方法做出可靠的结果。
  7. 如果你想要成为一名出色的数据科学家,一定要记住,在你转向一个新的技术之前,一定要确保自己已经非常熟练于当前的技术了。
  8. 你的工作环境以及行业对于你的职业发展是有很大影响的,尤其是在事业的起步阶段。
  9. 数据科学的未来很光明的,这个领域在未来一定会越来越多元化。

how to be a data scientist 11

发表于 2018-08-16 | 阅读次数:
字数统计: 585 | 阅读时长 ≈ 1

Raj Bondugula博士预计在未来数据提取、转换和加载工具(ETL)都将不再具有任何市场前景了,因为他们都将被Hadoop替代。Hadoop在博士眼里是当今世界最有前景的数据科学工具,当然还有它的一些“家庭成员”——Mahout、HDFS等。正是这些工具的存在让越来越多具有挑战性的工作(例如并行计算)相对容易起来,虽然也算不上简单。说到Hadoop前景,他同样预言可能会有MapReduce以外的很多其他大数据分析理念出现,而它们都将被广泛地运用到大数据分析中。

对于Raj Bondugula博士来说,在数据科学领域最有挑战性的事情,其实这可能也是整个数据分析领域需要面对的巨大挑战,就是如何从海量的数据中找到合适的问题去入手分析,以及获得有价值有意义的结果。诸如“这批数据有什么价值?”之类的开放式问题可能在未来不再流行了,因为你并不能以此获得具有洞见的结论(即使结果是正确的)。他相信任何假设的来源一定要基于商业知识。而这就需要更高的创新能力,在这方面人类的直觉和能力是计算机完全无法替代的。

从他个人来说,Bondugula博士却是一个非常自信的人,虽然他知道很多技术或者领域知识都需要从皮毛开始一层一层地学下去,但是他觉得数据科学这个领域是很好的。正如大家所期待的那样,他计划在未来的很多年都从事这一行业。

給出的建议:

“在某个方面成为该领域的专家,可以是统计,也可以是机器学习或者Java编程,然后再一件接一件地慢慢尝试更多的事情”。你也需要接受别人的帮助,因为你不可能一个人解决所有的问题。此外,交际圈和沟通技巧同样也是非常重要的,所以你也需要着力于培养自己的一些包括“软实力”在内的一些技能。

how to be a data scientist 10

发表于 2018-08-16 | 阅读次数:
字数统计: 43 | 阅读时长 ≈ 1

流程

  1. 数据的准备
  2. 数据探索
  3. 数据表示
  4. 数据发现
  5. 数据学习
  6. 创造数据产品
  7. 洞察结果做出结论
  8. 最终的可视化

how to be a data scientist 09

发表于 2018-08-16 | 阅读次数:
字数统计: 556 | 阅读时长 ≈ 1
  1. 让你的知识与时俱进是成为数据科学家非常重要的一个方面,特别是当这个领域在不断创新的时候。
  2. 研讨会是学习新知识的最有效途径,特别是技术性主题。研讨会可能会涉及花费,但它们是颇具投资价值的,因为你可以通过它们来修饰简历,并且它们时常能提供比大学课程更具实用性的知识。
  3. 会议是一种扩展数据科学知识的好方法,你可以在会议中了解最近的创新成果,结交许多领域内有趣的人,同时学习一些有用的东西,让你有机会把它们用到你的难题或是正在面对的数据科学挑战中。
  4. 在线课程,特别是MOOC,是最能增长和改善你对各种主题知识的途径之一。在Coursera上有各种现成的数据相关课程,Coursera也是最有威望的MOOC提供方。
  5. 数据科学小组是一个学习领域新知的既有效又充满乐趣的方法。你需要找到一个的举办大量教育活动的小组,有大量活跃在数据科学领域内的成员(不只是初学者),同时与小组内的其他成员积极地参与交流。
  6. 资源问题十分普遍,并涉及以有限的资源来处理数据分析业务。
  7. 需求问题是老生常谈的问题,牵涉到沟通不畅、误解以及曲解了包括你的经理和客户所提出的需求的实现。这可以积极地通过创造力、外交手段、沟通以及耐心地得到解决。
  8. 缺乏专业知识可以通过阅读好的文章、书籍、网站来克服,或是咨询专业人士。
  9. 综合运用各种工具在IT世界中极为普遍,它牵涉使各种程序、数据集以及各种数据格式协同工作,这会在新开发一个程序时显得十分棘手。你可以通过良好积极的沟通、创造性以及耐心来克服这类问题。
1…818283…109
John Cheung

John Cheung

improve your python skills

543 日志
33 分类
45 标签
RSS
GitHub Email
© 2020 John Cheung
本站访客数:
|
主题 — NexT.Pisces v5.1.4
博客全站共226.3k字