-
Java 多线程爬虫及分布式爬虫架构探索
所属栏目:[优化] 日期:2019-10-18 热度:120
这是 Java 爬虫系列博文的第五篇,在上一篇 Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器 中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬[详细]
-
九个对Web开发者最有用的Python包,掌握这些,工资至少能涨涨
所属栏目:[优化] 日期:2019-10-18 热度:187
1、Matplotlib Matplotlib,正如其名称所暗示的那样,是一个用来绘制数学函数和模型的库;扩展了Numpy的作用,Matplotlib可以只用几行代码来创建图,条形图,散点图等诸多视觉表现。 2、BeautifulSoup4 BeautifulSoup4是go-to包,如果你为某些元素去解析HTM[详细]
-
详解Java锁机制:看完你就明白的锁系列之锁的状态
所属栏目:[优化] 日期:2019-10-18 热度:115
看完你就会知道,线程如果锁住了某个资源,致使其他线程无法访问的这种锁被称为悲观锁,相反,线程不锁住资源的锁被称为乐观锁,而自旋锁是基于 CAS 机制实现的,CAS又是乐观锁的一种实现,那么对于锁来说,多个线程同步访问某个资源的流程细节是否一样呢?[详细]
-
揭秘Kafka的高性能吞吐
所属栏目:[优化] 日期:2019-10-18 热度:165
Kafka作为时下开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了读写性能。 本文将针对Kafka性能方面进行简单分析,首先简单介绍一下Kafka的[详细]
-
如何使Pandas来加速你的代码?
所属栏目:[优化] 日期:2019-10-18 热度:59
Pandas对数据科学界来说是一份天赐的礼物。问任何一个数据科学家,他们喜欢如何使用Python处理他们的数据集,他们无疑会谈到Pandas。 Pandas是一个伟大的编程库的缩影:简单、直观、功能广泛。 然而,对数据科学家的一项常规任务,使用Pandas进行数千甚至[详细]
-
Go语言的中的For循环之大坑
所属栏目:[优化] 日期:2019-10-18 热度:160
For循环在我们日常编码中可能用的很多。在很多业务场景中我们都需要用for循环处理。但golang中的for循环有一个大大大的坑,大家可否遇到。直接上代码: 我们写一个测试类,定义一个切片数组,然后循环迭代每个元素,将元素的值放到另一个切片。循环finalAr[详细]
-
要不要赶个时髦,去建设一个「 中台 」?
所属栏目:[优化] 日期:2019-10-18 热度:76
很多技术人总是抱怨 新技术/新框架/新概念 太多了,总是学不完,抱怨实在是学不动了。哈哈,这不,最近「 中台 」这么火热,要不要停止抱怨,再咬咬牙学一波? 很多人都担心被技术新潮流所抛弃,所以当遇见不断涌现的新技术时,总是慌忙的去学习。可是其中[详细]
-
代码写成这样,老夫无可奈何!
所属栏目:[优化] 日期:2019-10-18 热度:153
你见过最无可奈何的代码是什么?今天,栈长就来总结一下我遇到过的一些神逻辑代码,不一定很全,但我真心写不出,真心让我自叹不如啊! 1、耍猴的好手段 还记得 XX 手机的抢购活动么,抢购按钮的代码类似是这样的: ahref=javasript:alert('抢购结束!')立即[详细]
-
18个Python脚本可加速你的编码速度
所属栏目:[优化] 日期:2019-10-18 热度:145
在本文中,我们向您介绍一些提示和技巧,以帮助您更快地编写代码 Python的可读性和设计简单性是其广受欢迎的两个主要原因。 一些常见的Python技巧可以帮助你提高编码速度。在您的日常编码练习中,以下技巧将非常有用。 1.在字符串中查找唯一元素 以下代码[详细]
-
Kubernetes节点之间的ping监控
所属栏目:[优化] 日期:2019-10-18 热度:144
在诊断Kubernetes集群问题的时候,我们经常注意到集群中某一节点在闪烁*,而这通常是随机的且以奇怪的方式发生。这就是为什么我们一直需要一种工具,它可以测试一个节点与另一个节点之间的可达性,并以Prometheus度量形式呈现结果。有了这个工具,我们还希[详细]
-
大规模集群故障处理,能抗住这3个灵魂拷问算你赢
所属栏目:[优化] 日期:2019-10-17 热度:152
我相信每一个集群管理员,在长期管理多个不同体量及应用场景的集群后,都会多少产生情绪。其实这在我看来,是一个很微妙的事,即大家也已经开始人性化的看待每一个集群了。 既然是人性化的管理集群,我总是会思考几个方向的问题: 集群的特别之处在哪儿?[详细]
-
9月份Github上热门的JavaScript开源项目
所属栏目:[优化] 日期:2019-10-17 热度:84
9 月份 GitHub 上最热门的JavaScript开源项目排行已经出炉啦,从前端学习资料到技术面试宝典,从免费开源的前端书籍到算法刷题库....... 1. Web https://github.com/qianguyihao/Web Star 7127 前端入门和进阶学习笔记,超详细的Web前端学习图文教程。从零[详细]
-
只需五步!哈佛学霸教你用Python分析相亲网站数据,在两万异性中找到真爱
所属栏目:[优化] 日期:2019-10-17 热度:85
大数据文摘出品 来源:Wired 编译:啤酒泡泡、张大笔茹、张睿毅、牛婉杨 想脱单?那还不容易! 如果身在美国,就像其余四千万单身男人一样,注册一下Match.com, J-Date和OkCupid等相亲网站,坐等真爱上门不就可以了。 但是相信大多数人和McKinlay一样,尽管[详细]
-
吐血整理!程序员喜爱的13个免费Python课程
所属栏目:[优化] 日期:2019-10-17 热度:80
Python如今无疑是全球最受欢迎的编程语言。它最大的好处,就是让越来越多的人通过它加入了编程的世界。 近年来,Python的使用人数与日俱增,超过了包括JavaScript在内的其他计算机语言许多人学习Python是为了探索它提供的绝佳数据科学和机器学习库。 Pytho[详细]
-
一次跨行取款失败,而引发对分布式事务的思考
所属栏目:[优化] 日期:2019-10-17 热度:110
场景 不知道大家有没有遇到这样的情况,就是去自动取款机取钱的时候,比如说你去取1000块钱,这个时候系统会先帮你把1000块钱扣除,然后自动取款机再把钱吐出来。但是如果取款机出现问题,会发现钱被扣了,但是钱没有取出来。我第一次遇到这个问题的时候很[详细]
-
如何搭建合适的Web框架?
所属栏目:[优化] 日期:2019-10-16 热度:191
之前在Web开发框架推导一文中我们一步步的搭建了一个开发框架。 在当时的情况下,还算满足需求。但是随着项目的逐渐完善,需求变更的频度逐渐变得比新增需求的频度高,原来框架的弊端越来越明显,所以需要对框架进行升级改进。 我们先来看原来框架的问题,[详细]
-
Python里三个高逼格的调试神器
所属栏目:[优化] 日期:2019-10-16 热度:198
调试是开发过程中不可避免的一个环节,在Python中我们使用print、logging、assert等方法进行调试既简单又实用,但毕竟有其局限性。今天这篇文章为大家带来三个工具,其中有Python的内置模块也有第三方库,它们提供了调试代码所需的大部分常用功能,将极大[详细]
-
8 个 Python 实用脚本,收藏备用
所属栏目:[优化] 日期:2019-10-16 热度:60
脚本写的好,下班下得早!程序员的日常工作除了编写程序代码,还不可避免地需要处理相关的测试和验证工作。 例如,访问某个网站一直不通,需要确定此地址是否可访问,服务器返回什么,进而确定问题在于什么。完成这个任务,如果一味希望采用编译型语言来编[详细]
-
分享一款Docker可视化管理工具DockerUI
所属栏目:[优化] 日期:2019-10-16 热度:185
概述 之前都是使用命令行进行Docker的管理,这里简单介绍一下Docker的图形界面管理。之所以说简单介绍,是因为在生产环境都是集群,很少使用图形界面管理单台Docker主机,所以就演示记录一下,平时自己测试时还是可以用到的。 这里演示的是使用Docker UI进[详细]
-
芯片界震动!Arm杀入自定义指令集,成立自动驾驶计算联盟
所属栏目:[优化] 日期:2019-10-16 热度:102
10月9日消息,在加利福尼亚州圣何塞举行的Arm TechCon 2019活动上,Arm宣布在部分CPU内核引入自定义指令功能,即客户能够编写自己的定制指令来加速其特定用例、嵌入式和物联网应用程序。 从2020年开始,使用Cortex-M33内核及之后的Cortex-M CPU内核系列的[详细]
-
现阶段儿童编程语言排行
所属栏目:[优化] 日期:2019-10-16 热度:143
我国正将STEAM教育纳入基础学科,而业内普遍认为,针对6-16岁的儿童编程或青少儿编程,被认为是STEAM教育的一个分支内容。政策的推出在展现市场发展趋势的同时,也逐步改变了家长对儿童编程的误解,即我的孩子不当程序员,就不需要学编程。如今,家长更多[详细]
-
不会这几个库,都不敢说我会Python爬虫
所属栏目:[优化] 日期:2019-10-16 热度:119
很多朋友不知道Python爬虫怎么入门,怎么学习,到底要学习哪些内容。今天我来给大家说说学习爬虫,我们必须掌握的一些第三方库。 废话不多说,直接上干货。 1.请求库 1. requests GitHub:https://github.com/psf/requests requests库应该是现在做爬虫最火[详细]
-
Zookeeper技术:分布式架构详解、分布式技术详解、分布式事务
所属栏目:[优化] 日期:2019-10-16 热度:148
一、分布式架构详解 1、分布式发展历程 1.1 单点集中式 特点:App、DB、FileServer都部署在一台机器上。并且访问请求量较少 1.2 应用服务和数据服务拆分 特点:App、DB、FileServer分别部署在独立服务器上。并且访问请求量较少 1.3 使用缓存改善性能 特点[详细]
-
2019年StackOverflow开发人员优秀JavaScript编辑器排名
所属栏目:[优化] 日期:2019-10-16 热度:145
要问过去几年内增长最快的语言是什么?你可能会说Python。根据StackOverflow统计,在过去的几年内非常受欢迎的编程语言实际上是JavaScript,比Python,Java等流行语言更火。中国有句俗语,工欲善其事,必先利其器!,对开发人员来说代码编辑器可能是最重要[详细]
-
为Facebook跳楼华人同事发声被开除 当事人现身回应
所属栏目:[优化] 日期:2019-10-16 热度:50
9月19日,位于旧金山湾区Menlo Park的Facebook总部内,一名来自中国的员工从园区内的一栋办公楼4楼跳下,当场死亡。这名跳楼员工名为陈勤(音译),浙江大学毕业,并在美国南加州大学攻读硕士,去年3月份入职Facebook。 9月26日Facebook总部前聚集了超过20[详细]