深度学习的相关知识

深度学习 深度学习和机器学习是人工智能(AI)的两个关键领域,它们都有助于让计算机系统能够从数据中学习和做出决策。 机器学习 (Machine Learning) 机器学习是AI的一个分支,主要关注的是开发算法和模型,使计算机系统能够从数据中学习,而不需要明确的编程。机器学习的基本思想是通过数据来训练模型,然后使用该模型来预测或分类新的数据。 机器学习的类型: 监督学习 (Supervised Learning): 系统通过已经标记的数据(即已知输入和输出的样本)进行训练。常见的例子包括分类和回归任务。 示例:垃圾邮件过滤器(根据标记为垃圾邮件或非垃圾邮件的电子邮件进行训练)。 无监督学习 (Unsupervised Learning):...

2 minute read

定时调度

定时调度的应用场景非常广泛,例如: 新建的订单,如果用户在 15 分钟内未支付,则自动取消。 公司的会议预定系统,在会议预定成功后,会在会议开始前半小时通知所有预定该会议的用户。 安全工单超过 24 小时未处理,则自动拉企业微信群提醒相关责任人。 用户下单外卖以后,距离超时时间还有 10 分钟时提醒外卖小哥即将超时。 实现方式 DelayQueue Java的延迟队列 缺点:单点状态持久,无分布式...

2 minute read

Service Mash 与 Dapr

以下内容,转自InfoQ: 回顾:Service Mesh 原理和方向 Service Mesh 的定义 首先,让我们先快速回顾一下“Service Mesh”的定义,这是 Dapr 故事的开始。 以下内容摘录自我在 2017 年 10...

6 minute read

60s性能排查

当你登录到一台出现性能问题的Linux服务器时,在第一分钟内应该检查什么? 在Netflix,我们拥有庞大的EC2 Linux云环境,以及众多性能分析工具来监控和调查其性能。这些工具包括用于云范围监控的Atlas,以及用于按需实例分析的Vector。虽然这些工具帮助我们解决了大部分问题,但有时我们需要登录到实例并运行一些标准的Linux性能工具。 前60秒:总结 在这篇文章中,Netflix性能工程团队将向你展示在命令行进行优化性能调查的前60秒,使用你应该可用的标准Linux工具。在60秒内,你可以通过运行以下十个命令来获得系统资源使用情况和运行进程的高级概览。寻找错误和饱和度指标,因为它们都易于解释,然后是资源利用率。饱和度是指资源负载超过其处理能力的情况,可以通过请求队列的长度或等待时间来暴露。 uptime dmesg | tail vmstat 1 mpstat -P ALL 1...

10 minute read

探究Load Average

翻译http://www.brendangregg.com/ ​ 平均负载是一项行业关键指标,我的公司根据这些指标和其他指标花费了数百万个自动扩展云实例,但在Linux上却存在一些神秘之处。Linux平均负载不仅跟踪可运行的任务,而且还跟踪处于不间断睡眠状态的任务。为什么?我从未见过任何解释。在这篇文章中,我将解决这个奥秘,并总结平均负载作为每个尝试解释平均负载的参考。 ​ Linux平均负载是“系统平均负载”,它显示系统上正在运行的线程(任务)需求为正在运行的平均数量加上等待的线程数量。这可以衡量需求,该需求可能大于系统当前正在处理的需求。大多数工具在1分钟,5分钟和15分钟内显示三个平均值: 正常运行时间 16时48分24秒达4:11,1个用户,加载平均:25.25,23.40,23.46 顶部-16:48:42向上4:12,1个用户,平均负载:25.25、23.14、23.37 $ cat / proc / loadavg 25.72...

4 minute read

分布式事务

分布式事务架构设计原理 分布式事务,因什么背景而产生?必须要分布式事务才能解决吗? (基础问题) 如果没有本地事务,是否存在分布式事务? (基础问题) 分布式背景环境 分布式环境下的微服务模型 聚合模式 链式模式 数据共享模式 代理模式 分支模式 异步消息模式 微服务架构下为什么需要分布式事务,单体下是否需要分布式事务呢? 单体多数据源...

37 minute read

架构思想(不断总结,持续更新)

架构思想 架构真经 Scalability Rules AKF Scale Cube AKF 扩展立方体把单体应用扩展到可扩展架构的方式的过程划分为3个正交维度 x 轴:水平复制 通过复制节点,实现多个节点同时提供服务,从而大大提高系统的总体容量、解决单点问题等。 典型的例子是数据库的主从复制和读写分离。负载均衡 以 mysql...

2 minute read

Linux性能分析

Linux性能 推荐《性能之巅》这本书 CPU CPU利用率:CPU的使用情况。 用户时间(User time) :表示CPU执行用户进程的时间,包括nices时间。通常期望用户空间CPU越高越好。 系统时间(System time) :表示CPU在内核运行时间,包括IRQ和softirq时间。系统CPU占用率高,表明系统某部分存在瓶颈。通常值越低越好。 等待时间(Waiting time) :CPU在等待I/O操作完成所花费的时间。系统不应该花费大量时间来等待I/O操作,否则就说明I/O存在瓶颈。 空闲时间(Idle time)...

3 minute read