《极客时间教程 - Elasticsearch 核心技术与实战》笔记一
第一章:概述
课程介绍(略)
课程综述及学习建议(略)
Elasticsearch 概述及其发展历史
Elasticsearch 是一款基于 Lucene 的开源分布式搜索引擎。
大道至简,知易行难
Elasticsearch 是一款基于 Lucene 的开源分布式搜索引擎。
Term 是表达语意的最小单位。搜索和利用统计语言模型进行自然语言处理都需要处理 Term
Term 级别查询:Term / Range / Exists / Prefix / Wildcard
在 ES 中,Term 查询,对输入不做分词。会将输入作为一个整体,在倒排索引中查找准确的词项,并且使用相关度计算公式为每个包含该词项的文档进行相关度计算。
什么是 MongoDB?
一个以 JSON 为数据模型的文档数据库。
为什么叫文档数据库?
文档来自于“JSON Document”,并非我们一般理解的 PDF,WORD 文档。
谁开发 MongDB?
上市公司 MongoDB Inc. ,总部位于美国纽约。
主要用途
TODO: 补图
为什么要使用分片集群?
——分而治之
分片如何解决?
TODO:补图
分片组件:
部分章节内容更偏向于 DBA 的工作,在实际的开发工作中相关性较少,直接略过。
MySQL 逻辑架构分为三层:
解决并发问题的最常见方式是加锁。
排它锁(exclusive lock) - 也叫写锁(write lock)。锁一次只能被一个线程所持有。
共享锁(shared lock) - 也叫读锁(read lock)。锁可被多个线程所持有。
MongoDB 是一个分布式文档数据库,由 C++ 语言编写。
面向文档的数据库使用更灵活的“文档”模型取代了“行”的概念。通过嵌入文档和数组,面向文档的方式可以仅用一条记录来表示复杂的层次关系。
MongoDB 中也没有预定义模式(predefined schema):文档键值的类型和大小不是固定的。由于没有固定的模式,因此按需添加或删除字段变得更容易。
综上,MongoDB 支持结构化、半结构化数据模型,可以动态响应结构变化。
索引是用于提升查询效率的一种存储结构。
在 MongoDB 中,不使用索引的查询称为集合扫描,这意味要扫描所有数据。
创建索引
db.users.createIndex({"username" : 1})
略
【典型回答】
Java 最显著的特性:
Java 既是解释型语言,又是编译型语言
💧 dunwu.github.ioopen in new window 是个人的技术文档归档仓库。
- 🔁 项目同步维护:Githubopen in new window
- 📖 电子书阅读:Github Pagesopen in new window
程序计数器
、虚拟机栈
、本地方法栈
、堆
、方法区
、运行时常量池
、直接内存
、OutOfMemoryError
、StackOverflowError
GC Roots
、Serial
、Parallel
、CMS
、G1
、Minor GC
、Full GC
bytecode
、asm
、javassist
ClassLoader
、双亲委派
jps
、jstat
、jmap
、jstack
、jhat
、jinfo
、jconsole
、jvisualvm
、MAT
、JProfile
、Arthas
CPU
、内存
、磁盘
、网络
、GC
配置
、调优
Tomcat 和 Jetty 都是 Java 比较流行的轻量级服务器。
Nginx 是目前最流行的反向代理服务器,也常用于负载均衡。
Java 项目需要通过 构建工具 来管理项目依赖,完成编译、打包、发布、生成 JavaDoc 等任务。
- 目前最主流的构建工具是 Maven,它的功能非常强大。
- Gradle 号称是要替代 Maven 等构件工具,它的版本管理确实简洁,但是需要学习 Groovy,学习成本比 Maven 高。
- Ant 功能比 Maven 和 Gradle 要弱,现代 Java 项目基本不用了,但也有一些传统的 Java 项目还在使用。
自从有了 IDE,写代码从此就告别了刀耕火种的蛮荒时代。
- Eclipse 是久负盛名的开源 Java IDE,我的学生时代一直使用它写 Java。
- 曾经抗拒从转 Intellij Idea ,但后来发现真香,不得不说,确实是目前最优秀的 Java IDE。
- 你可以在 vscode 中写各种语言,只要安装相应插件即可。如果你的项目中使用了很多种编程语言,又懒得在多个 IDE 之间切换,那么就用 vscode 来一网打尽吧。
监控/诊断 工具主要用于 Java 应用的运维。通过采集、分析、存储、可视化应用的有效数据,帮助开发者、使用者快速定位问题,找到性能瓶颈。
Java 领域比较流行的安全框架就是 shiro 和 spring-security。
shiro 更为简单、轻便,容易理解,能满足大多数基本安全场景下的需要。
spring-security 功能更丰富,也比 shiro 更复杂。值得一提的是由于 spring-security 是 spring 团队开发,所以集成 spring 和 spring-boot 框架更容易。
缓存可以说是优化系统性能的第一手段,在各种技术中都会有缓存的应用。
如果想深入学习缓存,建议先了解一下 缓存基本原理open in new window,有助于理解缓存的特性、原理,使用缓存常见的问题及解决方案。
关系型数据库 整理主流关系型数据库知识点。
Mysql 架构、Mysql 存储引擎、Mysql 索引、Mysql 事务、Mysql 锁、Mysql 高可用、Mysql 优化、Mysql 运维、Mysql 面试
MongoDB 是一个基于文档的分布式数据库,由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系型数据库和非关系型数据库之间的产品。它是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的数据类型。
MongoDB 最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
Redis 基本数据类型、Redis 高级数据类型、Redis 数据结构、Redis 过期删除和内存淘汰、Redis 持久化、Redis 事件、Redis 复制、Redis 哨兵、Redis 集群、Redis 发布订阅、Redis 独立功能、Redis 管道、Redis 脚本、Redis 运维、Redis 实战、Redis 面试
Elasticsearch 是一个基于 Lucene 的搜索和数据分析工具,它提供了一个分布式服务。Elasticsearch 是遵从 Apache 开源条款的一款开源产品,是当前主流的企业级搜索引擎。
如果你是做通信领域的开发,或者是 Web 应用的开发,那就或多或少需要了解一些计算机网络的知识 。
理解计算机网络,首先需要从宏观层面了解计算机网络通信的分层结构。最有代表性的是 OSI 七层结构模型,但现实中更流行的是五层结构模型。
了解网络分层结构,需要了解每个网络层级在网络通信中的定位,以及这个层级主要的通信设备、通信协议。
PPP
、CSMA/CD
、局域网、以太网、MAC
、适配器、集线器、网桥、交换机IP
、ICMP
、ARP
、路由UDP
、TCP
、滑动窗口、拥塞控制、三次握手HTTP
、DNS
、FTP
、TELNET
、DHCP
指标
、挑战
、超时检测
、NTP
、逻辑时钟
逻辑时钟
、向量时钟
、版本时钟
、全序
、偏序
ACID
、CAP
、BASE
、一致性
共识
共识
、Paxos
共识
、Raft
Gossip
共识
、ZAB
、ZooKeeper
服务注册
、服务发现
、元数据
轮询
、随机
、最少连接
、源地址哈希
、一致性哈希
、虚拟 hash 槽
限流
、熔断
、降级
、计数器法
、时间窗口法
、令牌桶法
、漏桶法
路由
、条件路由
、脚本路由
、标签路由
UUID
、自增序列
、雪花算法
、Leaf
定义
、演进
、利弊
、如何拆分
、容量规划
、核心组件
服务定义
、注册中心
、元数据
、健康检查
、服务订阅
、一致性
RPC
、通信协议
、传输方式
、序列化
微服务
、序列化
、动态代理
、通信
、服务注册发现
、健康检查
、路由
、负载均衡
、容错处理
、优雅上线下线
、限流
、熔断
、业务分组
创建型模式提供了创建对象的机制, 能够提升已有代码的灵活性和可复用性。
结构型模式介绍如何将对象和类组装成较大的结构, 并同时保持结构的灵活和高效。
行为模式负责对象间的高效沟通和职责委派。