ITeye博客

bibithink's blog

bibithink · 共 18 篇文章

Jedis Cluster 扩展方案

Infra Redis Client Infra Redis client 基于 Jedis 实现了对 Redis 集群的访问封装。 Redis Client 能做什么? Infra Redis client 提供如下特性: 支持双机房集群 failover 方案 支持以 pipeline 方式访问 Redis 集群 支持 Redis 访问实时监测 怎么使用 Redis Client? 配置 maven 依赖: <dependency> <groupId>com.city.infra</groupId> <artifactId>city-infra-redis</artifactId> <v…

2016-09-28 10:58 · Redis · Java 基础 · 评论(0)

Java Collections 中的通用实现

Java Collections 框架中的接口,有很多方法被标注为可选的(optional),这意味着允许具体的实现类不实现这些方法,被调用到的时候直接抛出一个 UnsupportedOperationException 异常。 同时 Java 也提供了一系列的通用实现(general purpose implementations),这些实现适用于所有通用的场景,它们实现了对应接口的所有方法,下面这个表格总结的所有的通用实现: 接口 HashTable Resiable Array Balanced Tree Linked List Hash Table + LinkedList Set …

2016-01-06 12:47 · Java 基础 · 评论(0)

Java Collections 框架

Collection(下称"对象集") 指一个能够表示一组对象的对象(比如数组)。Java 平台提供了一个 Collections 框架,它是一个统一的架构,用来表示和处理对象集,同时又对每一个具体的对象集做了很多实现上的算法优化。 Collections 框架的主要优点有: 降低编程成本:这些数据结构和算法都已经摆在那里,你就不用自己实现了。 提升性能:提供的数据结构和算法实现都是高性能的。每个接口内部都提供了多种可以互相替代的实现,程序可以通过替换实现来进行性能调优。 提供了无关 API 间的内部交互:建立了一个通用的语义,给 API 传入和传出对象集。 更容易学习 API:你不需要学习…

2015-12-30 17:07 · Java 基础 · 评论(0)

Scala 简介

可扩展的语言 Scala 是“Scalable Language”的首字母缩写,scala即可提供所见即所得的编程体验,也可以用在高性能的关键系统中。Twitter、LinkedIn和Intel都在用。 面向对象 Scala 是一门存粹的面向对象的语言,每一个变量都是对象,每一个操作都是对象的方法调用。语言支持基于类特性的高级组件结构。 很多传统的设计模式都在 Scala 中内部集成。比如在对象定义的时候就可以定义单例模式,再如利用模式匹配就能使用观察者模式。 函数式编程 Scala 很好地支持函数式编程,它包含很多我们需要的特性,比如 first-class functions,对不可变数…

2015-12-30 13:11 · scala · 评论(0)

Redis (二) -- List 数据类型

列表(List)通常有两种实现方案:链表和数组。 Redis 的列表是通过链表方式实现的,其优点是在列表头部或尾部的插入操作时间复杂度是 O(1) ;缺点是通过下标访问元素的效率不及数组列表。 如果需要频繁地访问一个很大集合的中间部分数据,可以采用 Sorted sets 数据结构。 小试牛刀 LPUSH 命令从左边(队列头)插入一个元素,RPUSH 命令从右边(队列尾)插入一个元素。LRANGE 命令从队列中取出元素: 127.0.0.1:6379> rpush mylist A (integer) 1 127.0.0.1:6379> rpush mylist B (integer) 2 …

2015-12-15 14:26 · Redis · 评论(0)

Redis (一) -- 基本介绍和 String 类型

Redis 支持丰富的数据格式,下面是 Redis 支持的数据格式列表: Binary-safe strings 二进制安全的字符序列 Lists 按插入时间排序的字符串集合,基本上是链表。(从字面意思看,如果列表过长时会换用其他数据结构) Sets 唯一的无序的字符串集合 Sorted sets 也是集合,但每个元素对应一个分数,集合中的元素按照这个分数排序。Sorted sets 支持像取得 top 10 的元素这样的操作。 Hashes 就是通常意义的 map,key 和 value 都是字符串。 Bit arrays Redis 支持像位数组一样操作字符串,你可以执行一些列位操作,比…

2015-12-11 13:45 · Redis · 评论(0)

Hive (二) 系统架构

下图是 hive 系统的整体结构图 Hive 体系结构 上图显示了 Hive 的主要组件以及 Hive 跟 Hadoop 的交互过程,这些组件分别是: UI:用户提交查询和其他操作到系统的用户接口。 Driver:接收查询的组件,负责 session 管理,提供基于 JDBC/ODBC 接口的执行和数据拉取 API。 Compiler:解析查询,对查询的不同部分做语法分析,生成执行计划。 Metastore:存储数据仓库中所有数据的结构信息,包括列名和列的类型信息;也负责数据读写的序列化和反序列化,以及定位数据对应的 HDFS 文件。 Execution Engine - 执行具体的执行计划…

2015-12-10 13:53 · Hive · 评论(0)

Hive (一) 简介

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析。 适用场景 Hive 的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。 Hive 构建在基于静态批处理的 Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。 Hive 并不提供实时的查询和基于行级的…

2015-12-10 11:51 · Hive · 评论(0)

Kafka(五) -- 数据导入导出

用命令行方式读写 Kafka 玩玩还行,真正投入实际使用时,往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。 先创建一个本地源数据文件: echo -e "foo\nbar" > test.txt 然后我们启动一个独立(standalone)模式的连接: bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties & 上述命…

2015-12-09 11:15 · Kafka · 评论(0)

Kafka(四) -- 创建多实例集群

这一节我们看下怎么创建一个多实例的集群(以三个节点为例)。 一、 创建配置文件 进入到 Kafka 主目录,以 config/server.properties 为原型,创建两个新的节点配置文件 cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties 按如下方式修改这两个配置文件的相关属性 config/server-1.properties: listeners=PLAINTEXT://:9093 broker.id=1 por…

2015-12-08 22:42 · Kafka · 评论(0)

Kafka(三) -- 安装和使用

以下我们分五个步骤来说明 Kafka 系统的安装和使用(命令行方式) (一)下载代码 下载链接: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 下载后解压: tar -xzf kafka_2.11-0.9.0.0.tgz cd kafka_2.11-0.9.0.0 (二)启动服务 Kafak 使用 ZooKeeper 管理,所以如果没有的话就先启动一个 ZooKeeper。可以通过如下脚本启动一个临时单点 ZooKeeper 实例: bin/zookeeper-server-s…

2015-12-08 21:11 · Kafka · 评论(0)

Kafka(二) -- Kafka 用在哪

从 Kafak 官网介绍来看,它适用于如下七类场景 消息分发(Messaging) Kafka 可以替代传统的消息中间代理系统,相比之下 Kafka 有更高的吞吐量,内置的数据划分、多副本、容错机制使得它是大规模消息处理应用的一个很好选择。 这个领域里比较传统的系统是 ActiveMQ 和 RabbitMQ 。 网络行为跟踪(Website Activity Tracking) Kafka 最早的一个使用场景就是作为实时订阅反馈系统的一部分,能够重建用户行为跟踪的流水线。通过 Kafka 把用户的网站浏览行为发布到中心主题中,通常每个行为类型一个主题。这些消息后面就可以被实时处理、实时监控或…

2015-12-08 11:07 · Kafka · 评论(0)

Kafka(一) -- Kafka 简介

时过境迁,Kafka 已经把自己的定位改为日志提交服务。现在官方的说法是: Kafka是一个分布式的、分片的、多副本的日志提交服务。基于一个统一的设计,它同样也提供消息系统的功能。 (之前的说法是: Kafka 本质上是一个分布式的消息队列,但是也可以用来做日志传输的中转组件。它的主要特点如下: 分布式。内部包含多个Broker,在客户端使用分片机制来实现负载均衡。 高吞吐。较其他消息队列,Kafka 精简掉很多高级特性,但这样也使得它更容易实现高吞吐。 可靠性。所有的数据会被持久化在内部 Broker 的磁盘中,支持多副本,并且可以为不同重要性的群组配置不同的副本数量。 数据订阅。和所有常…

2015-12-07 13:41 · Kafka · 评论(0)

怎样改进英式中文

LeanCloud 推荐的余光中先生的文章,讲了很多英式中文的问题,在工作中经常碰到。 原文链接: http://open.leancloud.cn/improve-chinese.html 阅读笔记:

2015-11-30 15:37 · 阅读笔记 · 评论(0)

Google 扩张的法门

原文链接: http://www.huxiu.com/article/132365/1.html

2015-11-27 11:05 · 阅读笔记 · 评论(0)