置身现实,接受一切,树立信心,怀抱希望,拓宽兴趣,宽以待人
艾伦蓝 · 共 669 篇文章
[置顶] java CyclicBarrier进行并发编程
CyclicBarrier允许一组线程相互等待达到一个公共的障碍点。 CyclicBarrier对于一组线程必须相互等待的场景很有用。**比如有一组线程,都要往数据库里面写入操作,只有当所有的线程都往数据库里面写入数据之后,这些线程才能继续往下执行,这时候就可以使用CyclicBarrier了。**当所有的等待线程释放之后,CyclicBarrier是可重用的。 CyclicBarrier有两个构造函数: public CyclicBarrier(int parties, Runnable barrierAction) public CyclicBarrier(int parties) 参数…
2017-08-25T15:44:48Z · 编程语言 · 评论(0)
[置顶] Hadoop MapReduce常见问题学习(shuffle-->将map输出转化成reducer输入)
MapReduce是什么 Hadoop是一个分布式计算系统,两大核心HDFS,这是存储文件的,MapReduce这是用于计算的。 MapReduce是一种编程模型,类比为设计模式,好比最佳实践,编写是先写map函数,再写reduce函数。 Shuffle是什么 这个图来自《Hadoop,The Definitive Guide》,就是“谁说大象不能跳舞”那本书,用来描述shuffle和sort,用这个图理解shuffle,很难学的会跳舞。 shuffle描述的是,数据从map函数输出后,到reduce函数输入前的这段过程,这段过程中所发生的事情,叫做shuffle。 **Map端的shuff…
2017-03-23T16:28:00Z · 编程语言 · 评论(0)
[置顶] Hadoop HDFS文件存储特点结构
1:什么是HDFS? HDFS适合做: 1.存储大文件。上G、T甚至P。 2.一次写入,多次读取。并且每次作业都要读取大部分的数据。 3.搭建在普通商业机群上就可以了。虽然会经常宕机,但HDFS有良好的容错机制。 HDFS不适合做: 1.实时数据获取。如果有这个需求可以用HBase。 2.很多小文件。因为namenode要存储HDFS的metadata( 比如目录的树状结构,每个文件的文件名、ACL(权限管理)、长度、owner、文件内容存放的位置等等信息 ),所以HDFS上文件的数目受到namenode内存的限制。 3.并发环境下的写入和修改。 hadoop中存储文件以HDFS形式存储,H…
2017-03-07T10:55:54Z · 编程语言 · 评论(0)
[置顶] Hadoop Map-Reduce的过程解析
一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过** JobClient.runJob(JobConf) **静态函数实现的: public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… while…
2017-03-06T15:43:52Z · 编程语言 · 评论(0)
[置顶] Hadoop HDFS详细知识学习(fsimage和editlog)
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中, 如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和数据节点(datanode) 元数据节点用来管理文件系统的命名空间 其将所有的文件和文件夹的元数据保存在一个文件系统树中。 这些信息也会在硬盘上保存成以下文件: 命名空间镜像(namespace image)及修…
2017-03-03T10:09:49Z · 编程语言 · 评论(0)
[置顶] zookeeper原理学习
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集, 分布式应用程序可以基于它实现同步服务,配置维护和命名服务等 。Zookeeper是Hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理,对于如何使用zookeeper不是本文讨论的重点。 1 Zookeeper的基本概念 1.1 角色 Zookeeper中的角色主要…
2017-03-02T18:00:54Z · 编程语言 · 评论(0)
[置顶] java Cookie操作总结
java对cookie的操作比较简单, 主要介绍下建立cookie和读取cookie,以及如何设定cookie的生命周期和cookie的路径问题。 可在同一应用服务器内共享方法:设置cookie.setPath("/") 本机tomcat/webapp下面有两个应用:webapp_a和webapp_b, 1.原来在webapp_a下面设置的cookie,在webapp_b下面获取不到,path默认是产生cookie的应用的路径。 2.若在webapp_a下面设置cookie的时候,增加一条cookie.setPath("/");或者cookie.setPath("/webapp_b/"); …
2017-02-04T09:14:19Z · 编程语言 · 评论(0)
[置顶] java Thread Join方法学习(同步)(等待调用join的线程先执行)
join() 方法主要是让调用该方法的线程完成run方法里面的东西后,再执行join()方法后面的代码。 class ThreadTesterA implements Runnable { private int counter; @Override public void run() { while (counter <= 10) { System.out.print("Counter = " + counter + " "); counter++; } System.out.println(); } } class ThreadTesterB implements Runnable { …
2016-03-15T10:09:39Z · 编程语言 · 评论(0)
[置顶] Java Observer(观察者)与Observable(被观察者-->实体)实现观察者模式
在Java中 通过Observable类和Observer接口实现了观察者模式 。 Observer对象是观察者,Observable对象是被观察者。 1. 实现观察者模式 实现观察者模式非常简单, 创建被观察者类 ,它继承自java.util.Observable类; 创建观察者类 ,它实现java.util.Observer接口; 对于被观察者类, 添加它的观察者: void addObserver(Observer o) 当被观察事件发生时,执行: setChanged(); notifyObservers(); setChange() 方法用来设置一个内部标志位注明数据发生了变化; …
2016-03-11T17:02:17Z · 编程语言 · 评论(0)
[置顶] SSL(Secure Sockets Layer 加密套接字协议层)安全认证
SSL(Secure Sockets Layer 加密套接字协议层) SSL是一个安全协议,它提供使用TCP/IP的通信应用程序间的隐私与完整性。因特网的超文本传输协议(HTTP)使用SSL来实现安全的通信。 基本逻辑: 1、生成服务端密钥库并导出证书;( 生成server.jks文件服务器需要识别 ) 2、生成客户端密钥库并导出证书;( 生成custom.p12文件 ) 3、根据客户端密钥库生成客户端信任的证书;( 将custom.p12文件生成custom.cer文件 ) 4、将客户端证书导入服务端密钥库;( 将custom.cer文件导入server.jks文件 ) 5、将服务端证书导…
2014-07-11T22:32:23Z · 编程语言 · 评论(0)
[置顶] sql 数据库索引的使用规则
使用索引前需要用explain查看下执行计划,然后根据基数是否需要创建索引。 巧用索引 a.如果表中大部分status是1,2 但我们需要查询查询少量的3时,也可以为status添加索引 b.为sql语句添加额外的条件,如查询员工时可以添加城市等字段过滤 c.如果表数据按城市进行查询慢时,可以换个思路如通过城市找到staffId然后再通过staffId查询,这样可以增加区分度加快查询效率 优化前: explain select * from a where reserve_date BETWEEN '2019-07-01' and '2019-07-31' and city_code = '…
2014-06-15T14:49:42Z · 编程语言 · 评论(0)
[置顶] web.xml 配置详解
首先可以肯定的是, 加载顺序与它们在 web.xml 文件中的先后顺序无关 。即不会因为 filter 写在 listener 的前面而会先加载 filter。 加载顺序是:context-param -> listener -> filter -> servlet 同时还存在着这样一种配置节:**context-param,它用于向 ServletContext 提供键值对,即应用程序上下文信息**。<span style="color:red">我们的 listener, filter 等在初始化时会用到这些上下文中的信息</span>,那么 context-param 配置节是不是应该…
2014-05-06T16:54:56Z · 编程语言 · 评论(0)
[置顶] spring CXF配置以及WSDL的详解
WSDL它是一种用XML来描述网络服务的语言。 每个wsdl都定义了一项服务(service),而这项服务被定义为一组“端口(port)”。 你可以把wsdl中的端口想象为URL地址,而不是TCP/IP中的数据通道。 一个端口定义了一个”服务”项目的提供地点。 一项服务可以有多个提供地点,但只能对一组事先安排好的“信息(message)”作出响应。 “信息”是对通信数据的描述,每条信息由一组数据组成,这些数据必须定义为收发双方都知道的某种“类型(type)”。如果没有遇到其他方法更能说明问题的情况,则”类型”必须用XSD来定义。端口和信息结合在一起代表了一组“操作(operation)”,并…
2014-04-18T09:45:46Z · 编程语言 · 评论(0)
[置顶] UML中的一些小知识
1.按照耦合度从低到高 由弱到强: 依赖,关联,聚合,组合,继承 。 (推荐高内聚低耦合) 2.聚合组合原则: 尽量聚合组合,避免继承 。 **3.依赖,关联,聚合,组合,继承的一些小例子: ** 依赖:我要过河需要用到船,我和船的关系就是依赖。关联:我和我的朋友。聚合:雁群和大雁 。组合:大雁和翅膀。继承:父子关系。 UML定义了5类,10种模型图 第一类是用例图。 第二类是静态图(Static diagram) (类图、对象图、包图)。 第三类是行为图(Behavior diagram) (状态图、活动图)。 第四类是交互图(Interactive diagram) (时序图、协作图)。…
2014-04-17T10:08:49Z · 非技术 · 评论(0)
Mongodb 基本操作指令集合
db -> collection(集合) -> document(json文档) db.help(); show dbs ; 显示所有db show collections; 显示db下面所有集合 db.createCollection("yourCollection"); 创建普通集合 db.createCollection("cappedCollection",{capped:true,size:16332,max:100}) 创建就盖子集合,盖子集合只用于保存日志文件 不允许删除和修改大小值 db.users.stats(); 查询集合中存储大小等信息 db.serverStatus(…
2019-07-04T08:41:32Z · 编程语言 · 评论(0)