基于JDK1.8，Java容器源码分析

容器源码分析

如果没有特别说明，以下源码分析基于 jdk 1.8。

在 idea 中 double shift 调出 search everywhere，查找源码文件，找到之后就可以阅读源码。

list

arraylist

1. 概览

实现了 randomaccess 接口，因此支持随机访问。这是理所当然的，因为 arraylist 是基于数组实现的。

public class arraylist<e> extends abstractlist<e>
        implements list<e>, randomaccess, cloneable, java.io.serializable

 

数组的默认大小为 10。

private static final int default_capacity = 10;

 

2. 扩容

添加元素时使用 ensurecapacityinternal() 方法来保证容量足够， 如果不够时，需要使用 grow() 方法进行扩容， 新容量的大小为 oldcapacity + (oldcapacity >> 1)，也就是旧容量的 1.5 倍。

扩容操作需要调用 arrays.copyof() 把原数组整个复制到新数组中，这个操作代价很高，因此最好在创建 arraylist 对象时就指定大概的容量大小，减少扩容操作的次数。

public boolean add(e e) {
    //添加元素时使用 ensurecapacityinternal() 方法来保证容量足够，
    ensurecapacityinternal(size + 1);  // increments modcount!!
    elementdata[size++] = e;
    return true;
}

private void ensurecapacityinternal(int mincapacity) {
    if (elementdata == defaultcapacity_empty_elementdata) {
        mincapacity = math.max(default_capacity, mincapacity);
    }
    ensureexplicitcapacity(mincapacity);
}

private void ensureexplicitcapacity(int mincapacity) {
    modcount++;
    // overflow-conscious code
    if (mincapacity - elementdata.length > 0)
        grow(mincapacity);
}

private void grow(int mincapacity) {
    // overflow-conscious code
    int oldcapacity = elementdata.length;
    int newcapacity = oldcapacity + (oldcapacity >> 1);
    if (newcapacity - mincapacity < 0)
        newcapacity = mincapacity;
    if (newcapacity - max_array_size > 0)
        newcapacity = hugecapacity(mincapacity);
    // mincapacity is usually close to size, so this is a win:
    //这个操作代价很高，因此最好在创建 arraylist 对象时就指定大概的容量大小，减少扩容操作的次数。
    elementdata = arrays.copyof(elementdata, newcapacity);
}

 

3. 删除元素

需要调用 system.arraycopy() 将 index+1 后面的元素都复制到 index 位置上，该操作的时间复杂度为 o(n)，可以看出 arraylist 删除元素的代价是非常高的。

public e remove(int index) {
    rangecheck(index);
    modcount++;
    e oldvalue = elementdata(index);
    //index+1 后面的元素都向左移动一位 即index+1位置的后面元素个数 (size-1)-(index+1)+1
    int nummoved = size - index - 1;
    if (nummoved > 0)
        //将 index+1后面的元素都向左移动一位，原来的 （index+1）位置元素就移到 index位置
        system.arraycopy(elementdata, index+1, elementdata, index, nummoved);
    elementdata[--size] = null; // clear to let gc do its work
    return oldvalue;
}

 

4. fail-fast

modcount 用来记录 arraylist 结构发生变化的次数。结构发生变化是指添加或者删除至少一个元素的所有操作，或者是调整内部数组的大小，仅仅只是设置元素的值不算结构发生变化。

在进行序列化或者迭代等操作时，需要比较操作前后 modcount 是否改变， 如果改变了需要抛出 concurrentmodificationexception。

private void writeobject(java.io.objectoutputstream s)
    throws java.io.ioexception{
    // write out element count, and any hidden stuff
    //这里 记录操作前的 modcount
    int expectedmodcount = modcount;
    s.defaultwriteobject();

    // write out size as capacity for behavioural compatibility with clone()
    s.writeint(size);

    // write out all elements in the proper order.
    for (int i=0; i<size; i++) {
        s.writeobject(elementdata[i]);//操作
    }

    //这里的modcount是操作后的 modcount与之前的作比较
    if (modcount != expectedmodcount) {
        throw new concurrentmodificationexception();
    }
}

 

5. 序列化

arraylist 基于数组实现，并且具有动态扩容特性，因此保存元素的数组不一定都会被使用，那么就没必要全部进行序列化。

保存元素的数组 elementdata 使用 transient 修饰，该关键字声明数组默认不会被序列化。

transient object[] elementdata; // non-private to simplify nested class access

arraylist 实现了 writeobject() 和 readobject() 来控制只序列化数组中有元素填充那部分内容。

private void readobject(java.io.objectinputstream s)
    throws java.io.ioexception, classnotfoundexception {
    elementdata = empty_elementdata;

    // read in size, and any hidden stuff
    s.defaultreadobject();

    // read in capacity
    s.readint(); // ignored

    if (size > 0) {
        // be like clone(), allocate array based upon size not capacity
        //根据size来分配内存，来控制只序列化数组中有元素填充那部分内容
        ensurecapacityinternal(size);

        object[] a = elementdata;
        // read in all elements in the proper order.
        for (int i=0; i<size; i++) {
            a[i] = s.readobject();
        }
    }
}
private void writeobject(java.io.objectoutputstream s)
    throws java.io.ioexception{
    // write out element count, and any hidden stuff
    int expectedmodcount = modcount;
    s.defaultwriteobject();

    // write out size as capacity for behavioural compatibility with clone()
    s.writeint(size);

    // write out all elements in the proper order.
    for (int i=0; i<size; i++) {
        s.writeobject(elementdata[i]);
    }

    if (modcount != expectedmodcount) {
        throw new concurrentmodificationexception();
    }
}

 

序列化时需要使用 objectoutputstream 的 writeobject() 将对象转换为字节流并输出。而 writeobject() 方法在传入的对象存在 writeobject() 的时候会去反射调用该对象的 writeobject() 来实现序列化。反序列化使用的是 objectinputstream 的 readobject() 方法，原理类似。

arraylist list = new arraylist();
objectoutputstream oos = new objectoutputstream(new fileoutputstream(file));
oos.writeobject(list);

 

6.system.arraycopy()和arrays.copyof()方法

arrays.copyof()的源代码内部调用了system.arraycopy()方法。但是system.arraycopy()方法需要目标数组， 将原数组拷贝到你自己定义的数组里，而且可以选择拷贝的起点和长度以及放入新数组中的位置； arrays.copyof()是系统自动在内部创建一个数组，并返回这个新创建的数组。

vector

1. 同步

它的实现与 arraylist 类似，但是使用了 synchronized 进行同步。

public synchronized boolean add(e e) {
    modcount++;
    ensurecapacityhelper(elementcount + 1);
    elementdata[elementcount++] = e;
    return true;
}

public synchronized e get(int index) {
    if (index >= elementcount)
        throw new arrayindexoutofboundsexception(index);

    return elementdata(index);
}

 

2. 与 arraylist 的比较

• vector 是同步的，因此开销就比 arraylist 要大，访问速度更慢。 最好使用 arraylist 而不是 vector，因为同步操作完全可以由程序员自己来控制；
• vector 每次扩容请求其大小的 2 倍空间，而 arraylist 是 1.5 倍。

3. 替代方案

可以使用 collections.synchronizedlist(); 得到一个线程安全的 arraylist。

list<string> list = new arraylist<>();
list<string> synlist = collections.synchronizedlist(list);

 

也可以使用 concurrent 并发包下的 copyonwritearraylist 类。

list<string> list = new copyonwritearraylist<>();

 

copyonwritearraylist

读写分离

写操作在一个复制的数组上进行，读操作还是在原始数组中进行，读写分离，互不影响。

写操作需要加锁，防止并发写入时导致写入数据丢失。

写操作结束之后需要把原始数组指向新的复制数组。

public boolean add(e e) {
   //加锁
    final reentrantlock lock = this.lock;
    lock.lock();
    try {
        object[] elements = getarray();
        int len = elements.length;
        object[] newelements = arrays.copyof(elements, len + 1);
        newelements[len] = e;
        //写操作在一个复制的数组上进行
        setarray(newelements);
        return true;
    } finally {
        lock.unlock();
    }
}

final void setarray(object[] a) {
    array = a;
}
@suppresswarnings("unchecked")
private e get(object[] a, int index) {
    //读取操作仍然在原始的数组中
    return (e) a[index];
}

 

适用场景

copyonwritearraylist 在写操作的同时允许读操作，大大提高了读操作的性能，因此很适合读多写少的应用场景。

但是 copyonwritearraylist 有其缺陷：

• 内存占用：在写操作时需要复制一个新的数组，使得内存占用为原来的两倍左右；
• 数据不一致：读操作不能读取实时性的数据，因为部分写操作的数据还未同步到读数组中。

所以 copyonwritearraylist 不适合内存敏感以及对实时性要求很高的场景。

linkedlist

1. 概览

基于双向链表实现，使用 node 存储链表节点信息。

private static class node<e> {
    e item;
    node<e> next;
    node<e> prev;
}

 

每个链表存储了 first 和 last 指针：

transient node<e> first;
transient node<e> last;

 

 

 

 

2. 添加元素

• 将元素添加到链表尾部

public boolean add(e e) {
    linklast(e);//这里就只调用了这一个方法
    return true;
}
/**
 * e作为最后一个元素。
 */
void linklast(e e) {
    final node<e> l = last;
    final node<e> newnode = new node<>(l, e, null);
    last = newnode;//新建节点,尾指针指向新节点
    //如果是空的双向链表，则该节点既是尾节点，又是头节点
    if (l == null)
        first = newnode;
    else
        l.next = newnode;//指向后继元素也就是指向下一个元素
    size++;
    modcount++;
}
将元素添加到链表头部
public void addfirst(e e) {
    linkfirst(e);
}
/**
* e元素作为头元素
*/
private void linkfirst(e e) {
    final node<e> f = first;
    final node<e> newnode = new node<>(null, e, f);//新建节点，以头节点为后继节点
    first = newnode;
    //如果链表为空，last节点也指向该节点
    if (f == null)
        last = newnode;
    //否则，将头节点的前驱指针指向新节点，也就是指向前一个元素
    else
        f.prev = newnode;
    size++;
    modcount++;
}

 

3. 删除指定元素

public boolean remove(object o) {
    //如果删除对象为null
    if (o == null) {
        //从头开始遍历
        for (node<e> x = first; x != null; x = x.next) {
            //找到元素
            if (x.item == null) {
               //从链表中移除找到的元素
                unlink(x);
                return true;
            }
        }
    } else {
        //从头开始遍历
        for (node<e> x = first; x != null; x = x.next) {
            //找到元素
            if (o.equals(x.item)) {
                //从链表中移除找到的元素
                unlink(x);
                return true;
            }
        }
    }
    return false;
}
/**
* 双向链表先删除前驱，再删除后继
* 注意：这个待删除的节点是不是头节点或者只为尾节点
*/
e unlink(node<e> x) {
    // assert x != null;
    final e element = x.item;
    final node<e> next = x.next;//得到后继节点
    final node<e> prev = x.prev;//得到前驱节点

    /**
    * 删除前驱指针 
    */
    //如果删除的节点是头节点,令头节点指向该节点的后继节点
    if (prev == null) {
        first = next; 
    } else {
        prev.next = next;//将前驱节点的后继节点指向后继节点
        x.prev = null; //todo:十分重要
    }

    /**
    * 删除后继指针 
    */
    //如果删除的节点是尾节点,令尾节点指向该节点的前驱节点
    if (next == null) {
        last = prev;
    } else {
        next.prev = prev;
        x.next = null;
    }

    x.item = null;
    size--;
    modcount++;
    return element;
}

 

4. 与 arraylist 的比较

• arraylist 基于动态数组实现，linkedlist 基于双向链表实现；
• arraylist 支持随机访问，linkedlist 不支持；
• linkedlist 在任意位置添加删除元素更快。

map

hashmap

为了便于理解，以下源码分析以 jdk 1.7 为主。

1. 存储结构

内部包含了一个 entry 类型的数组 table。

transient entry[] table;

 

entry 存储着键值对。它包含了四个字段，从 next 字段我们可以看出 entry 是一个链表。 即数组中的每个位置被当成一个桶，一个桶存放一个链表。hashmap 使用拉链法来解决冲突， 同一个链表中存放哈希值相同的 entry。

 

 

 

 

static class entry<k,v> implements map.entry<k,v> {
    //包含了四个字段
    final k key;
    v value;
    //next指向下一个节点，说明是链表结构
    entry<k,v> next;
    int hash;

    entry(int h, k k, v v, entry<k,v> n) {
        value = v;
        next = n;
        key = k;
        hash = h;
    }

    public final k getkey() {
        return key;
    }

    public final v getvalue() {
        return value;
    }

    public final v setvalue(v newvalue) {
        v oldvalue = value;
        value = newvalue;
        return oldvalue;
    }

    public final boolean equals(object o) {
        if (!(o instanceof map.entry))
            return false;
        map.entry e = (map.entry)o;
        object k1 = getkey();
        object k2 = e.getkey();
        // k1==k2比较的是hashcode值，k1.equals(k2)比较的是k1和k2的内容
        if (k1 == k2 || (k1 != null && k1.equals(k2))) {
            object v1 = getvalue();
            object v2 = e.getvalue();
            if (v1 == v2 || (v1 != null && v1.equals(v2)))
                return true;
        }
        return false;
    }

    public final int hashcode() {
        return objects.hashcode(getkey()) ^ objects.hashcode(getvalue());
    }

    public final string tostring() {
        return getkey() + "=" + getvalue();
    }
}

 

2. 拉链法的工作原理

hashmap<string, string> map = new hashmap<>();
map.put("k1", "v1");
map.put("k2", "v2");
map.put("k3", "v3");

 

• 新建一个 hashmap，默认大小为 16；
• 插入 <k1,v1> 键值对，先计算 k1 的 hashcode 为 115，使用除留余数法得到所在的桶下标 115%16=3。
• 插入 <k2,v2> 键值对，先计算 k2 的 hashcode 为 118，使用除留余数法得到所在的桶下标 118%16=6。
• 插入 <k3,v3> 键值对，先计算 k3 的 hashcode 为 118，使用除留余数法得到所在的桶下标 118%16=6，插在 <k2,v2> 前面。

应该注意到链表的插入是以头插法方式进行的，例如上面的 <k3,v3> 不是插在 <k2,v2> 后面，而是插入在链表头部。

查找需要分成两步进行：

• 计算键值对所在的桶；
• 在链表上顺序查找，时间复杂度显然和链表的长度成正比。

 

 

 

3. put 操作

public v put(k key, v value) {
    if (table == empty_table) {
        inflatetable(threshold);
    }
    // 键为 null 单独处理
    if (key == null)
        return putfornullkey(value);
    int hash = hash(key);
    // 确定桶下标
    int i = indexfor(hash, table.length);
    // 先找出是否已经存在键为 key 的键值对，如果存在的话就更新这个键值对的值为 value
    // 时间复杂度显然和链表的长度成正比。
    for (entry<k,v> e = table[i]; e != null; e = e.next) {
        object k;
        if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
            v oldvalue = e.value;
            e.value = value;
            e.recordaccess(this);
            return oldvalue;
        }
    }

    modcount++;
    // 插入新键值对
    addentry(hash, key, value, i);
    return null;
}

 

hashmap 允许插入键为 null 的键值对。但是因为无法调用 null 的 hashcode() 方法，也就无法确定该键值对的桶下标，只能通过强制指定一个桶下标来存放。hashmap 使用第 0 个桶存放键为 null 的键值对。

private v putfornullkey(v value) {
    //hashmap 使用第 0 个桶 table[0] 存放键为 null 的键值对。
    for (entry<k,v> e = table[0]; e != null; e = e.next) {
        if (e.key == null) {
            v oldvalue = e.value;
            e.value = value;
            e.recordaccess(this);
            return oldvalue;
        }
    }
    modcount++;
    //void addentry(int hash, k key, v value, int bucketindex)
    addentry(0, null, value, 0);
    return null;
}

 

使用链表的头插法，也就是新的键值对插在链表的头部，而不是链表的尾部。

//todo:使用链表的头插法，也就是新的键值对插在链表的头部，而不是链表的尾部。
void addentry(int hash, k key, v value, int bucketindex) {
    if ((size >= threshold) && (null != table[bucketindex])) {
        resize(2 * table.length);
        hash = (null != key) ? hash(key) : 0;
        bucketindex = indexfor(hash, table.length);
    }

    createentry(hash, key, value, bucketindex);
}

void createentry(int hash, k key, v value, int bucketindex) {
    entry<k,v> e = table[bucketindex];
    // 头插法，链表头部指向新的键值对
    table[bucketindex] = new entry<>(hash, key, value, e);
    size++;
}
entry(int h, k k, v v, entry<k,v> n) {
    value = v;
    next = n;
    key = k;
    hash = h;
}

 

4. 确定桶下标

很多操作都需要先确定一个键值对所在的桶下标。

int hash = hash(key);
int i = indexfor(hash, table.length);

 

4.1 计算 hash 值

final int hash(object k) {
    int h = hashseed;
    if (0 != h && k instanceof string) {
        return sun.misc.hashing.stringhash32((string) k);
    }

    h ^= k.hashcode();

    // this function ensures that hashcodes that differ only by
    // constant multiples at each bit position have a bounded
    // number of collisions (approximately 8 at default load factor).
    h ^= (h >>> 20) ^ (h >>> 12);
    return h ^ (h >>> 7) ^ (h >>> 4);
}
public final int hashcode() {
    return objects.hashcode(key) ^ objects.hashcode(value);
}

 

4.2 取模

令 x = 1<<4，即 x 为 2 的 4 次方，它具有以下性质：

x   : 00010000
x-1 : 00001111

 

令一个数 y 与 x-1 做与运算，可以去除 y 位级表示的第 4 位以上数：

y       : 10110010
x-1     : 00001111
y&(x-1) : 00000010

 

这个性质和 y 对 x 取模效果是一样的：

y   : 10110010
x   : 00010000
y%x : 00000010

 

我们知道，位运算的代价比求模运算小的多，因此在进行这种计算时用位运算的话能带来更高的性能。

确定桶下标的最后一步是将 key 的 hash 值对桶个数取模： hash%capacity，如果能保证 capacity 为 2 的 n 次方，那么就可以将这个操作转换为位运算。

static int indexfor(int h, int length) {
    return h & (length-1);
}

 

就等价于

static int indexfor(int h, int length) {
    return h % length;
}

 

但是效率会更高。

5. 扩容-基本原理

设 hashmap 的 table 长度为 m，需要存储的键值对数量为 n，如果哈希函数满足均匀性的要求，那么每条链表的长度大约为 n/m，因此平均查找次数的复杂度为 o(n/m)。

为了让查找的成本降低，应该尽可能使得 n/m 尽可能小，因此需要保证 m 尽可能大，也就是说 table 要尽可能大。 hashmap 采用动态扩容来根据当前的 n 值来调整 m 值，使得空间效率和时间效率都能得到保证。

和扩容相关的参数主要有：capacity、size、threshold 和 load_factor。

参数含义capacitytable 的容量大小，默认为 16。需要注意的是 capacity 必须保证为 2 的 n 次方。size键值对数量。thresholdsize 的临界值，当 size 大于等于 threshold 就必须进行扩容操作。loadfactor装载因子，table 能够使用的比例，threshold = capacity * loadfactor。

static final int default_initial_capacity = 16; 
//保证 capacity 为 2 的 n 次方，那么就可以将indexfor方法中操作转换为位运算

static final int maximum_capacity = 1 << 30;  
//保证 capacity 为 2 的 n 次方，那么就可以将indexfor方法中操作转换为位运算

 

static final float default_load_factor = 0.75f;

transient entry[] table;

transient int size;

int threshold;

final float loadfactor;

transient int modcount;

 

从下面的添加元素代码中可以看出，当需要扩容时，令 capacity 为原来的两倍。

void addentry(int hash, k key, v value, int bucketindex) {
    entry<k,v> e = table[bucketindex];
    table[bucketindex] = new entry<>(hash, key, value, e);
    if (size++ >= threshold)
        resize(2 * table.length);//令 capacity 为原来的两倍
}

 

扩容使用 resize() 实现，需要注意的是，扩容操作同样需要把 oldtable 的所有键值对重新插入 newtable 中，因此这一步是很费时的。

void resize(int newcapacity) {
    entry[] oldtable = table;
    int oldcapacity = oldtable.length;
    if (oldcapacity == maximum_capacity) {
        threshold = integer.max_value;
        return;
    }
    entry[] newtable = new entry[newcapacity];
    transfer(newtable);
    table = newtable;
    threshold = (int)(newcapacity * loadfactor);
}

void transfer(entry[] newtable) {
    entry[] src = table;
    int newcapacity = newtable.length;
    for (int j = 0; j < src.length; j++) {
        entry<k,v> e = src[j];
        if (e != null) {
            src[j] = null;
            do {
                entry<k,v> next = e.next;
                int i = indexfor(e.hash, newcapacity);
                e.next = newtable[i];
                newtable[i] = e;
                e = next;
            } while (e != null);
        }
    }
}

 

6. 扩容-重新计算桶下标

在进行扩容时，需要把键值对重新放到对应的桶上。hashmap 使用了一个特殊的机制，可以降低重新计算桶下标的操作。

假设原数组长度 capacity 为 16，扩容之后 new capacity 为 32：

capacity     : 00010000
new capacity : 00100000

 

对于一个 key，

• 它的哈希值如果在第 5 位上为 0，那么取模得到的结果和之前一样；
• 如果为 1，那么得到的结果为原来的结果 +16。

7. 计算数组容量

hashmap 构造函数允许用户传入的容量不是 2 的 n 次方，因为它可以自动地将传入的容量转换为 2 的 n 次方。

先考虑如何求一个数的掩码，对于 10010000，它的掩码为 11111111，可以使用以下方法得到：

mask |= mask >> 1    11011000
mask |= mask >> 2    11111110
mask |= mask >> 4    11111111

 

mask+1 是大于原始数字的最小的 2 的 n 次方。

num     10010000
mask+1 100000000

 

以下是 hashmap 中计算数组容量的代码：

static final int tablesizefor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    //得到n的掩码
    return (n < 0) ? 1 : (n >= maximum_capacity) ? maximum_capacity : n + 1;
}

 

8. 链表转红黑树

从 jdk 1.8 开始，一个桶存储的链表长度大于 8 时会将链表转换为红黑树。

9. 与 hashtable 的比较

• hashmap 是非线程安全的，hashtable 使用 synchronized 来进行同步，是线程安全的。
• hashmap 要比 hashtable 效率高一点。hashtable 基本被淘汰，不要在代码中使用它。
• hashmap 可以插入键为 null 的 entry；hashtable 中插入的键只要有一个为 null，直接抛出 nullpointerexception。
• hashmap 的迭代器是 fail-fast 迭代器。
• hashmap 不能保证随着时间的推移 map 中的元素次序是不变的。
• hashmap 在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为8）时，将链表转化为红黑树，以减少搜索时间；hashtable 没有这样的机制。
• hashmap 默认的初始化大小为16。之后每次扩充，容量变为原来的2倍；hashtable 容量默认的初始大小为11，之后每次扩充，容量变为原来的2n+1。 在初始化时如果给定了容量初始值，hashmap 会将其扩充为2的幂次方大小；hashtable 会直接使用初始值。

10. 与 hashset 的比较

hashset 底层就是基于hashmap实现的。 (hashset 的源码非常非常少，因为除了 clone() 方法、writeobject()方法、readobject()方法是 hashset 自己不得不实现之外， 其他方法都是直接调用 hashmap 中的方法。)

hashmaphashsethashmap实现了map接口hashset实现了set接口hashmap储存键值对hashset存储对象调用put()向map中添加元素调用add()方法向set中添加元素hashmap使用键（key）计算hashcodehashset使用成员对象来计算hashcode值，对于两个对象来说hashcode可能相同，所以equals()方法用来判断对象的相等性，如果两个对象不同的话，那么返回falsehashmap相对于hashset较快，因为它是使用唯一的键获取对象hashset较hashmap来说比较慢

concurrenthashmap

1. 存储结构

static final class hashentry<k,v> {
    final int hash;
    final k key;
    volatile v value;
    volatile hashentry<k,v> next;
}

 

concurrenthashmap 和 hashmap 实现上类似，最主要的差别是 concurrenthashmap 采用了分段锁（segment）， 每个分段锁维护着几个桶（hashentry），多个线程可以同时访问不同分段锁上的桶， 从而使其并发度更高（并发度就是 segment 的个数）。

segment 继承自 reentrantlock。

static final class segment<k,v> extends reentrantlock implements serializable {

    private static final long serialversionuid = 2249069246763182397l;

    static final int max_scan_retries =
        runtime.getruntime().availableprocessors() > 1 ? 64 : 1;

    transient volatile hashentry<k,v>[] table;

    transient int count;

    transient int modcount;

    transient int threshold;

    final float loadfactor;
}
final segment<k,v>[] segments;

 

默认的并发级别为 16，也就是说默认创建 16 个 segment。

static final int default_concurrency_level = 16;

 

 

 

 

 

2. size 操作

每个 segment 维护了一个 count 变量来统计该 segment 中的键值对个数。

/**
 * the number of elements. accessed only either within locks
 * or among other volatile reads that maintain visibility.
 */
transient int count;

 

在执行 size 操作时，需要遍历所有 segment 然后把 count 累计起来。

concurrenthashmap 在执行 size 操作时先尝试不加锁，如果连续两次不加锁操作得到的结果一致，那么可以认为这个结果是正确的。

尝试次数使用 retries_before_lock 定义，该值为 2，retries 初始值为 -1，因此尝试次数为 3。

如果尝试的次数超过 3 次，就需要对每个 segment 加锁。

/**
 * number of unsynchronized retries in size and containsvalue
 * methods before resorting to locking. this is used to avoid
 * unbounded retries if tables undergo continuous modification
 * which would make it impossible to obtain an accurate result.
 */
static final int retries_before_lock = 2;

public int size() {
    // try a few times to get accurate count. on failure due to
    // continuous async changes in table, resort to locking.
    final segment<k,v>[] segments = this.segments;
    int size;
    boolean overflow; // true if size overflows 32 bits
    long sum;         // sum of modcounts
    long last = 0l;   // previous sum
    int retries = -1; // first iteration isn't retry
    try {
        for (;;) {
            // 超过尝试次数，则对每个 segment 加锁
            if (retries++ == retries_before_lock) {
                for (int j = 0; j < segments.length; ++j)
                    ensuresegment(j).lock(); // force creation
            }
            sum = 0l;
            size = 0;
            overflow = false;
            for (int j = 0; j < segments.length; ++j) {
                segment<k,v> seg = segmentat(segments, j);
                if (seg != null) {
                    sum += seg.modcount;
                    int c = seg.count;
                    if (c < 0 || (size += c) < 0)
                        overflow = true;
                }
            }
            // 连续两次得到的结果一致，则认为这个结果是正确的
            if (sum == last)
                break;
            last = sum;
        }
    } finally {
        if (retries > retries_before_lock) {
            for (int j = 0; j < segments.length; ++j)
                segmentat(segments, j).unlock();
        }
    }
    return overflow ? integer.max_value : size;
}

 

3. jdk 1.8 的改动

jdk 1.7 使用分段锁机制来实现并发更新操作，核心类为 segment，它继承自重入锁 reentrantlock，并发度与 segment 数量相等。

jdk 1.8 使用了 cas 操作来支持更高的并发度，在 cas 操作失败时使用内置锁 synchronized。

并且 jdk 1.8 的实现也在链表过长时会转换为红黑树。

4. 和 hashtable 的区别

底层数据结构：

• jdk1.7 的concurrenthashmap底层采用分段的数组+链表实现， jdk1.8 的concurrenthashmap底层采用的数据结构与jdk1.8 的hashmap的结构一样，数组+链表/红黑二叉树。
• hashtable和jdk1.8 之前的hashmap的底层数据结构类似都是采用数组+链表的形式， 数组是 hashmap 的主体，链表则是主要为了解决哈希冲突而存在的

实现线程安全的方式

• jdk1.7的concurrenthashmap（分段锁）对整个桶数组进行了分割分段(segment)， 每一把锁只锁容器其中一部分数据，多线程访问容器里不同数据段的数据，就不会存在锁竞争，提高并发访问率。 jdk 1.8 采用数组+链表/红黑二叉树的数据结构来实现，并发控制使用synchronized和cas来操作。
• hashtable:使用 synchronized 来保证线程安全，效率非常低下。 当一个线程访问同步方法时，其他线程也访问同步方法，可能会进入阻塞或轮询状态， 如使用 put 添加元素，另一个线程不能使用 put 添加元素，也不能使用 get，竞争会越来越激烈。

hashtable全表锁

 

 

concurrenthashmap分段锁

 

 

linkedhashmap

存储结构

继承自 hashmap，因此具有和 hashmap 一样的快速查找特性。

public class linkedhashmap<k,v> extends hashmap<k,v> implements map<k,v>

 

内部维护了一个双向链表，用来维护插入顺序或者 lru 顺序。

/**
 * the head (eldest) of the doubly linked list.
 */
transient linkedhashmap.entry<k,v> head;

/**
 * the tail (youngest) of the doubly linked list.
 */
transient linkedhashmap.entry<k,v> tail;

 

accessorder 决定了顺序，默认为 false，此时维护的是插入顺序。

final boolean accessorder;

 

linkedhashmap 最重要的是以下用于维护顺序的函数，它们会在 put、get 等方法中调用。

void afternodeaccess(node<k,v> p) { }
void afternodeinsertion(boolean evict) { }

 

afternodeaccess()

当一个节点被访问时，如果 accessorder 为 true，则会将该节点移到链表尾部。也就是说指定为 lru 顺序之后，在每次访问一个节点时，会将这个节点移到链表尾部，保证链表尾部是最近访问的节点，那么链表首部就是最近最久未使用的节点。

void afternodeaccess(node<k,v> e) { // move node to last
    linkedhashmap.entry<k,v> last;
    if (accessorder && (last = tail) != e) {
        linkedhashmap.entry<k,v> p =
            (linkedhashmap.entry<k,v>)e, b = p.before, a = p.after;
        p.after = null;
        if (b == null)
            head = a;
        else
            b.after = a;
        if (a != null)
            a.before = b;
        else
            last = b;
        if (last == null)
            head = p;
        else {
            p.before = last;
            last.after = p;
        }
        tail = p;
        ++modcount;
    }
}

 

afternodeinsertion()

在 put 等操作之后执行，当 removeeldestentry() 方法返回 true 时会移除最晚的节点，也就是链表首部节点 first。

evict 只有在构建 map 的时候才为 false，在这里为 true。

void afternodeinsertion(boolean evict) { // possibly remove eldest
    linkedhashmap.entry<k,v> first;
    if (evict && (first = head) != null && removeeldestentry(first)) {
        k key = first.key;
        removenode(hash(key), key, null, false, true);
    }
}

 

removeeldestentry() 默认为 false，如果需要让它为 true，需 要继承 linkedhashmap 并且覆盖这个方法的实现， 这在实现 lru 的缓存中特别有用，通过移除最近最久未使用的节点， 从而保证缓存空间足够，并且缓存的数据都是热点数据。

protected boolean removeeldestentry(map.entry<k,v> eldest) {
    return false;
}

 

lru 缓存

以下是使用 linkedhashmap 实现的一个 lru 缓存：

• 设定最大缓存空间 max_entries 为 3；
• 使用 linkedhashmap 的构造函数将 accessorder 设置为 true，开启 lru 顺序；
• 覆盖 removeeldestentry() 方法实现，在节点多于 max_entries 就会将最近最久未使用的数据移除。

public class lrucache<k,v> extends linkedhashmap<k,v>{
    private static final int max_entries = 3;

    lrucache(){
        super(max_entries,0.75f,true);
    }
    
    /**
     * removeeldestentry() 默认为 false，
     * 如果需要让它为 true，需要继承 linkedhashmap 并且覆盖这个方法的实现，
     * 这在实现 lru 的缓存中特别有用，通过移除最近最久未使用的节点，
     * 从而保证缓存空间足够，并且缓存的数据都是热点数据。
     */
    @override
    protected boolean removeeldestentry(map.entry eldest) {
        return size() > max_entries;
    }
    
    public static void main(string[] args) {
        lrucache<integer,string> cache=new lrucache<>();
        cache.put(1, "a");
        cache.put(2, "b");
        cache.put(3, "c");
        cache.get(1); 
        //lru  键值1被访问过了，则最近最久未访问的就是2
        cache.put(4, "d");
        system.out.println(cache.keyset());
    }
}

 

[3, 1, 4]

 

weakhashmap

存储结构

weakhashmap 的 entry 继承自 weakreference，被 weakreference 关联的对象在下一次垃圾回收时会被回收。

weakhashmap 主要用来实现缓存，通过使用 weakhashmap 来引用缓存对象，由 jvm 对这部分缓存进行回收。

private static class entry<k,v> extends weakreference<object> implements map.entry<k,v>

 

concurrentcache

tomcat 中的 concurrentcache 使用了 weakhashmap 来实现缓存功能。

concurrentcache 采取的是分代缓存：

• 经常使用的对象放入 eden 中，eden 使用 concurrenthashmap 实现，不用担心会被回收（伊甸园）；
• 不常用的对象放入 longterm，longterm 使用 weakhashmap 实现，这些老对象会被垃圾收集器回收。
• 当调用 get() 方法时，会先从 eden 区获取，如果没有找到的话再到 longterm 获取，当从 longterm 获取到就把对象放入 eden 中，从而保证经常被访问的节点不容易被回收。
• 当调用 put() 方法时，如果 eden 的大小超过了 size，那么就将 eden 中的所有对象都放入 longterm 中，利用虚拟机回收掉一部分不经常使用的对象。

public final class concurrentcache<k, v> {

    private final int size;

    private final map<k, v> eden;

    private final map<k, v> longterm;

    public concurrentcache(int size) {
        this.size = size;
        this.eden = new concurrenthashmap<>(size);
        this.longterm = new weakhashmap<>(size);
    }

    public v get(k k) {
        v v = this.eden.get(k);
        if (v == null) {
            v = this.longterm.get(k);
            if (v != null)
                this.eden.put(k, v);
        }
        return v;
    }

    public void put(k k, v v) {
        if (this.eden.size() >= size) {
            this.longterm.putall(this.eden);
            this.eden.clear();
        }
        this.eden.put(k, v);
    }
}

 

免费java高级资料需要自己领取，涵盖了java、redis、mongodb、mysql、zookeeper、spring cloud、dubbo高并发分布式等教程，一共30g。
传送门：https://mp.weixin.qq.com/s/jzddfh-7ynudmkjt0irl8q