HTTP/3 已经箭在弦上，你准备好了吗？

发表于2019-02-06由daniel

去年的这个时候，国内的 web 网络环境开始普及和部署 HTTP/2. 时隔一年，HTTP/2 的普及程度有了显著提升，而各大CDN厂商普及的广度和速度一直走在行业前列。甚至有不少CDN厂商在直播以及部分HTTP场景还引入了 QUIC.

在拙文《当我们在谈论HTTP队头阻塞时，我们在谈论什么？》中，我们提到，HTTP/2 over QUIC 是当前唯一应用落地解决了传输层队头阻塞问题的HTTP实现。那个时候，无论是 HTTP/2 over TCP 还是 HTTP/2 over QUIC(UDP) 都被我们认为是 HTTP/2，只是传输层使用的协议不一样。这种略带暧昧的模糊叫法在2018年11月成为了历史：

在2018年10月28日的邮件列表讨论中，互联网工程任务组（IETF） HTTP和QUIC工作组主席Mark Nottingham提出了将HTTP-over-QUIC更名为HTTP/3的正式请求，以“明确地将其标识为HTTP语义的另一个绑定……使人们理解它与QUIC的不同”，并在最终确定并发布草案后，将QUIC工作组继承到HTTP工作组。在随后的几天讨论中，Mark Nottingham的提议得到了IETF成员的接受，他们在2018年11月给出了官方批准，认可HTTP-over-QUIC成为HTTP/3。

虽然看起来像是之前的 HTTP/2 over QUIC 换了一个名称（从我个人角度理解，取名为 HTTP/2.1也许更合适），但是其背后却体现了 IETF 对 HTTP 未来标准的态度和方向，也许几年以后来看这次名称的确立会更加明白其重要意义。

HTTP/3 与 HTTP/2 over QUIC 的区别

QUIC 将成为一个通用安全传输层协议

当前阶段，Google 实现的 QUIC 与 IETF 实现的 QUIC 是不兼容的。Google 版 QUIC 只能用于 HTTP/2，且在协议层面与 HTTP/2 有一些强绑定。如 QUIC 帧映射 HTTP/2 frame. 这就导致很多大厂都没有跟进 QUIC，使得 HTTP/2 over QUIC 基本只能在 Google 自家的 Chrome, Gmail 等软件中普及使用，一度给行业造成“只有Google在弄”的错觉。

纳入 IETF 以后，显然 Google 就不能这么玩了。QUIC 定位为一个通用安全传输层协议：

可以近似的认为 QUIC over UDP 将成为下一代（或替代）TLS over TCP. 也就是说， QUIC 将能应用于任何应用层协议中，只是当前阶段将优先在 HTTP 中进行应用和验证。

统一使用 TLS 1.3 作为安全协议

2018年，有几个重要的WEB标准终于尘埃落定，其中一个便是 RFC 8446 TLS 1.3. 这个标准对于降低延迟，改善用户体验，尤其是移动端的体验有非常重要的意义。在拙文《TLS1.3/QUIC 是怎样做到 0-RTT 的》中，我们提到虽然 TLS 1.3和 QUIC 都能做到 0-RTT，从而降低延迟，但是 QUIC 却自顾自地实现了一套安全协议。主要是因为当时 TLS 1.3 标准还没有发布，而 QUIC 又需要一套安全协议：

The QUIC crypto protocol is the part of QUIC that provides transport security to a connection. The QUIC crypto protocol is destined to die. It will be replaced by TLS 1.3 in the future, but QUIC needed a crypto protocol before TLS 1.3 was even started.

如今，TLS 1.3 标准已经发布，而 HTTP/3 也纳入 IETF，因此 QUIC 也就顺理成章的使用 TLS 1.3 作为其安全协议。Google 在这些方面倒是从来都不鸡贼和墨迹，点赞。

使用 QHPACK 头部压缩代替 HPACK

其实，QPACK与HPACK的设计非常类似，单独提出QPACK主要是更好的适配QUIC，同时也是 Google 将 QUIC 从与 HTTP/2 的耦合中抽离出来，与 IETF 标准完成统一的必要一步。

HTTP/3 问题与挑战

UDP 连通性问题

几乎所有的电信运营商都会“歧视” UDP 数据包，原因也很容易理解，毕竟历史上几次臭名昭著的 DDoS 攻击都是基于 UDP 的。国内某城宽带在某些区域更是直接禁止了非53端口的UDP数据包，而其他运营商及IDC即使没有封禁UDP，也是对UDP进行严格限流的。这点上不太乐观，但是我们相信随着标准的普及和推广落地，运营商会逐步改变对UDP流量的歧视策略。国外的情况会稍好一些，根据Google的数据，他们部署的QUIC降级的比例不到10%。

QUIC 不支持明文传输

对于用户来说，这是一个优势，并不是问题。对于国内内容审查环境来说是个不可忽视的坎。但QUIC以后毕竟也是基于TLS协议的，国内HTTPS都能普及下来，QUIC的普及也许会更乐观一些。

UDP 消耗资源多

当前阶段，UDP消耗的CPU资源多，且处理速度慢。这是不争的事实，但是我相信随着UDP应用的增多，内核和硬件的优化一定会跟上，直至达到或超过TCP的性能。而 QUIC 因为实在应用层实现，因此迭代速度更快，部署和更新难度和代价更小，能够一定程度缓解如TCP那样的协议僵化问题。

进一步了解 HTTP/3

如果希望全面的了解 HTTP/3，推荐 Daniel Stenberg （CURL 作者）的 HTTP/3 explained, 如果不想看英文，可以翻阅 Yi Bai 同学翻译了中文版本HTTP/3详解。

移除 macOS 中被企业策略强制安装的 Chrome 插件扩展的方法

发表于2018-10-20由daniel

公司配发的 Macbook 安装了一些监控软件，毕竟是办公设备，这点倒是无可厚非。但是，其中的 Forcepoint DLP Endpoint 会向日常使用的主力浏览器 Chrome 中安装一个 WebsenEndpoint 的扩展插件。

这个插件的作用不必多说，但是有一个副作用就是让 Chrome 无法自动填写任何网站用户名密码。每天要输入上百次的密码这种体力活是绝对不能忍受的。于是尝试卸载这个插件。但是这个插件是使用企业策略 (Installed by enterprise policy) 强制安装，无法在Chrome中下载。但是可以通过将与之关联的 Profile 删除实现卸载的作用：

但是过两天，Forcepoint 又会把这个插件装回来? 不过没关系，我们有的是办法。

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

原理是这样的：Chrome 的插件安装在 ~/Library/Application Support/Google/Chrome/Default/Extensions 目录下：

除去 Temp, 每个文件夹对应一个插件。我们希望移除的插件的文件夹名称是 kmofofmjgmakbbmngpgmehldlaaafnjn。由于 macOS 文件夹下，相同名称的文件和文件夹只能存在一个。因此，我们只需要在插件删除以后，在这个目录下新建一个名称为 kmofofmjgmakbbmngpgmehldlaaafnjn 的空文件：

cd ~/Library/Application\ Support/Google/Chrome/Default/Extensions
touch kmofofmjgmakbbmngpgmehldlaaafnjn
chmod 000 kmofofmjgmakbbmngpgmehldlaaafnjn

cd ~/Library/Application\ Support/Google/Chrome/Default/Extensions

touch kmofofmjgmakbbmngpgmehldlaaafnjn

chmod 000 kmofofmjgmakbbmngpgmehldlaaafnjn

然后，再通过文件系统的 Lock 功能锁定改文件，防止该文件被 Forcpoint 删除：

至此，大功告成，so easy!

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome

法一虽然可以防止Chrome被重新安装插件，但是过几天以后，你会在你的 Profiles 配置下发现，虽然 Chrome 插件安装失败了，但是依然会成功安装这个 Profile:

虽然不会干扰系统的任何功能，但是估计很多强迫症患者看到这个还是挺难受的……从图中我们可以看到，这个插件的路径在 /Library/Application Support/Websense Endpoint/DLP:

其中 setup_chrome_ext.sh 就是强插 Chrome 的脚本：

#!/bin/bash

CUT="/usr/bin/cut"
LSOF="/usr/sbin/lsof"
PS="/bin/ps"
PROFILES="/usr/bin/profiles"
GREP="/usr/bin/grep"

PIDS=`$PS -axc -o pid,command | $GREP "Google Chrome" | $GREP -v "Google Chrome Helper" | $CUT -c 1-5`

LIBWEP_HOOKED=0
if [ ${#PIDS[@]} -gt 0 ]
then
    for pid in $PIDS
    do
        CNT=`lsof -P -T -p $pid | grep libwep_chrome.dylib | wc -l`
        if [ $CNT == 1 ]
        then
            LIBWEP_HOOKED=1
        fi
    done
fi

if [ $LIBWEP_HOOKED == 1 ]
then
    echo "Configuring the chrome extension profile..."
    $PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config"
fi

#!/bin/bash

CUT="/usr/bin/cut"

LSOF="/usr/sbin/lsof"

PS="/bin/ps"

PROFILES="/usr/bin/profiles"

GREP="/usr/bin/grep"

PIDS=`$PS -axc -o pid,command | $GREP "Google Chrome" | $GREP -v "Google Chrome Helper" | $CUT -c 1-5`

LIBWEP_HOOKED=0

if [ ${#PIDS[@]} -gt 0 ]

then

for pid in $PIDS

CNT=`lsof -P -T -p $pid | grep libwep_chrome.dylib | wc -l`

if [ $CNT == 1 ]

then

LIBWEP_HOOKED=1

done

if [ $LIBWEP_HOOKED == 1 ]

then

echo "Configuring the chrome extension profile..."

$PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config"

脚本写得简单粗暴：通过 $PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config" 向系统强行安装 profile. 要防止其安装插件，把这行代码删除即可。但是，这个文件是属于 admin 用户组的，我们平时使用的账号，即使集合 sudo 也只是 wheel 用户组，是干不过 admin 的，导致我们无法在正常模式下编辑该文件：

╭─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint/DLP ‹ruby-2.3.1›
╰─➤  ll
total 8800
drwxr-xr-x  2 root        admin    68B Aug 17 08:43 Contained File
-rw-r--r--  1 root        admin   2.9M Oct 20 10:39 DLPClient.log
-rw-r--r--  1 root        admin   988B Oct 20 22:22 DLPClient.plist
-rw-r--r--  1 root        admin    13K Oct 18 17:50 DLPClientConfig.hsw
-rw-r--r--  1 root        admin   412B Jun  5 05:52 DLPClientConfig.hsw.default
-rwxr-xr-x  1 root        admin   112K Jun  5 05:51 DLPHelperService
drwxr-xr-x  3 root        admin   102B Aug 13 16:14 Websense Endpoint Helper.app
drwxr-xr-x  3 root        wheel   102B Jun  5 05:52 WebsenseEndpointDLP.kext
-rw-r--r--  1 root        admin   1.5K Oct 18 17:50 WebsenseEndpointExtension.config
-rw-r--r--  1 root        admin    11K Jun  5 05:51 WebsenseEndpointExtension.crx
srwxrwxrwx  1 liudanking  admin     0B Sep 25 16:31 cmdsrvdh.sock.501
srwxrwxrwx  1 dan         admin     0B Aug 10 11:10 cmdsrvdh.sock.502
srwxrwxrwx  1 root        admin     0B Sep 20 09:28 dlpcmd.sock
-rw-r--r--  1 root        admin    12K Oct 18 17:50 dser_msg_template.xml
-rw-r--r--  1 root        admin    84B May 31 17:19 enable_cext
-rwxr-xr-x  1 root        admin   137K Jun  5 05:52 libCodeSignFlag.dylib
srwxrwxrwx  1 liudanking  admin     0B Sep 25 16:31 promptsrv.sock.501
srwxrwxrwx  1 dan         admin     0B Aug 10 11:10 promptsrv.sock.502
-rwxr-xr-x  1 root        wheel   650B Jun  5 05:51 setup_chrome_ext.sh
-rw-r--r--  1 root        admin   322B Jun  5 05:51 update.xml
-rwxr-xr-x  1 root        admin   1.0M Jun  5 05:51 wsdlpd
-rw-r--r--  1 root        admin    17K Jun  5 05:51 {c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

╭─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint/DLP ‹ruby-2.3.1›

╰─➤ ll

total 8800

drwxr-xr-x 2 root admin 68B Aug 17 08:43 Contained File

-rw-r--r-- 1 root admin 2.9M Oct 20 10:39 DLPClient.log

-rw-r--r-- 1 root admin 988B Oct 20 22:22 DLPClient.plist

-rw-r--r-- 1 root admin 13K Oct 18 17:50 DLPClientConfig.hsw

-rw-r--r-- 1 root admin 412B Jun 5 05:52 DLPClientConfig.hsw.default

-rwxr-xr-x 1 root admin 112K Jun 5 05:51 DLPHelperService

drwxr-xr-x 3 root admin 102B Aug 13 16:14 Websense Endpoint Helper.app

drwxr-xr-x 3 root wheel 102B Jun 5 05:52 WebsenseEndpointDLP.kext

-rw-r--r-- 1 root admin 1.5K Oct 18 17:50 WebsenseEndpointExtension.config

-rw-r--r-- 1 root admin 11K Jun 5 05:51 WebsenseEndpointExtension.crx

srwxrwxrwx 1 liudanking admin 0B Sep 25 16:31 cmdsrvdh.sock.501

srwxrwxrwx 1 dan admin 0B Aug 10 11:10 cmdsrvdh.sock.502

srwxrwxrwx 1 root admin 0B Sep 20 09:28 dlpcmd.sock

-rw-r--r-- 1 root admin 12K Oct 18 17:50 dser_msg_template.xml

-rw-r--r-- 1 root admin 84B May 31 17:19 enable_cext

-rwxr-xr-x 1 root admin 137K Jun 5 05:52 libCodeSignFlag.dylib

srwxrwxrwx 1 liudanking admin 0B Sep 25 16:31 promptsrv.sock.501

srwxrwxrwx 1 dan admin 0B Aug 10 11:10 promptsrv.sock.502

-rwxr-xr-x 1 root wheel 650B Jun 5 05:51 setup_chrome_ext.sh

-rw-r--r-- 1 root admin 322B Jun 5 05:51 update.xml

-rwxr-xr-x 1 root admin 1.0M Jun 5 05:51 wsdlpd

-rw-r--r-- 1 root admin 17K Jun 5 05:51 {c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

因此，我们需要通过 Command (⌘)-R 重启到恢复模式，然后在 /Volumes/mac.os/Library/Application Support/Websense Endpoint/DLP 目录下，将对应代码删除即可。

至此，自己基本满意了?

后记

稍微浏览了一下 /Library/Application Support/Websense Endpoint 文件夹，发现其实这个软件不仅强插 Chrome, 还会强插 FireFox:

─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint ‹ruby-2.3.1›
╰─➤  sudo cat ff_config.sh
Password:
#!/bin/bash
TARGETDIR=/Library/Application\ Support/Websense\ Endpoint
FIREFOX_DEFAULT_PATH=/Applications/Firefox.app/Contents/Resources
FIREFOX_APP_PATH=/Applications/Firefox.app/Contents/MacOS/firefox
FIREFOX_WEBEX_PATH=/Applications/Firefox.app/Contents/Resources/browser/extensions
FP_FFCFG=fp_firefox.cfg
FP_LSET=local-settings.js
FP_WEBEX_XPI={c748f1fa-f022-428c-9276-8dff4b830d33}.xpi
DLP_PATH=/Library/Application\ Support/Websense\ Endpoint/DLP
PXY_PATH=/Library/Application\ Support/Websense\ Endpoint/Proxy


if [ -d "$DLP_PATH" ]
then
        DLP_IS_INSTALLED=1
else
        DLP_IS_INSTALLED=0
fi

if [ -d "$PXY_PATH" ]
then
        PROXY_IS_INSTALLED=1
else
        PROXY_IS_INSTALLED=0
fi


CMD=$1


START_ALL=0
STOP_ALL=0

if [ $CMD -eq "1" ]
then
        START_ALL=1
fi

if [ $CMD -eq "2" ]
then
        STOP_ALL=1
fi

#############################################################################
# Do start stuff
#############################################################################

# Determine whether or not Forcepoint Firefox CFG file (fp_firefox.cfg) is installed
if [ -d "$FIREFOX_DEFAULT_PATH" -a -f "$FIREFOX_APP_PATH" ]
then
        FIREFOX_WAS_INSTALLED=1
else
        FIREFOX_WAS_INSTALLED=0
fi

if [ $FIREFOX_WAS_INSTALLED -eq 1 ]
then
        # If starting Proxy or DLP and neither is installed, erase ff cfg file and start it anew
        if [ $START_ALL -eq 1 ]
        then
                rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                if [ $PROXY_IS_INSTALLED -eq 1 ]
                then
                        echo "//" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "lockPref(\"network.proxy.type\", 2);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "lockPref(\"network.captive-portal-service.enabled\", false);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                fi
                if [ $DLP_IS_INSTALLED -eq 1 ]
                then
                        echo "//" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "defaultPref(\"extensions.autoDisableScopes\", 0);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "defaultPref(\"extensions.enabledScopes\", 15);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        mkdir -p "$FIREFOX_WEBEX_PATH"
                        cp -f "$DLP_PATH/$FP_WEBEX_XPI" "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                        chmod 644 "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                else
                        # Remove Firefox .xpi file
                        rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                        rm -rf "$DLP_PATH/*.xpi"
                fi
                if [ $PROXY_IS_INSTALLED -eq 1 -o $DLP_IS_INSTALLED -eq 1 ]
                then
                        cp -f "$TARGETDIR/$FP_LSET" "$FIREFOX_DEFAULT_PATH/defaults/pref"
                        chmod 644 "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"
                fi
        fi

        if [ $STOP_ALL -eq 1 ]
        then
                rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                rm -rf "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"
                rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
        fi

fi

─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint ‹ruby-2.3.1›

╰─➤ sudo cat ff_config.sh

Password:

#!/bin/bash

TARGETDIR=/Library/Application\ Support/Websense\ Endpoint

FIREFOX_DEFAULT_PATH=/Applications/Firefox.app/Contents/Resources

FIREFOX_APP_PATH=/Applications/Firefox.app/Contents/MacOS/firefox

FIREFOX_WEBEX_PATH=/Applications/Firefox.app/Contents/Resources/browser/extensions

FP_FFCFG=fp_firefox.cfg

FP_LSET=local-settings.js

FP_WEBEX_XPI={c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

DLP_PATH=/Library/Application\ Support/Websense\ Endpoint/DLP

PXY_PATH=/Library/Application\ Support/Websense\ Endpoint/Proxy

if [ -d "$DLP_PATH" ]

then

DLP_IS_INSTALLED=1

else

DLP_IS_INSTALLED=0

if [ -d "$PXY_PATH" ]

then

PROXY_IS_INSTALLED=1

else

PROXY_IS_INSTALLED=0

CMD=$1

START_ALL=0

STOP_ALL=0

if [ $CMD -eq "1" ]

then

START_ALL=1

if [ $CMD -eq "2" ]

then

STOP_ALL=1

#############################################################################

# Do start stuff

#############################################################################

# Determine whether or not Forcepoint Firefox CFG file (fp_firefox.cfg) is installed

if [ -d "$FIREFOX_DEFAULT_PATH" -a -f "$FIREFOX_APP_PATH" ]

then

FIREFOX_WAS_INSTALLED=1

else

FIREFOX_WAS_INSTALLED=0

if [ $FIREFOX_WAS_INSTALLED -eq 1 ]

then

# If starting Proxy or DLP and neither is installed, erase ff cfg file and start it anew

if [ $START_ALL -eq 1 ]

then

rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

if [ $PROXY_IS_INSTALLED -eq 1 ]

then

echo "//" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "lockPref(\"network.proxy.type\", 2);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "lockPref(\"network.captive-portal-service.enabled\", false);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

if [ $DLP_IS_INSTALLED -eq 1 ]

then

echo "//" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "defaultPref(\"extensions.autoDisableScopes\", 0);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "defaultPref(\"extensions.enabledScopes\", 15);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

mkdir -p "$FIREFOX_WEBEX_PATH"

cp -f "$DLP_PATH/$FP_WEBEX_XPI" "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

chmod 644 "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

else

# Remove Firefox .xpi file

rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

rm -rf "$DLP_PATH/*.xpi"

if [ $PROXY_IS_INSTALLED -eq 1 -o $DLP_IS_INSTALLED -eq 1 ]

then

cp -f "$TARGETDIR/$FP_LSET" "$FIREFOX_DEFAULT_PATH/defaults/pref"

chmod 644 "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"

if [ $STOP_ALL -eq 1 ]

then

rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

rm -rf "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"

rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

艾玛……proxy…吓死宝宝了，已经不想改脚本了。直接在恢复模式下删除文件，然后用方法一的方法，建了一个 Lock 文件锁定这个位置。什么，还有 upgrade.sh? 你怎么不上天呢，也一并删除了……突然想起，自己在无所不能的恢复模式下，要不整个软件一起删除了？想到隔天IT技术小哥可能过来找麻烦，就此打住吧?

Java HTTP 组件库选型看这篇就够了

发表于2018-09-23由daniel

Java HTTP 组件库选型看这篇就够了

最近项目需要使用 Java 重度调用 HTTP API 接口，于是想着封装一个团队公用的 HTTP client lib. 这个库需要支持以下特性：

连接池管理，包括连接创建和超时、空闲连接数控制、每个 host 的连接数配置等。基本上，我们想要一个 go HTTP 标准库自带的连接池管理功能。
域名解析控制。因为调用量会比较大，因此希望在域名解析这一层做一个调用端可控的负载均衡，同时可以对每个服务器 IP 进行失败率统计和健康度检查。
Form/JSON 调用支持良好。
支持同步和异步调用。

在 Java 生态中，虽然有数不清的 HTTP client lib 组件库，但是大体可以分为这三类：

JDK 自带的 HttpURLConnection 标准库；
Apache HttpComponents HttpClient, 以及基于该库的 wrapper, 如 Unirest.
非基于 Apache HttpComponents HttpClient，大量重写应用层代码的 HTTP client 组件库，典型代表是 OkHttp.

HttpURLConnection

使用 HttpURLConnection 发起 HTTP 请求最大的优点是不需要引入额外的依赖，但是使用起来非常繁琐，也缺乏连接池管理、域名机械控制等特性支持。以发起一个 HTTP POST 请求为例：

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;


public class HttpUrlConnectionDemo {

    public static void main(String[] args) throws Exception {
        String urlString = "https://httpbin.org/post";
        String bodyString = "password=e10adc3949ba59abbe56e057f20f883e&amp;username=test3";

        URL url = new URL(urlString);
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod("POST");
        conn.setDoOutput(true);

        OutputStream os = conn.getOutputStream();
        os.write(bodyString.getBytes("utf-8"));
        os.flush();
        os.close();

        if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) {
            InputStream is = conn.getInputStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(is));
            StringBuilder sb = new StringBuilder();
            String line;
            while ((line = reader.readLine()) != null) {
                sb.append(line);
            }
            System.out.println("rsp:" + sb.toString());
        } else {
            System.out.println("rsp code:" + conn.getResponseCode());
        }
    }

}

import java.io.BufferedReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.OutputStream;

import java.net.HttpURLConnection;

import java.net.URL;

public class HttpUrlConnectionDemo {

public static void main(String[] args) throws Exception {

String urlString = "https://httpbin.org/post";

String bodyString = "password=e10adc3949ba59abbe56e057f20f883e&username=test3";

URL url = new URL(urlString);

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setRequestMethod("POST");

conn.setDoOutput(true);

OutputStream os = conn.getOutputStream();

os.write(bodyString.getBytes("utf-8"));

os.flush();

os.close();

if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) {

InputStream is = conn.getInputStream();

BufferedReader reader = new BufferedReader(new InputStreamReader(is));

StringBuilder sb = new StringBuilder();

String line;

while ((line = reader.readLine()) != null) {

sb.append(line);

}

System.out.println("rsp:" + sb.toString());

} else {

System.out.println("rsp code:" + conn.getResponseCode());

}

可以看到，使用 HttpURLConnection 发起 HTTP 请求是比较原始（low level）的，基本上你可以理解为它就是对网络栈传输层（HTTP 一般为 TCP，HTTP over QUIC 是 UDP）进行了一次浅层次的封装，操作原语就是在打开的连接上面写请求 request 与读响应 response. 而且 HttpURLConnection 无法支持 HTTP/2. 显然,官方是知道这些问题的，因此在 Java 9 中，官方在标准库中引入了一个 high level、支持 HTTP/2 的 HttpClient. 这个库的接口封装就非常主流到位了，发起一个简单的 POST 请求：

HttpRequest request = HttpRequest.newBuilder()
  .uri(new URI("https://postman-echo.com/post"))
  .headers("Content-Type", "text/plain;charset=UTF-8")
  .POST(HttpRequest.BodyProcessor.fromString("Sample request body"))
  .build();

HttpRequest request = HttpRequest.newBuilder()

.uri(new URI("https://postman-echo.com/post"))

.headers("Content-Type", "text/plain;charset=UTF-8")

.POST(HttpRequest.BodyProcessor.fromString("Sample request body"))

.build();

封装的最大特点是链式调用非常顺滑，支持连接管理等特性。但是这个库只能在 Java 9 及以后的版本使用，Java 9 和 Java 10 并不是 LTS 维护版本，而接下来的 Java 11 LTS 要在2018.09.25发布，应用到线上还需要等待一段时间。因此，虽然挺喜欢这个自带标准库（毕竟可以不引入三方依赖），但当前是无法在生产环境使用的。

Apache HttpComponents HttpClient

Apache HttpComponents HttpClient 的前身是 Apache Commons HttpClient, 但是 Apache Commons HttpClient 已经停止开发，如果你还在使用它，请切换到 Apache HttpComponents HttpClient 上来。

Apache HttpComponents HttpClient 支持的特性非常丰富，完全覆盖我们的需求，使用起来也非常顺手：

<br />import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.commons.io.IOUtils;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.fluent.Request;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.RequestBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.impl.client.HttpClients;


public class HttpComponentsDemo {
    final static CloseableHttpClient client = HttpClients.createDefault();

    // 常规调用
    private String sendPostForm(String url, Map&lt;String, String&gt; params) throws Exception {
        HttpPost request = new HttpPost(url);

        // set header
        request.setHeader("X-Http-Demo", HttpComponentsDemo.class.getSimpleName());

        // set params
        if (params != null) {
            List&lt;NameValuePair&gt; nameValuePairList = new ArrayList&lt;NameValuePair&gt;();
            for (Map.Entry&lt;String, String&gt; entry : params.entrySet()) {
                nameValuePairList.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
            }
            UrlEncodedFormEntity bodyEntity = new UrlEncodedFormEntity(nameValuePairList, "UTF-8");
            //System.out.println("body:" + IOUtils.toString(bodyEntity.getContent()));
            request.setEntity(new UrlEncodedFormEntity(nameValuePairList));
        }

        // send request
        CloseableHttpResponse response = client.execute(request);
        // read rsp code
        System.out.println("rsp code:" + response.getStatusLine().getStatusCode());
        // return content
        String ret = readResponseContent(response.getEntity().getContent());
        response.close();
        return ret;
    }

    // fluent 链式调用
    private String sendGet(String url) throws Exception {
        return Request.Get(url)
                .connectTimeout(1000)
                .socketTimeout(1000)
                .execute().returnContent().asString();
    }

    private String readResponseContent(InputStream inputStream) throws Exception {
        if (inputStream == null) {
            return "";
        }
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        byte[] buf = new byte[512];
        int len;
        while (inputStream.available() &gt; 0) {
            len = inputStream.read(buf);
            out.write(buf, 0, len);
        }

        return out.toString();
    }

    public static void main(String[] args) throws Exception {
        HttpComponentsDemo httpUrlConnectionDemo = new HttpComponentsDemo();
        String url = "https://httpbin.org/post";
        Map&lt;String, String&gt; params = new HashMap&lt;String, String&gt;();
        params.put("foo", "bar中文");
        String rsp = httpUrlConnectionDemo.sendPostForm(url, params);
        System.out.println("http post rsp:" + rsp);

        url = "https://httpbin.org/get";
        System.out.println("http get rsp:" + httpUrlConnectionDemo.sendGet(url));
    }
}

<br />import java.io.ByteArrayOutputStream;

import java.io.InputStream;

import java.util.ArrayList;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.apache.commons.io.IOUtils;

import org.apache.http.HttpResponse;

import org.apache.http.NameValuePair;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.fluent.Request;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.client.methods.RequestBuilder;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.impl.client.HttpClients;

public class HttpComponentsDemo {

final static CloseableHttpClient client = HttpClients.createDefault();

// 常规调用

private String sendPostForm(String url, Map<String, String> params) throws Exception {

HttpPost request = new HttpPost(url);

// set header

request.setHeader("X-Http-Demo", HttpComponentsDemo.class.getSimpleName());

// set params

if (params != null) {

List<NameValuePair> nameValuePairList = new ArrayList<NameValuePair>();

for (Map.Entry<String, String> entry : params.entrySet()) {

nameValuePairList.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));

}

UrlEncodedFormEntity bodyEntity = new UrlEncodedFormEntity(nameValuePairList, "UTF-8");

//System.out.println("body:" + IOUtils.toString(bodyEntity.getContent()));

request.setEntity(new UrlEncodedFormEntity(nameValuePairList));

}

// send request

CloseableHttpResponse response = client.execute(request);

// read rsp code

System.out.println("rsp code:" + response.getStatusLine().getStatusCode());

// return content

String ret = readResponseContent(response.getEntity().getContent());

response.close();

return ret;

}

// fluent 链式调用

private String sendGet(String url) throws Exception {

return Request.Get(url)

.connectTimeout(1000)

.socketTimeout(1000)

.execute().returnContent().asString();

}

private String readResponseContent(InputStream inputStream) throws Exception {

if (inputStream == null) {

return "";

}

ByteArrayOutputStream out = new ByteArrayOutputStream();

byte[] buf = new byte[512];

int len;

while (inputStream.available() > 0) {

len = inputStream.read(buf);

out.write(buf, 0, len);

}

return out.toString();

}

public static void main(String[] args) throws Exception {

HttpComponentsDemo httpUrlConnectionDemo = new HttpComponentsDemo();

String url = "https://httpbin.org/post";

Map<String, String> params = new HashMap<String, String>();

params.put("foo", "bar中文");

String rsp = httpUrlConnectionDemo.sendPostForm(url, params);

System.out.println("http post rsp:" + rsp);

url = "https://httpbin.org/get";

System.out.println("http get rsp:" + httpUrlConnectionDemo.sendGet(url));

}

对 Client 细致的配置和自定义支持也是非常到位的：

        // Create a connection manager with custom configuration.
        PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(
                socketFactoryRegistry, connFactory, dnsResolver);

        // Create socket configuration
        SocketConfig socketConfig = SocketConfig.custom()
            .setTcpNoDelay(true)
            .build();
        // Configure the connection manager to use socket configuration either
        // by default or for a specific host.
        connManager.setDefaultSocketConfig(socketConfig);
        connManager.setSocketConfig(new HttpHost("somehost", 80), socketConfig);
        // Validate connections after 1 sec of inactivity
        connManager.setValidateAfterInactivity(1000);

        // Create message constraints
        MessageConstraints messageConstraints = MessageConstraints.custom()
            .setMaxHeaderCount(200)
            .setMaxLineLength(2000)
            .build();
        // Create connection configuration
        ConnectionConfig connectionConfig = ConnectionConfig.custom()
            .setMalformedInputAction(CodingErrorAction.IGNORE)
            .setUnmappableInputAction(CodingErrorAction.IGNORE)
            .setCharset(Consts.UTF_8)
            .setMessageConstraints(messageConstraints)
            .build();
        // Configure the connection manager to use connection configuration either
        // by default or for a specific host.
        connManager.setDefaultConnectionConfig(connectionConfig);
        connManager.setConnectionConfig(new HttpHost("somehost", 80), ConnectionConfig.DEFAULT);

        // Configure total max or per route limits for persistent connections
        // that can be kept in the pool or leased by the connection manager.
        connManager.setMaxTotal(100);
        connManager.setDefaultMaxPerRoute(10);
        connManager.setMaxPerRoute(new HttpRoute(new HttpHost("somehost", 80)), 20);

// Create a connection manager with custom configuration.

PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(

socketFactoryRegistry, connFactory, dnsResolver);

// Create socket configuration

SocketConfig socketConfig = SocketConfig.custom()

.setTcpNoDelay(true)

.build();

// Configure the connection manager to use socket configuration either

// by default or for a specific host.

connManager.setDefaultSocketConfig(socketConfig);

connManager.setSocketConfig(new HttpHost("somehost", 80), socketConfig);

// Validate connections after 1 sec of inactivity

connManager.setValidateAfterInactivity(1000);

// Create message constraints

MessageConstraints messageConstraints = MessageConstraints.custom()

.setMaxHeaderCount(200)

.setMaxLineLength(2000)

.build();

// Create connection configuration

ConnectionConfig connectionConfig = ConnectionConfig.custom()

.setMalformedInputAction(CodingErrorAction.IGNORE)

.setUnmappableInputAction(CodingErrorAction.IGNORE)

.setCharset(Consts.UTF_8)

.setMessageConstraints(messageConstraints)

.build();

// Configure the connection manager to use connection configuration either

// by default or for a specific host.

connManager.setDefaultConnectionConfig(connectionConfig);

connManager.setConnectionConfig(new HttpHost("somehost", 80), ConnectionConfig.DEFAULT);

// Configure total max or per route limits for persistent connections

// that can be kept in the pool or leased by the connection manager.

connManager.setMaxTotal(100);

connManager.setDefaultMaxPerRoute(10);

connManager.setMaxPerRoute(new HttpRoute(new HttpHost("somehost", 80)), 20);

完整示例请参考 ClientConfiguration.

基本上，在 Java 原生标准库不给力的情况下，Apache HttpComponents HttpClient 是最佳的 HTTP Client library 选择。但这个库当前还不支持 HTTP/2，支持 HTTP/2 的版本还处于 beta 阶段（2018.09.23），因此并不适合用于 Android APP 中使用。

OkHttp

由于当前 Apache HttpComponents HttpClient 版本并不支持 HTTP/2, 而 HTTP/2 对于移动客户端而言，无论是从握手延迟、响应延迟，还是资源开销看都有相当吸引力。因此这就给了高层次封装且支持 HTTP/2 的 http client lib 足够的生存空间。其中最典型的要数OkHttp.

<br /><br />import okhttp3.*;
import org.apache.http.util.CharsetUtils;
import java.util.HashMap;
import java.util.Map;


public class OkHttpDemo {
    OkHttpClient client = new OkHttpClient();

    private String sendPostForm(String url, final Map&lt;String, String&gt; params) throws Exception {
        FormBody.Builder builder = new FormBody.Builder(CharsetUtils.get("UTF-8"));
        if (params != null) {
            for (Map.Entry&lt;String, String&gt; entry: params.entrySet()) {
                builder.add(entry.getKey(), entry.getValue());
            }
        }
        RequestBody requestBody = builder.build();
        Request request = new Request.Builder().url(url).post(requestBody).build();
        return client.newCall(request).execute().body().string();

    }

    private String sendGet(String url) throws Exception {
        Request request = new Request.Builder().url(url).build();
        return  client.newCall(request).execute().body().string();
    }

    public static void main(String[] args) throws Exception {
        OkHttpDemo okHttpDemo = new OkHttpDemo();
        String url = "https://httpbin.org/post";
        Map&lt;String, String&gt; params = new HashMap&lt;String, String&gt;();
        params.put("foo", "bar中文");
        String rsp = okHttpDemo.sendPostForm(url, params);
        System.out.println("http post rsp:" + rsp);

        url = "https://httpbin.org/get";
        System.out.println("http get rsp:" + okHttpDemo.sendGet(url));
    }
}

<br /><br />import okhttp3.*;

import org.apache.http.util.CharsetUtils;

import java.util.HashMap;

import java.util.Map;

public class OkHttpDemo {

OkHttpClient client = new OkHttpClient();

private String sendPostForm(String url, final Map<String, String> params) throws Exception {

FormBody.Builder builder = new FormBody.Builder(CharsetUtils.get("UTF-8"));

if (params != null) {

for (Map.Entry<String, String> entry: params.entrySet()) {

builder.add(entry.getKey(), entry.getValue());

}

RequestBody requestBody = builder.build();

Request request = new Request.Builder().url(url).post(requestBody).build();

return client.newCall(request).execute().body().string();

}

private String sendGet(String url) throws Exception {

Request request = new Request.Builder().url(url).build();

return client.newCall(request).execute().body().string();

}

public static void main(String[] args) throws Exception {

OkHttpDemo okHttpDemo = new OkHttpDemo();

String url = "https://httpbin.org/post";

Map<String, String> params = new HashMap<String, String>();

params.put("foo", "bar中文");

String rsp = okHttpDemo.sendPostForm(url, params);

System.out.println("http post rsp:" + rsp);

url = "https://httpbin.org/get";

System.out.println("http get rsp:" + okHttpDemo.sendGet(url));

}

OkHttp 接口设计友好，支持 HTTP/2，并且在弱网和无网环境下有自动检测和恢复机制，因此，是当前 Android APP 开发中使用最广泛的 HTTP clilent lib 之一。

另一方面，OkHttp 提供的接口与 Java 9 中 HttpClint 接口比较类似（严格讲，应该是 Java 9 借鉴了 OkHttp 等开源库的接口设计？），因此，对于喜欢减少依赖，钟情于原生标准库的开发者来说，在 Java 11 中，从 OkHttp 切换到标准库是相对容易的。因此，以 OkHttp 为代表的 http 库以后的使用场景可能会被蚕食一部分。

小结

HttpURLConnection 封装层次太低，并且支持特性太少，不建议在项目中使用。除非你的确不想引入第三方 HTTP 依赖（如减少包大小、目标环境不提供三方库支持等）。
Java 9 中引入的 HttpClient，封装层次和支持特性都不错。但是因为 Java 版本的原因，应用场景还十分有限，建议观望一段时间再考虑在线上使用。
如果你不需要 HTTP/2特性，Apache HttpComponents HttpClient 是你的最佳选择，比如在服务器之间的 HTTP 调用。否则，请使用 OkHttp, 如 Android 开发。

行思錄 | Travel Coder

Arch, Coding, Life

分类目录归档：Network

HTTP/3 已经箭在弦上，你准备好了吗？

HTTP/3 与 HTTP/2 over QUIC 的区别

QUIC 将成为一个通用安全传输层协议

统一使用 TLS 1.3 作为安全协议

使用 QHPACK 头部压缩代替 HPACK

HTTP/3 问题与挑战

UDP 连通性问题

QUIC 不支持明文传输

UDP 消耗资源多

进一步了解 HTTP/3

移除 macOS 中被企业策略强制安装的 Chrome 插件扩展的方法

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome

后记

Java HTTP 组件库选型看这篇就够了

Java HTTP 组件库选型看这篇就够了

HttpURLConnection

Apache HttpComponents HttpClient

OkHttp

小结

扩展阅读

HTTP/3 与 HTTP/2 over QUIC 的区别

QUIC 将成为一个通用安全传输层协议

统一使用 TLS 1.3 作为安全协议

使用 QHPACK 头部压缩代替 HPACK

HTTP/3 问题与挑战

UDP 连通性问题

QUIC 不支持明文传输

UDP 消耗资源多

进一步了解 HTTP/3

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

方法二：修改 Forcepoint DLP Endpoint 插件安装脚本，禁止强奸 Chrome

后记

Java HTTP 组件库选型看这篇就够了

HttpURLConnection

Apache HttpComponents HttpClient

OkHttp

小结

扩展阅读

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome