移除 macOS 中被企业策略强制安装的 Chrome 插件扩展的方法

发表于2018-10-20由daniel

公司配发的 Macbook 安装了一些监控软件，毕竟是办公设备，这点倒是无可厚非。但是，其中的 Forcepoint DLP Endpoint 会向日常使用的主力浏览器 Chrome 中安装一个 WebsenEndpoint 的扩展插件。

这个插件的作用不必多说，但是有一个副作用就是让 Chrome 无法自动填写任何网站用户名密码。每天要输入上百次的密码这种体力活是绝对不能忍受的。于是尝试卸载这个插件。但是这个插件是使用企业策略 (Installed by enterprise policy) 强制安装，无法在Chrome中下载。但是可以通过将与之关联的 Profile 删除实现卸载的作用：

但是过两天，Forcepoint 又会把这个插件装回来? 不过没关系，我们有的是办法。

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

原理是这样的：Chrome 的插件安装在 ~/Library/Application Support/Google/Chrome/Default/Extensions 目录下：

除去 Temp, 每个文件夹对应一个插件。我们希望移除的插件的文件夹名称是 kmofofmjgmakbbmngpgmehldlaaafnjn。由于 macOS 文件夹下，相同名称的文件和文件夹只能存在一个。因此，我们只需要在插件删除以后，在这个目录下新建一个名称为 kmofofmjgmakbbmngpgmehldlaaafnjn 的空文件：

cd ~/Library/Application\ Support/Google/Chrome/Default/Extensions
touch kmofofmjgmakbbmngpgmehldlaaafnjn
chmod 000 kmofofmjgmakbbmngpgmehldlaaafnjn

cd ~/Library/Application\ Support/Google/Chrome/Default/Extensions

touch kmofofmjgmakbbmngpgmehldlaaafnjn

chmod 000 kmofofmjgmakbbmngpgmehldlaaafnjn

然后，再通过文件系统的 Lock 功能锁定改文件，防止该文件被 Forcpoint 删除：

至此，大功告成，so easy!

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome

法一虽然可以防止Chrome被重新安装插件，但是过几天以后，你会在你的 Profiles 配置下发现，虽然 Chrome 插件安装失败了，但是依然会成功安装这个 Profile:

虽然不会干扰系统的任何功能，但是估计很多强迫症患者看到这个还是挺难受的……从图中我们可以看到，这个插件的路径在 /Library/Application Support/Websense Endpoint/DLP:

其中 setup_chrome_ext.sh 就是强插 Chrome 的脚本：

#!/bin/bash

CUT="/usr/bin/cut"
LSOF="/usr/sbin/lsof"
PS="/bin/ps"
PROFILES="/usr/bin/profiles"
GREP="/usr/bin/grep"

PIDS=`$PS -axc -o pid,command | $GREP "Google Chrome" | $GREP -v "Google Chrome Helper" | $CUT -c 1-5`

LIBWEP_HOOKED=0
if [ ${#PIDS[@]} -gt 0 ]
then
    for pid in $PIDS
    do
        CNT=`lsof -P -T -p $pid | grep libwep_chrome.dylib | wc -l`
        if [ $CNT == 1 ]
        then
            LIBWEP_HOOKED=1
        fi
    done
fi

if [ $LIBWEP_HOOKED == 1 ]
then
    echo "Configuring the chrome extension profile..."
    $PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config"
fi

#!/bin/bash

CUT="/usr/bin/cut"

LSOF="/usr/sbin/lsof"

PS="/bin/ps"

PROFILES="/usr/bin/profiles"

GREP="/usr/bin/grep"

PIDS=`$PS -axc -o pid,command | $GREP "Google Chrome" | $GREP -v "Google Chrome Helper" | $CUT -c 1-5`

LIBWEP_HOOKED=0

if [ ${#PIDS[@]} -gt 0 ]

then

for pid in $PIDS

CNT=`lsof -P -T -p $pid | grep libwep_chrome.dylib | wc -l`

if [ $CNT == 1 ]

then

LIBWEP_HOOKED=1

done

if [ $LIBWEP_HOOKED == 1 ]

then

echo "Configuring the chrome extension profile..."

$PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config"

脚本写得简单粗暴：通过 $PROFILES -I -F "/Library/Application Support/Websense Endpoint/DLP/WebsenseEndpointExtension.config" 向系统强行安装 profile. 要防止其安装插件，把这行代码删除即可。但是，这个文件是属于 admin 用户组的，我们平时使用的账号，即使集合 sudo 也只是 wheel 用户组，是干不过 admin 的，导致我们无法在正常模式下编辑该文件：

╭─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint/DLP ‹ruby-2.3.1›
╰─➤  ll
total 8800
drwxr-xr-x  2 root        admin    68B Aug 17 08:43 Contained File
-rw-r--r--  1 root        admin   2.9M Oct 20 10:39 DLPClient.log
-rw-r--r--  1 root        admin   988B Oct 20 22:22 DLPClient.plist
-rw-r--r--  1 root        admin    13K Oct 18 17:50 DLPClientConfig.hsw
-rw-r--r--  1 root        admin   412B Jun  5 05:52 DLPClientConfig.hsw.default
-rwxr-xr-x  1 root        admin   112K Jun  5 05:51 DLPHelperService
drwxr-xr-x  3 root        admin   102B Aug 13 16:14 Websense Endpoint Helper.app
drwxr-xr-x  3 root        wheel   102B Jun  5 05:52 WebsenseEndpointDLP.kext
-rw-r--r--  1 root        admin   1.5K Oct 18 17:50 WebsenseEndpointExtension.config
-rw-r--r--  1 root        admin    11K Jun  5 05:51 WebsenseEndpointExtension.crx
srwxrwxrwx  1 liudanking  admin     0B Sep 25 16:31 cmdsrvdh.sock.501
srwxrwxrwx  1 dan         admin     0B Aug 10 11:10 cmdsrvdh.sock.502
srwxrwxrwx  1 root        admin     0B Sep 20 09:28 dlpcmd.sock
-rw-r--r--  1 root        admin    12K Oct 18 17:50 dser_msg_template.xml
-rw-r--r--  1 root        admin    84B May 31 17:19 enable_cext
-rwxr-xr-x  1 root        admin   137K Jun  5 05:52 libCodeSignFlag.dylib
srwxrwxrwx  1 liudanking  admin     0B Sep 25 16:31 promptsrv.sock.501
srwxrwxrwx  1 dan         admin     0B Aug 10 11:10 promptsrv.sock.502
-rwxr-xr-x  1 root        wheel   650B Jun  5 05:51 setup_chrome_ext.sh
-rw-r--r--  1 root        admin   322B Jun  5 05:51 update.xml
-rwxr-xr-x  1 root        admin   1.0M Jun  5 05:51 wsdlpd
-rw-r--r--  1 root        admin    17K Jun  5 05:51 {c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

╭─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint/DLP ‹ruby-2.3.1›

╰─➤ ll

total 8800

drwxr-xr-x 2 root admin 68B Aug 17 08:43 Contained File

-rw-r--r-- 1 root admin 2.9M Oct 20 10:39 DLPClient.log

-rw-r--r-- 1 root admin 988B Oct 20 22:22 DLPClient.plist

-rw-r--r-- 1 root admin 13K Oct 18 17:50 DLPClientConfig.hsw

-rw-r--r-- 1 root admin 412B Jun 5 05:52 DLPClientConfig.hsw.default

-rwxr-xr-x 1 root admin 112K Jun 5 05:51 DLPHelperService

drwxr-xr-x 3 root admin 102B Aug 13 16:14 Websense Endpoint Helper.app

drwxr-xr-x 3 root wheel 102B Jun 5 05:52 WebsenseEndpointDLP.kext

-rw-r--r-- 1 root admin 1.5K Oct 18 17:50 WebsenseEndpointExtension.config

-rw-r--r-- 1 root admin 11K Jun 5 05:51 WebsenseEndpointExtension.crx

srwxrwxrwx 1 liudanking admin 0B Sep 25 16:31 cmdsrvdh.sock.501

srwxrwxrwx 1 dan admin 0B Aug 10 11:10 cmdsrvdh.sock.502

srwxrwxrwx 1 root admin 0B Sep 20 09:28 dlpcmd.sock

-rw-r--r-- 1 root admin 12K Oct 18 17:50 dser_msg_template.xml

-rw-r--r-- 1 root admin 84B May 31 17:19 enable_cext

-rwxr-xr-x 1 root admin 137K Jun 5 05:52 libCodeSignFlag.dylib

srwxrwxrwx 1 liudanking admin 0B Sep 25 16:31 promptsrv.sock.501

srwxrwxrwx 1 dan admin 0B Aug 10 11:10 promptsrv.sock.502

-rwxr-xr-x 1 root wheel 650B Jun 5 05:51 setup_chrome_ext.sh

-rw-r--r-- 1 root admin 322B Jun 5 05:51 update.xml

-rwxr-xr-x 1 root admin 1.0M Jun 5 05:51 wsdlpd

-rw-r--r-- 1 root admin 17K Jun 5 05:51 {c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

因此，我们需要通过 Command (⌘)-R 重启到恢复模式，然后在 /Volumes/mac.os/Library/Application Support/Websense Endpoint/DLP 目录下，将对应代码删除即可。

至此，自己基本满意了?

后记

稍微浏览了一下 /Library/Application Support/Websense Endpoint 文件夹，发现其实这个软件不仅强插 Chrome, 还会强插 FireFox:

─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint ‹ruby-2.3.1›
╰─➤  sudo cat ff_config.sh
Password:
#!/bin/bash
TARGETDIR=/Library/Application\ Support/Websense\ Endpoint
FIREFOX_DEFAULT_PATH=/Applications/Firefox.app/Contents/Resources
FIREFOX_APP_PATH=/Applications/Firefox.app/Contents/MacOS/firefox
FIREFOX_WEBEX_PATH=/Applications/Firefox.app/Contents/Resources/browser/extensions
FP_FFCFG=fp_firefox.cfg
FP_LSET=local-settings.js
FP_WEBEX_XPI={c748f1fa-f022-428c-9276-8dff4b830d33}.xpi
DLP_PATH=/Library/Application\ Support/Websense\ Endpoint/DLP
PXY_PATH=/Library/Application\ Support/Websense\ Endpoint/Proxy


if [ -d "$DLP_PATH" ]
then
        DLP_IS_INSTALLED=1
else
        DLP_IS_INSTALLED=0
fi

if [ -d "$PXY_PATH" ]
then
        PROXY_IS_INSTALLED=1
else
        PROXY_IS_INSTALLED=0
fi


CMD=$1


START_ALL=0
STOP_ALL=0

if [ $CMD -eq "1" ]
then
        START_ALL=1
fi

if [ $CMD -eq "2" ]
then
        STOP_ALL=1
fi

#############################################################################
# Do start stuff
#############################################################################

# Determine whether or not Forcepoint Firefox CFG file (fp_firefox.cfg) is installed
if [ -d "$FIREFOX_DEFAULT_PATH" -a -f "$FIREFOX_APP_PATH" ]
then
        FIREFOX_WAS_INSTALLED=1
else
        FIREFOX_WAS_INSTALLED=0
fi

if [ $FIREFOX_WAS_INSTALLED -eq 1 ]
then
        # If starting Proxy or DLP and neither is installed, erase ff cfg file and start it anew
        if [ $START_ALL -eq 1 ]
        then
                rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                if [ $PROXY_IS_INSTALLED -eq 1 ]
                then
                        echo "//" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "lockPref(\"network.proxy.type\", 2);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "lockPref(\"network.captive-portal-service.enabled\", false);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                fi
                if [ $DLP_IS_INSTALLED -eq 1 ]
                then
                        echo "//" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "defaultPref(\"extensions.autoDisableScopes\", 0);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        echo "defaultPref(\"extensions.enabledScopes\", 15);" &gt;&gt; "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                        mkdir -p "$FIREFOX_WEBEX_PATH"
                        cp -f "$DLP_PATH/$FP_WEBEX_XPI" "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                        chmod 644 "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                else
                        # Remove Firefox .xpi file
                        rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
                        rm -rf "$DLP_PATH/*.xpi"
                fi
                if [ $PROXY_IS_INSTALLED -eq 1 -o $DLP_IS_INSTALLED -eq 1 ]
                then
                        cp -f "$TARGETDIR/$FP_LSET" "$FIREFOX_DEFAULT_PATH/defaults/pref"
                        chmod 644 "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"
                fi
        fi

        if [ $STOP_ALL -eq 1 ]
        then
                rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"
                rm -rf "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"
                rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"
        fi

fi

─liudanking@Daniel-rMBP.local /Library/Application Support/Websense Endpoint ‹ruby-2.3.1›

╰─➤ sudo cat ff_config.sh

Password:

#!/bin/bash

TARGETDIR=/Library/Application\ Support/Websense\ Endpoint

FIREFOX_DEFAULT_PATH=/Applications/Firefox.app/Contents/Resources

FIREFOX_APP_PATH=/Applications/Firefox.app/Contents/MacOS/firefox

FIREFOX_WEBEX_PATH=/Applications/Firefox.app/Contents/Resources/browser/extensions

FP_FFCFG=fp_firefox.cfg

FP_LSET=local-settings.js

FP_WEBEX_XPI={c748f1fa-f022-428c-9276-8dff4b830d33}.xpi

DLP_PATH=/Library/Application\ Support/Websense\ Endpoint/DLP

PXY_PATH=/Library/Application\ Support/Websense\ Endpoint/Proxy

if [ -d "$DLP_PATH" ]

then

DLP_IS_INSTALLED=1

else

DLP_IS_INSTALLED=0

if [ -d "$PXY_PATH" ]

then

PROXY_IS_INSTALLED=1

else

PROXY_IS_INSTALLED=0

CMD=$1

START_ALL=0

STOP_ALL=0

if [ $CMD -eq "1" ]

then

START_ALL=1

if [ $CMD -eq "2" ]

then

STOP_ALL=1

#############################################################################

# Do start stuff

#############################################################################

# Determine whether or not Forcepoint Firefox CFG file (fp_firefox.cfg) is installed

if [ -d "$FIREFOX_DEFAULT_PATH" -a -f "$FIREFOX_APP_PATH" ]

then

FIREFOX_WAS_INSTALLED=1

else

FIREFOX_WAS_INSTALLED=0

if [ $FIREFOX_WAS_INSTALLED -eq 1 ]

then

# If starting Proxy or DLP and neither is installed, erase ff cfg file and start it anew

if [ $START_ALL -eq 1 ]

then

rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

if [ $PROXY_IS_INSTALLED -eq 1 ]

then

echo "//" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "lockPref(\"network.proxy.type\", 2);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "lockPref(\"network.captive-portal-service.enabled\", false);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

if [ $DLP_IS_INSTALLED -eq 1 ]

then

echo "//" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "defaultPref(\"extensions.autoDisableScopes\", 0);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

echo "defaultPref(\"extensions.enabledScopes\", 15);" >> "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

mkdir -p "$FIREFOX_WEBEX_PATH"

cp -f "$DLP_PATH/$FP_WEBEX_XPI" "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

chmod 644 "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

else

# Remove Firefox .xpi file

rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

rm -rf "$DLP_PATH/*.xpi"

if [ $PROXY_IS_INSTALLED -eq 1 -o $DLP_IS_INSTALLED -eq 1 ]

then

cp -f "$TARGETDIR/$FP_LSET" "$FIREFOX_DEFAULT_PATH/defaults/pref"

chmod 644 "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"

if [ $STOP_ALL -eq 1 ]

then

rm -rf "$FIREFOX_DEFAULT_PATH/$FP_FFCFG"

rm -rf "$FIREFOX_DEFAULT_PATH/defaults/pref/$FP_LSET"

rm -rf "$FIREFOX_WEBEX_PATH/$FP_WEBEX_XPI"

艾玛……proxy…吓死宝宝了，已经不想改脚本了。直接在恢复模式下删除文件，然后用方法一的方法，建了一个 Lock 文件锁定这个位置。什么，还有 upgrade.sh? 你怎么不上天呢，也一并删除了……突然想起，自己在无所不能的恢复模式下，要不整个软件一起删除了？想到隔天IT技术小哥可能过来找麻烦，就此打住吧?

TLS 1.3 当前(2018.10)支持与部署之现状

发表于2018-10-13由daniel

今年8月10日，历经三年有余，TLS 1.3 最终版本终于得以发布——RFC 8446. 关于 RFC 的详细介绍可以进一步阅读 A Detailed Look at RFC 8446 (a.k.a. TLS 1.3). TLS 1.3 因为其在握手延迟以及安全性上的改进 (可以参考拙文《TLS1.3/QUIC 是怎样做到 0-RTT 的》)，毫不夸张的说，这是一件将深刻而长远影响互联网发展的技术里程碑。那么将 TLS 1.3 尽快平滑应用到线上环境无疑是一件势在必行的事情了。

在我日常的工作中，对于 TLS 1.3 的支持和部署主要关注两个层面：编程语言（Go, Java）、 API gateway (Nginx) 和浏览器. 下面分别介绍一下这三个层面 TLS 1.3 的支持部署现状。（因为 RFC 8446 已经发布，因此本文中说的支持如无特殊说明，都是指对最终版本 RFC 8446 的支持。）

编程语言对 TLS 1.3 的支持

Go 方面，官方在 TLS 1.3 draft 阶段一直没有跟进。因此，有一个关于对 TLS 1.3 支持的 issue 从 2015 年 open 至今都没有关闭：crypto/tls: add support for TLS 1.3. 其实 Go 发布版本和改进标准库的效率还是挺高的，对于 TLS 1.3 上的“不作为”更多是因为 Go 在兼容性上的承诺导致其并适合在最终版发布前实现互不兼容的 draft 方案。

而 Go 1.11 的发布时间（2018.08.24）与 RFC 8446 的发布时间比较接近，没有足够时间实现并发布该特性。从 golang-dev 小组讨论 Re: crypto/tls and TLS 1.3 看，由于 1.11 没有实现 TLS 1.3 ，那么 1.12 实现 TLS 1.3 基本是板上钉钉的事了：

The key scheduling fact is that the Go 1.11 feature freeze is just a week away, so we decided that it would be too rushed to merge the 1.3 patches for it. I definitely aim to have TLS 1.3 in Go 1.12.

根据惯例， Go 1.12 的发布时间将会是 2019.02~03. 如果期间你实在想用 Go 编程测试 TLS 1.3, 可以尝试使用 CloudFlare 的 tls-tris 库。根据 Go net/http 标准库维护者 Brad Fitzpatrick 的消息，这个库将会被合并到标准库作为 Go 官方 TLS 1.3 的实现。因此，如果你不得不用这个库干一些生成环境的活也大可放心，即使日后升级 Go 1.12, 接口兼容性还是有保证的。

Java 方面，由于 Java 11 出生时间好（2018.09.25）, 因此是出生就支持 TLS 1.3 RFC 8446, 具体可以参见 JEP 332: Transport Layer Security (TLS) 1.3. Java 11 是 LTS 版本，因此，如果有条件升级到 11, 推荐使用 Java 11 实现的 TLS 1.3 以及配套的 HttpClient；如果生产环境暂无法升级 Java 版本，推荐使用 OkHttp. 关于 Java Http Client 选型可以参见Java HTTP 组件库选型看这篇就够了。

Nginx 对 TLS 1.3 的支持

准确讲应该是 Nginx 所使用 SSL lib 对 TLS 1.3 的支持。在这方面，Boring SSL 跟进速度飞快，在 RFC 发布后第4天实现了对最终版本的支持。OpenSSL 虽然很早就跟进了 draft 的实现，但是对最终版本的支持需要 1.1.1-pre9 及以后的版本：

The OpenSSL git master branch (and the 1.1.1-pre9 beta version) contain our development TLSv1.3 code which is based on the final version of RFC8446 and can be used for testing purposes (i.e. it is not for production use). Earlier beta versions of OpenSSL 1.1.1 implemented draft versions of the standard. Those versions contained the macro TLS1_3_VERSION_DRAFT_TXT in the tls1.h header file which identified the specific draft version that was implemented. This macro has been removed from 1.1.1-pre9 and the current master branch.

TLSv1.3 is enabled by default in the latest development versions (there is no need to explicitly enable it). To disable it at compile time you must use the “no-tls1_3” option to “config” or “Configure”.

Although the latest 1.1.1 versions support the final standard version, other applications that support TLSv1.3 may still be using older draft versions. This is a common source of interoperability problems. If two peers supporting different TLSv1.3 draft versions attempt to communicate then they will fall back to TLSv1.2.

而第一个 OpenSSL 1.1.1 release 是在 2018.09.11, 因此如果你跟我一样是 OpenSSL 的死忠粉，当前阶段 Nginx 支持 TSL 1.3 的最佳方式是 Nginx 1.15.5 + OpenSSL 1.1.1. 而这种脏活、苦活、累活当然是交给 Docker 解决了：从源代码编译 nginx docker 镜像开启 TLS 1.3，项目地址可以参见 docker-nginx.

配置 Nginx 支持 TLS 1.3 需要注意一点：默认情况下 Nginx 因为安全原因，没有开启 TLS 1.3 0-RTT，可以通过添加 ssl_early_data on; 指令开启 0-RTT. 完整配置可以参考 nginx.conf.

浏览器对 TLS 1.3 的支持

当前阶段，Chrome 69 和 Firefox 62 都只支持到 draft 28, 而 draft 28 与最终版本是不兼容的。因此，要测试体验 TLS 1.3 final 需要使用 Chrome Beta 测试版。然后在 chrome://flags/#tls13-variant 开启 TLS 1.3 final:

扩展阅读

基于 Docker 搭建 Mac 本地 HBase 环境

发表于2018-10-02由daniel

说起玩大数据，相信很多人都会因为 Apache 全家桶软件配置而菊花一紧。Docker 的出现，把很多玩大数据就是配机器、配环境的开发者从泥潭中拯救了出来，虽然还不能完全替代线上环境，但是在开发环境，无疑为开发者节约了大量搭建本地环境的时间。比较遗憾的是，我们团队之前也是没有独立的数据测试环境?，于是把在本地搭建 HBase 环境整理和记录如下。

系统环境：

MacBook Pro (Retina, 15-inch, Mid 2015)
2.2 GHz Intel Core i7
16 GB 1600 MHz DDR3
macOS 10.13.6

安装 Docker CE for Mac

从Docker Community Edition for Mac下载安装。

Mac 上的 Docker 环境经过 docker-machine/virtualbox 几次变化，如今的 Docker CE 已经支持原生 Mac 环境，因此当前阶段 Docker CE for Mac 就是唯一推荐的 Mac Docker 环境，再也不用通过安装 virtualbox 这种借蛋生鸡的方式了，实在是很赞。此外，现在的 Docker CE 集成了 Kubernetes, 因此本地玩 k8s 也不需要额外进行安装配置。如果你计划以后就是玩 k8s, 那么你以前安装的 Kitematic 也可以卸载掉了。Kitematic 除了一个图形化的 container 管理界面，实在没有什么值得留恋的，因此官方停止其开发无疑是个正确的决定。

获取和启动 HBase Docker 镜像

获取容器镜像

docker pull harisekhon/hbase

1 2	docker pull harisekhon/hbase

更多大数据全家桶 Docker 镜像可以参见 HariSekhon/Dockerfiles。

启动容器

docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase1.3.1 harisekhon/hbase

1 2	docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase1.3.1 harisekhon/hbase

参数解释:

-d: 后台启动。
-h: 容器主机名，必须设置该项并配置 hosts，否则无法连通容器。
-p: 网络端口映射，这里只把要使用的端口（zookeeper端口、HBase Master端口、HBase RegionServer端口等）映射了出来，你可以根据自己需要进行端口映射。常用 HBase端口可以参见下表：

但是，harisekhon/hbase 修改了默认端口：

# Stargate 8080 / 8085
# Thrift 9090 / 9095
# HMaster 16000 / 16010
# RS 16201 / 16301
EXPOSE 2181 8080 8085 9090 9095 16000 16010 16201 16301

# Stargate 8080 / 8085

# Thrift 9090 / 9095

# HMaster 16000 / 16010

# RS 16201 / 16301

EXPOSE 2181 8080 8085 9090 9095 16000 16010 16201 16301

因此，你看到启动参数中的端口参数是那样的。

--name: 容器别名。

设置hosts (推荐使用 Gas Mask):

127.0.0.1       myhbase

1 2	127.0.0.1 myhbase

成功启动后，就可以在 http://localhost:16010/master-status 查看 HBase 状态了：

需要注意的一点是：容器销毁后，数据也也会被同时销毁。因此你可以通过 -v YOUR_DIR:/hbase-data 的方式将数据目录映射到宿主机目录，防止数据丢失。

编写测试代码

创建 table

# 进入容器
docker exec -it hbase1.3.1 /bin/bash
/hbase/bin/hbase shell
hbase(main):001:0&gt; create 't1', {NAME =&gt; 'f1', VERSIONS =&gt; 1}

# 进入容器

docker exec -it hbase1.3.1 /bin/bash

/hbase/bin/hbase shell

hbase(main):001:0> create 't1', {NAME => 'f1', VERSIONS => 1}

读写 table

Maven 添加依赖：

        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
            &lt;artifactId&gt;hbase-client&lt;/artifactId&gt;
            &lt;version&gt;1.3.1&lt;/version&gt;
        &lt;/dependency&gt;
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
            &lt;artifactId&gt;hbase&lt;/artifactId&gt;
            &lt;version&gt;1.3.1&lt;/version&gt;
        &lt;/dependency&gt;

<groupId>org.apache.hbase</groupId>

<artifactId>hbase-client</artifactId>

</dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase</artifactId>

</dependency>

HelloHBase.java:

<br />//import org.apache.hadoop.conf.HBaseConfiguration;

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;


public class HelloHBase {

    static Configuration conf = null;
    static {
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","localhost");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        conf.set("log4j.logger.org.apache.hadoop.hbase","INFO");
    }


    private static void addData(String tableName, String rowKey, String family, String[] columns, String[] values) {
        try {
            Connection connection = ConnectionFactory.createConnection(conf);
            Table table = connection.getTable(TableName.valueOf(tableName));
            Put put = new Put(Bytes.toBytes(rowKey));
            for (int i = 0; i &lt; columns.length; i++) {
                put.addColumn(Bytes.toBytes(family), Bytes.toBytes(columns[i]), Bytes.toBytes(values[i]));

            }
            table.put(put);
        } catch (Exception e) {
            System.out.println("add data exception:");
            e.printStackTrace();
        }
    }

    private static Result readData(String tableName, String rowKey, String family) {
        try {
            Connection connection = ConnectionFactory.createConnection(conf);
            Table table = connection.getTable(TableName.valueOf(tableName));
            Get get = new Get(Bytes.toBytes(rowKey));
            get.addFamily(Bytes.toBytes(family));
            Result result = table.get(get);
            return result;
        } catch (Exception e) {
            System.out.println("get data exception:");
            e.printStackTrace();
        }
        return null;
    }

    public static void main(String[] args) {
        String tableName = "t1";
        String family = "f1";
        String rowKey = "row1";
        System.out.println("add data");
        addData(tableName, rowKey, family, new String[] {"c1"}, new String[] {"v1"});
        System.out.println("read data");
        Result result = readData(tableName, rowKey, family);
        for (Cell cell: result.listCells()) {
            System.out.println("family:"+Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength()));
            System.out.println("qualifier:"+Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()));
            System.out.println("value:"+Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()));
            System.out.println("Timestamp:"+cell.getTimestamp());
        }
    }
}

<br />//import org.apache.hadoop.conf.HBaseConfiguration;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.*;

import org.apache.hadoop.hbase.util.Bytes;

public class HelloHBase {

static Configuration conf = null;

static {

conf = HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum","localhost");

conf.set("hbase.zookeeper.property.clientPort","2181");

conf.set("log4j.logger.org.apache.hadoop.hbase","INFO");

}

private static void addData(String tableName, String rowKey, String family, String[] columns, String[] values) {

try {

Connection connection = ConnectionFactory.createConnection(conf);

Table table = connection.getTable(TableName.valueOf(tableName));

Put put = new Put(Bytes.toBytes(rowKey));

for (int i = 0; i < columns.length; i++) {

put.addColumn(Bytes.toBytes(family), Bytes.toBytes(columns[i]), Bytes.toBytes(values[i]));

}

table.put(put);

} catch (Exception e) {

System.out.println("add data exception:");

e.printStackTrace();

}

private static Result readData(String tableName, String rowKey, String family) {

try {

Connection connection = ConnectionFactory.createConnection(conf);

Table table = connection.getTable(TableName.valueOf(tableName));

Get get = new Get(Bytes.toBytes(rowKey));

get.addFamily(Bytes.toBytes(family));

Result result = table.get(get);

return result;

} catch (Exception e) {

System.out.println("get data exception:");

e.printStackTrace();

}

return null;

}

public static void main(String[] args) {

String tableName = "t1";

String family = "f1";

String rowKey = "row1";

System.out.println("add data");

addData(tableName, rowKey, family, new String[] {"c1"}, new String[] {"v1"});

System.out.println("read data");

Result result = readData(tableName, rowKey, family);

for (Cell cell: result.listCells()) {

System.out.println("family:"+Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength()));

System.out.println("qualifier:"+Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()));

System.out.println("value:"+Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()));

System.out.println("Timestamp:"+cell.getTimestamp());

}

行思錄 | Travel Coder

Arch, Coding, Life

月度归档：2018年10月

移除 macOS 中被企业策略强制安装的 Chrome 插件扩展的方法

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome

后记

TLS 1.3 当前(2018.10)支持与部署之现状

编程语言对 TLS 1.3 的支持

Nginx 对 TLS 1.3 的支持

浏览器对 TLS 1.3 的支持

扩展阅读

基于 Docker 搭建 Mac 本地 HBase 环境

安装 Docker CE for Mac

获取和启动 HBase Docker 镜像

编写测试代码

扩展阅读

方法一：通过占用 Chrome 插件文件位置，防止真正插件重新装回

方法二：修改 Forcepoint DLP Endpoint 插件安装脚本，禁止强奸 Chrome

后记

编程语言对 TLS 1.3 的支持

Nginx 对 TLS 1.3 的支持

浏览器对 TLS 1.3 的支持

扩展阅读

安装 Docker CE for Mac

获取和启动 HBase Docker 镜像

编写测试代码

扩展阅读

方法二：修改 `Forcepoint DLP Endpoint` 插件安装脚本，禁止强奸 Chrome