zihengCat

为 Spark 任务传递命令行（CLI）参数

Passing Command Line Arguments to Spark Tasks

前言有时，我们在编写Spark任务（Job）时，希望传递命令行参数（Command Line Arguments）进任务脚本（Scrpits）。大多数情况下，我们可以利用指定环境变量实现这一目的。实际上，我们仍有更优雅的实现方法。为 Spark 任务传递命令行（CLI）参数为了传递命令行参数（Command Line Arguments）进Spark任务脚本（Scrpits），我们可以自定......

Posted by zihengCat on 2018-12-07

Linux 下 Screen 状态 Attached 无法连接 - 问题分析及解决

Unable to Connect Screen in Attached Status - Problem Analyse and Solve

前言正常情况下，我们使用Ctrl + D分离 Screen 会话（Session），使用screen -r <session_id>恢复一枚 Screen 会话。但是，当一枚 Screen Session 状态为Attached时，我们不能简单的通过-r选项恢复会话。问题分析出现这一问题的原因是：上一用户仍留存在 Screen Session 中，未正常退出。问题解决使用s......

Posted by zihengCat on 2018-11-23

LeetCode - 434. 统计字符串字符段（Number of Segments in a String）

前言本文记录LeetCode - 434. 统计字符串数据段（Number of Segments in a String）问题。问题描述对字符串中字符段数量统计计数，字符段的定义是：一段连续不为空白符的字符序列。注：输入字符串中不包含任何不可打印（non-printable）的字符。举例说明： Input: "Hello, my name is John" O......

Posted by zihengCat on 2018-11-19

LeetCode - 197. 上升温度（Rising Temperature）

前言本文记录LeetCode - 197. 上升温度（Rising Temperature）问题。问题描述给出如下Weather表，请你写一条SQL查询语句，找出前一天温度比今天高的所有记录的Id号。 +---------+------------------+------------------+ | Id(INT) | RecordDate(DATE) | Temperature(IN......

Posted by zihengCat on 2018-11-14

LeetCode - 709. 转换小写（To Lower Case）

前言本文记录LeetCode - 709. 转换小写（To Lower Case）问题。问题描述请你实现功能函数toLowerCase()：接受一枚字符串参数，将该字符串转换为小写形式后返回。具体样例如下： Input: "Hello" Output: "hello" 注：样例1 Input: "here" Output:......

Posted by zihengCat on 2018-11-10

CentOS 7 IBus 拼音输入法问题及解决

CentOS 7 IBus Intelligent Pinyin Input Method Problem and Solution

前言个人在使用 CentOS 7 时，遇到了系统自带的智能拼音输入法（Intelligent Pinyin Input Method）无法使用的问题。具体表现为：系统显示已经切换到了智能拼音输入法，但无法使用拼音输入，输入的仍是英文。问题分析与解决排除拼音输入法的设置问题，问题原因定位为：未正确设置 GTK Input Method 。问题解决方法：命令行下执行im-chooser，在弹......

Posted by zihengCat on 2018-10-20

Apache Airflow 1.10.0 新版发布 | 高光特性

Apache Airflow 1.10.0 Released | Highlights

前言在经过8个月漫长的等待后，Apache Airflow 1.10.0 终于发布了。高光特性（Highlights）新 Role-Based Access Control (RBAC) 网页接口现已可用（in Beta）。Flask AppBuilder 取代 Flask Admin 成为新的 RBAC Web UI。这一改变将支持更多、更智能、开箱即用的认证后端，以及视图与 ORM 权......

Posted by zihengCat on 2018-10-08

Apache Maven "[INFO] Generating project in Batch mode" 问题分析及解决

Apache Maven "[INFO] Generating project in Batch mode" Problem Analyse and Solve

前言在学习 Apache Maven 官方指导教程 Maven in 5 Minutes 过程中，新人很容易遇到这样一个问题：创建一个Maven项目（Creating a Maven Project）时，Maven构建卡在了如下这步。 ... [INFO] Generating project in Batch mode ... 代码清单：Maven构建项目 - 卡住步骤问题分析在执......

Posted by zihengCat on 2018-09-30

修改 Docker 容器 locale 系统编码

Change locale System Encoding in Docker Container

前言默认情况下，我们使用 Docker 镜像（Image）启动 Docker 容器，容器 Linux 系统默认使用的locale系统编码为POSIX，有时候这会为开发工作带来极大的不便（不支持 Unicode 显示）。 $ locale ... LANG= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME=&quo......

Posted by zihengCat on 2018-09-10

为 Airflow 加装 Cryptography 库

Using Cryptography Package in Airflow

前言Apache Airflow分布式任务调度框架默认将密码等敏感信息以明文形式存储到元数据（Metadata）库中，这会带来一定的安全隐患。Airbnb 官方也强烈建议开发者安装cryptography库以实现敏感信息的加密存储。另外，如果不安装cryptography加密库，Airflow 的许多高级功能都是无法使用的。为Airflow加装cryptography库Apache Ai......

Posted by zihengCat on 2018-08-26

ziheng's Blog