Google Stackdriverを眺める

2016-06-04 21:59 #gcp #monitoring

以前話題になったStackdriverをbetaのうちに触っておこうそうしよう。
AWSがCloudWatchなら、GCPはStackdriverや！！

Stackdriverの提供する機能

Documentを眺めてみると機能はこんな感じ。
正直下3つはまだ触れていないのでわりと適当。

Monitoring
- 監視と計測のためのサービス
- Agentをリソースに仕込んでメトリックを取得する
- Agentを使わなくても、GCP APIを使って簡単なメトリックは取得してくれる
- みんな大好きアラート発砲もできる
- GCPだけでなく、AWSにも対応している
Logging
- syslogや任意のログを収集して管理・分析ができる
Error Reporting
- どのエラーがいつ何回起きたか
Debug
- コードに埋め込むあのデバッガ
Trace
- パフォーマンスチューニングのためのサービス
- どの処理にどれだけ時間がかかっているのかが計測できる

今回はMonitoringを眺めてみようかな。

準備

監視対象のInstanceを立ち上げて、Agentを仕込むぞー。
今回はOpengrokサーバを構築してみようかな。
前段にNginx、バックエンドにTomcatがいる構成。
Stackdriverに関係ない部分はざっくり省略していく(それでも長ったらしくなってしまったあばば)。

GCE Instanceを作成する

参考:

はじめにWeb consoleからGoogle Monitoring APIを有効にしておくこと。
あとは普通に作成すればいいんだけど、Service Accountの権限だけ注意する。
最低限monitoring.writeがあれば良さそう。
Service Accountの確認方法はDocumentにある通り。

$ curl --silent -f -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/scopes
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.read_only
https://www.googleapis.com/auth/logging.write
https://www.googleapis.com/auth/monitoring
https://www.googleapis.com/auth/service.management
https://www.googleapis.com/auth/servicecontrol

Stackdriver Agentを入れる

参考:

Documentに記載のinstall scriptを打つだけ、だと思ってました。

kobtea@opengrok:~$ curl -O https://repo.stackdriver.com/stack-install.sh
kobtea@opengrok:~$ sudo bash stack-install.sh --write-gcm
Installing agents for Debian or Ubuntu.
# ...
Setting up stackdriver-agent (5.5.0-269.trusty) ...
 * Starting Stackdriver metrics collection agent stackdriver-agent
 * Need to set STACKDRIVER_API_KEY in /etc/default/stackdriver-agent
 * not starting, configuration error
                                                                                                                                                                                          [fail]
# ...
Setting up stackdriver-extractor (92-1.trusty) ...
 * Starting Stackdriver metadata extractor stackdriver-extractor
 * Please set STACKDRIVER_API_KEY in /etc/default/stackdriver-agent
                                                                                                                                                                                          [fail]
# ...
Restarting services
 * Restarting Stackdriver metrics collection agent stackdriver-agent
 * Need to set STACKDRIVER_API_KEY in /etc/default/stackdriver-agent
 * not starting, configuration error

インストール失敗してる…
STACKDRIVER_API_KEYがないぞって、Documentでは特に言及されてないんだけどなぁ…

stack-install.shを見てみると--write-gcmオプションなんてものは書かれていない。な、なんだってー
代わりにproject metadataを使う方法は書いてある…どういうことや…

# Install and start the Google monitoring agent.
#
# Usage:
#
#   curl -O https://.../stack-install.sh
#   bash stack-install.sh [--api-key=...]
#
# The API key can be omitted on a GCE instance if it is available in the
# project metadata as the value of "stackdriver-agent-key".
#
# This script does the following:
#
#   1. Configure the required apt-get or yum repository.
#   2. Install the agent package.
#   3. Invoke /opt/stackdriver/stack-config to do the following:
#      a. Optionally configure the agent with the API key.
#      b. Start the agent services.

よくわからんので、API Keyをセットして試す。
API Keyは以下のurlから確認できる。
https://app.google.stackdriver.com/settings/accounts/agent/

kobtea@opengrok:~$ sudo bash stack-install.sh --api-key=<MY_API_KEY>
Installing agents for Debian or Ubuntu.
# ...
Restarting services
 * Restarting Stackdriver metrics collection agent stackdriver-agent

# 入った！
# stackdriver-agentはinstall時に立ち上がる
kobtea@opengrok:~$ sudo service stackdriver-agent status
 * stackdriver-agent is running

# stackdriver-extractorは手動で
kobtea@opengrok:~$ sudo service stackdriver-extractor start
 * Starting Stackdriver metadata extractor stackdriver-extractor                                                                                                                          [ OK ]

# stack-configでも問題なさそう
kobtea@opengrok:~$ /opt/stackdriver/stack-config info
Stackdriver Host Info Dump
Resource Id: xxxx
API Key: xxxx
Error talking to Stackdriver gateway No JSON object could be decoded
 * stackdriver-agent is running
Agent status:  Agent config snippets:
 * stackdriver-extractor is running
Extractor status:  Extractor sample data:
{
  "interfaces": [
    {
      "name": "lo",
      "address_families": [
# ...
      ]
    }
  ]
}

(∩´∀｀)∩ﾜｰｲ

Stackdriver Agent pluginを入れる

参考: Monitoring Agent Configuration - Supported plugins

Agent pluginは標準で色々なミドルウェアに対応している。
標準pluginはconfigを書くだけで楽ちん。

Nginx pluginを入れる

参考: Nginx Plugin

Nginx pluginはstub_statusの値を計測する。

# stub_statusの準備
kobtea@opengrok:~$ sudo touch /etc/nginx/sites-available/status
kobtea@opengrok:~$ cat /etc/nginx/sites-available/status
server {
	listen 80;
	server_name local-stackdriver-agent.stackdriver.com;
	location /nginx_status {
		stub_status on;
		access_log   off;
		allow 127.0.0.1;
		deny all;
	}
	location / {
		root /dev/null;
	}
}
kobtea@opengrok:~$ sudo ln -s /etc/nginx/sites-available/status /etc/nginx/sites-enabled/
kobtea@opengrok:~$ sudo service nginx reload
kobtea@opengrok:~$ curl http://local-stackdriver-agent.stackdriver.com/nginx_status
Active connections: 2
server accepts handled requests
 315 315 3601
Reading: 0 Writing: 1 Waiting: 1

# Stackdriver Nginx pluginの設定
kobtea@opengrok:~$ sudo touch /opt/stackdriver/collectd/etc/collectd.d/nginx.conf
kobtea@opengrok:~$ cat /opt/stackdriver/collectd/etc/collectd.d/nginx.conf
LoadPlugin "nginx"
<Plugin "nginx">
  URL "http://local-stackdriver-agent.stackdriver.com/nginx_status"
</Plugin>
kobtea@opengrok:~$ sudo service stackdriver-agent restart
# ...
Created new plugin context.
                                                                                                                                                                                          [ OK ]

Tomcat pluginを入れる

参考: Tomcat Plugin

Tomcat, JVM系はJMXを使って計測する。

# JMXの設定
kobtea@opengrok:~$ diff -u /etc/default/tomcat7{.orig,}
--- /etc/default/tomcat7.orig	2016-05-12 16:50:51.872516414 +0000
+++ /etc/default/tomcat7	2016-05-12 17:02:53.180519725 +0000
@@ -19,6 +19,7 @@
 # exactly one CPU chip that contains one or two cores, you should also add
 # the "-XX:+CMSIncrementalMode" option.
 JAVA_OPTS="-Djava.awt.headless=true -Xmx128m -XX:+UseConcMarkSweepGC"
+JAVA_OPTS="${JAVA_OPTS} -Djava.security.egd=file:/dev/./urandom"

 # To enable remote debugging uncomment the following line.
 # You will then be able to use a java debugger on port 8000.
@@ -45,3 +46,7 @@
 # NOTE: authbind works only with IPv4.  Do not enable it when using IPv6.
 # (yes/no, default: no)
 #AUTHBIND=no
+CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote"
+CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.port=9012"
+CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.ssl=false"
+CATALINA_OPTS="${CATALINA_OPTS} -Dcom.sun.management.jmxremote.authenticate=false"

kobtea@opengrok:~$ sudo service tomcat7 restart

# Stackdriver Tomcat pluginの設定
kobtea@opengrok:~$ cd /opt/stackdriver/collectd/etc/collectd.d/ && sudo curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/tomcat-7.conf
kobtea@opengrok:~$ sudo service stackdriver-agent restart
# ...
Created new plugin context.
                                                                                                                                                                                          [ OK ]