私は AKS クラスターを使用して、Python-Django ベースのテスト Web アプリケーションを実行しています。また、Grafana と Prometheus も構成しています。OpenTelemetry を使用してテスト アプリからメトリック データを取得し、Grafana で視覚化する必要があります。
私はOTEL CRDを使用してKubernetesオペレーターの形でOpenTelemetry Collectorをデプロイしました（参照：自動オペレーター）。
OpenTelemetry CRD をすでにデプロイし、コレクターをデプロイしました。コレクターの種類は ですOpenTelemetryCollector。エクスポーターを として構成しPromethus、OTEL コレクターが Prometheus にサービスを提供して、すべて接続されています。Grafana で OTEL コレクター ベースのパネルを表示できます。
私の目的は、OTEL コレクターを使用して Grafana で、などpod_cpu_usageのアプリケーション ベースのメトリックを取得することです。pod_memory_usage
以下は私の OTEL Collector YAML 構成です。
otel-collector.yml
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
name: otel
namespace: otel
labels:
opentelemetry.io/name: otelcol
app.kubernetes.io/instance: opentelemetry
app.kubernetes.io/name: otelcol
app.kubernetes.io/version: "0.82.0"
annotations:
otel_collector: "true"
prometheus.io/port: "9464"
prometheus.io/scrape: "true"
spec:
config: |
receivers:
prometheus:
config:
scrape_configs:
- bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
job_name: integrations/kubernetes/cadvisor
kubernetes_sd_configs:
- role: node
relabel_configs:
- replacement: kubernetes.default.svc.cluster.local:443
target_label: __address__
- regex: (.+)
replacement: /api/v1/nodes/$${1}/proxy/metrics/cadvisor
source_labels:
- __meta_kubernetes_node_name
target_label: __metrics_path__
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: false
server_name: kubernetes
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
job_name: integrations/kubernetes/kubelet
kubernetes_sd_configs:
- role: node
relabel_configs:
- replacement: kubernetes.default.svc.cluster.local:443
target_label: __address__
- regex: (.+)
replacement: /api/v1/nodes/$${1}/proxy/metrics
source_labels:
- __meta_kubernetes_node_name
target_label: __metrics_path__
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: false
server_name: kubernetes
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: integrations/kubernetes/kube-state-metrics
kubernetes_sd_configs:
- role: pod
relabel_configs:
- action: keep
regex: kube-state-metrics
source_labels:
- __meta_kubernetes_pod_label_app_kubernetes_io_name
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: integrations/node_exporter
kubernetes_sd_configs:
- namespaces:
names:
- default
role: pod
relabel_configs:
- action: keep
regex: prometheus-node-exporter.*
source_labels:
- __meta_kubernetes_pod_label_app_kubernetes_io_name
- action: replace
source_labels:
- __meta_kubernetes_pod_node_name
target_label: instance
- action: replace
source_labels:
- __meta_kubernetes_namespace
target_label: namespace
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: 'otel-collector'
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
otlp:
protocols:
grpc:
endpoint: '0.0.0.0:4317'
http:
cors:
allowed_origins:
- http://*
- https://*
endpoint: '0.0.0.0:4318'
processors:
batch: {}
filter/ottl:
error_mode: ignore
metrics:
metric:
- name == "rpc.server.duration"
memory_limiter:
check_interval: 5s
limit_percentage: 80
spike_limit_percentage: 25
resource:
attributes:
- action: insert
from_attribute: k8s.pod.uid
key: service.instance.id
exporters:
logging: {}
prometheus:
enable_open_metrics: true
endpoint: '0.0.0.0:9464'
resource_to_telemetry_conversion:
enabled: true
extensions:
health_check: {}
memory_ballast:
size_in_percentage: 40
service:
pipelines:
metrics:
receivers: [prometheus, otlp]
processors: [batch, filter/ottl, memory_limiter, resource]
exporters: [prometheus, logging]
以下は現在のインストルメンテーション構成YAMLです（参照:https://github.com/open-telemetry/opentelemetry-operator#デプロイメントモード）私が持っているもの：
otel-計測.yml
apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
name: python-instrumentation
namespace: trojanwall
spec:
exporter:
endpoint: http://10.244.0.7:4318
propagators:
- tracecontext
- baggage
sampler:
type: parentbased_traceidratio
argument: "1"
python:
env:
- name: OTEL_LOGS_EXPORTER
value: otlp_proto_http
- name: OTEL_PYTHON_LOGGING_AUTO_INSTRUMENTATION_ENABLED
value: 'true'
アプリケーションのソース コードを変更せずに、Python-Django アプリケーションの自動インストルメンテーションを実装する必要があります。
その後、Python-Django テスト アプリのデプロイメント YAML ファイルに次の注釈を追加しました。
annotations:
instrumentation.opentelemetry.io/inject-python: "true"
しかし、アプリケーション固有のメトリックはどれも Grafana に表示されません。
OpenTelemetry Collector と Auto-Instrumentation を使用してこれを適切に行うにはどうすればよいですか?
これを適切に行う方法について、何かアドバイスをいただけませんか?