Ich habe einen AKS-Cluster, in dem ich eine Python-Django-basierte Test-Webanwendung ausführe. Außerdem habe ich Grafana und Prometheus konfiguriert. Ich muss OpenTelemetry verwenden, um die Metrikdaten aus der Test-App abzurufen und sie in Grafana zu visualisieren.
Ich habe einen OpenTelemetry Collector in Form eines Kubernetes-Operators bereitgestellt, indem ich OTEL CRDs verwende (siehe:https://opentelemetry.io/docs/kubernetes/operator/automatic/).
Ich habe bereits das OpenTelemetry CRD und den Collector bereitgestellt. Der Collector ist vom Typ OpenTelemetryCollector. Ich habe den Exporter als konfiguriert Promethusund der OTEL-Collector bedient Prometheus und alles ist verbunden. Ich kann die auf dem OTEL-Collector basierenden Panels in Grafana anzeigen.
Mein Ziel ist es , mithilfe des OTEL-Collectors anwendungsbasierte Metriken wie pod_cpu_usage, , usw. in Grafana abzurufen.pod_memory_usage
Unten ist meine OTEL Collector YAML-Konfiguration:
hotel-collector.yml
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
name: otel
namespace: otel
labels:
opentelemetry.io/name: otelcol
app.kubernetes.io/instance: opentelemetry
app.kubernetes.io/name: otelcol
app.kubernetes.io/version: "0.82.0"
annotations:
otel_collector: "true"
prometheus.io/port: "9464"
prometheus.io/scrape: "true"
spec:
config: |
receivers:
prometheus:
config:
scrape_configs:
- bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
job_name: integrations/kubernetes/cadvisor
kubernetes_sd_configs:
- role: node
relabel_configs:
- replacement: kubernetes.default.svc.cluster.local:443
target_label: __address__
- regex: (.+)
replacement: /api/v1/nodes/$${1}/proxy/metrics/cadvisor
source_labels:
- __meta_kubernetes_node_name
target_label: __metrics_path__
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: false
server_name: kubernetes
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
job_name: integrations/kubernetes/kubelet
kubernetes_sd_configs:
- role: node
relabel_configs:
- replacement: kubernetes.default.svc.cluster.local:443
target_label: __address__
- regex: (.+)
replacement: /api/v1/nodes/$${1}/proxy/metrics
source_labels:
- __meta_kubernetes_node_name
target_label: __metrics_path__
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: false
server_name: kubernetes
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: integrations/kubernetes/kube-state-metrics
kubernetes_sd_configs:
- role: pod
relabel_configs:
- action: keep
regex: kube-state-metrics
source_labels:
- __meta_kubernetes_pod_label_app_kubernetes_io_name
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: integrations/node_exporter
kubernetes_sd_configs:
- namespaces:
names:
- default
role: pod
relabel_configs:
- action: keep
regex: prometheus-node-exporter.*
source_labels:
- __meta_kubernetes_pod_label_app_kubernetes_io_name
- action: replace
source_labels:
- __meta_kubernetes_pod_node_name
target_label: instance
- action: replace
source_labels:
- __meta_kubernetes_namespace
target_label: namespace
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
- job_name: 'otel-collector'
scrape_interval: 10s
static_configs:
- targets: [ '0.0.0.0:8888' ]
otlp:
protocols:
grpc:
endpoint: '0.0.0.0:4317'
http:
cors:
allowed_origins:
- http://*
- https://*
endpoint: '0.0.0.0:4318'
processors:
batch: {}
filter/ottl:
error_mode: ignore
metrics:
metric:
- name == "rpc.server.duration"
memory_limiter:
check_interval: 5s
limit_percentage: 80
spike_limit_percentage: 25
resource:
attributes:
- action: insert
from_attribute: k8s.pod.uid
key: service.instance.id
exporters:
logging: {}
prometheus:
enable_open_metrics: true
endpoint: '0.0.0.0:9464'
resource_to_telemetry_conversion:
enabled: true
extensions:
health_check: {}
memory_ballast:
size_in_percentage: 40
service:
pipelines:
metrics:
receivers: [prometheus, otlp]
processors: [batch, filter/ottl, memory_limiter, resource]
exporters: [prometheus, logging]
Unten finden Sie die aktuelle YAML-Instrumentierungskonfiguration (Referenz:https://github.com/open-telemetry/opentelemetry-operator#deployment-modes) das ich habe:
hotel-instrumentation.yml
apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
name: python-instrumentation
namespace: trojanwall
spec:
exporter:
endpoint: http://10.244.0.7:4318
propagators:
- tracecontext
- baggage
sampler:
type: parentbased_traceidratio
argument: "1"
python:
env:
- name: OTEL_LOGS_EXPORTER
value: otlp_proto_http
- name: OTEL_PYTHON_LOGGING_AUTO_INSTRUMENTATION_ENABLED
value: 'true'
Ich muss die automatische Instrumentierung für die Python-Django-Anwendung implementieren, ohne den Quellcode der Anwendung zu ändern.
Danach habe ich die folgende Anmerkung zu meiner YAML-Datei zur Bereitstellung der Python-Django-Test-App hinzugefügt:
annotations:
instrumentation.opentelemetry.io/inject-python: "true"
Allerdings werden keine meiner anwendungsspezifischen Metriken in Grafana angezeigt.
Wie kann ich dies mit OpenTelemetry Collector und Auto-Instrumentation richtig machen?
Kann mir bitte jemand erklären, wie das richtig geht?