• 2 Posts
  • 183 Comments
Joined 1 month ago
cake
Cake day: July 10th, 2024

help-circle







  • If we’re speaking of transformer models like ChatGPT, BERT or whatever: They don’t have memory at all.

    The closest thing that resembles memory is the accepted length of the input sequence combined with the attention mechanism. (If left unmodified though, this will lead to a quadratic increase in computation time the longer that sequence becomes.) And since the attention weights are a learned property, it is in practise probable that earlier tokens of the input sequence get basically ignored the further they lie “in the past”, as they usually do not contribute much to the current context.

    “In the past”: Transformers technically “see” the whole input sequence at once. But they are equipped with positional encoding which incorporates spatial and/or temporal ordering into the input sequence (e.g., position of words in a sentence). That way they can model sequential relationships as those found in natural language (sentences), videos, movement trajectories and other kinds of contextually coherent sequences.











  • ZacryonOPtoich_ielich🔪🧴✂️iel
    link
    fedilink
    arrow-up
    2
    ·
    4 days ago

    Ich bin da gemischter Meinung. Prinzipiell finde ich eine generelle Verpflichtung für alle dieser Kunststoffverpackungen nicht zielführend, sondern würde es eher von “den üblichen Verdächtigen” abhängig machen. Quasi die jeweilige Getränkesorte auf einen Index setzen.

    Einerseits kann ich das nämlich bei Getränken nachvollziehen, bei welchen unsere umsichtigen Mitmenschen daran denken ihren Müll eh nicht zu entsorgen und stattdessen in der Gegend zu verteilen. Wenn die Deckel dann wenigstens dranbleiben, macht dies Aufräumarbeiten leichter und senkt das Risiko, dass der Mist in der Natur verweilt.
    Zum Beispiel bei Softdrinks a la Coca Cola.

    Aber bei einer Milchpackung? Wann findet man schon mal in der Wildnis ausgesetze Milch-Tetra-Paks? Da fehlt mir das Verständnis für und ich sehe da eher mehr Nachteile als Vorteile. Z.B. mehr Plastik für etwas, das ohnehin zuverlässig entsorgt wird.