Углубленный взгляд на публикацию в блоге Transformer Circuit от Anthropic
https://transformer-circuits.pub/2025/attribution-graphs/biology.html
Аннотация:
Мы исследуем внутренние механизмы, используемые Claude 3.5 Haiku — облегченной производственной моделью Anthropic — в различных контекстах, используя нашу методологию трассировки цепей.
Авторы:
Джек Линдси†, Уэс Герни*, Эммануэль Амейсен*, Брайан Чен*, Адам Пирс*, Николас Л. Тёрнер*, Крейг Ситро*,
Дэвид Абрахамс, Шэн Картер, Бэзил Хосмер, Джонатан Маркус, Майкл Склар, Адли Темплтон
Трентон Брикен, Каллум МакДугалл◊, Хоги Каннингэм, Томас Хениган, Адам Джермин, Энди Джонс, Эндрю Персик, Женьи Ци, Т. Бен Томпсон,
Сэм Циммерман, Келли Ривуар, Томас Конерли, Крис Ола, Джошуа Бэтсон*‡
Ссылки:
Домашняя страница: https://ykilcher.com
Мерч: https://ykilcher.com/merch
Ютуб: https://www.youtube.com/c/yannickilcher
Твиттер: https://twitter.com/ykilcher
Дискорд: https://ykilcher.com/discord
LinkedIn: https://www.linkedin.com/in/ykilcher
Если вы хотите поддержать меня, лучше всего поделиться контентом :)
Если вы хотите поддержать меня материально (совершенно необязательно и добровольно, но многие об этом просили):
Подпишитесь на звезду: https://www.subscribestar.com/yannickilcher
Патреон: https://www.patreon.com/yannickilcher
Биткойн (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq
Эфириум (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2
Лайткоин (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m
Monero (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n
On the Biology of a Large Language Model (Part 1)
Yannic Kilcher
An in-depth look at Anthropic's Transformer Circuit Blog Post
https://transformer-circuits.pub/2025/attribution-graphs/biology.html
Abstract:
We investigate the internal mechanisms used by Claude 3.5 Haiku — Anthropic's lightweight production model — in a variety of contexts, using our circuit tracing methodology.
Authors:
Jack Lindsey†, Wes Gurnee*, Emmanuel Ameisen*, Brian Chen*, Adam Pearce*, Nicholas L. Turner*, Craig Citro*,
David Abrahams, Shan Carter, Basil Hosmer, Jonathan Marcus, Michael Sklar, Adly Templeton,
Trenton Bricken, Callum McDougall◊, Hoagy Cunningham, Thomas Henighan, Adam Jermyn, Andy Jones, Andrew Persic, Zhenyi Qi, T. Ben Thompson,
Sam Zimmerman, Kelley Rivoire, Thomas Conerly, Chris Olah, Joshua Batson*‡
Links:
Homepage: https://ykilcher.com
Merch: https://ykilcher.com/merch
YouTube: https://www.youtube.com/c/yannickilcher
Twitter: https://twitter.com/ykilcher
Discord: https://ykilcher.com/discord
LinkedIn: https://www.linkedin.com/in/ykilcher
If you want to support me, the best thing to do is to share out the content :)
If you want to support me financially (completely optional and voluntary, but a lot of people have asked for this):
SubscribeStar: https://www.subscribestar.com/yannickilcher
Patreon: https://www.patreon.com/yannickilcher
Bitcoin (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq
Ethereum (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2
Litecoin (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m
Monero (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n