wake-up-neo.com

Was sind einige gute Quellen, um etwas über künstliche neuronale Netze zu lernen?

Ich interessiere mich wirklich für künstliche neuronale Netze, suche aber einen Startplatz. 

Welche Ressourcen gibt es und was ist ein gutes Startprojekt?

108
cbrulak

Hier sind einige Beispiele für die Programmierung von Neural Net . http://www.codeproject.com/KB/recipes/neural_dot_net.aspx

sie können hier lesen: http://web.archive.org/web/20071025010456/http://www.geocities.com/CapeCanaveral/Lab/3765/neural.html

Ich für meinen Teil habe einen Kurs darüber besucht und einige Literatur durchgearbeitet.

17
Friedrich

Verzichten Sie zunächst auf die Vorstellung, dass künstliche neuronale Netze nichts mit dem Gehirn zu tun haben, sondern nur eine vorübergehende Ähnlichkeit mit Netzwerken biologischer Neuronen. Das Erlernen der Biologie hilft nicht, neuronale Netzwerke effektiv einzusetzen. Lernen der linearen Algebra, des Kalküls und der Wahrscheinlichkeitstheorie. Sie sollten sich zumindest mit der Vorstellung einer grundlegenden Differenzierung der Funktionen, der Kettenregel, partiellen Ableitungen (Gradient, Jacobi und Hessian) sowie dem Verständnis der Matrixmultiplikation und Diagonalisierung vertraut machen. 

Was Sie beim Trainieren eines Netzwerks wirklich tun, ist die Optimierung einer großen, mehrdimensionalen Funktion (Minimierung der Fehlermessung in Bezug auf jede der Gewichte im Netzwerk). Daher kann eine Untersuchung der Techniken für die nichtlineare numerische Optimierung als aufschlussreich erweisen. Dies ist ein weithin untersuchtes Problem mit einer breiten Literaturbasis außerhalb neuronaler Netze, und es gibt zahlreiche Vorlesungsunterlagen zur numerischen Optimierung im Internet. Um zu beginnen, verwenden die meisten Leute einfache Gradientenabstieg , dies kann jedoch viel langsamer und weniger effektiv sein als nuanciertere Methoden wie 

Sobald Sie die Grundideen verstanden haben, können Sie mit verschiedenen "Squashing" -Funktionen in Ihrer verborgenen Ebene experimentieren, verschiedene Arten von Regularisierung hinzufügen und verschiedene Optimierungen vornehmen, um das Lernen zu beschleunigen. Eine umfassende Liste von "Best Practices" finden Sie unter dieses Dokument .

Eines der besten Bücher zu diesem Thema ist Chris Bishop's Neural Networks for Pattern Recognition . Es ist zu diesem Zeitpunkt recht alt, aber es ist immer noch eine ausgezeichnete Ressource, und Sie können gebrauchte Kopien online für etwa 30 US-Dollar finden. Das Kapitel über das neuronale Netzwerk in seinem neueren Buch Pattern Recognition and Machine Learning ist ebenfalls sehr umfangreich. Für ein besonders gutes Implementierungs-zentriertes Tutorial ist siehe dieses auf CodeProject.com , das eine clevere Art von Netzwerk namens Faltungsnetzwerk implementiert, das die Konnektivität so einschränkt, dass es sehr gut lernen kann visuelle Muster klassifizieren.

Support-Vektor-Maschinen und andere Kernel-Methoden sind sehr beliebt, da Sie sie anwenden können, ohne zu wissen, was Sie tun, und oft akzeptable Ergebnisse erzielen. Andererseits sind neuronale Netzwerke große Optimierungsprobleme, die einer sorgfältigen Abstimmung bedürfen, obwohl sie immer noch für viele Probleme zu bevorzugen sind, insbesondere für große Probleme in Bereichen wie der Computer Vision.

33
dwf

Ich kann diese ausgezeichnete Serie von Anoop Madhusudanan auf Code Project wärmstens empfehlen.

Er führt Sie durch die Grundlagen, um zu verstehen, wie sie auf leicht verständliche Weise arbeiten, und zeigt Ihnen, wie Sie mit der Bibliothek brainnet Ihre eigene Bibliothek erstellen.

29
CodeAndCats

Neuronale Netze sind heutzutage eine Art Decasse. Support-Vektor-Maschinen und Kernel-Methoden eignen sich besser für mehr Klassen von Problemen als für Backpropagation. Neuronale Netze und genetische Algorithmen begeistern Menschen, die nicht viel über modernes maschinelles Lernen wissen, aber nicht auf dem neuesten Stand der Technik sind.

Wenn Sie mehr über KI und maschinelles Lernen lernen möchten, empfiehlt es sich, Peter Norvigs Künstliche Intelligenz: Ein moderner Ansatz zu lesen. Es ist eine umfassende Erhebung über AI und viele moderne Technologien. Es geht auch auf die Geschichte und ältere Techniken ein und wird Ihnen eine umfassendere Einführung in die Grundlagen des KI und des maschinellen Lernens geben.

Neuronale Netzwerke sind jedoch ziemlich einfach. Vor allem, wenn Sie einen genetischen Algorithmus verwenden, um die Gewichte zu bestimmen, und nicht die richtige Backpropagation. 

11
Chad Okere

Zweitens empfehle ich dwf von Neuronale Netze zur Mustererkennung von Chris Bishop. Obwohl es sich vielleicht nicht um einen Starttext handelt. Norvig oder ein Online-Tutorial (mit Code in Matlab!) Wäre wahrscheinlich eine sanftere Einführung.

Ein gutes Starterprojekt wäre OCR (Optical Character Recognition). Sie können Textseiten einscannen und jedes Zeichen durch das Netzwerk führen, um die Klassifizierung durchzuführen. (Sie müssten natürlich zuerst das Netzwerk trainieren!). 

5
graveca

Das Buch von Raul Rojas ist ein sehr guter Start (es ist auch kostenlos). Haykins Buch, 3. Auflage , obwohl von großem Umfang, ist sehr gut erklärt.

4
lmsasu

Ich kann empfehlen, wo ich nicht anfangen soll. Ich kaufte Eine Einführung in neuronale Netze von Kevin Gurney, die gute Rezensionen bei Amazon hat und behauptet, eine "leicht zugängliche Einführung in eines der wichtigsten Themen der Kognitions- und Informatik" zu sein. Persönlich würde ich dieses Buch nicht als Anfang empfehlen. Ich kann nur etwa 10% davon verstehen, aber vielleicht liegt es nur an mir (Englisch ist nicht meine Muttersprache). Ich werde in diesem Thread andere Optionen untersuchen.

4
Vincent

http://www.ai-junkie.com/ann/evolved/nnt1.html ist eine klare Einführung in das Perzeptron mit mehreren Ebenen, obwohl der Backpropagation-Algorithmus nicht beschrieben wird

sie können auch einen Blick auf generation5.org werfen, wo Sie eine Menge Artikel über AI im Allgemeinen und einige großartige Texte über neuronales Netzwerk finden

3
user217299

Wenn Sie nichts dagegen haben, Geld auszugeben, ist das Handbuch der Gehirntheorie und neuronalen Netze sehr gut. Es enthält 287 Artikel über Forschung in vielen Disziplinen. Es beginnt mit einer Einführung und einer Theorie und zeigt dann Wege durch die Artikel auf, um Ihre Interessen bestmöglich zu berücksichtigen.

Für ein erstes Projekt sind Kohonen-Karten interessant für Kategorisierung : Finden Sie versteckte Beziehungen in Ihrer Musiksammlung, bauen Sie einen intelligenten Roboter oder lösen Sie den Netflix-Preis .

2
Corbin March

Ich fand das Lehrbuch "Computational Intelligence" unglaublich hilfreich. 

1
Bradley Powers

Programmierung von kollektiver Intelligenz diskutiert dies im Kontext von Such- und Ranking-Algorithmen. Im vorliegenden Code here (in Kap. 4) werden die in diesem Buch behandelten Konzepte in einem Python-Beispiel veranschaulicht.

1
jamesaharvey

Ich stimme mit den anderen Leuten überein, die sagten, dass das Studium der Biologie kein guter Ausgangspunkt ist ... weil es viele irrelevante Informationen in der Biologie gibt. Sie müssen nicht verstehen, wie ein Neuron funktioniert, um seine Funktionalität wiederherzustellen. Sie müssen nur die Aktionen simulieren. Ich empfehle "How To Create A Mind" von Ray Kurzweil - es geht um den für Computermodelle relevanten Aspekt der Biologie (Erstellen eines simulierten Neurons durch Kombination mehrerer Eingaben und Feuern, sobald eine Schwelle erreicht ist), ignoriert jedoch die irrelanten Dinge wie das Neuron tatsächlich zwei Eingänge hinzufügt. (Sie verwenden nur + und eine Ungleichung, um beispielsweise mit einem Schwellenwert zu vergleichen.)

Ich sollte auch darauf hinweisen, dass es in diesem Buch nicht wirklich darum geht, einen Geist zu erschaffen - es konzentriert sich nur auf die Erforschung der Mustererkennung/den Neokortex. Über das allgemeine Thema wurde seit den achtziger Jahren, an die ich glaube, gesprochen, daher gibt es viele ältere Bücher, die wahrscheinlich etwas veraltete Formen der gleichen Informationen enthalten. Ich habe ältere Dokumente gelesen, die besagen, dass das Sichtsystem zum Beispiel ein mehrschichtiger Mustererkenner ist. Er macht geltend, dass dies für den gesamten Neocortex gilt. Nehmen Sie auch seine "Vorhersagen" mit einem Körnchen Salz - seine Hardware-Schätzungen sind wahrscheinlich ziemlich genau, aber ich denke, er unterschätzt, wie kompliziert einfache Aufgaben sein können (zB: Autofahren). Zugegeben, er hat viele Fortschritte gesehen (und war auch ein Teil davon), aber ich denke immer noch, dass er zu optimistisch ist. Es ist ein großer Unterschied zwischen einem KI-Auto, das eine Meile in 90% der Fälle erfolgreich fahren kann, verglichen mit den 99,9%, die ein Mensch erreichen kann. Ich erwarte nicht, dass mich eine KI mindestens 20 Jahre lang aus dem Ruder gelenkt hat ... (Ich zähle nicht die Track-Cars von BMW, die auf dem eigentlichen Kurs "trainiert" werden müssen, da sie nicht wirklich gleich spielen Spiel)

Wenn Sie bereits eine grundlegende Vorstellung davon haben, was KI ist und wie sie modelliert werden kann, können Sie besser zu etwas mehr technischem Material springen.

1
Allen

Ich fand Fausetts Fundamentals of Neuronale Netze ein einfaches und leicht verständliches Einführungsbuch.

1
chaos

Zwei Bücher, die während meines Studiums verwendet wurden:

Einführungskurs: Eine Einführung in das Neural Computing von Igor Aleksander und Helen Morton.

Fortgeschrittenenkurs: Neurocomputing von Robert Hecht-Nielsen

1
Toon Krijthe

Ich denke, ein guter Ausgangspunkt wäre immer Wikipedia . Dort finden Sie nützliche Links zu Dokumentationen und Projekten, die auch neuronale Netze verwenden.

1
Xn0vv3r

Wenn Sie sich schnell mit Anwendungen einiger neuronaler Netzwerkkonzepte auf einem realen Simulator vertraut machen möchten, finden Sie unter http://grey.colorado.edu/CompCogNeuro/ ein großartiges Online-Buch ("Computational Cognitive Neuroscience"). index.php/CCNBook/Main

Das Buch wird in Schulen als Lehrbuch verwendet und führt Sie durch viele verschiedene Gehirnbereiche, von einzelnen Neuronen bis hin zu Funktionen höherer Ordnung.

Darüber hinaus wird jeder Abschnitt um "Hausaufgaben" -Projekte ergänzt, die bereits für Sie erledigt sind. Einfach herunterladen, befolgen Sie die Schritte und simulieren Sie alles, worüber das Kapitel gesprochen hat. Die Software, die sie verwenden, Emergent, ist etwas finnisch, aber unglaublich robust: Ich glaube, das Produkt aus über 10 Jahren Arbeit.

Ich habe es im letzten Semester in einer Klasse gemacht, und es war großartig. Führt Sie Schritt für Schritt durch alles

0
Varun Singh