Почему ошибка при обучении нейрона не доходит до нуля?

Question

Всем привет. Написал нейрон, который конвертирует километры в мили. Обучаю его в цикле, но почему-то ошибка не доходит до нуля, а задерживается на одном значении (0,184628), из-за чего, цикл не завершается и пришлось сделать костыль. В видео, по которому делал ошибка доходит до нуля и погрешность маленькая. Как это исправить? Вот мой код

#include <iostream>
using namespace std;
class Neuron
{
    private:
        float weight = 0.5;
    public:
        float LastError;
        float Smoothing = 0.00001;
        float ProcessInputData(float input)
        {
            return input * weight;
        }
        float RestoreInputData(float output)
        {
            return output / weight;
        }
        void Train(float input,float expectedResult)
        {
            float actualResult = input * weight;
            LastError = expectedResult - actualResult;
            float correction = (LastError / actualResult) * Smoothing;
            weight += correction;
        }
        float get_weight()
        {
            return weight;
        }
};
int main()
{
    setlocale(0,"");
    float km = 100;
    float miles = 62.1371;
    Neuron neuron = *new Neuron;
    int i = 0;
    do
    {
        i++;
        neuron.Train(km,miles);
        if (i % 100000 == 0)
        {
            cout << "Итерация: " << i
                 << " Ошибка: " << neuron.LastError << endl;
        }
        if (i == 100400000) // Костыль
            break;
    } while (neuron.LastError > neuron.Smoothing || neuron.LastError < neuron.Smoothing);
cout &lt;&lt; &quot;Обучение завершено!&quot; &lt;&lt; endl;
cout &lt;&lt; &quot;Вес: &quot; &lt;&lt; neuron.get_weight() &lt;&lt; endl;
while (true)
{
    cout &lt;&lt; &quot;Введите расстояние в км:&quot; ;
    cin &gt;&gt; km;
    if (km == 0.0)
        break;
    cout &lt;&lt; neuron.ProcessInputData(km) &lt;&lt; &quot; миль в &quot; &lt;&lt; km &lt;&lt; &quot; км &quot; &lt;&lt; endl;
}
return 0;

}

Answer 1

На утечку памяти в строке

Neuron neuron = *new Neuron;

и неправильное условие

neuron.LastError > neuron.Smoothing || neuron.LastError < neuron.Smoothing

вам уже указали в комментариях и других ответах. Но это не единственная проблема в вашей программе. На графике ниже изображены первые 240929 значений переменной weight:

А так выглядят первые 240929 значений переменной correction:

Обратите внимание, что значение переменной weight монотонно возрастает, и в конце становится немного больше чем 0.6. Значение же переменной correction монотонно убывает, и в конце становится меньше чем 1e-6. Точные значения переменных на 240929 итерации перед тем как будет выполнено выражение weight += correction; таковы:

LastError  == 0.18462753f
correction == 2.9801479e-008f
weight     == 0.61952472f

Проблема в том, что добавление значения 2.9801479e-008f к значению 0.61952472f, хранящемуся в переменной weight не изменяет значения переменной weight.

Таким образом, начиная с 240929 итерации вес weight перестаёт изменяться. Следовательно перестаёт уменьшаться ошибка LastError. Вы столкнулись с особенностями арифметики с плавающей точкой. Рекомендую ознакомиться со следующими вопросами:
Вывод числа double (10^18)+1.
Вычисления на числах с плавающей точкой не работают.

Если вместо float использовать double, то переменная weight перестанет изменяться на 1 489 582 итерации, и переменные примут следующие значения:

LastError  = 3.4492586564738303e-010
correction = 5.5510452807746959e-017
weight     = 0.62137100219381636

Однако, полагаю, что более правильным решением в вашем случае всё же будет не бездумная замена float'ов на более "ёмкий" тип, а настройка параметров алгоритма и/или даже замена алгоритма.

Например, если использовать для вычислений тип float, но присвоить параметру Smoothing значение 0.1 вместо 0.00001, то вес weight перестанет изменяться всего лишь на 76 итерации, а переменные примут следующие значения:

LastError  = 1.5258789e-005
correction = 2.4556655e-008
weight     = 0.62137085

Answer 2

Условие neuron.LastError > neuron.Smoothing || neuron.LastError < neuron.Smoothing всегда верно, поскольку любое число с плавающей точкой всегда меньше или больше любого другого числа такого типа.

Другое дело, если сравнивать с положительным или отрицательным значением точности:

 while (neuron.LastError > neuron.Smoothing || neuron.LastError < -neuron.Smoothing)

Или то же самое, что

 while (abs(neuron.LastError) > neuron.Smoothing )

Но проблема не только в этом, а логика кода метода не обеспечивает выполнения этого условия(не всегда обратное условие выполнится).

Answer 3

#include <iostream>
#include <cmath>

using namespace std;

class Neuron
{
private:
    float weight = 0.567;

public:
    float LastError;
    float Smoothing = 0.0001;
    float ProcessInputData(float input)
    {
        return input * weight;
    }
    // Функция активации
    float relu(float x)
    {
        if (x > 0)
        {
            return x;
        }
        else
        {
            return 0;
        }
    }

    float Train(float input, float expectedResult)
    {
        float state = this->ProcessInputData(input);
        float actualResult = relu(state);
        LastError = expectedResult - actualResult; // Производная не нужна
        float correction = LastError * Smoothing;
        weight += correction;
        return LastError;
    }
    float get_weight()
    {
        return weight;
    }
};

int main()
{
    setlocale(0, "");
    float km = 100.0;
    float miles = 62.1371;
    Neuron *neuron = new Neuron();
    int i = 0;
    float e = 0;
    while (true)
    {
        e=0;
        i++;
        e = neuron->Train(km, miles);
        e = abs(e);

        if (i % 1 == 0)
        {
            cout << "It: " << i
                 << " Error: " << e << endl;
        }

        if (e < 0.01)
            break;
    }

    cout << "Training finished!" << endl;
    cout << "Weight: " << neuron->get_weight() << endl;

    return 0;
}

Out:

It: 333 Error: 0.193306
It: 334 Error: 0.191376
It: 335 Error: 0.189461
It: 336 Error: 0.187569
It: 337 Error: 0.185688
It: 338 Error: 0.18383
It: 339 Error: 0.181995
It: 340 Error: 0.180176
It: 341 Error: 0.178375
It: 342 Error: 0.176594
It: 343 Error: 0.174828
It: 344 Error: 0.173084
It: 345 Error: 0.171356
It: 346 Error: 0.169643
It: 347 Error: 0.167946
It: 348 Error: 0.166264
It: 349 Error: 0.1646
It: 350 Error: 0.162956
It: 351 Error: 0.161327
It: 352 Error: 0.159714
It: 353 Error: 0.158115
It: 354 Error: 0.156536
It: 355 Error: 0.154968
It: 356 Error: 0.153419
It: 357 Error: 0.151886
It: 358 Error: 0.150368
It: 359 Error: 0.148865
It: 360 Error: 0.147377
It: 361 Error: 0.145905
It: 362 Error: 0.144444
It: 363 Error: 0.143002
It: 364 Error: 0.141571
It: 365 Error: 0.140152
It: 366 Error: 0.138752
It: 367 Error: 0.137363
It: 368 Error: 0.13599
It: 369 Error: 0.134632
It: 370 Error: 0.133286
It: 371 Error: 0.13195
It: 372 Error: 0.130634
It: 373 Error: 0.129326
It: 374 Error: 0.128033
It: 375 Error: 0.126751
It: 376 Error: 0.125484
It: 377 Error: 0.124226
It: 378 Error: 0.122986
It: 379 Error: 0.121758
It: 380 Error: 0.120541
It: 381 Error: 0.119339
It: 382 Error: 0.118145
It: 383 Error: 0.116966
It: 384 Error: 0.115799
It: 385 Error: 0.114639
It: 386 Error: 0.113495
It: 387 Error: 0.112366
It: 388 Error: 0.111237
It: 389 Error: 0.110123
It: 390 Error: 0.10902
It: 391 Error: 0.107929
It: 392 Error: 0.10685
It: 393 Error: 0.105782
It: 394 Error: 0.104729
It: 395 Error: 0.10368
It: 396 Error: 0.102642
It: 397 Error: 0.101616
It: 398 Error: 0.100605
It: 399 Error: 0.0995979
It: 400 Error: 0.0986023
It: 401 Error: 0.0976181
It: 402 Error: 0.0966415
It: 403 Error: 0.0956726
It: 404 Error: 0.0947151
It: 405 Error: 0.0937653
It: 406 Error: 0.0928307
It: 407 Error: 0.0918999
It: 408 Error: 0.0909843
It: 409 Error: 0.0900726
It: 410 Error: 0.0891724
It: 411 Error: 0.0882759
It: 412 Error: 0.0873947
It: 413 Error: 0.0865173
It: 414 Error: 0.0856552
It: 415 Error: 0.0847969
It: 416 Error: 0.08395
It: 417 Error: 0.0831108
It: 418 Error: 0.082283
It: 419 Error: 0.081459
It: 420 Error: 0.0806427
It: 421 Error: 0.0798378
It: 422 Error: 0.0790405
It: 423 Error: 0.0782471
It: 424 Error: 0.0774651
It: 425 Error: 0.0766907
It: 426 Error: 0.0759201
It: 427 Error: 0.0751648
It: 428 Error: 0.0744133
It: 429 Error: 0.0736694
It: 430 Error: 0.0729294
It: 431 Error: 0.0722008
It: 432 Error: 0.0714798
It: 433 Error: 0.0707664
It: 434 Error: 0.0700569
It: 435 Error: 0.0693512
It: 436 Error: 0.0686607
It: 437 Error: 0.0679779
It: 438 Error: 0.0672951
It: 439 Error: 0.0666237
It: 440 Error: 0.0659561
It: 441 Error: 0.0652924
It: 442 Error: 0.06464
It: 443 Error: 0.0639954
It: 444 Error: 0.0633583
It: 445 Error: 0.0627251
It: 446 Error: 0.0620995
It: 447 Error: 0.0614777
It: 448 Error: 0.0608673
It: 449 Error: 0.060257
It: 450 Error: 0.0596542
It: 451 Error: 0.0590591
It: 452 Error: 0.0584679
It: 453 Error: 0.0578842
It: 454 Error: 0.0573082
It: 455 Error: 0.056736
It: 456 Error: 0.0561676
It: 457 Error: 0.0556068
It: 458 Error: 0.0550537
It: 459 Error: 0.0545044
It: 460 Error: 0.0539627
It: 461 Error: 0.053421
It: 462 Error: 0.0528831
It: 463 Error: 0.0523529
It: 464 Error: 0.0518303
It: 465 Error: 0.0513115
It: 466 Error: 0.0507965
It: 467 Error: 0.050293
It: 468 Error: 0.0497894
It: 469 Error: 0.0492897
It: 470 Error: 0.0487938
It: 471 Error: 0.0483055
It: 472 Error: 0.0478249
It: 473 Error: 0.047348
It: 474 Error: 0.046875
It: 475 Error: 0.0464058
It: 476 Error: 0.0459404
It: 477 Error: 0.0454826
It: 478 Error: 0.0450287
It: 479 Error: 0.0445747
It: 480 Error: 0.0441284
It: 481 Error: 0.0436859
It: 482 Error: 0.043251
It: 483 Error: 0.0428162
It: 484 Error: 0.0423889
It: 485 Error: 0.0419655
It: 486 Error: 0.0415459
It: 487 Error: 0.0411301
It: 488 Error: 0.0407181
It: 489 Error: 0.0403137
It: 490 Error: 0.0399094
It: 491 Error: 0.0395088
It: 492 Error: 0.0391159
It: 493 Error: 0.038723
It: 494 Error: 0.0383339
It: 495 Error: 0.0379524
It: 496 Error: 0.037571
It: 497 Error: 0.0371971
It: 498 Error: 0.0368271
It: 499 Error: 0.0364571
It: 500 Error: 0.0360947
It: 501 Error: 0.0357285
It: 502 Error: 0.0353737
It: 503 Error: 0.0350189
It: 504 Error: 0.034668
It: 505 Error: 0.0343246
It: 506 Error: 0.0339775
It: 507 Error: 0.033638
It: 508 Error: 0.0333023
It: 509 Error: 0.0329704
It: 510 Error: 0.0326424
It: 511 Error: 0.0323143
It: 512 Error: 0.0319939
It: 513 Error: 0.0316696
It: 514 Error: 0.0313568
It: 515 Error: 0.0310402
It: 516 Error: 0.0307312
It: 517 Error: 0.0304184
It: 518 Error: 0.030117
It: 519 Error: 0.0298119
It: 520 Error: 0.0295143
It: 521 Error: 0.0292168
It: 522 Error: 0.028923
It: 523 Error: 0.0286331
It: 524 Error: 0.0283432
It: 525 Error: 0.0280609
It: 526 Error: 0.0277786
It: 527 Error: 0.0275002
It: 528 Error: 0.0272255
It: 529 Error: 0.0269508
It: 530 Error: 0.0266838
It: 531 Error: 0.026413
It: 532 Error: 0.0261536
It: 533 Error: 0.0258904
It: 534 Error: 0.0256348
It: 535 Error: 0.0253754
It: 536 Error: 0.0251198
It: 537 Error: 0.0248718
It: 538 Error: 0.0246201
It: 539 Error: 0.0243759
It: 540 Error: 0.0241318
It: 541 Error: 0.0238914
It: 542 Error: 0.0236549
It: 543 Error: 0.0234146
It: 544 Error: 0.0231819
It: 545 Error: 0.0229492
It: 546 Error: 0.0227203
It: 547 Error: 0.0224915
It: 548 Error: 0.0222664
It: 549 Error: 0.0220451
It: 550 Error: 0.0218239
It: 551 Error: 0.0216026
It: 552 Error: 0.021389
It: 553 Error: 0.0211754
It: 554 Error: 0.0209618
It: 555 Error: 0.020752
It: 556 Error: 0.0205421
It: 557 Error: 0.02034
It: 558 Error: 0.0201378
It: 559 Error: 0.0199356
It: 560 Error: 0.0197372
It: 561 Error: 0.0195427
It: 562 Error: 0.0193443
It: 563 Error: 0.0191536
It: 564 Error: 0.0189629
It: 565 Error: 0.0187721
It: 566 Error: 0.018589
It: 567 Error: 0.0184021
It: 568 Error: 0.018219
It: 569 Error: 0.0180321
It: 570 Error: 0.0178528
It: 571 Error: 0.0176773
It: 572 Error: 0.017498
It: 573 Error: 0.0173225
It: 574 Error: 0.0171509
It: 575 Error: 0.0169792
It: 576 Error: 0.0168114
It: 577 Error: 0.0166435
It: 578 Error: 0.0164795
It: 579 Error: 0.0163116
It: 580 Error: 0.0161514
It: 581 Error: 0.0159874
It: 582 Error: 0.0158272
It: 583 Error: 0.015667
It: 584 Error: 0.0155106
It: 585 Error: 0.015358
It: 586 Error: 0.0152016
It: 587 Error: 0.015049
It: 588 Error: 0.0149002
It: 589 Error: 0.0147476
It: 590 Error: 0.0145988
It: 591 Error: 0.0144577
It: 592 Error: 0.0143127
It: 593 Error: 0.0141716
It: 594 Error: 0.0140266
It: 595 Error: 0.0138855
It: 596 Error: 0.0137482
It: 597 Error: 0.0136108
It: 598 Error: 0.0134735
It: 599 Error: 0.0133362
It: 600 Error: 0.0132065
It: 601 Error: 0.013073
It: 602 Error: 0.0129433
It: 603 Error: 0.0128136
It: 604 Error: 0.0126877
It: 605 Error: 0.0125618
It: 606 Error: 0.0124359
It: 607 Error: 0.01231
It: 608 Error: 0.012188
It: 609 Error: 0.0120659
It: 610 Error: 0.0119476
It: 611 Error: 0.0118294
It: 612 Error: 0.0117111
It: 613 Error: 0.0115891
It: 614 Error: 0.0114784
It: 615 Error: 0.011364
It: 616 Error: 0.0112495
It: 617 Error: 0.0111389
It: 618 Error: 0.0110245
It: 619 Error: 0.0109177
It: 620 Error: 0.0108109
It: 621 Error: 0.010704
It: 622 Error: 0.0105934
It: 623 Error: 0.0104866
It: 624 Error: 0.0103798
It: 625 Error: 0.0102806
It: 626 Error: 0.0101776
It: 627 Error: 0.0100746
It: 628 Error: 0.00997543
Training finished!
Weight: 0.621272