Bergianska trädgården, 1800-talet